Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Введение
Коренные изменения технологии научных исследований, вызванные широким использованием компьютеров, хорошо известны. Математическое и компьютерное моделирование физических процессов и явлений — один из основных элементов новой технологии научных исследований, позволившей получить впечатляющие результаты при изучении плазмы, диссипативных структур, хаоса, солитонов и других сложных нелинейных объектов [1] — в настоящее время имеет прочные позиции не только в научных исследованиях, но и в учебном процессе [2]. Исследователи широко используют вычислительный эксперимент, дающий возможность радикально повышать эффективность как натурного эксперимента путем снижения материальных и временных затрат на его планирование и выполнение, так и теоретических исследований, позволяя ученым корректировать направления исследований, помогая выполнять аналитические преобразования.
В самом начале процесса компьютеризации научных исследований обнаружились серьезные математические проблемы, связанные с некорректными и, в частности, — с так называемыми обратными задачами, возникающими при интерпретации измерений. В отличие от «прямого» вычислительного эксперимента, моделирующего физические процессы, происходящие в натурном эксперименте при тех или иных «начальных» условиях, в обратной задаче эти «начальные» условия требуется оценить по данным измерений характеристик моделируемого процесса, получаемым в натурном эксперименте. Такие задачи обычно оказываются некорректными, т.е. неустойчивыми к возмущениям данных или даже неразрешимыми в классическом смысле [3].
Эти трудности были преоделены к началу 80-х годов [3]. Разработанные математические методы решения некорректных задач существенно повысили роль компьютерных методов анализа и интерпретации эксперимента.
Компьютеризация полностью изменила облик измерительных приборов, наделив их широкими возможностями автоматизации и математической обработки измерений, памятью и гибкими системами отображения результатов интерпретации измерений. Вместе с тем, обратное влияние компьютерных методов на принципы физических измерений и на характеристики измерительных приборов до сих пор удивительно мало, хотя хорошо известно, что хороший измеритель-
ный прибор как таковой и хороший с учетом компьютерной интерпретации измерения должны удовлетворять различным, а в некоторых случаях диаметрально противоположным условиям [4,5].
Для того чтобы ответить на вопросы, как, собственно, следует измерять и какими характеристиками должен обладать измерительный прибор, чтобы после компьютерной «обработки» измерения можно было получить наиболее точную его интерпретацию, необходимо рассматривать измерительно-вычислительную систему как единый измерительный прибор. О математической теории измерительновычислительных систем, позволяющей ответить на эти и многие другие принципиальные вопросы, в частности, — о математических методах анализа «качества» моделей и проверки их адекватности, о «качестве» измерений и их оптимальной интерпретации, адекватности интерпретации и т.п. пойдет речь в этой книге.
Измерительно-вычислительная система (ИВС) в точном соответствии с ее названием состоит из двух компонент — измерительной и вычислительной^ (см. рис. 0.1, а).
Измерительно-вычислительнаяИзмерительно-вычислительнаяСистема «измеряемый объект-среда-Система «измеряемый объект-среда-измерительный приборизмерительный приборСистема «исследуемыйСистема «исследуемыйобъект-среда»бобъект-среда»б
Измерительно-вычислительная
Измерительно-вычислительная
Система «измеряемый объект-среда-
Система «измеряемый объект-среда-
измерительный прибор
измерительный прибор
Система «исследуемый
Система «исследуемый
объект-среда»б
объект-среда»б
Рис. 0.1. о) / — входной сигнал измерительной компоненты ИВС, ^ — ее выходной сигнал, R^ — выходной сигнал ИВС. б) Исследуемый объект в естественном состоянии, б) Идеальный измерительный прибор U взаимодействует с измеряемым объектом и средой также, как измерительная компонента ИВС, его выходной сигнал Uf — значения параметров исследуемого объекта; R^ — наиболее точная версия U/
Обычно первая является преобразователем специфического для измерения воздействия, — радиационного, теплового, механического или какого-либо другого, — в электрический сигнал. Принципы действия измерительных преобразователей, называемых также датчиками, основаны на известных физических явлениях электромагнитной индукции, термо- и пьезоэлектричества, и многих других, см., например, [6]. Далее в вычислительной компоненте электрический сигнал оцифровывается и подвергается математическому преобразованию, которое призвано, с одной стороны, извлечь из результатов измерения все то, что интересует исследователя, а с другой, — облечь это в форму, удобную как для восприятия, так и для «диалога» исследователя с ИВС.
При измерении в результате взаимодействия измеряемого объекта, среды и измерительной компоненты ИВС на ее входе формируется сигнал /, несущий информацию об измеряемом объекте и среде (см. рис. 0.1, ф. Измерительная компонента преобразует / в (электрический) сигнал
£ = AJ + v, (0.1)
где А — оператор, моделирующий физические процессы, определяющие преобразование внешнего воздействия / в электрический сигнал, v — шум, погрешность преобразования.
Понятно, что на уровне измерительной компоненты все процессы контролируются физическими законами со свойственными им хорошо известными ограничениями и запретами — термодинамическими, дифракционными, квантовыми и т.п. Как известно, например, явление дифракции света ограничивает предельную разрешающую способность микроскопов, телескопов и других оптических приборов, термодинамические шумы, квантовые флуктуации ограничивают предельную чувствительность приемников оптического излучения, используемых в этих приборах. На уровне ИВС все выглядит принципиально по-другому, поскольку вычислительная компонента обычно позволяет, грубо говоря, вычислить и математически смоделировать то, что непосредственно ненаблюдаемо. При этом решающую роль играют как математические свойства физических моделей измеряемого объекта, среды, измерительной компоненты ИВС и их взаимодействия, так и используемые математические методы и алгоритмы решения задач интерпретации измерений, которые в конечном счете и определят предельные возможности ИВС как средства измерений (точность, чувствительность, разрешение и т.д.). По этой причине теория ИВС как средств измерений имеет мало общего с тем, что составляет основы классического приборостроения. В частности, требования к измерительной компоненте, обеспечивающие наивысшее качество ИВС как средства измерений, существенно отличаются от требований, гарантирующих наивысшее качество самой измерительной компоненты как измерительного прибора.
Еще одно принципиальное отличие ИВС как средства измерений от обычного измерительного прибора обусловлено возможностью ин-
теллектуального диалога исследователя и ИВ С. На этапах анализа и интерпретации измерений ИВ С позволяет исследователю наиболее полно учесть его научный опыт, оценить как точность, так и адекватность найденных значений параметров исследуемого объекта или явления, охарактеризовать адекватность математических моделей, используемых при интерпретации измерений.
Можно без преувеличения сказать, что ИВ С образуют принципиально новый класс измерительных средств, позволяющих создавать идеальные измерительные приборы для научных исследований и промышленности .
Концепция ИВС как средства измерений может быть разъяснена на примере системы «измеряемый объект-среда-измерительный прибор-вычислитель», характерной для большинства экспериментальных исследований (см. рис. 0.1, а). Как известно, в процессе измерения объект, измерительный прибор и среда, в которой находятся объект и измерительный прибор, взаимодействуют и оказываются в той или иной степени возмущенными. Поскольку исследователя обычно интересуют значения параметров объекта, свойственные невозмущенной системе «исследуемый объект-среда» (см. рис. 0.1, б) или, иначе говоря,— значения параметров объекта в его естественном состоянии, в практике измерений получил распространение принцип, согласно которому измерительный прибор должен как можно меньше возмущать объект и среду. Концепция ИВС как средства измерений основана на совершенно ином принципе измерений: в процессе измерения объект и среда могут претерпевать существенные возмущения, но на выходе ИВС должны быть максимально точные значения па™ раметров исследуемого объекта, свойственные его естественному состоянию). Поэтому выходной сигнал ИВС следует интерпретировать как максимально точную версию выходного сигнала идеально™ го измерительного прибора, позволяющего исследователю получать информацию о принципиально ненаблюдаемых характеристиках исследуемого объекта (см. рис. 0.1, в). Подчеркнем, что речь идет, во- первых, о таких характеристиках, которые, как правило, не могут быть измерены непосредственно и должны быть вычислены на основе воздействия) объекта и среды на измерительную компоненту ИВС, во-вторых, должны быть вычислены характеристики не измеряемого объекта, искаженные при измерении, а исследуемого, свойственные его естественному состоянию.
Найденные значения параметров исследуемого объекта и оценка погрешности в теории ИВС называются интерпретацией измерения и ошибкой интерпретации, соответственно.
На самом деле концепция ИВС как средства измерений может
быть реализована в двух принципиально различных вариантах. Во- первых, как было сказано, на ИВ С можно предельно точно синтезировать выходной сигнал идеального прибора, позволяющего исследователю получать информацию о характеристиках изучаемого объекта. В этом варианте критерием качества ИВ С является точность определения параметров объекта в его естественном состоянии. Во-вторых, ИВС можно выполнить как максимально точную версию самого идеального прибора при заданных ограничениях, например, на уровень шума [4, 5]. В этом случае критерий качества ИВС как средства измерения, по существу, совпадает с принятым в приборостроении, с тем лишь отличием, что оптимизируется точность синтеза прибора на ИВС, а не точность изготовления прибора как такового, «в железе».
Теория ИВС включает новое понятие качества измерительной компоненты, обеспечивающей наивысшее качество ИВС как средства измерений, существенно отличающееся от традиционного. Дело в том, что для наиболее качественных измерений измерительный прибор как таковой и как измерительная компонента ИВС должны обладать значительно различающимися характеристиками. Например, плохой в обычном понимании измерительный прибор (низкое разрешение, высокий уровень шума и т.д.) как измерительная компонента ИВС может обеспечить параметры ИВС как измерительного прибора того же (или другого) назначения, существенно более высокие, чем при прочих равных условиях обеспечивает хороший (в том же смысле) измерительный прибор, используемый как измерительная компонента ИВС. Короче говоря, вопрос о том, какими физическими характеристиками должен обладать измерительный прибор, решается существенно по-разному в зависимости от того, как будет использоваться прибор — как измерительная компонента ИВС, или — как таковой.
Рисунки 0.2 и 0.3 иллюстрируют сказанное на примере зависимости качества ИВС как оптического телескопа сверхвысокого разрешения от качества многоапертурного оптического телескопа, используемого как измерительная компонента этой ИВС [104]. Третий и четвертый слева столбцы изображений на рис. 0.2 иллюстрируют зависимости разрешающей способности телескопа, используемого в качестве измерительной компоненты ИВС, и соответствующего телескопа, синтезированного на ИВС, от конфигураций зеркал измерительной компоненты, представленных в первом столбце. Нетрудно заметить, что в то время как при фиксированном уровне шума v на выходе измерительной компоненты разрешающая способность измерительной компоненты (как оптического телескопа) с увеличением числа зеркал падает, разрешающая способность ИВС, как телескопа того же назначения, растет. Такая же зависимость наблюдается и для каждого конкретного телескопа — трех-, пяти- или семиапертурного: с увеличением расстояния зеркал от оптической оси телескопа разрешающая способность измерительной компоненты падает, а ИВС — растет (см. рис. 0.3, б). Понятно, что оба вывода будут справедливы и в тех случаях, когда с увеличением числа зеркал или (и) с увеличением расстояний от зеркал до оптической оси телескопа будет несколько
Рис. 0.2. В первом слева столбце изображены конфигурации зеркал оптического телескопа, образующего измерительную компоненту ИВ С, — одно, три, пять и семь зеркал диаметром 2.6, 1.5, 1.16 и 0.98 метров соответственно; суммарные площади трех, пяти и семи зеркал равны между собой и равны площади одного зеркала; расстояния центров трех, пяти и семи зеркал от оптической оси телескопа равны 14 м. Во втором и сооответ- ственно третьем столбцах приведены полученные при этих конфигурациях зеркал изображения ^ (0.1) точечного источника белого света /(•) = £(•) и объекта, идеальное изображение Uf(-) которого дано на рис. 0.3, а. В четвертом столбце приведены изображения 1Ц(-) (см. (0.6),(0.7)), полученные на выходе соответствующей ИВ С, на которой при отношении «сигнал»/«шум» = ||/||/(Е Н^Н2)1/2 = Ю-5 синтезирован выходной сигнал Uf^) «идеального» телескопа, показанный на рис. 0.3, аРис. 0.2. В первом слева столбце изображены конфигурации зеркал оптического телескопа, образующего измерительную компоненту ИВ С, — одно, три, пять и семь зеркал диаметром 2.6, 1.5, 1.16 и 0.98 метров соответственно; суммарные площади трех, пяти и семи зеркал равны между собой и равны площади одного зеркала; расстояния центров трех, пяти и семи зеркал от оптической оси телескопа равны 14 м. Во втором и сооответ- ственно третьем столбцах приведены полученные при этих конфигурациях зеркал изображения ^ (0.1) точечного источника белого света /(•) = £(•) и объекта, идеальное изображение Uf(-) которого дано на рис. 0.3, а. В четвертом столбце приведены изображения 1Ц(-) (см. (0.6),(0.7)), полученные на выходе соответствующей ИВ С, на которой при отношении «сигнал»/«шум» = ||/||/(Е Н^Н2)1/2 = Ю-5 синтезирован выходной сигнал Uf^) «идеального» телескопа, показанный на рис. 0.3, а
Рис. 0.2. В первом слева столбце изображены конфигурации зеркал оптического телескопа, образующего измерительную компоненту ИВ С, — одно, три, пять и семь зеркал диаметром 2.6, 1.5, 1.16 и 0.98 метров соответственно; суммарные площади трех, пяти и семи зеркал равны между собой и равны площади одного зеркала; расстояния центров трех, пяти и семи зеркал от оптической оси телескопа равны 14 м. Во втором и сооответ- ственно третьем столбцах приведены полученные при этих конфигурациях зеркал изображения ^ (0.1) точечного источника белого света /(•) = £(•) и объекта, идеальное изображение Uf(-) которого дано на рис. 0.3, а. В четвертом столбце приведены изображения 1Ц(-) (см. (0.6),(0.7)), полученные на выходе соответствующей ИВ С, на которой при отношении «сигнал»/«шум» = ||/||/(Е Н^Н2)1/2 = Ю-5 синтезирован выходной сигнал Uf^) «идеального» телескопа, показанный на рис. 0.3, а
Рис. 0.2. В первом слева столбце изображены конфигурации зеркал оптического телескопа, образующего измерительную компоненту ИВ С, — одно, три, пять и семь зеркал диаметром 2.6, 1.5, 1.16 и 0.98 метров соответственно; суммарные площади трех, пяти и семи зеркал равны между собой и равны площади одного зеркала; расстояния центров трех, пяти и семи зеркал от оптической оси телескопа равны 14 м. Во втором и сооответ- ственно третьем столбцах приведены полученные при этих конфигурациях зеркал изображения ^ (0.1) точечного источника белого света /(•) = £(•) и объекта, идеальное изображение Uf(-) которого дано на рис. 0.3, а. В четвертом столбце приведены изображения 1Ц(-) (см. (0.6),(0.7)), полученные на выходе соответствующей ИВ С, на которой при отношении «сигнал»/«шум» = ||/||/(Е Н^Н2)1/2 = Ю-5 синтезирован выходной сигнал Uf^) «идеального» телескопа, показанный на рис. 0.3, а
увеличиваться и уровень шума на выходе измерительной компоненты. А это означает, например, что как телескоп сверхвысокого разрешения ИВ С с семиапертурной измерительной компонентой будет иметь более высокое качество, чем ИВ С с одноапертурной измерительной компонентой, хотя у последней разрешающая способность заметно выше, а уровень шума (несколько) ниже, чем у семиапертурной!
Рис. 0.3. о) Изображение Uf^) объекта, полученное на «идеальном» телескопе U. б) Графики зависимостей с.к. погрешностей Е ||К*^ — U f\\2 (см. (0.6), (0.7)) синтеза выходного сигнала идеального телескопа на ИВС от расстояния между центрами зеркал и оптической осью телескопа, см. рис 0.2. Цифры около графиков (1,3,5,7) отмечают количество зеркал телескопа, образующего измерительную компоненту ИВС. Точкой 14 м. выделены конфигурации зеркал измерительной компоненты ИВС, для которых результаты синтеза выходного сигнала Uf^) идеального телескопа приведены на рис. 0.2. б) Изображения на выходе семиапертурного телескопа при расстояниях между зеркалами и оптической осью телескопа 4 м, 8 м и 14 м. г) Изображения на выходе соответствующей ИВС
Теория ИВС позволяет решать задачи оптимального синтеза измерительной компоненты, специально предназначенной для работы в составе ИВС и обеспечивающей наивысшее качество ИВС как средства измерений [5].
Разумеется, для построения ИВС необходима математическая модель системы «измеряемый объект-среда-измерительный прибор», отражающая свойства объекта, среды и прибора с учетом их взаимодействия. Эта модель, называемая в теории ИВС моделью изме- ренил, позволяет связать сформированный в этой системе сигнал / как с текущими значениями параметров измеряемого объекта, так и с выходным сигналом £ измерительной компоненты ИВС. Кроме этого, необходима математическая модель, связывающая входной сигнал / измерительной компоненты ИВС со значениями параметров иссле-
дуемого объекта, свойственными его естественному состоянию. Эта модель называется моделью интерпретации измерения. Теория ИВС позволяет, используя эти модели и выходной сигнал £ измерительной компоненты ИВС, «вычислить» с помощью ее вычислительной компоненты наиболее точную версию характеристик ненаблюдаемой системы «исследуемый объект-среда» и оценить сопутствующую погрешность.
Иначе можно сказать, что вычислительная компонента ИВС решает задачу редукции измерения £ = £(/) (0.1) к значению и = Uf параметров исследуемого объекта в системе «исследуемый объект- среда» и оценивает погрешность редукции.
В этой книге под методами редукции измерений понимается математический формализм, позволяющий по результатам измерений в системе «измеряемый объект-среда-измерительный прибор» получать наиболее точное описание ненаблюдаемой системы «исследуемый объект-среда».
В качестве иллюстрации рассмотрим схематически проблему дистанционных исследований Земли [7,8]. Запишем в виде равенства (0.1) схему измерения электромагнитного излучения атмосферы, покидающего поверхность Земли и несущего информацию о Земле и ее атмосфере. В дистанционных исследованиях «исследуемым объектом» чаще всего является поверхность Земли, параметрами которой, в зависимости от целей исследований, могут быть, например, такие физические характеристики, как влажность, температура, отражательная способность и т.п. В этом случае «средой» является атмосфера, но атмосфера нередко также является «исследуемым объектом», когда изучаются ее газовые составляющие, такие как озон, окиси азота и углерода, ее аэрозольные компоненты, — на предмет определения их общего содержания, пространственного распределения и т.д. В этих случаях / описывает электромагнитную радиацию, поступающую в приемник от измеряемого объекта и среды, оператор А задает математическую модель приемника излучения. Приемник переизлучает падающую на него радиацию, возмущая поле излучения в окружающем пространстве, особенно если он находится в атмосфере, а если приемник находится близко от «измеряемой» поверхности, то искажается и покидающее ее излучение.
Более детально эти процессы можно описать следующим образом (см. рис. 0.4). Обозначим1) е (/) поток фотонов оптического излучения Солнца на верхней границе атмосферы (у приемника), ^31 №1) ~ оператор, определяющий распространение фотонов, которые, взаимодействуя с атмосферой, достигают приемника (поверхности Земли), не взаимодействовав до этого с приемником (с поверхностью Земли), Т22(Тзз) — оператор, определяющий распространение фотонов, покидающих поверхность Земли (приемник) и возвращаю-
х) е в каждой точке границы атмосферы характеризует интенсивность, направление распространения, длину волны, поляризацию и прочие характеристики излучения, см, например, [103].
Рис. 0.4. Процессы распространения солнечной радиации в атмосфере Земли и ее взаимодействия с поверхностью Земли и приемником
щихся обратно, 7з2(72з) — оператор, определяющий распространение тех же фотонов, но достигнувших приемника (поверхности Земли), S2 (S3) — оператор, описывающий взаимодействие фотонов с поверхностью Земли (с приемником): рассеяние, поглощение и т.п. В этих терминах сигнал /, поступающий на приемник, определяется равенством (рис. 0.4)
/ = Тфе + 7зз5з7з1С + 7зз5з7зз5з7з1е + ... +
+ T^S^T^e + Т32S2T22S2T2ie + ... + ..
где символом ... выделены слагаемые, описывающие обмен фотонами, покидающими приемник, попадающими на Землю, затем опять попадающими на приемник и т.д. При наблюдении с самолета или спутника этими процессами можно пренебречь, поэтому
/ = £(Тзз5з)иТ31е + Т32 52 ^Т^УТ^е + ...«
п=0п=0
ТззЗзГ^зге + T32S2(J - T^VT^e, (0.2)
а на выходе приемника сигнал формируется согласно равенству (0.1).
Модель измерения в данном случае определяется схемой (0.1), в которой считаются заданными оператор (прибор) А и вероятностные свойства шума ц, и равенством (0.2), связывающим / с оптическими параметрами системы «измеряемый объект-среда-прибор».
Такие измерительные системы, регистрирующие электромагнит-
ное излучение в различных участках спектра, применяются при дистанционных исследованиях окружающей среды для определения температуры и цвета океана, вертикального распределения вещества в атмосфере, спектральной коррекции спутниковых измерений [9].
Согласно равенствам (0.2) и (0.1), определяющим соответственно входной и иыходной сигналы приемника излучения, слагаемое g = = (I — Тзз5з)-17з1е в (0.2) описывает атмосферную дымку и не несет информации о состоянии поверхности Земли. В (0.1) слагаемое AT32S2(I — T^S^^T^e будем интерпретировать как изображение фрагмента поверхности Земли. Здесь Тфе — солнечная радиация, достигшая поверхности Земли,
/ = S2(/-T22S2)"1T21e (0.3)
радиация, сформированная процессами переотражения от поверхности Земли и рассеяния в атмосфере. Оператор Т^, как было сказано, описывает процесс распространения излучения к приемнику сквозь атмосферу, поэтому выражение
( = Af + v = Ag + AT^f + v (0.4) определяет «космическое», а
Uf = Af (0.5)
«приземное» изображение одного и того же фрагмента поверхности Земли. Последнее, в отличие от первого, не искажено дымкой и процессами рассеяния и поглощения в атмосфере, сопровождающими распространение излучения к приемнику.
Одна из задач интерпретации «космического» изображения £ известна как задача коррекции спектральных и геометрических искажений свойственных процессу переноса излучения / сквозь атмосферу [9]. Речь идет о задаче редукции изображения £ (0.4) к виду, свойственному регистрации с помощью идеального прибора U, определенного равенством (0.5). В данном случае равенства (0.2), (0.3) и (0.5) определяют модель интерпретации измерения (0.4). Равенство (0.5) определяет линейный ограниченный оператор U. Поскольку из / = 0 в (0.2) следует е = 0, то оператор
в = а- т^уЧх + T^I - t^Vt^i
обратим. Поэтому
Uf = AJ = AS^I - Т^З^ТАВ-Ч
Операторы А и U определяются как составные части моделей систем «измеряемый объект-среда-измерительный прибор» и «исследуемый объект-среда». В то время как модель системы «измеряемый объект-среда-измерительный прибор» призвана описывать процессы, свойственные реальным измерениям, модель системы «исследуемый объект-среда» должна описывать процессы, которые интересуют
исследователя, но недоступны для непосредственного наблюдения и должны быть «вычислены и смоделированы ИВС».
Редукцией измерения ^, выполненного на приборе А, к виду, свойственному измерению на приборе U (к выходному сигналу Uf прибора U), называется такое преобразование £ -4 R^, при котором R^ является (в известном смысле) наиболее точной (на заданном классе преобразований R) версией выходного сигнала U f прибора U.
В общих чертах дело обстоит следующим образом: пусть известны математические модели систем «измеряемый объект-среда- измерительный прибор» и «исследуемый объект-среда». В частности, пусть известны операторы А и U, шум v в (0.1) — случайный элемент, Ет/ = 0. Если сигнал / — априори произволен, R^ — выходной сигнал ИВС, то качество ИВС как идеального прибора U охарактеризуем величиной максимального значения среднеквадратичной (с.к.) погрешности интерпретации R^ как U/:
= sup{E||J?e-r/||2}. (0.6)
Здесь \\R£ — U/||2 — квадрат расстояния между R^ и Uf, Е \\R£ — U/||2 — его среднее значение. Оператор редукции R* определим как решение следующей задачи на минимум
h(R^U) ~mmh(R,U), (0.7)
согласно которой на выходе ИВС будет синтезирован сигнал R^, максимальное (по f) с.к. уклонение которого от выходного сигнала U/ идеального прибора U минимально.
Подчеркнем, что задача редукции измерения (0.1), (0.7) является задачей наилучшего приближения сигнала Uf значениями R^, ее решение R* обеспечивает наивысшую (в заданном классе преобразований) точность интерпретации R*6, как значения параметров исследуемого объекта. Именно это обстоятельство позволяет рассматривать ИВС как средство измерений, изучать предельные возможности ИВС, гарантирующие наивысшие ее показатели (как средства измерений) при синтезе выходного сигнала конкретного измерительного прибора U, более того, — и при синтезе выходного сигнала любого прибора из заданного класса. Последнее обстоятельство особенно важно, поскольку на практике обычно одна и та же измерительная компонента ИВС используется для изучения различных объектов, а каждому объекту, как правило, соответствует специфический «идеальный» прибор U.
Метод редукции измерений отличается от многих широко распространенных методов «обработки» измерений, таких, например, как методы наименьших квадратов и их регуляризованные варианты [3], метод максимальной энтропии [10] и др. [11], в которых решение находится путем минимизации функционалов, не имеющих прямого отношения к погрешности интерпретации измерения. Эти методы не могут служить основой теории ИВС как средств измерений, посколь-
ку, не гарантируя максимальную точность интерпретации измерения, они, во-первых, не позволяют определять предельные возможности конкретной ИВС как средства измерений и, во-вторых, не позволяют формулировать требования к ее измерительной компоненте, обеспечивающие наивысшее качество ИВС как этого средства измерений.
Заметим, что при использовании названных методов в конечном счете все равно возникает проблема оценивания погрешности интерпретации, поскольку последняя характеризует ее качество, и, более того, задачу интерпретации измерения нельзя считать решенной, если погрешность интерпретации не оценена. Иначе говоря, если модели измерения и интерпретации измерения позволяют оценить погрешность интерпретации, то для решения задачи интерпретации следует использовать методы, минимизирующие погрешность последней, а в противном случае, когда погрешность интерпретации не допускает оценивания, задачу интерпретации измерения следует считать неразрешимой.
Поскольку все модели, используемые для редукции измерения, непременно содержат неточности, обусловленные приближенным описанием реальных процессов, теория ИВС как составные части содержит теорию надежности модели измерения и теорию надежности интерпретации измерения. Надежность модели измерения характеризует ее адекватность реальному положению вещей, надежность интерпретации измерения позволяет оценить состоятельность интерпретации измерения, т.е. найденных значений параметров исследуемого объекта и оценки погрешности, и тем самым охарактеризовать возможность использования обеих моделей для определения с гарантированной точностью параметров исследуемого объекта.
Анализ адекватности математических моделей измерения и интерпретации в теории ИВС называется анализом измерения.
В предлагаемой монографии изложены основы математической теории измерительно-вычислительных систем. Для удобства читателя книга содержит необходимые сведения из теории статистического оценивания и проверки статистических гипотез.
Глава 1 содержит подробное изложение методов оптимального в среднем квадратичном линейного статистического оценивания.
В главе 2 аналогичная техника разработана для анализа эффективной размерности данных измерений. Под эффективной размерностью данных измерений здесь понимается минимальная размерность линейного подпространства как функция погрешности восстановления данных по их ортогональным проекциям на это подпространство. Акцент сделан на не теоретико-вероятностных моделях данных.
В главе 3 рассмотрены элементы общей теории стохастического оценивания случайных элементов и параметров их распределений.
В главе 4 методы статистического оценивания рассмотрены совместно с методами проверки статистических гипотез.
Глава 5 посвящена линейным методам редукции (схем) измерений, описываемых теоретико-вероятностными моделями. Эти методы составляют основу теории линейных ИВС как средств измерений.
В главе 6 линейные методы редукции рассмотрены в ситуациях, когда доступна априорная или (и) дополнительная информация об измеряемом объекте. Здесь же рассмотрены методы уточнения теорертико-вероятностных моделей измерений, в том числе — случайных.
Глава 7 посвящена методам нелинейной редукции для линейных и нелинейных моделей измерений и моделей интерпретации измерений.
В главе 8 изучено понятие эффективного ранга модели измерений и установлена связь между понятиями эффективного ранга и эффективной размерности. Под эффективным рангом модели здесь понимается максимальная размерность ортогональной составляющей измеряемого сигнала как функция с.к. погрешности ее оценки.
В главе 9 рассмотрены методы «инструментального» синтеза средств измерений на ИВ С, при которых решается не задача синтеза выходного сигнала прибора, а синтезируется математическая модель измерительного прибора при тех или иных требованиях к его качеству.
В последней десятой главе методы теории ИВ С проиллюстрированы на примере ИВ С, измерительной компонентой которых является измерительный преобразователь, описываемый дифференциальным уравнением первого или второго порядков.
Более полно с содержанием книги читатель может познакомиться по подробному оглавлению.
В заключение мне приятно выразить глубокую признательность моим друзьям, коллегам и ученикам, принимавшим деятельное участие в оформлении книги и при обсуждениях ее содержания. Это, прежде всего, Н.А. Якубовская), превратившая трудно читаемую рукопись в электронный вариант книги, А.Ю., Ю.Н. Пытьевы), И.И. Фаломкин2), Д.М. Новицкий2) и В.В. Шишаков2), выполнившие по моей просьбе многие расчеты для графических иллюстраций, и, наконец, О.В. Жучко, взявшая на себя труд научного редактирования электронного варианта книги и подготовку оригинал-макета.
Глава 1
Элементы теории
линейного статистического оценивания
В этой главе рассмотрены линейные методы статистического оценивания, основанные на теории второго порядка случайных векторов. Теорию второго порядка случайных векторов составляют такие их свойства, которые можно охарактеризовать в терминах математических ожиданий и ковариационных (или корреляционных) операторов. В этих терминах удается полностью исследовать широкий класс линейных задач анализа и интерпретации измерений в ситуациях, когда распределения заданы только двумя моментами. Речь идет о задачах линейного оценивания, анализа погрешностей, корреляционных связей, и т.д. Этим и некоторым близким вопросам посвящена настоящая глава (см. также [89, 90]).
Ковариационный и корреляционный операторы случайного вектора. Базис Карунена—Лоэва
Ковариационный оператор Sv случайного вектора v. принимающего значения в Кп, v Е Кп, определяется равенством
SpX = Е (v — Е v)(x, v — Е v), х ЕКп.(1.1)
Здесь и далее Е — символ математического ожидания, в частности, Е v — математическое ожидание 1). Равенство
Yyx = Е v(x, v\ х ЕКп,(1.2)
определяет корреляционный оператор Yv случайного вектора v. Очевидно, Yv- = Sp • +Е v^ Е v), а при Е v = 0 корреляционный и ко-
вариационный операторы v совпадают. В дальнейшем, рассматривая случайный вектор р. будем считать, что вектор Е р и операторы Sv и Yav известны (если не оговорено противное).
Если ci,..., еп — ортонормированный базис евклидова пространства Кп, то матричные элементы Е^
(et^pCj) = Е (е^р^е^р), ij = l,...,n,(1.3)
образуют так называемую корреляционную матрицу случайного вектора р. заданного своими координатами Pt = (е^р), г = 1,...,п. Корреляционную матрицу р можно записать в виде
(
py \/py \/py \* /Е pypy...Evivn
• • • (^1 vn) = Е ......=
Vn/Vn/\Vn) \EpnPY...Ерпрп
где звездочка отмечает транспонирование1). Далее, как правило, операторы, векторы и их матрицы в (фиксированном) ортонормирован- ном базисе будут обозначаться одними и теми же символами. Поэтому, например, в равенстве
Е^ = Е рр*
^р — корреляционная матрица вектора и. заданного столбцом своих (^i \/ К \ /EvA
... ,Ez/ = E ... =...— столбец математиче
ских ожиданий координат р. (ацу) = tr ^ху*^ = tr (х*у) — скалярное произведение векторов х и у, заданных столбцами своих координат, a Evx = Ez/tr(xz/*) = Ez/tr(z/*x) = Ерр*х — матричные формы равенства (1.2). В тех случаях, когда такая неоднозначность обозначений может привести к недоразумению, разница между операторами, векторами и их матрицами будет отмечена. Однако для наших целей корреляционная матрица как характеристика р менее удобна, чем корреляционный оператор, поскольку она зависит от базиса, выбранного в 7^п, в то время как свойства р как модели сигнала желательно не связывать с базисом.
Отметим прежде всего, что корреляционный оператор определяет величину Е |Н|2. Действительно, так как |Н|2 = ^^увг^ то г=1
Е||< = E(e’’S^) = tr^(L4)
г=1
причем, хотя в выражении для tr Е^ фигурирует некоторый ортонормированный базис 7^п, значение tr Е^ остается таким же и в любом другом ортонормированном базисе 7^п, поскольку левая часть равенства (1.4) от {еД не зависит. Следовательно, величина Е |ф||2
определяется только диагональными матричными элементами (1.3) корреляционной матрицы v и равна tr Sv + ||Ez/||2, где первое слагаемое равно сумме дисперсий координат и. вычисленных в любом ортонормированном базисе rtn.
Заметим, что каким бы ни было распределение и. в силу неравенства Чебышева для любого 5 > О
Р(|И^КЕ|И2Ц2=1гМЛ(1-5)
Прежде чем выяснить, какую роль играют внедиагональные матричные элементы (1.3), описывающие корреляционные связи между различными координатами v. отметим, что в Пи существует базис, в котором эти связи отсутствуют. Речь идет об ортонормированном базисе {^4, известном как базис Карунена-Лоэва. Он состоит из орто- нормированных собственных векторов ^р :
■^vSi = a^Si, i = l,...,n.(1.6)
Л ^ М =(1.7)Л ^ М =(1.7)В этом базисе
Л ^ М =(1.7)
Л ^ М =(1.7)
= Е ViSi' Е UiU3 = ^Л = г=1
и корреляционная матрица ^р диагональна:
{(«ь^Д} = diag^. ..о-2)-
Существование такого базиса гарантируется тем, что Е^ — самосопряженный оператор ^х^ру^ = ^рХ^ для любых х^у G Кп\ поскольку, как известно [5], с любым самосопряженным оператором в Кп при условии dim Кп < ею можно связать ортонормированный базис Кп, состоящий из его собственных векторов. В данном случае ^Гр является еще и неотрицательным оператором (^рХ^ ж) = Е (щ ж)2 ^ О для любого ж G Кп). А это гарантирует, что все его собственные значения неотрицательны, как это подчеркнуто обозначениями, принятыми в (1.6). Равенство
Е^ж = У? o^s^x, s^, х епп,(1.6*)
эквивалентное соотношениям (1.6), называется спектральным разложением Узр . Согласно выражениям (1.4) и (1.6*), выбрав е^ = s^, г = = 1,..., тг, найдем
Е1И2 = 1>2-
В дальнейшем кроме корреляционного оператора нередко будет встречаться оператор, обозначаемый Е^2 . Его удобно определить в базисе Карунена-Лоэва спектральным разложением
5Д2ж =Si), же77и.
г=1
Здесь сг^, г = 1,...,п, выбраны неотрицательными; еУ2 называется неотрицательным квадратным корнем из ЕщЕУ2, очевидно, как и Ер, — самосопряженный неотрицательный оператор. Если оператор Е^ имеет обратный Е”1, то и еУ2 имеет обратный, причем (еУ2)-1 = (Е”1)1/2 = Е^1/2. В этом случае корреляционный оператор случайного вектора Y„ v является единичным оператором. Убедиться в этом можно следующим образом.
Корреляционный оператор Ев^ случайного вектора Bv, где В — линейный оператор, равен ВЕ^В*. Действительно, если В действует из евклидова пространства Вп в евклидово пространство Вт или, короче, если В Е (Вп —> Вт), то согласно определению (1.2) для любого вектора х Е Вт
YBvx = Е Bv^x, Bv) = BE v(B*x, v) = BYvB*x. (1.8)
При ЭТОМ ^Bv E^m) i & В Случае В = E^2 E^-i/2 =
= E^ 1//2EzyEzy^ = Z, где I — единичный оператор, и использован тот факт, что (Е^1/2)* = (Е*)-1/2 = Yvx^ ибо Е* = Е^ — самосопряженный оператор.
Если ст? = Е (zx, st)2 = 0, то (v, Si) = 0 с вероятностью единица, т.е. г -я координата v априори известна точно (и равна нулю), а вектор v с вероятностью единица принадлежит линейному подпространству Вп векторов, ортогональных s^ P((v,Si) = 0) = 1. В этом случае корреляционный оператор Е^ вырожден. Наоборот, если Е^ — вырожденный оператор, то в Вп существует направление, вдоль которого составляющая v равна нулю с вероятностью единица. Согласно равенству (1.7) v Е 7ДЕД с вероятностью единица (см. [5]).
Важное свойство базиса Карунена-Лоэва рассмотрим на примере сигнала / Е Ки наблюдаемого в аддитивной смеси / + v с шумом v. Упорядочим собственные векторы в равенствах (1.6) так, чтобы
<7^ <7^ . . . ^ <Т2,(1.9)
и рассмотрим ортогональную проекцию v на линейное подпространство Ck = £($1,..., Sk), натянутое на векторы si,...,^, к ^ п = = dim Кп , базиса Карунена-Лоэва. Обозначим ее
к
S^Sj.
г=1
Средняя «энергия» этой составляющей и. равная
Е||1»||2 = У>2,(1.10)
г=1
является характеристикой того, в какой мере лежащая в Ск ортогок
нальная составляющая fw = Z(f,^Si сигнала / Е 7tn, наблюда- г=1
емого в виде аддитивной смеси / + v с шумом v. искажена шумом v. Образно говоря, можно сказать, что шумом v^ поражено подпространство Ск^ а величина «энергии» (1.10) показывает, в какой мере шум v поражает Ск. Оказывается, что любое другое к -мерное подпространство Пи поражено шумом v не меньше, чем Ск [5]. В этом состоит экстремальное свойство базиса Карунена-Лоэва. Более формально его можно описать следующим образом. Пусть Щ - оператор ортогонального проецирования на некоторое А:-мерное линейное подпространство 7tn. Тогда для любого Щ
Е||р«||2 ^Е||ЩИ|2(1.11)
Базис Карунена-Лоэва позволяет построить цепочку вложенных друг в друга линейных подпространств
Цз^ с Цзх, s2) сс Цзх,..., sn) = тг„,
каждое из которых поражено шумом v не больше, чем любое другое подпространство П^ той же размерности. В частности, если
то составляющие f^\ ..., f^ не искажены шумом v. причем к — максимальная размерность ортогональной составляющей /, не искаженной шумом v.
Наилучшее в среднем квадратичном линейное оценивание
Оценивание случайного вектора. Пусть Пп,Пт — евклидовы пространства, v Е ktn, у Е ktm — случайные векторы, известны их математические ожидания Е т/ = 0, Е ц = 0, корреляционные операторы ^р = Sv Е (Пп -4- 7tn), У^ = 8Л Е (Пт -4- 7tm) и взаимный корреляционный оператор Е^^, действующий из П^ в 7tm по формуле
^рХ = Е ц(щ х), х Ektn-(2.1)
Так как ^х,^ = Е (v, х^тъ у) = (х^р^у), х Е Пп, у Е Пт, то Е*^ = Yip^. Кроме того,
I Щ„ж,у) |2^Е(р,ж)2Е(77,у)2 = (Е1/ж,ж)(Е^у,у).
Следовательно, для любого х Е Кп равенство ^рХ = 0 влечет равенство У^рХ = 0, что эквивалентно включению
М^сЖ\(2.2)
гарантирующему разрешимость уравнения
В^р = ^р(2.3)
относительно оператора В [5]. Для дальнейшего важен факт, состоящий в том, что для любых случайных векторов v Е П^ и у Е Пт
существует оператор В Е (Rz ^ Rm), удовлетворяющий уравнению (2-3).
Рассмотрим задачу, называемую задачей о наилучшем в среднем квадратичном (с.к.) линейном приближении (оценивании).
Пусть случайный вектор v Е Rn наблюдаем, а у Е Вт - нет, и требуется определить линейный оператор В Е (Rn —> Rm) так, чтобы случайный вектор Bv был наиболее точной в среднем квадратичном версией случайного вектора у Е М. Речь идет о задаче на минимум
Е\\Bv - у\\ ~ min .(2.4)
Если В - решение задачи (2.4), то Bv — наилучшее в с.к. линейное приближение у.
Поскольку согласно равенствам (1.4) и (1.8)х)
Е ||S^ - ц||2 = Е (Bv - ц, Bv - ц) = tr (В^рВ* - ^^В* + ^), то необходимое и достаточное условие минимума (2.4) дается равенством tr ((В^р — ^^5 В*) = 0, где 5В* — произвольный линейный оператор, действующий из Кт в Rn, которое эквивалентно уравнению (2.3)2). Его общее решение имеет вид (см. [5, 16])
В = Е^Е у + Z (I Е^Е у.(2-5)
Здесь Е“ — оператор, псевдообратный к Е^, Z Е (Rm —> В^ — произвольный линейный оператор, но значение невязки
Е ^Bv — 77112 = tr (Е^ — Е^^Е^ Е^),(2.6)
разумеется, не зависит от Z.
Итак, доказана
Лемма 2.1. Оператор В (2.5) есть общее решение задачи (2.4) наилучшего в с.к. линейного приближения ц по измерению v, выражение (2.6) определяет с.к. погрешность оценивания, а сама оценка, обеспечивающая наилучшее приближение, дается равенством
у = Е^Е^т/.(2.7)
') Чтобы получить это равенство, следует подсчитать корреляционный оператор С, = Bv — у и воспользоваться формулой (1.4). Согласно равенствам (2.1) и (1.8)
Е^ж = ^(Bv — ц)(ж, Bv — ц) = Е Bv(x, Bv) — Е у(В*х, v) — Е Bv(x, ц) +
+ Ец(ж, у) = ВЕ^В^ж — Е^В^ж — ВЕ^^ж + Е^ж.
Следовательно, Е^ = BEzyB* — IL^pB* — В^^ + Е^ . Заметим также, что tr B^2pV = tr (ВЕгуД* = tr E^zyB*.
В случае ненулевых математических ожиданий Е у и Е v задача наилучшего в с.к. линейного приближения вектора ту по наблюдению вектора v формулируется в отличие от задачи (2.4) так:
Е\\у - Ви - 6||2 ~ min .(2.4*)
Лемма 2.2.1) Решение В*,Ь* задачи (2.4*) дается равен
ствами1) В* = 8Лр8-р, b*=Er] — BEv, причем
Е||ту - B^v - рф2 = tr (S^ - SripS~pSpT1)(2.8)
и
fj = Eg + S^pS^p^v - Е v) —(2.9)
наилучшая в с.к. линейная оценка у.
2) Задача(2.4*)эквивалентназадаче
Е ||ту — Ету — B(v — Еп)||2 ~ пип и, следовательно, сводится к
задаче (2.4) путем замен ту —> ту — Е ту, v —> v — Е v.
Согласно лемме 2.2 ту = Ету + 8Лр8-р(н — Ен) с вероятностью единица, если и только если 8П = 8Пр8~ р8рП.
Далее, если не оговорено противное, считается, что Еп = 0, Е ту = 0.
Пусть, например, ту = д(и) — векторнозначная функция и, Еg(v) = 0. Тогда Е^р- = Eg(v)(-,v) и равенство (2.7) определяет наилучшую в с.к. линеаризацию g(v).
Оценивание линейной функции случайного вектора. Рассмотрим задачу наилучшего в с.к. линейного оценивания случайного вектора Рту, где U — линейный оператор, действующий из евклидова пространства Вт в евклидово пространство U. При этом требуется определить линейный оператор В Е (Вп —> U) и вектор b Е U так, чтобы
ЕЦРту — Bv — b\\2 - min .(2.4**)
Воспользовавшись леммами 2.1 и 2.2, нетрудно проверить следующие утверждения.
Теорема 2.1. Минимум в (2.4**) достигается при
В = В* = US^pS-, b = b, = U(Ey-BEv\
Соответственно
Е\\Ur) — B*v — М|2 = tr UtS^ -S^S;S^U*,(2.10)
и искомая оценка Uy дается равенством
Цу = B*v-E b* = Uy = UE у-E US^S^v - Ez/).
x) Аналогично (2.2) JV(SV) CjV^S^p).
Иначе говоря, наилучшая в с.к. оценка Uy линейной функции Uy вектора у равна линейной функции Uy наилучшей в с.к. линейной оценки у (2.9) вектора у.
Минимизация относительной средне-квадратичной (о.с.к.) ошибки оценивания. Основной используемый далее результат может быть сформулирован как следующее обобщение леммы 2.1.
Теорем а 2.2. Всякое решение (2.5) задачи (2.4) является таксисе решением задачи
E\\Q(Bv-y)\\2 - min ,(2.4***)
в которой Q — любой линейный оператор. Если N\Q) = {0}; или, иначе говоря, — если Q*Q — невырожденный оператор, то любое решение задачи (2.4***) является решением задачи (2.4).
Доказательство следует из необходимого и достаточного условия минимума (2.4***)
(Ж ||Q(Bz/ - у)\\2 = 2tr Q*Q(B^V - Е^8В* = 0. □
Невязка
Е\\Q(Bv - r/)||2 = trQ(S„ -
при Q = Е,,Х^2 определяет о.с.к. ошибку
Е ^/Цп - S^S-.OII2 = tr (I - Е-Г^^Е-.Е^Е-1^)(2.6*)
линейного приближения у значением у = У^рУн Vv.
Если Е^ —вырожденный оператор, то Q следует выбрать равным (Е^2)- . В этом случае о.с.к. ошибка оценивания
Е ДЕ?/2)-(r? - ^E-.OII2 = tr (Щ - (sV2)-Ev/E-i/E^(eV2)-), где П^ = Е^Е^- = Е^Е^ — ортогональный проектор на ^(Е^).
Наконец, при оценивании Uy статистикой [/E///VE~Vv о.с.к. погрешность определяется выражением
Е IK^^-L/^-E^E^OII2 = tr (П^-Д^ЩЕ^Е"^ЦП^ЦП при Q = (Е^2)-, П(п — ортогональный проектор на ТД^ЕД. В качестве Q можно выбрать и (СЕ^2)-, ибо ((СЕ^2)-)*(СЕ^2)- = = х^и*Г =
Оценивание в сигулярных базисах 7tn и Нт. Структура корреляционных связей случайных векторов v Е Нп и у Е Нт и их роль в задачах оценивания наиболее отчетливо проявляется в специальных, связанных с v и у, ортонормированных базисах Лп и Нт, называемых сингулярными.
Пусть для простоты Е ^ = и Г = И^ 1^‘2YiTlvYiv 1//2. Рассмотрим задачи на собственные значения
ТТ*8г = T^st, г = 1,... ,m = dim7^m,
T^Ttj^tp j = п = dim Rn,(2.11)
^ И ^ ... ^ тр > тр+1 = ... = тд = 0, q = max(m, n), р ^ min(m, n),определяющие ортонормированные базисы si,... ,sm и ti,...,tn вр
Rm и Rn соответственно, в которых Тх = ^ Tj8Mtj^ х Е Rn, 3 = 1 р
Т*у = 52 Titi(y,Si), у Е Rm. Это так называемые сингулярные пред- г=1
оглавления операторов Т Е (Rn -4 Rm) и Т* Е (Rm -4 Rn) соответственно (см. [5]), базисы ^st^ cRm, {tj}cRn назовем сингулярными. Запишем разложения случайных векторов Е^ X^v и ^р У^у в сингулярных базисах
S~1/2z/ = У2^^, Vi = (S~1/2i/,ti), i =
2=1
s^1/24 = ^4jsj» 4j = (^V4,Sj), j = l,...,m,(2.12)
3 = 1
Для ковариаций координат этих векторов найдем:
Ег^ = Е= (Mj) = 5гр М = 1,... ,n;
E^r/j = E (yl^1/2ri,Si)(y,-1/‘2ri,sj) = (sysp = бу, i,j =
EiViT]j=0, г = p + 1,..., n, j = l,...,m',
c f 1 г = где dij = <.io, 1^3c f 1 г = где dij = <.io, 1^3г = 1,..., n, j = p + 1,... ,m, (2.13)
c f 1 г = где dij = <.
io, 1^3
c f 1 г = где dij = <.
io, 1^3
Отсюда следует, что в сингулярных базисах
{^} С Rn, {sj} С Rm щ и Т7г, г = 1,... ,р, — единственные коррелированные пары координат векторов '£lv1^2v и И^1^2//.
Что касается о.с.к. ошибки (2.6*) приближения у значением fj = = ^рр^-^-н, то она равна
р
tr (I - ТТ*) ^т-^т^(2.14)
2=1
Нетрудно заметить, что о.с.к. ошибка оценивания v значением
9=Е1/Д-1г/(2.7*)
равна соответственно
р
tr (I -= tr (/ _ Т*Т) = п - 52 rf (2.15)
г=1
и при этом
р
^=52 ^^y^ti,(2.16)
г=1
в то время как
р
Л = 52 Ti^y^Si(2.17)
г=1
Полученные формулы демонстрируют полную симметрию влияния взаимных корреляционных связей между ц и v на линейное оценивание ц, основанное на наблюдении г/, и — наоборот. Эта симметрия видна еще отчетливее при оценивании координат т^-, j = ^...^т, и щ, г = 1,... ,п.
Рассмотрим этот вопрос подробнее. Так как для любого линейного оператора К У^к^и = К^^р, то согласно формуле (2.7) наилучшая в с.к. линейная оценка Кг) есть
Кл == Кр,
соответствующая с.к. ошибка (см. (2.10))
Е ИО - ч)||2 = tr К^ - Ъ^У^К*.
В частности, наилучшая линейная оценка J-й координаты т^ = KjTj = = (И^ 1//2ц, Sj) вектора 5^ 1//2ц есть
^ = ^2'^8У = (^X^yV^^j) =
= Ч(^Г1/2^^) = 4^1 j = l,•••,?, nj=O, j =p+l,...,m,
(2.18)
и соответствующие с.к. погрешности
Е ^j - Лр2 = 1 - Tj, j =
Е У1з - Лз? = 1, 3 =p+l,...,m.(2.19)
Точно также наилучшая линейная оценка г -ой координаты щ вектора Ъу ' v есть
Уг = У^21‘2У-110)=ТгЛг.1% = 1, - - ■ ,Р, V» = 0, г = р + 1, . . . , П,
(2.20) и
Е^-^У=.^-’Р’(2.21)
(1, г = р + 1,... ,п.
(Ср. равенства (2.12), (2.16), (2.17), (2.18) и (2.20)).
Экстремальные свойства сингулярных базисов. Пусть Мк — ортогонально проецирует в 7^т на А:-мерное линейное подпространство rtm. В задаче оценивания ортогональной проекции М^Т] с.к. погрешность
min E\\Q(Mkr) - Вр)\\2 = trQ^Mk^M].-
Выбрав Q = (M^^2)- и обозначив Щ = (М^^2)-М^^2 = = Y^2M^V^n2^kV ортогональный проектор на ГЦУ^2М^) = = ^^^(Мк), найдем следующее выражение для о.с.к. погрешности оценивания Мкц
tr (Щ - ЩТТ*Щ) = k - tr (ЩТТ*Щ), где1)
Мк = £-1/2Щ(5"1/2Щ)-.
Определим теперь ортогональный проектор Щ = Щ из условия
max ИЩ^Г^ = 1гЩГГ*Щ, П^,rank Пк=к
согласно которому о.с.к. погрешность оценивания ортогональной составляющей М^Т], где М^ = S^ ’ П^(Е/? ’ Щ)- , не больше о.с.к. погрешности оценивания любой ортогональной составляющей М^ц той же размерности к = rank М^ = rank Щ. Согласно теореме Пуанкаре, (см. [5]), Щ ортогонально проецирует на £(si,..., s^),
ок
Щж = У^ 8з\ ос ЕПт.
3 = 1
где si,..., зт — ортонормированный базис R,m, определенный условиями (2.11). Ортогональный проектор М^ на С^п Г^2 si,... ^^ T^2Sk) = ^(Ет, 1//2Щ) определяется равенством
ок
МкХ =
г=1
где Ху,..., Хк, — решение системы уравнений к
^= ^ЗС, S^ / Sj), j = 1, . . . , к,
х) Так как Мк — ортогональный проектор, то (S^2Мк)~ = МкХ х(Д/2М,)-. Поэтому £-1/2Щ = Мк(^/2МкГ = (S1/2^)- [5].
согласно которой
оk
х - Mkx = х- ^x^^Si е ^(S^^si,... ,S“1/2sfe).
Относительная с.к. ошибка оценивания М^ц не превосходит о.с.к. ошибку оценивания любой другой ортогональной проекции Мщ; и равна
к -1тПкТТ*Пк = к-^.г=1
Сказанное, разумеется, дословно верно и для задачи определения
оптимально оцениваемой ортогональной проекции R^v.
Суммируем полученные результаты.
Теорема 2.3. Пусть {^4 и ^tj} — ортонормированные сингулярные базисы Rm и Rn соответственно, удовлетворяющие условиям (2.11), и равенства (2.12) представляют векторы Y^^y и Yp^^v в этих базисах. Тогда:
в базисах {si}CRm и {tj}CRn корреляционные связи координат векторов Y^^y и Yp^v определяются равенствами (2.13);
относительные с.к. ошибки приближения ц значением fj = = Y^pY^v (2.14) и v значением v = Yp^Y”1^ (2.15) минимальны в классе линейных оценок;
наилучшие в с.к. линейные оценки координат Y^ 1//2ц и YpT^2v равны соответственно
(2.18)(2.20)(2.18)(2.20)(TjVj, j = l,...,p,
(2.18)
(2.20)
(2.18)
(2.20)
(О, j = р + 1,..., т,
(нтщ г = 1,...,р,
(О, г =р+ 1,...,п,
и с.к. ошибки оценивания (2.19), (2.21)
zzГ1 — т2, г = 1,...,р.
е Ош - w = е (^ - vtY = Л г
г, % > р,
совпадают с относительными;
линейные подпространства
С^'41^ с Ck^2^s^ ^1/2s2) с---
= тгт, сC^i4v,^;vi4^ с...
обладают следующими экстремальными свойствами: ортогональные проекции Мру и R^v векторов у и v на ^(Y^^si. ^^^sp) и на С^р1^2!!,... ^v1^!^ оцениваются соотвественно значениями Мру и Rpv с (одинаковой) относительной с.к. погрешностью, кр
равной к — ^ Г- , если к ^ р и к — ^ т^ если к > р, и не превы- 3 = 13=1
тающей относительную с.к. погрешность оценивания любых других ортогональных составляющих у и v той же размерности.
Экстремальное свойство базиса Карунена—Лоэва. Что касается задачи линейного приближения (2.4), (2.5), (2.6) с наименьшей с.к. погрешностью (не относительной!), то, заметив, что 5Д = 5Д — Y^pY^Yp^ — корреляционный оператор вектора-невязки у — у = у — Y^pY^v, воспользуемся ортонормированным базисом ^ej) cRm Карунена-Лоэва
Y^ej = XjCj, j = 1.. . m,
упорядочив его согласно условиям Ai ^ А2 ^ ... ^ Хр > Ap+i = ... = = Xm = 0. Последовательность линейных подпространств
^(^m) С £(em, em_i) С ... С £(em, em_i,..., ei) = Rm^ обладает следующим экстремальным свойством.
Теорема2.3*. Ортогональная проекция у на £(ет,... ,eq) оценивается с с.к. погрешностью, равной ^ Х^ , и не превосходящей с.к. г=3
погрешность оценивания ортогональной проекции ц на любое m-q-V + 1 -мерное линейное подпространство Rm .
Действительно, если Пт_$+1 — ортогональный проектор на ^(^т? • • •, ^^) ’ то согласно теореме 1 YI_m_q_^y — H^-q-^^Y^pY^ v наилучшая в среднем квадратичном оценка Пт_^+1Ц, причем в силу отмеченного в §1 экстремального свойства (1.11) базиса Карунена- Лоэва 52 А? ^ Е ||Пт_^+177 — Пт_9+1ц||2 для любого ортогонального ^=q ~~
проектора Пт_^+1, rank Пт_^+1 = т — q + 1. □
Этот результат дополняет теорему 2.3 в том случае, когда критерий качества оценивания определяется не относительной, а абсолютной с.к. погрешностью.
О корреляционных связях случайных векторов. Хотя следующее свойство сингулярных базисов и не имеет прямого отношения к задаче линейного оценивания, оно наглядно характеризует структуру корреляционных связей.
Пусть {^Д и (tj) — ортонормированные базисы Rm и Rn соот-
ветственно и 77 = ^^П^ s^s^, v — ^ (v,tj)tj. Покажем, как охаракте- г=1j = l
ризовать корреляционные связи координат 77 и v с помощью корреляционного оператора Е^. Поскольку согласно (2.1) Е (77, st)(v, t^ = = ^Si^ppt^, нетрудно заметить, что характеристическое свойство корреляционных связей должно формулироваться в сигнулярных базисах Yipp .
Теорем а 2.4. Пусть
TippTippS-^ — ^% ^ii ^ — ^’ ' ' ' ’ ^ — dim Т^у z/,
^pp^pptj = G^tj, 3 = 1,..., п = dim7^n,
<71 ^ <72 ^ . . . ^ Gp > <7p-|-i = . . . = Gq = 0,q = тах(ттг, n), p < тпфттг, n).
Тогда
( у . \ J• -P"
% ф 7, или г > p, или (и) у > p.
причем
max (s,= Gi
зетгт,||5||=1,'
и достигается при s = sy^t = H,
max (s, ^ррЙ = g^ se^m,(s,si)=o,||s||=i,
£етгп,(Щ1)=о,||£||=1
и достигается при s = S2 ; t = £2 и m.d.
Уточнение случайного вектора по данным линейных измерений
Пусть Е 77, 8Л — априорная информация о 77 6 Кт. Не имея возможности наблюдать 77, мы хотели бы некоторый, может быть случайный, но стохастически независящий от 77, вектор £ использовать в качестве оценки 77. Так как
Е Ц77 - СП2 = Е Нт/ - Е^2 + Е ||Е77 - <||2 ^ Е^ - Е<,(3.1)
то минимальная в среднем квадратичном погрешность (3.1) обеспечивается выбором ( = Е77 (с вероятностью единица). При этом ее величина
ЕП^-ЕтуП2 =trS4.(3.2)
Если имеется возможность наблюдать случайный вектор
v = Су, v ЕНп,(3.3)
где С Е (Нт —> Нп) — заданный линейный оператор, то возникает простейшая задача уточнения 77 на основании наблюдения v. Если
речь идет о линейной задаче, когда оценка ц ищется в классе линейных функций и, то ее решение дается формулой (2.7) (или (2.9), если ЕщЕт/ — ненулевые векторы). Поскольку Sv = CS^C* и Snv = = S^C*, то в данном случае
(3-4)(3-4)ц = Е ц + S^C^CS^C*)"^ - СЕц).
(3-4)
(3-4)
Погрешность, связанная с использованием такой оценки, разумеется, не больше (3.2). Согласно равенству (2.8) она равна
Е\\^-г)\\2 =ti(STI-ST^^^ ^trS^ (3.5)
Формально неравенство в (3.5) следует из того, что 8ЛС* (С 8ЛС*)-С 8Л — неотрицательный оператор. Если оператор С таков, что C*Ttn = Пт (т.е.гапкС = ш, п ^ т\ то Е ||ц — ц||2 = 0, ибо в таких условиях вектор ц определяется точно, если известен вектор и. а именно ц = (С*С)-C*v
Воспользуемся формулой (3.4), чтобы показать, какую роль играют корреляционные связи между координатами случайного вектора при прогнозировании их «коллективного поведения». Пусть вектор ц задан своими координатами щ,..., ц™ в некотором базисе Пт ц = = (щ,..., Т]ту, и точно измерена его г-я координата:
ЛА
(3.6)(3.6)у = Ст) = (0 ... 010 ... 0) I ... I = тн- г\Пт/
(3.6)
(3.6)
Тогда уточненное значение ц дается равенством (3.4), которое в данном случае принимает вид
ц = Е ц +ц = Е ц +^11^118r)lm8r)lm8-qml8-qmlЗ-^ттЗ-^тто1о\о/о1о\о/(у - Ещ)(у - Ещ)fa -Е^)рт]тг/'fa -Е^)рт]тг/'(3.7)(3.7)
ц = Е ц +
ц = Е ц +
^11
^11
8r)lm
8r)lm
8-qml
8-qml
З-^тт
З-^тт
о
1о
\о/
о
1о
\о/
(у - Ещ)
(у - Ещ)
fa -Е^)
рт]тг/'
fa -Е^)
рт]тг/'
(3.7)
(3.7)
поскольку
(сз.ст1
В координатной форме равенство (3.7) записывается в виде
(j]}k = Лк = Е Лк Т (S^ki/З^Н^^ТЦЕ ЛЙ •> к = 1, . . . , ТГ1. (3-8)
где
Е% = (Ет?)^, к = 1,... ,т.
Итак, до измерения г-й координаты вектора ту наилучшая в среднем квадратичном его оценка дается равенством ту = Е ту. После того как точно измерена г-я координата ту согласно равенствам (3.8), координаты Е ту^, к = 1, 2,..., m, оценки ту = Е ту должны быть «подправлены» соответственно на значения {S^ki/ S^^i — Ещ), пропорциональные коэффициентам ковариации 3^)3^ к = 1,..., m.
(3.9)(3.9)В случае, когда имеется измерение (3.6), согласно равенству (3.5) погрешность прогноза (3.7) равна
(3.9)
(3.9)
tr S^ — ^S^tif S^a
где (S^h = 52 S^pi — диагональный элемент матрицы квадрата ко- р=1
вариационного оператора Зр = 8^3*. Согласно (3.9), прогноз тем точнее, чем больше (З^ц/З^ц. Эта величина является мерой ковариационных связей г-й координаты вектора ту с остальными.
Рассмотрим теперь вопрос об уточнении оценок координат ту. Речь идет о задаче оценивания Пц = Лк гДе U = (Р • — 010 • • • 0), рассмот-
к
ренной в конце предыдущего параграфа. Поскольку, как там было показано, (ту^) = (?7ту) = Ufj = (лН^ то оценкой (ту^) к-я координаты ту при точном измерении его г-й координаты согласно равенству (3.7) является к-я координата оценки fj
ffk=Vk=Er]k + (Svki/Svii)(r]i-Er]i), к = 1,...,т.(3.10)
Согласно равенствам (2.10) и (3.5)
Е Олк Лк) = 8ркк (S^kiS^ik) /Зрц.(3.11)
Если г-я координата не измеряется, то наилучшая оценка к-я координаты есть Е ту/, и при этом Е (ту^ — Ету^)2 = Злкк . Поэтому справедлива
Теорема 3.1 (взаимности). Относительное уменьшение среднеквадратичной погрешности оценивания к-й координаты при точном измерении г -й координаты равна относительному уменьшению среднеквадратичной погрешности оценивания г-й координаты при точном измерении k-й координаты:
(3.12)(3.12)^(j]k Лк) 1 8pki8^ik Е (щ щ)8ркк8ркк8^ц 8pii
(3.12)
(3.12)
Этот результат наиболее точно характеризует смысл взаимных ковариационных связей координат случайного вектора ту.
Оптимизация измерений
Пусть, как и ранее, ту — случайный вектор Кт, но на этот раз мы можем наблюдать не более к ^ т произвольных линейных комбинаций координат (или, иначе говоря, линейных функционалов) ту. Это означает, что в равенстве (3.3) rank С ^ к. Спрашивается, какие именно следует измерить линейные комбинации координат ту, чтобы максимально уточнить (весь) вектор у? Формально речь идет о следующей задаче на минимум1) [12, 13]:
inf{tr(^-^C*(CS^C*)"CS^) | Се(?гт -^ТгДгапкСЧЦ, (4.1) поскольку
S„ - ^СЦС^СТС^ = еГ2(/ - Т^^С* ДГ2С*)")ХГ2 =
= sV2(/-nfe)sV2, (4.2)
где Щ — ортогональный проектор на "АДЕ^С1*), причем в виде
щ = sy2c*(sy2c*)"
можно получить ортогональный проектор на любое з-мерное подпространство Т^Е^2), где з к, ибо rank С к. Если задачу (4.1) переписать в эквивалентной форме
sup{tr (ЩЕ^) | Щ, гапкЩ < к) =
= sup{E ||Щ/?||2|Щ, гапкЩ ^fc}, (4.3)
то легко увидеть, что для ее решения следует воспользоваться экстремальным свойством базиса Карунена-Лоэва, определенным неравенством (1.11). Согласно последнему точная верхняя грань в (4.3) достигается на любом операторе С, у которого 7ЦС*) = £(si,..., s^), где {s/}™ базис Карунена-Лоэва Пт, упорядоченный, в отличие от (1.9), по убыванию собственных значений оператора Е^. В частности можно предложить оператор С ортогонального проецирования на £(si,..., з^ действующий по формуле
к
Сх = ^^(ж, 8j\ X ЕПт,
3 = 1
и позволяющий измерить к линейных комбинаций
(з^Су) = (s^y), j = l,...,k,(4.4)
— первые к координат ту в базисе Карунена-Лоэва, в котором
^ = ^83^,83^ ^ 8MsjY
3 = 13=к+1
Для простоты в этом параграфе Е ту = О, rank Е^ = m.
Согласно этим результатам измерение вектора у следует производить так, чтобы в конечном счете была определена его составляющая в £(si,..., в).) — в линейном подпространстве Ttm, содержащем максимальную долю «энергии» Е ЦтуЦ среди всех к-мерных подпространств или, иначе говоря, содержащем «наиболее неопределенную» составляющую вектора у. Заметим, что в случае, когда (k-V- 1)-е,..., m-е собственные значения Е^ равны нулю, т.е. в последнем равенстве с вероятностью единица (y,Sj) = 0, j = к + 1,..., т, значения к линейных функционалов (4.4) определяют у полностью. Следовательно, в общем случае, для того чтобы фиксировать ту, достаточно измерить ровно к = rank ^^ должным образом выбранных линейных функционалов (например, приведенных в (4.4)). Значения этих функционалов контролируют всю «случайность» вектора ту. Остальные т — к функционалов (ту, Si),i = &+1,..., т. равны нулю с вероятностью единица.
Эти факты позволяют охарактеризовать меру «регулярности значений координат» ту или, иначе говоря, ответить на вопрос, насколько предсказуемы значения случайной функции ур,р = 1,...,т, на основании неполных наблюдений над ту. Поскольку для точного предсказания ту требуется измерить значения ровно k = rank Е^ линейных функционалов у, к определяет размерность «случайности» ту, и в этом смысле т — к является мерой регулярности1). Если к = 0, то ту известен точно априори (функция ур.р = 1,...,т, известна); при к = 1 достаточно измерить значение одного функционала от ту, чтобы ту стал известен точно.
Понять специфику рассмотренной задачи можно глубже на фоне другой задачи, в которой для уточнения ту могут быть измерены не более к из общего числа п фиксированных линейных функционалов (с^, ту), г = 1,..., п, и требуется определить, какие именно функционалы следует измерить для наибольшего уточнения ту. В этой задаче, выбрав функционалы с номерами zi,..., z^ , можно считать, что измерен вектор
^гД Дс^^Д
. (4.5)
Пусть для простоты вначале к = 1, т.е. может быть измерен лишь один функционал из п. Предположим, что измерен z-ый функционал щ = (сг,^) • По формуле (3.4), положив для простоты Ету = 0, найдем оценку 2)
^=^СЦС, S с ) (4"6)
и сопутствующую погрешность1)
tr Е^tr Е^= tr Е trcfSnCj11= tr Е trcfSnCj11(сффф(с<? S^Cj)(сффф(с<? S^Cj)(4-7)(4-7)
tr Е^
tr Е^
= tr Е trcfSnCj11
= tr Е trcfSnCj11
(сффф
(с<? S^Cj)
(сффф
(с<? S^Cj)
(4-7)
(4-7)
ром, равнымром, равнымкак это следует из формулы (3.5). Понятно, что для максимального уточнения Т] согласно (4.7) необходимо измерить функционал с номе
ром, равным
ром, равным
argmaxdl^Cilp/HS^Cill2).г'
(C2i }^t?C2i)•••(С217^?7СЦ^ik^^ii)(Cik^T]Cik(C2i }^t?C2i)•••(С217^?7СЦ^ik^^ii)(Cik^T]CikВ общем случае искомые к функционалов должны иметь номера, на которых достигается максимум по г^ ... Ак
(C2i }^t?C2i)•••(С217^?7СЦ
^ik^^ii)(Cik^T]Cik
(C2i }^t?C2i)•••(С217^?7СЦ
^ik^^ii)(Cik^T]Cik
tr I
\(cik^nCr) ••• (сгк^ЛСгкУ
В частности, при к = 2 для отыскания функционалов следует решить задачу
шахшах/ (ощ Е^сг^) к 1Ы12/ (ощ Е^сг^) к 1Ы12(^Щ E^Ctj ) (ct^, OLj ) \(^Щ E^Ctj ) (ct^, OLj ) \1Ы121Ы2У1Ы121Ы2У
шах
шах
/ (ощ Е^сг^) к 1Ы12
/ (ощ Е^сг^) к 1Ы12
(^Щ E^Ctj ) (ct^, OLj ) \
(^Щ E^Ctj ) (ct^, OLj ) \
1Ы121Ы2У
1Ы121Ы2У
где at = T^ctA = 1,..., n.
Задача оптимизации распределения ресурса времени измерений рассмотрена в работе [14].
§ 5. Уточнение случайного вектора по данным линейных измерений с ошибками
Общие результаты. Теорема взаимности. Линейная схема измерений случайного вектора ф, типичная для многих экспериментов, имеет вид равенства
£ = Л^ + щ(5.1)
в котором ф — случайный вектор 7tm, v — случайный вектор rtn, А Е А^т —> 7tn) — линейный оператор. В отличие от измерений, рассмотренных ранее в §3, в данном случае значение Аф измеряется с погрешностью v. и это обстоятельство существенно изменяет некоторые результаты, характерные для схемы £ = Аф.
Рассмотрим задачу уточнения ф по схеме (5.1) в предположении, что Е ф = О, Е v = 0, и заданы корреляционные операторы Е^, Е^ и
х) Сравните с равенством (3.9). Если а = (0 ... 01 0 ... 0)*, так что vt =
= тр, выражение (4.7) совпадает с (3.9).
Е^^. Пусть R^ — линейная оценка ф. Тогда оператор R. минимизирующий с.к. уклонение Е \\R£ — <^||2, дается равенством
R = ^^- = ^А* + ^lA^A* + A^v + ^А* + Е^)",
а оценке RT сопутствует с.к. погрешность (2.6) Е \\R£ — <^||2 = = tr (Е^ — (Т^А* + Т^р^ (ЛЕ^А* + ЛЕ^ + Е^Л* + Е^) (А^^А* + Е^)), для получения которой в (2.6) следует заменить
Е^ на Ti^ = А^^А* + А^фр + Е^Л* + Tip,
^Лр на У\(р^ — 52(рА Т У^р, Е^ на Е^.
Этот результат, естественно, совпадает с приведенным в равенствах (3.4), (3.5), если в (5.1) положить v = 0(modP).
Как правило, ф и v некоррелированы, Е^ = 0, и в этом важном случае имеет место следующий результат:
Теорема 5.1. Пусть в (5.1) случайные векторы фин некоррелированы, Е <^? = 0,Ет/ = 0. Тогда наилучшая в с.к. оценка ф
$ = Ж = ^АЧА^А* + ^„)Ч (= M*s;M + еДЩ^еДс);
С.к. погрешность
Е ЦЛ^ - Д2 = tr (Ev - ^АЧА^А* + ЕЩАЕД
ДЩА^ДА + Е-1)-1) (5.2)
(равенства в круглых скобках относятся к случаю, когда операторы Е^ и Tip, невырожденные).
В более общей задаче по измерению £ (5.1) требуется уточнить случайный вектор Пф, где U Е (Rm ~^U) — заданный линейный оператор. В этом случае, как нетрудно убедиться, вместо Теоремы 5.1 получим следующий результат
Теорема 5.1*. Пусть U Е (Rm -^ W) — линейный оператор, в (5.1) фин некоррелированы, Е ф = ф^, Е н = ^,8р,,8р — ковариационные операторы фин соответственно. Тогда наилучшая в с.к. оценка случайного вектора Пф
Пр = иф0^ П8^А*(А8^А* + 8рП£ - Аф^,
(= uVo + и(А*8фА + дфГ^Зфи - М), (5.3) сопутствуюгцая с.к. ошибка1)
Е\\й^-и^\\2 =trU(Sv-SvA4ASvA* + S4~ASV)U*
(=trU(A*S;1A + S-1)-1U*) (5.4)
и S^ = L7SVA*(TSVA* + 5„)"1А5Щ*, ^0 = E<^.
x) Равенства в скобках относятся к случаю невырожденных ковариационных операторов Sv и 8^ .
Выражение (5.3) для Иф = Яо^ + tq получено как решение задачи на минимум для среднеквадратичной погрешности оценивания
Е ||М + го - М||2 = min Е ||J?e + г - ЛД2.
R^r
в которой для общности не предполагается, что Е (^ = ф^ = 0. Поскольку
Е ||де + г - МП2 = Е ||(ЛА - и^ф - у0) + Rv + г+
+ (RA - Г)^0||2 = tr (RA - U)SV(RA - U)*+
+ tr RSVR* + ||r + (RA - L7)^o||2, искомый минимум достигается при
R = Ro = US^A*(AS^A* + Svy. r = r0 = -(RoA - U>0.
Заметим, что наилучшая в с.к. оценка Пф без учета измерения (5.1) согласно (3.1) есть Пфо и соответствующая с.к. погрешность Е || Uф — Ифо ||2 = tr US^U* превосходит Е || Uф — Иф ||2 (5.4) на tr ^S^A^AS^A* ^SVYAS^ >0.
Задачи оптимального в с.к. оценивания, возникающие в том случае, когда оператор А в (5.1) — случайный, рассмотрены в монографии [4].
Пусть по схеме (5.1) измеряется г-я координата ф, Аф = ф-t (см.(3.6)), Е ф = О,Ег/ = 0,5^ = 0 и требуется уточнить оценки координат1) ф, т.е. получить оценки ИкФ^ Uk = (0^Л0...0),А = к
= 1,... ,ш. Согласно формуле (5.3) уточненные оценки координат ф даются равенствами, аналогичными (3.10):
фк = (Н^к = YY 2 - к = 1,-,т,(5.3*)
+ CTi
где ^ = фг + Vi — результат измерения, а ст? = Е v^ — дисперсия погрешности измерения г-й координаты. Как видно из этой формулы, шум измерения щ уменьшает влияние корреляционных связей между координатами ф на результаты уточнения в Y^pR + ^Y^pR Р^з по сравнению с (3.8) и увеличивает среднеквадратичную погрешность оценивания на
^ргг ^pii О"I4" СУ )
поскольку в данном случае согласно равенству (5.2)
Е\Ж ~ Д2 = tr^ - (S2 )й/(^ + <т2)
х) априорные (до измерения (5.1)) оценки координат ф суть (Е ф)к = = Е фк = 0, к = 1, 2,..., т.
Что касается оценки погрешности оценивания к-и координаты ф, то в этом случае
тл /Z-J pkt Z-J pik
Еффк ~ фк) = ^ркк ~ ——2
Поэтому
^^фк фУ) Т ^ к 1 ^ркг^pik
^ркк Т ^^рт + ^ ^ркк + СТ к
Следовательно, имеет место
Теорема 5.2 (взаимности). Пусть фк — оценка к-й координаты Ф, основанная на измерении ^ = фг + щ i-й координаты ф, ф-i - оценка i-й координаты, основанная на измерении ^к = фк + vk к-й координаты ф. Тогда
Е (фк фУ Т Of^ Tipkt^ргк Е (ф^ ф^ + <7^
Е(фк -Е^) + ст^ У^фсУ; ^ркк^^к Е^фг-ЕфгУ ф а12/
Эта теорема аналогична Теореме 3.1 и обобщает последнюю на случай измерений с ошибками.
Заметим, наконец, что, если E,t — фг "V vt — результат измерения г-й координаты, то ее оценкой является
^ргг^г
при ЭТОМ
Е(& - ФгУ =^ minfT^o-2).
^ргг + ст.
Асимптотика оценивания при равномерно исчезающей априорной информации. В заключение этого параграфа обсудим роль априорной информации о случайном векторе ф при его уточнении. В данном случае априори известно, что Е ф = фо, Е (ф — фо)(ф — ФоУ = Sp и эта информация существенно ограничивает «неопределенность» ф в среднем квадратичном1). Будем считать, что до уточнения любая компонента ф не известна точно, что эквивалентно невырожденности Sp, и рассмотрим результаты уточнения Uф (5.3),(5.4) при ||S’?*|| -4 0. Такой предельный переход будем интерпретировать как «равномерно исчезающую» априорную информацию о ф, — равномерно (независимо) относительно структуры корреляционных связей ф^У Формально задача сводится к исследованию возможности предельного перехода в формулах (5.3), (5.4) и анализу предельных выражений.
х) Вектор фо и без измерения (5.1) оценивает ф с конечной среднеквадратичной погрешностью Е Ц99 — ^о ||2 = ta Sp.
Теорема 5.3. Пусть в равенствах (5.3), (5.4) Sv и S^ невыро
жденные операторы. Для того чтобы при П^^ 11| —> О
U^CSpA + 5"1)"1A*S"1 -> U^Sp^A^Sp/2,(5.6)
tr Д^ЗДЛ + ЗДЩС* ^гГОГЗДЛЩ*,(5.7)
и^/2АГ8^2^(5.8)
необходимо и достаточно, чтобы
Щ1-А~А) = 0(5.9)
Если условие (5.9) не выполнено, то tr U(A*S^А + S^1) ги* -4 сю при Н^ДН °-
Доказательство. Заметим прежде всего, что
(Г + ш!)"1 = Ш-Ц1 - Т-Т) + ТЦ! + шТ")"1,(5.10)
если Т самосопряженный неотрицательный оператор, Т* = Т ^ 0, и параметр и > 0 [5]. Чтобы убедиться в этом, достаточно, заметив, что Т ^ 0 и, следовательно, операторы (Т + шТД1, (I + соТ-)-1 существуют, умножить (5.10) слева на Т + col и справа на / + соТ. Получим эквивалентное равенство
I + юТ” = 1 - Т”Т + (Г + иоГДД
которое, на самом деле, является тождеством, относительно Т и ио, поскольку ТТ = ТТ для самосопряженного Т. Пусть ср Е Пт, х Е ^Е")л и
5уж = У^^е/ж,е,)(5.11)
— спектральное разложение положительного самосопряженного оператора 8^, 0 < б = 51 < ... < бт = б — его собственные значения, ci,..., ет — ортонормированные собственные векторы, образующие базис Пт. Из представления (5.11) следует, что1)
61 <SV <61(5.12)
и, как следствие,
^5-M+rV)-1 ^S-M + S"1)-1 ^^s-M + r1/)"1 (5.13)
х) Операторные неравенства (5.12) означают, что
5||ж||2 ^ (5„ж,ж) = У^5,(ж,е,)2 ^5||ж||2
для любого вектора х Е Ет а условие HS^11| -4 0 эквивалентно д ^ д -4 оо.
Обозначим A* SVTA = Т, тогда, согласно равенству (5.10),
trU^T+wI^U* =w-HrU(I-T"T)U*WUT-(I+wT")-U*, (5.14)
откуда следует, что lim tr U(T + up-1U*, существует и раш —>+0
вен tr UT U* тогда и только тогда, когда выполняется равенство U^1 — Т Т^ = 0, как нетрудно убедиться, эквивалентное равенству (5.9). Отсюда в силу соотношений (5.13) следует сходимость (5.7)х)
lim trL/^S-^ + S”1)-1^* = ^U^A*S;YAyU\ (5.15) II^^Ho
а условие (5.9) необходимо и достаточно, чтобы левая часть в (5.15) имела смысл и выполнялось равенство. Кроме того, если U(J—T~T) ^ 0, то
tr и у -т-туст > 0
и в силу (5.13), (5.14)
tr U(A*S;TA + S-^U* -э оо
ПРИ Н^Н °-
Для доказательства сходимости (5.6) заметим вначале, что для любого неотрицательно определенного оператора Q Е (Ttn —> 7tn)^ 0) и любых векторов х,у Е Кп 2)
<Qx, у)2 ^ (Qx, x)(Qy, у)(5.16)
Далее, согласно (5.13),
Q = (Т+УЧ^-^Т + Г1!)"1 дц+зуД-ц+гТ"1 =Q ^0.
Следовательно, с учетом (5.16),
О ^ (иОА*8~1/2х,уУ ^ (.QA*S^2x,A*S;1/2xKQU*y,U*y')
(QA*S;1/2x,A*S;1^x)(QU*yX*y) 0
при 0 < 5 1 ^ Д10. Здесь мы воспользовались тем, что при ш -д 0
(Т +Л)" 4*3"1/2 -д (З-ГД)-,
в согласии с условием (5.9) (U(I — ТТ) = 0!)
ЩТ^соГр1 -э UT"
Если А В 0, то tr Л tr В 0, [5].
Так как Q* = Q, Q1/2 = (Q1/2)*, то
(Qrr, Д = (Q1^,IIQ^WIIQ^
(неравенство Коши-Буняковского).
и поэтому
(^rsy/ н- О, UQ н- 0, если 0 < J-1 ^ Г1 0
Для доказательства сходимости в среднем квадратичном (5.8) заметим, что согласно (5.3)
= UVI- (Т + S-1)-M*5"1A]^o + U(T + S-1')"1A*S;4
Первое слагаемое в этом выражении при HS^U —> 0, в силу только что доказанной сходимости (5.6), при любом ф^ стремится к нулевому вектору, ибо
U\I - (Т + Sy Щ^ЗДЛ] -> U\I - ^^AyS^^A^ =
= UVI - А"А\ = 0. (5.17)
Напомним, что, по определению, случайный вектор £ стремится в среднем квадратичном к случайному вектору ц, если1) Е||£—цЦ2 —> 0. Поэтому, если принять во внимание сходимость (5.6) и тот факт, что Е ||£||2 < сю, то
е\\(и(т + s-TMX"1 - uvs^^Ars;1^
\\и(Т + S-1)-1A*S"1/2 - 77(5-1/2Л)-5"1||2Е ||е||20.
Отсюда и из (5.7) следует сходимость (5.8). □
Итак, чем «более неопределенным» до измерения (5.1) оказывается случайный вектор ф, тем «труднее» оценить Пф, используя результат измерения (5.1), если не выполнено условие (5.9), а если HS^U = 0, то без условия (5.9) оценить Пф невозможно. Дело в том, что если не выполнено (5.9), то найдется такой вектор2) ф, что Аф = 0, но Иф ф 0. О таких ф измерение (5.1) не несет информации и оценить Иф можно только на основе априорных данных о ф. Если же Ц5”1|| = = 0, то таких данных нет.
Линейное оценивание неслучайного вектора
В теории второго порядка схема измерения вектора параметров / имеет вид
^ = Af^v, Е zx = 0,(6.1)
аналогичный (5.1). Разница лишь в том, что, в отличие от ф, / — неслучайный вектор, но, если мы условимся считать / априори произвольным вектором Пт ^ результаты оценивания будут существенно
') Предел в среднем квадратичном обозначают также символом I.г.m.(limit in mean), ц = l.i.m.^.
отличаться от таковых для случайного вектора ср. Далее речь пойдет именно о задаче линейного оценивания без априорной информации о векторе /, но вначале следует разобраться в том, что может дать предельно точное измерение (6.1), когда v = 0.
Итак, рассмотрим уравнение
е = Af.(6.2)
Если £ G Пп и А G (Кт —> Пп) заданы произвольно, то уравнение (6.2) может оказаться неразрешимым. Так будет в том и только в том случае, когда £ ^ТЦА); это условие буквально означает, что равенство (6.2) невозможно ни при каком / Е Кт. Необходимое и достаточное условие разрешимости уравнения (6.2) или, иначе говоря, условие £ Е Н(А) можно записать в виде равенства [5, 15, 16]:
У-АА"^ = 0.(6.3)
Если это условие выполнено, то уравнение (6.2) разрешимо, но, вообще говоря, не единственным образом. Всякое его решение можно задать равенством
f = A-^(I-A-A)z(6.4)
при некотором г Е Нт , причем / (6.4) при любом г Е Нт удовлетворяет уравнению (6.2) и слагаемые в (6.4) ортогональны: (А-^ (I — A-A)z) = 0. Последнее свойство означает, что решение / = А( (при z = 0) имеет минимальную норму: {min ||/|| | А/ = = £} = ||А-£||. Если уравнение (6.2) неразрешимо, то и в этом случае векторы (6.4) играют особую роль. Дело в том, что
inf{||e-A/ц |/стгт} = Щ-А4-К11
и достигается на любом / (6.4). Любой вектор (6.4) в этом случае называется псевдорешением (неразрешимого) уравнения (6.2), вектор / = А£. имеющий минимальную норму, называется нормальным псевдорешением.
Итак, если I — АА ^ О1), то даже в случае измерения А/ без шума, мы не имеем возможности оценить погрешность решения. Действительно, если £ = А/о, где /о ~ истинный вектор параметров, то А/ = £ при любом / из (6.4), и, в частности, при любом / = /о + + (I—A-A)z, z ЕНт . Поэтому погрешность ||/ —/о|| = ||Д—A-A)z\\ моэюет быть сколь угодно велика, так как z — произвольный вектор Пт. В такой ситуации решение уравнения А/ = £ не может служить оценкой /о до тех пор, пока не будет указан принцип выбора z Е Пт; в противном случае
sup{||/-/oil I / е тгт, Л/= А/о} = ОО.
В нашем распоряжении такого принципа нет, поскольку / — априори произвольный вектор Кт.
х) Это условие эквивалентно наличию нетривиального решения уравнения А/ = 0.
С другой стороны, если выполнено 'условие (6.3) и А А = I, то у равнение (6.2) имеет единственное решение
f =
В этом и только в этом случае А^ является оценкой fo, причем с нулевой погрешностью.
Более полный анализ схемы измерения (6.2) связан с задачей линейного оценивания вектора U f, где U — линейный оператор. Если выполнено условие (6.3) и
U(I-A-A) =0,(6.5)
то согласно (6.4) Uf = U A-f, = UAAfo = Ufo, где последнее равенство получено с учетом (6.5). В этом случае UA^ является безошибочной оценкой Ufo, если £ = Л/о; в то время как оценить fo, зная %, невозможно, если I — АА ^ 0. Наоборот, пусть £ = = Afo и для любого вектора fo вектор Ufo единственным образом определяется по ^. В таком случае равенство U[A~^+(1 — А~ A)z] = = U fo должно выполняться при любом fo Е Кт, а- это означает, что U = UА-А. Итак, вектор Uf единственным образом восстанавливается по измерению (6.2), если и только если оператор U удовлетворяет условию (6.5). Множество операторов U, таких, что вектор Uf однозначно восстанавливается по £ (6.2), имеет вид
Т)А = V^ W - А" А) = 0}.(6.6)
Это множество состоит из операторов, обращающих вектор f в нулевой всякий раз, когда Af = 0, или, иначе говоря '). Т>а = = ^U, JV(U) Э-Л/ХЛ)}. Именно поэтому Uf однозначно восстанавливается по £, в то время как f можно восстановить лишь с точностью до слагаемого из JV(А).
Вернемся к схеме измерения (6.1) и рассмотрим линейную оценку Rf вектора Uf. Поскольку
R^ — U f = (RA-U)f^Rv,
то в силу произвольности вектора f среднеквадратичная погрешность
Е ||J?e - Г/||2 = \\(RA - Д/||2 + Е ||Лр||2 = \\(RA - Д/||2 + tr RM* может быть оценена лишь при условии
RA = U-(6.7)
в противном случае supE{||^£ — L7/||2 | f ERm} = сю. Если условие (6.7) выполнено, то погрешность
Е||Д^-С7/||2 =1гД^Д*(6.8)
не зависит от f и можно говорить о линейной оценке Rf вектора U f. Наоборот, если при любом R равенство (6.7) невозможно, то вектор
х) Чтобы уяснить это, следует вспомнить, что (/ — А-А)— ортогональный проектор на JV (А) [5,15,16].
U f не может быть оценен по £. Следовательно, задача определения наилучшей в среднем квадратичном линейной оценки U f обретает ВИД ।
inf{tr R^VR* \R, RA = U} = tr R^R^ (6.9) В ней требуется определить оператор оценивания R = Ro так, чтобы при условии (6.7) погрешность (6.8) была минимальна.
Теорем а 6.1. Пусть оператор АА*^-^^ > 0 невырожден. Тогда задача (6.9) разрешима, если и только если выполнено условие (6.5). Ее решение имеет вид
R = Ro = UlQ^A^Qy1^ = U(A*QpA)"A*Qp, (6.10) где Qx = ХАА* + 5Д, А — произвольное положительное число (Ro на самом деле не зависит от А > 0). Погрешность оценки дается равенством
h(U) = tr UlA^Q-^-A^Q-^xQ^AlA^
= tr CP^U)- - XIX- (6.11)
Доказательство. При условии RA = U задача минимизации tr Д£^Д* эквивалентна минимизации tr Д(Е^ + XAA*)R* при любом фиксированном А, ибо RAA*R* = UU*. При условии (6.5) уравнение U = RA = RQ^QX А разрешимо и любое его решение можно записать в виде
RQT = u(q;1/2Ar + zu - q;1/2a(q;1/2ah, (6.12) где Z — произвольный оператор [5]. При этом
RQXR* = U(A*Q^ArU* +
+ ZO - Qy^A^Qy^A^Z* ^ U^Qy^-U*, ибо при любом Z оператор Z(I — Qy1^ A^Qy1^ A^~^Z* ^0 (неотрицательно определен). Так как неравенства для операторов М ^ N ^ 0 влекут неравенства tr М ^ tr JV ^ 0, теперь понятно , что tr RQxR* достигает минимума на решении (6.12) при Z = 0, т.е. при условии (6.10). Равенство (6.11) проверяется непосредственно. □
Покажем, что Ro (6.10) и h (6.11) не зависят от А > 0 (А выбрано положительным, чтобы оператор ХАА* + Е имел обратный). Обозначим Dx = A*QXTA. Поскольку в силу условия (6.6) UDxDx = U, то
До = U(D-xyA*Qp + UD-xA*(Qpy =
= UD-XD ХЦГ ху A* Qyx + иВ"хА*^Л^ где штрих отмечает производную по А, и нам понадобятся формулы для Dx(D~xy и (Qy1)'. Так как QxQp = I, то
QVQy1 + Qx№t = 0 И (Qy1)' = -QyxQ'xQyx = QyxAA*Qyx;
D\D \ — оператор ортогонального проецирования на R(A* Q^1 А) = = R(A*), от А не зависит, поэтому
Dx(D"xy = -D'XD"X = -A^Q^YAD-x =
= A*QpAA*QpAD"x = Dx(DxD~x) = Dx. Следовательно,
До = UD-xDxA*Qp - UD~xA*QpAA*Qp = О
и аналогично
ti = tr \U(D"xyu* - UU^ = tr \UD"XDXU* - UU^ = 0. □
Замечание 6.1. Если оператор Е^ невырожден, то в теореме 6.1 можно положить А = 0, Qa|a_0 = Е^. В теореме 5.2 показано, что в этом случае формулы (6.10) и (6.11) могут быть получены из соответствующих формул задачи уточнения случайного вектора предельным переходом при «равномерно исчезающей» априорной информации об уточняемом случайном векторе.
Замечание 6.2. Условие (6.7) можно записать в виде равенства
ER^UJ, feRm.(6.13)
В статистике равенство (6.13) называется условием несмещенности оценки R^. В данном случае смысл его только в том, что оно является необходимым и достаточным условием неравенства
sup{E ||де - Д/||2 |/€Дт}<оо.
Замечание 6.3. В теореме 6.1 доказан более сильный результат, чем сформулирован. Именно, при условиях теоремы для любого оператора R. удовлетворяющего условию RA = U,
R^pR* ^ Rq^Rq,(6.14)
где Ro — оператор (6.10). Действительно, согласно (6.12) RQXR* RoQxRq, и в то же время RAA*R* = R0AA*Rq = UU*. Отсюда следует неравенство (6.14).
Смысл этого замечания в том, что шум Rov оценки R^ вдоль любого направления, заданного единичным вектором1) е, имеет наименьшую интенсивность Е (R0v,e)2 по сравнению с шумом любой другой оценки R^, если RA = U. Это происходит потому, что неравенство
Е [(Я0ще)2 - (Яще)2] = (е, [^о^^^ - R^pR^e) ^ 0, выполненное для любого вектора е, эквивалентно неравенству (6.14). Рассмотренная задача оценивания является существенной идеализацией реального положения вещей, поскольку, с одной стороны вектор параметров / (как модель входного сигнала измерительной системы ), как правило, не может быть априори совершенно произвольным,
х) Если U 6 (Rm U), то вектор е выбирается из U.
а с другой стороны оператор А, (как модель измерительной системы) непременно известен лишь приближенно. Тем не менее такие задачи на практике все-таки встречаются, и, более того, в ряде случаев в постановке задачи приходится учитывать еще одну неопределенность модели. Этот случай рассмотрен в следующем параграфе.
Оптимальное линейное оценивание при неизвестном корреляционном операторе ошибки измерения
Речь идет о задаче оценивания вектора U f по измерению (6.1), в котором Е// = 0, но оператор Е^ неизвестен. Вместо этого формулируется ограничение на среднюю «энергию шума»: Е 11zy112 = tr Е^ ^ J2. В такой задаче оценивания оператор R естественно определить из условия
d(R) = sup{E |Щ^ - L7/H2 | feRm, veRm, Е||р||2 ^ J2} -min.
(7.1) Здесь точная верхняя грань вычисляется на множестве всех / Е Rm и распределений v, удовлетворяющих условию Е |Н|2 ^ J2. Так как
Е ||Л£ - Г/||2 = ||Щ4 - Д/||2 + tr R^R\
то левая часть в (7.1) равна
sup ||(ЯЛ-[/)/||2+ sup ПЯЕЖ-(7.2)
/етгтtr s^2
Зафиксируем R и определим второе слагаемое в (7.2), заметив, что любой оператор Е^ ^0 можно представить как С С*, никак не
ограничивая априори выбор оператора С. Относительно С получаем следующую выпуклую задачу на минимум (при фиксированном R)
min{-tr RCC*R* | tr CC* J2},(7.3)
решение которой определяется условиями1)
R*RC = coC, Ц1гСС* - 52) = 0, со > 0, trCC*<J2. (7.4)
На решении (7.4) tr RCС*R* = wtrCC* = со5\ где со — наибольшее собственное значение R*R. Если ri,...,r^ ортонормированные собственные векторы R*R, отвечающие со то решение задачи (7.3) к
дается равенством С = ^ ^г^г^* При этом
г=1
к
C*C = ^aVi (7-5)
х) В (7.4) записаны условия минимума лагранжиана —tiRCCTR* +
-V coti СС* и условия, определяющие множитель Лагранжа со ^0, [5].
где согласно (7.4)
Е^2^2(7-6)
г=1
— единственное условие, ограничивающее выбор сг^..., а^ , и случайный вектор и. отвечающий ковариационному оператору Е^ = С* С, как показано в § 1, имеет вид
к
^ = У ^гП, Ez/j = O, Е1/,2=<7,2, Ег/^=0, i,j = 1,..., к г=1
(7-7) При этом, что касается средней энергии шума оценки, то
к
ен/м^енЕ^М2 =
г=1
= Е ( Е ViR*Rri, Е узгз ) = Е Е ^У = ш Е = j=l 'г=1г=1
Таким образом наглядный смысл условий (7.4) минимума (7.3) таков: вся энергия шума v должна быть сосредоточена в подпространстве, натянутом на собственные векторы R*R, отвечающие максимальному собственному значению, поскольку при этом под действием преобразования v —> Rv (при построении оценки R^) происходит максимальное увеличение энергии шума v — от значения J2 = Е |Н|2 до ljJ2 = Е||7М2.
Возвращаясь к исходной задаче (7.1), учитывая выражение (7.2), согласно которому должно быть выполнено условие RA = U мы должны минимизировать
Уш = 52 max p^R* R\j
где pj(R*R) — j-e собственное значение оператора R* R. по всем R. удовлетворяющим условию1) RA = U. Считая, что уравнение RA = U разрешимо относительно R (т.е выполнено условие U(I — АА) = 0), запишем его общее решение
R = UA- + Z(I - АА-).
Здесь Z - произвольный оператор. Так как
max pj (R* R) = max pj (RR*)jj
и при любом Z
RR* = U(A*A)"U* + Z(I - AA-)Z* ^ U(A*A)~U*.
x) Условие RA = U необходимо и достаточно, чтобы в (7.2) smP\\(RA-UW <оо.
то
maxpj(RR*) maxpj(U(A*A)-U*),
причем при Z = О достигается равенство.
Итак, имеет место
Теорема 7.1 (см. [17]). Линейная оценка Rq^ вектора Uf, минимизирующая левую часть выражения (7.1), существует, если и только если U(I — АА^ = 0, единственна и равна
R0£ = UA-^.
Сопутствующая с.к. погрешность не превосходит
d(R0) = 52 maxр,(1Т(A*A)-U*) = 52|Д(Л*Л)-77*||. j
В ряде случаев обстоятельства позволяют сформулировать более точное ограничение на «энергию шума» v. при котором |ф||2 ^ J2 с вероятностью единица. Соответственно будут отличаться от (7.1) и условия, определяющие оператор R:
ад = sup{E||^-t//||21 /етгт, р^ад цц2 с^2. Ez/ = o} -min
Здесь точная верхняя грань с.к. погрешности d(R) вычисляется на множестве всех / и распределений v, при которых Е v = 0 и |ф||2 ^ д2 с вероятностью единица. Поскольку ограничение |ф||2 ^ д2 влечет Е11И12 ^^2, то для любого оператора R d(R) ^ d(R).
Рассмотрим распределение v. сосредоточенное в подпространстве Rm, натянутом на ортонормированные собственные векторы щ,...,т^ оператора R*R, отвечающие максимальному собственному значению ио. В таком случае v будет иметь вид тот же, что и в равенстве (7.7), но случайные величины щ,..., v^ должны удовлетворять условиям)
Е^ = 0, г =(7.9)
отличным от условий (7.9). Последнее равенство в (7.9) означает, что в А:-мерном координатном пространстве распределение должно к
быть сосредоточено на сфере ^ v^ = J2. Пусть координата щ при- г=1
к нимает значения ±ф с вероятностью pi/^, г = 1,... ,к,^2 5^ =
г=1
= S2, 52 Pi = 1 • Тогда Е vt = 0, г = 1,...,&, и
Е Н^Н2 = Е 52 1,2 = Т^Рг5! = ^^- 52(Х “ Р^ ^^^г =^. г=1 i=li=l i=li=l
причем равенство здесь будет выполняться лишь при условии
(1-рД2=0, г = 1,...,к.(7.10)
Выберем распределение так, чтобы для некоторого г, 1 ^ % ^ k, pt = = 1 (Pj = 0, j / i, j = 1,..., к) и 6» = 5 (dj = 0, j i, j = l,...,k). Для него выполнены условия (7.9), (7.10), Е ||z/||2 = <52 и, следовательно, d(R) = d(R). Таким образом, найдено распределение, на котором достигается sup как в (7.8), так и в (7.1), поэтому теорема 7.1 дает решение не только задачи (7.1), но также и задачи (7.8).
§8. О «гладкости» случайного вектора
Свойство регулярности случайного вектора ту = (тух,...,ртУ , как оно истолковано в §4, никак не связано с такими характеристиками, как гладкость, плавность и т.п. случайной функции г]р, р Е {1,2,...,т}. Разумеется, эти качества, понятные на интуитивном уровне, следует разъяснить в более точных терминах. С этой целью рассмотрим случайный вектор
/?1 \/ ^?2 - т?1/?1 \/ ^?2 - т?1dm/ \dm dm — 1dm/ \dm dm — 1
/?1 \/ ^?2 - т?1
/?1 \/ ^?2 - т?1
dm/ \dm dm — 1
dm/ \dm dm — 1
Обозначение ту' должно вызывать ассоциации с производной, поскольку оператор Dm — разностный аналог дифференцирования, действующий из 77т в Rm_i. Величину si = [Е ||Dm7?||2] = [tr 1),„Д,,7)*Д1 можно назвать гладкостью первого порядка случайного вектора ц (случайной функции ту^ = 1,..., ттг), поскольку при фиксированном значении средней энергии Е ||ту||2 с увеличением si гладкость, плавность, локальная «горизонтальность», если угодно, графика ту^г = = 1,..., m, в среднем квадратичном возрастают. Гладкость второго порядка можно задать значением
з2 = [Е (||Dmr/||2 + ||Dm_1DmT?||2)]-1 =
Соответственно гладкость р-го порядка определим величиной
Sp —Sp —= [tr D(p)S4] \= [tr D(p)S4] \
Sp —
Sp —
= [tr D(p)S4] \
= [tr D(p)S4] \
где
р
D(p) =^Dm--- D*m_j+1Dm_j+1 ...Dm, p = 1,..., m - 1.
Порядок гладкости естественно связан с природой процессов, которые характеризуют случайный вектор ц. Например, если ц — дискретное представление решения дифференциального уравнения, порядок гладкости р естественно считать не меньшим порядка дифференциального уравнения.
Рассмотрим устройство самых «гладких случайных векторов» заданной «энергии». Если речь идет о гладкости р-го порядка, то ответ дается решением следующей задачи на минимум1): s”1 ~ min при условии Е ЦцЦ2 = е > 0. Эквивалентную задачу можно сформулировать относительно корреляционного оператора Е^ :
min{tr D^E^E^ 0, trE^ = е > 0}.(8.1)
Любой корреляционный оператор Е^ можно представить в виде произведения операторов ZZ*, в свою очередь оператор Z можно отыскать как решение задачи на безусловный минимум для лагранжиана
E = trD(p)ZZ* - AtrZZ*.
Необходимое условие минимума L имеет вид задачи на собственные значения:
= AZ.(8.
Поскольку согласно (8.2) D(p)ZZ* = ZZ*D(p^ самосопряженные операторы D(p) и ZZ* имеют общий набор ортонормированных собственных векторов {щ}. Пусть
D(p)et = Stet, ZZ^e^ = С^вг, % =(8.3)
Согласно уравнению (8.2)
D^ZZ* = AZZ*,
поэтому, воспользовавшись равенствами (8.3), найдем (ф — А)^ = = 0, г = 1,... ,т. Нетривиальное решение этой системы уравнений относительно ^Л = 1,...,яг, возможно лишь при условии А = ф, причем ^ = 0, если у ^ {J : бу = ф}, а остальные (у — неотрицательные числа, подчиненные условию
Е Ck=UZZ*=e.
k:dk=di
х) Как обычно, мы считаем Ец = 0. В общем случае Е ||Кц||2 = = tr RS,Д' + ЦЯЕтуЦ2.
Поскольку при этом tr D(p)ZZ* = 6^ ^ Ck = 5ie, А следу- к;5к=5^
ет выбрать равным 5 = min 5i = 5i0. В таком случае получаем min{5р|Е||ц|| = s} = е5. Если 5io — единственное собственное значение, то, поскольку базис {е^} является базисом Карунена-Лоэва, имеем Т] = скщ0, ^0 = Ел2 = s, Е а = 0.
Итак, если минимальное собственное значение 5i0 оператора D(p) единственно, то наиболее «гладкий» случайный вектор ту с точностью до случайного множителя а совпадает с собственным вектором щ0 оператора D(p), отвечающим наименьшему собственному значению 5 = 5i0. Так как при этом rank Е^ = 1, то искомый случайный вектор оказывается почти максимально регулярным: для его точного определения достаточно измерить один линейный функционал (ту, щ0). Если минимальное собственное значение оператора D(p) не единственно, то
k:5k =д
где коэффициенты разложения а^к Е {i,6i = J}, — попарно некоррелированные случайные величины, такие, что
У^ Еа^=г, Ec^ = 0, Е а^а^ = 0, г ^ j. i,jE{k:6k=6}. к:6к=6
Регулярность ту тем меньше, чем выше степень вырождения минимального собственного значения оператора D(p).
В нашем случае дело обстоит исключительно просто, поскольку при любом р = 1,..., т — 1 5 = min ф = 0, причем нулевое собственное значение единственно (все остальные положительны) и соответствующий собственный вектор есть1) (1/л/т,... Д/л/т)* . Поэтому реализации «самой гладкой» случайной функции ту^ = а/Дт, г = = 1,..., m, (Е а2 = s, Е а = 0) — «прямые, параллельные оси г».
Зафиксируем теперь порядок гладкости р и рассмотрим внимательнее задачу на собственные значения (8.3). Пусть
0 = ^ < 62 < . . . < 6т
— упорядоченные по возрастанию собственные значения оператора D(p) и ci,..., ет — соответствующие собственные векторы (образующие базис Ят\ Согласно второй группе равенств (8.3)
^Е^'Ч ^ = (^Щ j =(8.4)
— разложение Карунена-Лоэва случайного вектора ту, корреляционный оператор которого
^ = ZZ* =(8.5)
Покажем, что равенство (8.4) можно интерпретировать как разложение ту по векторам ei,..., ет «невозрастающей гладкости». Для этого заметим, что задача (8.1) определения «самого гладкого» вектора эквивалентна задаче на минимум
V = trP(p)S^ = ^^^D^e^eP
3 = 1
на множестве всех наборов { Д ^ 0}^, ограниченных условием
tr = ^ Cj =
3 = 1
и всех ортонормированных базисов {еД™ G Rm- Как было показано, решением задачи является «самый гладкий» случайный вектор тухвх, Етух = 0,Ету2 = в, у которого гладкость порядка р 8Р = s^ = сю. Следующим за «самым гладким» в порядке уменьшения гладкости будет случайный вектор, на котором минимально
j=2
при условии, что минимум ищется на всех наборах { Д ^ ОД, удовлетворяющих условию
£ G
3=2
и всех ортонормированных системах {еД™ С/ДД), т.е. системах, ортогональных «самому гладкому» вектору, (ёДех) = 0, j = 2,..., т. Этим следующим, очевидно, будет случайный вектор ту2в2, Ету2 = 0, Е/Д = £, У которого 8р = 8^ = (^Д™1 > ЗН НИМ — Ц3е3, Етуз = = 0, Етуз = в, у которого 8Р = s^ = (ДсД1 и т.д. Найденные случайные векторы упорядочены по убыванию гладкости порядка р: Д1)>
Например, если р = 1,ш = 3, то щех = Tyi(l/V3, 1/V3,1/д/З)* — «самый гладкий» вектор, для него D(l)ei = Дех = 0, s^ = сю, следующий за ним «менее гладкий» ту2в2 = ту2(1/л/2, 0, ~ 1/V2)* , для него D(l)e2 = в2, з^ =. Наконец, «самый негладкий» в смыс
ле гладкости первого порядка вектор тузвз = туз(1/Дб, — 2/Дб, 1/д/б)* , для него 1?(1)ез = Зез,а^ = (Зе)-1.
Замечание 8.1. В «непрерывном» случае, как было отмечено, аналогом Dm является оператор дифференцирования d/dx. определенный на классе абсолютно непрерывных функций /(•), заданных на конечном интервале, например, [0, я], и имеющих на этом интервале интегрируемую с квадратом производную. Сопряженным с d/dx относительно скалярного произведения (/, ^) = J f(x)g(x)dx является о
оператор —d/dx, определенный на классе абсолютно непрерывных на [О,тг] функций д^ , равных нулю на границе, ^(п) = д(Ь) = 0, и имеющих интегрируемую с квадратом производную. Поэтому аналогом D^Dm является оператор —d^/dx2 на классе функций, имеющих абсолютно непрерывную первую производную, обращающуюся в нуль на границе, и интегрируемую с квадратом вторую, а аналог задачи (8.3) формулируется как дифференциальная задача на собственные значения на этом классе:
^ + УЫ = о, о < ^ <=о.
™Ж = 0 7Г
Ее решение
/о(ж) == ^ cos jx, же[о,тг], 6з=Р, j = l,2,...,
вполне согласуется с «дискретным» решением при р = 1, приведенным в примере.
Представление результата измерения или сигнала, полученного в результате редукции измерения, в виде разложения по «векторам невозрастающей гладкости» естественно, когда порядок гладкости р определяется физическими процессами, контролирующими измерение, а природа задачи интерпретации измерения такова, что более (менее) гладкие составляющие сигнала предпочтительнее для анализа существа изучаемого явления. Это замечание, в частности, фактически содержит критерий оптимальности уточнения ц, согласно которому при заданном числе к ^т линейных функционалов ц, которые можно измерить, предпочтение должно быть отдано к координатам (77, ci),..., (ц, е^) вектора ц в ортонормированном базисе ei,..., ет , упорядоченном согласно «невозрастанию гладкости». В этом случае оптимальность предполагает не максимальное уточнение ц, а максимальное уточнение составляющих ц, представляющих наибольший интерес для исследователя. В этом случае корреляционный оператор ц (8.5) считается заданным с точностью до значений (^, j = 1,..., т (известны собственные векторы Е^, но неизвестны собственные значения). Если кроме того известно, что <д ^ ... ^ £т, хотя сами значения ^,7 = 1,..., ш, не заданы, измерение (77, ej),j = 1,..., к, даст и максимальное уточнение ц (хотя и неизвестно, какое именно).
Факты, дополняющие материалы этой главы, см. в [105].
Глава 2
Эффективная линейная размерность данных измерений
В этой главе методами, близкими к рассмотренным в главе 1, изучается понятие эффективной (фактической) размерности множества измерений {• • • } (экспериментальных данных) как элементов евклидова пространства 7?,, {•••} С 7J. Эффективная размерность {• • • } определяется как функция £(•): [0, сю) —> {1,2,...}, значение ((e) которой равно минимальной размерности линейного подпространства kt^ С 7t ортогональных составляющих измерений, которые, грубо говоря, в среднем приближают измерения с погрешностью, не превосходящей е ^ 0 [18, 19].
С одной стороны, эффективная размерность множества измерений позволяет для каждого значения приемлемой погрешности е ^ 0 представления данных оценить максимально возможную степень k(s) = = dim7^/^(s) (линейного) их сжатия при гарантированной точности восстановления всей исходной информации. Эффективное подпространство 7?,^^ измерений, dim TZ^ = ((e), содержащее сжатое их представление, позволяет исследователю охарактеризовать структуру данных, типичную (с точностью до £ ^ 0) для всех результатов {• • • } эксперимента.
С другой стороны, значения k(s), е ^ 0, характеризуют то, что можно назвать эффективностью измерений, а именно, чем больше к(е), тем меньше информации несет каждое отдельное измерение, тем (относительно) менее информативен его результат.
§ 1. Эффективная размерность множества точных данных
Пусть ^j, г = 1,...,т, j = 1,...,п, — множество измерений, которое далее интерпретируется следующим образом. Имеется т датчиков значений физической величины, например, температуры. Выходной сигнал г -го датчика fi(t), г = 1,... ,т, изменяется с течением времени t Е Т.Н моменты времени t = tj Е Т, j = 1,...,п, регистрируются значения сигналов (ij = fi(tj), г = 1,..., т. j = 1,..., п. Множество {^'} удобно интерпретировать в зависимости от задачи
либо как эволюционирующую во времени «кривую» ^, регистрируемую в г = 1,..., т точках в моменты времени tj, j = 1,..., 77, либо как г = 1)...)т функций времени, определяющих выходные сигналы т датчиков, значения которых регистрируются (одновременно) в моменты времени j = 1,...,77. В первом случае будем считать, что результатом измерения являются п т-мерных векторов
/\.
6j = I I Е 3 = 1,... , 77,(1-1)
\/
во втором — т 71-мерных векторов
/ 61 \
6=1 ••• j Е тгп, г = 1,... ,777.(1.2)
\ 6п /
Пусть а^1,..., а^ — ортонормированный базис Т^т и
d-3)
г=1
где ^<)т обозначает скалярное произведение в Пт. Выберем к ^т векторов а^,..., а^ и рассмотрим ошибку приближения векторов 6j, j = l,...,7i, линейными комбинациями ^-з^ а^} °чт\ 3 = г=1
1 ^ к < т. к = 777,1 ^ к < т. к = 777,то под (полной) ошибкой приближения будем пониматьто под (полной) ошибкой приближения будем понимать= 1,..., 77, первых к базисных векторов. Так как для j = 1,..., 77
1 ^ к < т. к = 777,
1 ^ к < т. к = 777,
то под (полной) ошибкой приближения будем понимать
то под (полной) ошибкой приближения будем понимать
(1.4)
пт0
3 = 1г=к-\-1
г=к-\-1
(1-5)
т.е. сумму квадратов расстояний векторов 61, • • •, 6п до линейной оболочки £^т\ ..., а^^. Здесь
— матрица т х т. ее матричные элементы
,/61 ••• 6п\
j=l\61 • • • ^тп/
Пусть {а^} — ортонормированный базис Ptmi в ^ 0.
Определение 1.1. Эффективной размерностью мноснсества измерений (.j, j = 1,... ,п; назовем функцию
/ = ((e) = inf min ^k | 0 k < m. 5^ ({a^}) C
определенную для e E [0, сю) и принимающую целочисленные значения.
Для вычисления эффективной размерности рассмотрим следующие задачи, представляющие и самостоятельный интерес.
Задача!.1. Найти ортонормированный базис {г (m)} CRm такой, что для любого ортонормированного базиса ^a^m^cRm и любого к =
При любом к = 1,...,т базис {г^} обеспечит наименьшую в среднем квадратичном по всем «кривым» полную ошибку приближения «кривых» (.j к слагаемыми ^((.j, щт )тщт\ j = 1,...,п, по г=1
сравнению с любым другим ортонормированным базисом {n^m^}c7^m .
Задача 1.1*. Найти ортонормированный базис {г^} С 7^п, такой, что для любого ортонормированного базиса {n^n^} CRn и любого / = 1,.
где
J=1
Здесь Е(п) = £4 = 52 (•••]( &1 • • • £т ) — матрица п х п, ее i=1 \ U /
матричные элементы ^(n^jj' = 52 Cij&j’’ j, j' = 1, • • • in-
Определение 1.1*. Эффективной размерностью мноснсества измерений (t^ г = l,...,m, назовем функцию ((e) = = min ^k | 0 < k < п, S^ ({г^}) < £|, 0 < £ < сю.
Решения задач 1.1 и 1.1* даны в следующей теореме.
Теорема 1.1. Пусть ву,...,ет — ортонор мир о ванный базис Пт, состоягций из собственных векторов ^т^ E^et = А^, г = = 1,..., т, упорядоченный так, что Ai > А2 > ... > Хр > 0 = Ap+i = = • • • = Хт.
Векторы fj = Ay1//2£*ej, j = 1,... .р, являются ортонормиро- ванными собственными векторами Е^пр ^(n)fj = Xjfj, j = 1,... .р. Векторы fi,..., fn, где fp-^i,..., fn — любая ортонормированная система из Cv (/1,..., fp^, образуют ортонормированный базис Пп, причем
^^fj — ^jfr 3 = 1? • • • i^i Ai ^ ... ^ Хр > 0 = Ap+i = • • • = Хп.
Ортонормированные базисы, которые требуется найти в задачах 1.1 и 1.1*, суть
= ер г = 1,...,т, Tj = jj, j = l,...,n;
3)
С «'“’)) =С «'“’)) =ррО < к < р. р ^ к ^ т;
С «'“’)) =
С «'“’)) =
р
р
О < I < р, р ^ I ^ п.
Эффективные размерности множеств измерений {Cj} ^ {6 } совпадают, причем
= min{fc, ^({г^}) е} =
= min^, ^({r^}),ее[0,оо).
Доказательство. 1) Это утверждение есть вариант леммы р
о сингулярном разложении ^ = ^ Х^ ' ejf*, приведенной, например, в [5].
Пусть {п^} — любой ортонормированный базис Нт, Рр ортогонально проецирует в ktm на линейную оболочку Ср = = £(«!,...,«<,),^^(^Ffe] — сужение оператора РкЕ^Рк на
Ср, к ^ т. Тогда
^({«J) =
рк
= tr ^(m) — trРр^ — Xj ^^т^ —
г=1г=1
Здесь Ai (S) ^ А2 (S) ^ ... — собственные значения оператора S и согласно теореме Пуанкаре для любого к = 1, 2,..., ш:
Хг ( [-^А;^(т)-^А;] ) ^г (^(m)) = Х^ = 1, 2,. . . , &.
Утверждение 4 следует из 3. □
Значение ((e) эффективной размерности есть минимальная размерность к линейной оболочки £(г^,..., т^) (£(т^,..., т^)) сумма квадратов расстояний до которой векторов £.i,...,£.n (^1-, • • •, ^m-) не превосходит е .
Замечание 1.1. Проблема эффективной размерности множества данных имеет существенно более широкое толкование. Хорошо известен, например, стохастический вариант построений, выполненных в этом параграфе. Пусть (Q,^, Р) — вероятностное простран-
.J G — случайный вектор (ср. с
2.1)). Тогда вместо полной ошибки (2.5) следует использовать среднеквадратичную ошибку
= Ё2=^ + 1= Ё2=^ + 12=^ + 1т2=^ + 1т(1-6)(1-6)
= Ё
2=^ + 1
= Ё
2=^ + 1
2=^ + 1т
2=^ + 1т
(1-6)
(1-6)
где Х^_ — корреляционная матрица т х т случайного вектора £., а минимальное значение с.к. ошибки (1.6) достигается на ортонормиро- ванном базисе Карунена-Лоэва, состоящем из собственных векторов Х^_ : Х^_et = Ащ^ i = "(...A Ai > А2 > • • • > Хт см. теорему 1.1 и §1 гл. 1).
Пусть ( = ((х,и£р х G X, и 6 Q, — гильбертова случайная функция, т.е. [5]
У (2(х,ш) dp,(x) dP(u) < сю.
X xQ
Тогда почти наверное £(-,w) Е £^(Х) и ц-почти для каждого х Е X, ((х, •) Е £|>(Q). Какова эффективная размерность множества реализаций {^(-,си), ш Е Qz} с£^(Х), P(Q\QQ = 0, или — множества случайных величин {^(ж, •), х Е X'} С £|>(Q), ц(Х\Х') = 0? Ответ на первый вопрос получим, определив ортонормированный базис {еф-)} ^^^(^) ? состоящий из собственных функций корреляционного
Гл. 2. Эффективная линейная размерность данных измерений оператора1) К^ : £^(Х) —> £^(Х) случайной функции £,
К^(-) = х^е^-\ г = 1, 2,...; ^ ^ ^ ^ • • •
Поскольку для любого другого ортонормированного базиса {щ(-)}, как известно, (см., например, [5]) 5^=5^ ({щ(-)})=
= J (^(х^)-^ ^(w)ei(x))2 dP(w)dp,(x) ^д(к)({е4(-))), к = 1,2,-, QxX2=1
где (t(w) = / £(ж, си)щ(ж) фн(ж), ш Е Q, г = 1,2,..., то эффективная размерность множества {£(-,w), ио Е Я'} совпадает с эффективной размерностью {^(ж, •), х Е X'} и является функцией ((e) = = min {&, 5^в}, е 0. □
Эффективная размерность множества классов эквивалентности измерений
Пусть, как в §1, множество (.^ j = 1,...,п, интерпретируется как семейство кривых, полученных в эксперименте. Как правило, исследователь может указать класс G (допустимых) преобразований (.j —> gjCj, gj Е G, j = l,...,n, таких, что с точки зрения интерпретации измерений незнание gj, j = 1,...,п, никак не влияет на качество интерпретации. В таком случае исследователь предпочитает иметь дело с более компактным, но представляющим всю экспериментальную информацию, фактор-множеством {^j}/G^^ классов G^n^- эквивалентности, в котором все кривые, отличающиеся лишь преобразованием g Е G, могут быть представлены как один элемент; G^n^ — индуцированный G класс преобразований (7^т)п —> (7^т)п. Сжатые без потери информации данные обычно легче поддаются содержательному анализу.
Например, если кривые, отличающиеся лишь «вертикальным сдвигом», объявляются эквивалентными, то G — группа преобразований Ят —> Ф^т 1 ПРИ которых (.j —> (.j + tjE., —ОО < tj < ОО, е. =
i/V^ \
... I — (единичный) вектор Кт) слагаемое ^е. определя- i/V^ /
ет сдвиг всех ординат кривой (.j на tj/y/m^ j = l,...,n, G^n^ — группа преобразований g^ : (Пт)п -4- (Пт)п • g(n) ($i,..., Cn) = = (Ci + Aie.,...,Cn + Ane.), {Cj}/G^n^ — множество классов G^- эквивалентности, в котором кривые, отличающиеся лишь вертикальным сдвигом, отождествлены.
Если допустимыми объявляются преобразования «вертикального сдвига и масштаба», то G — группа преобразований 7^т —> 7tm,
х) К^ — самосопряженный неотрицательный оператор Гильберта- Шмидта [5], базис {еф-)} известен как базис Карунена-Лоэва, см. § 1, гл. 1.
при которых ^j^.j = kj^.j + tje., G(n) — группа преобразований (^-m)n -> (7?.m)n, g(n)($i, ■ ■ ■ ,Cn) = (kiCi +Ье.,...,кпСп +tne.), где ky • k2 • • • kn = 1, —oo < tj < oo, з = 1,..., n.
В ряде случаев исследователь предпочитает анализировать лишь уклонения ^.j — S. кривых ^ ^, j = 1,..., п, от кривой S., в известном смысле (например, в среднем) характеризующей все измерения. В этом случае G — группа преобразований ^.j = ^.j + S., j = 1,..., n, g^fcb-.-Xn) =(ei+S.,...,e„+5.),g<") eG<"), V^/G^ -класс «центрированных» кривых.
Определение 2.1. Пусть G — группа преобразований кт Кт, Gt") — подгруппа G" = {(gb ..., gn)}, g; € G, i = = 1,..., n. Эффективной размерностью фактор-множества {£ j}/G<n) классов G<n)-эквивалентности измерений (орбит группы G*"1 в (^т) ) назовем функцию
Де) = inf | min { к\ 0 < к < т, д^ ({а-Щ, g^) < е} | {«ДТ
g(n) eG^}, е О,
где g(n) = (gi,-.-,gn),
С({«Г’}.е"") = Ё Ёj=l i=k+l
и inf вычисляется по всем ортонормированным базисам {a^m^} CPtm и всем преобразованиям g(n) G G^n^ С Gn = {(gi,..., gn)}.
Замечание 2.1. Поскольку G^n) — группа, для любого h(n) = = (hi,..., hn) 6 G^n^ эффективная размерность {hj^.j}/G^n^ совпадает с эффективной размерностью {^.j}/G^n\ т.е. определяется классами G(n) -экивалентности.
Замечание 2.2. Так как G^ содержит тождественное преобразование, то для любого множества измерений {^.j}
^ ^«Е\ £ >0,
где ^(-) — эффективная размерность множества измерений {^д}.
Эквивалентность, заданная группой «вертикальных» сдвигов. Вернемся к примеру, в котором допустимыми считаются произвольные вертикальные сдвиги кривых, и рассмотрим задачи на
минимум:
riiiri { ДДД{«ДЩ, g(^| g<'()
= min{E У ^j + tJe- “i^ml tj e (-00, Oo), j = 3 = 1 i=k+l
k = 0,... ^m — 1.
Необходимые и достаточные условия минимума суть:
£ (e, +i,e.,a(m))m(e.,a(m))m=O, j =(2.1)
i=k-\-l
Положив k = 0, найдем (^.j + tje., е.) = 0, откуда следует, что
tj = —е-)т =’ °^3 = ^"3 + tjC.)t =
V р=1
= ^-^Е^ = (^-п(т)^о г = j =(2.2)
Р=1
где
(
1/т ... 1 / т\
1/т ... 1/т/
— матрица ортогонального проектора Ят —> Ят, проецирующего на линейную оболочку £(е.).
Лемма 2.1. Пусть а = (I — П(т))£, {е^} — ортонормиро- ванный базис Нт, состоящий из собственных векторов матрицы аа* = (/-ПМ)^*(/-пН)?
аа*е^ = ащ^ г = 1,..., т,(2.3)
упорядоченных по убыванию собственных значений «1 > «2 ^ .. • ^ ат. Тогда при t^ j = 1,...,п, определенных в (2.2), равенства (2.1) при а^ = е^\ г = 1,...,т, выполнены для всех & = 0,1,...,т — 1.
Доказательство. Умножив равенства (2.3) скалярно на е. = = (1/л/т .. .1/л/т) , найдем
а^е., e^jm = 0, г = 1,..., т,
ибо (I — П(т))е. = 0. Отсюда следуют равенства (е^еД^щ = 0 для всех г Е [1,..., т], при которых с^ > 0. Для остальных г Е [1,..., т\ ^•з + tjC.^ е^^т = 0, j = 1,... ,72. Действительно, для этих значе-
ний гп
£(Щ(,-еДт)й=а, = О. П
Согласно доказанной лемме, в данном случае эффективная размерность {£д}/С(п)
Ф^) = min ^k ф(е) = m,Ф^) = min ^k ф(е) = m,О k т — 1, У^ с^ ^ £г=&+1О k т — 1, У^ с^ ^ £г=&+1если схт ^ в,если схт ^ в,если схт > в,если схт > в,£ > 0.£ > 0.
Ф^) = min ^k ф(е) = m,
Ф^) = min ^k ф(е) = m,
О k т — 1, У^ с^ ^ £г=&+1
О k т — 1, У^ с^ ^ £г=&+1
если схт ^ в,
если схт ^ в,
если схт > в,
если схт > в,
£ > 0.
£ > 0.
Каждая кривая с (полной) погрешностью, не превосходящей в ^ 0, представляется разложением
= ^-j^ e-)me. + 52 ^i - (C-j, e.)me., еДЩеЩ j = 1,... ,n,
Z=1
в котором первое слагаемое есть среднее арифметическое т ординат j -й кривой. Представление каждой кривой в виде
~ (^Л e-)me- = ^.j — — У^ ^pj
разумеется, не зависит от вертикального сдвига кривой £j, j = = 1,..., 71, и его можно рассматривать как элемент {^ у }/G^^.
Эквивалентность, заданная группой «горизонтальных» сдвигов. Если для исследователя интересны лишь уклонения ^.j — S., j = 1,..., /г, то дело сводится к следующим задачам на минимум.
V V + S.,2 ~ min , к = 0,1,..., т — 1.
j=l z=&+l
Необходимые и достаточные условия минимума суть
Е Е ^i +S-’ аР^та^ = °, к = о,1,...,т- 1,
j = l Z=& + 1
что эквивалентно равенству ^ (^-j^^-) = 0. Поэтому S. =52 ^-д
1 п А
и (^.j + 5.)j = ^ijЕ А = Pij, г = 1,...,т, j = 1,...,п. Следо-
И/ q—1
вательно, эффективная размерность {^д}/^™)
Р(£) = <Р(£) = <min <к\ 0 ^ к ^ т — 1,min <к\ 0 ^ к ^ т — 1,если Зт ^ е, если Рт > е,если Зт ^ е, если Рт > е,£ > 0,£ > 0,
Р(£) = <
Р(£) = <
min <к\ 0 ^ к ^ т — 1,
min <к\ 0 ^ к ^ т — 1,
если Зт ^ е, если Рт > е,
если Зт ^ е, если Рт > е,
£ > 0,
£ > 0,
где ^i ^ ^2 ^ • • • — собственные значения матрицы РР* ^ Р = /1/п .Х/тг\
= ^(1 — П(п)), П(п) = — матрица ортогонального
\1/п ... ^/п/
проектора 7tn —> 7tn. С полной погрешностью, не превосходящей £ ^ 0, кривые представляются разложениями
nvDп
= -^^+ ^2 l^--iLu ГЭе<г2j =
q=lz=lq=l
где кривая - } v rq— «среднеепо времени» всех измерении, {e^}—
n 9=1
ортонормированный базис 7tm, состоящий из собственных векторов РР* = Д/ — П(п))£*, упорядоченных по убыванию собственных значений.
Эквивалентность, заданная группой «вертикальных» и «горизонтальных» сдвигов. Если допустимым объявляется преобразование £j —> ^j+S.+^e., 3 = 1,..., n, то следует решать задачи на минимум
V V + S. + L-e., af^V2 ~ min , k = 0,..., т — 1.
3 = 1i=k+l
Для всех k = 0,..., т — 1 их решения даются одним и тем же выражением
1 п1 m1 т п
s. + tje. = - (- 52 eq + — Е ^ — ЕЕ ^ ’ з = 1,..., п.\пттп)
q=lр=1р=1 9=1
В данном случае эффективная размерность
Ф^ = min |&| 0 < к < т — 1, ^ 7г С s}, если 7m ^7 s > О
ф(г) = 777,если 7т > £,
где ух ^72... — собственные значения матрицы 77*, 7 =
=^ — П^т^ — £П(П) + П^т^П^п\ Нетрудно увидеть, что
^* ^ аа* ^ TTP ^* ^ РР* ^ ^^ ^ т-е- эффективная размерность в этом случае не больше, чем в любом из предыдущих, которые в свою очередь не больше эффективной размерности {^д}.
Эквивалентность, заданная группой преобразований масштаба. Рассмотрим в заключение случай, когда допустимыми считаются согласованные изменения масштаба, т.е. когда G — группа преобразований 7tm —> 7tmi gjC-j = ^j^-j^ ^3 > 0, 3 = 1,... ,n, G^n^ — подгруппа Gn, g(n) Ць • • •’^«) = ^iti, • • • ЛпСп), kj > О, П k3: = 1.
Решая задачу на минимум
J = 6 £min (2-4)
j=l i=k+lkj>0,
kvk2 &n = l,
для фиксированных k G [0,..., m — 1] и {аД-1}, найдем k^WklPkj, Pkj = 52 ^-3’а(ГЬт’Шк = П^’ j = V--,Tl, 2=^ + 1j = l
(2-5) что приводит к следующему выражению для минимума левой части (2.4):
j = МОГЛ) = i^k =nfj ^ (Cj,j=l i=k+l
Выберем аД’ = ei = $i/||$i||. Тогда pki = 52 Ць а<Гбт = г=к^1
= 0, k = 1,.. • ,m, и, следовательно, при таком выборе ортонормиро- ванного базиса {а^} = {щ}
п
Щ{Щ) = min ЛЩД4) =0, Jo({eJ) =пП||^||Д
Но это означает, что задача
J ^ minG(n), {^m)}
неразрешима, ибо в (2.4) при k = l,...,m —1, к^ = 0, j = = 2,..., п, ку не определено.
Об эффективной размерности классовэквивалентности изображений [18]
Специфический класс многомерных данных образуют изображения fj(x), х Е X, j = l,...,n, — функции, определенные на замкнутом ограниченном подмножестве X плоскости 7^2 5 называемом полем зрения, принимающие действительные значения, передающие распределения яркости на X. Рассмотренные ранее преобразования
Л(-) kjfj^, kj > 0, fjV) JjB + Cj, j = 1,... ,n, моделируют изменения яркости и контраста изображений, отвечающие меняющимся условиям их формирования.
Как правило, все изображения, отличающиеся лишь яркостью и контрастом, естественно считать эквивалентными, поскольку все они
представляют одну и ту же сцену. Эффективная размерность такого класса изображений характеризует «детальность сцены» независимо от яркости и контраста ее изображений.
В ряде случаев эффективная размерность класса изображений может быть охарактеризована физическими свойствами изображаемых объектов. Рассмотрим, например, изображения так называемых ламбертовых объектов, оптические свойства поверхности S которых таковы, что яркость Ъ^ любой точки г Е S не зависит от направления наблюдения и определяется только условиями освещения:
b(r,t) = a(r)(n(r), t), г е 5.
Здесь (•,•) — символ скалярного произведения в Хз, п(г) — вектор единичной нормали к S в точке г ES, вектор t, вообще говоря, зависящий от г Е S, определяет направление и интенсивность освещения объекта.
На самом деле вектор t в выражении для b(-,t) допускает более широкое толкование. Дело в том, что Ь(-Д) — линейная функция t G Т^з, и в силу этого для ламбертовых объектов имеет место принцип суперпозиции: если ti,..., tn — векторы освещений, то при одновременном освещении объекта суммарная яркость Ь(-Д1) + • • • + + b(-,tn) = b(-,ti + • • • + tn). Иначе говоря, если ламбертов объект освещен с нескольких направлений (или даже диффузно), его яркость определяется векторной суммой освещений t = ti + • • -+tn, в то время как для определения суммарной яркости в общем случае необходимо знать все векторы ti,..., tn. Следовательно, в выражении b(-, t) для яркости ламбертова объекта t можно понимать как векторную сумму всех освещений объекта.
Ограничимся далее пространственно-однородными освещениями, при которых вектор t не зависит от точки г Е S, и, в частности, поверхностями S, не допускающими самозатенения. Выберем «базовые освещения», векторы ti,t2 и ts которых линейно-независимы, и рассмотрим любое освещение t. Поскольку t = тД1 + T^t^ + т^з то
6(r,t) = лЬД) + т262(г) + т3Ь3(г), reS, где Ъ^ = btMiY г = 1, 2, 3. Соответственно, изображение р$3\ х £ X, ламбертова объекта, отвечающее освещению t Е Хз, будет представлено линейной комбинацией его «базовых изображений» /(!)(•),/(2) (•),/(з)(ф), отвечающих освещениям ti, t2, ts :
КЖЛ) = n/(i)M +т2/(2)Д) +т3/(з)Д), х Е X.
Пусть С = С?кХ^ — евклидово пространство изображений /(•): X Xi, (/(•), /(•)) = J f^J^dx — скалярное произведение _х
/(•) и /(•), и /Д-),..., /Д') ~ множество изображений ламбертова объекта, отвечающих различным пространственно-однородным освещениям. Для определения эффективной размерности этого множества изображений рассмотрим задачу на собственные значения для
интегрального оператора F: £2(Х) -А £?(Х) (см. замечание 1.1)
Fe^ = У F{x, F)e(F) dx', хЕХ,х
п3
где F^x') = ЕЛ(ж)Л(ж'), ж, ж' ЕХ. Так как f5^ = Е тЩ(а)(ж), 7=1а=1
х Е X, з = 1,... ^гц то
з
Г^,^) = ^ 7аа'/(а)(ж)/(а-)(ж'), X, х' € X,
где ^аа, = 52 TjaTjaA сц ^ = 1,2,3, и, следовательно, в задаче на 7=1
собственные значения Fe^ = Ащф-), г = 1, 2,..., Ai ^ А2 ^ Аз ^ 0 = = А4 = ... Поэтому эффективная размерность множества изображений ламбертова объекта не превосходит трех.
Для изображений характерны преобразования, обусловленные изменением положения объекта относительно регистрирующей аппаратуры. Пусть А — подмножество поля зрения X , на котором изображен выделенный объект, ха(*) • X —> {0,1} — индикаторная функция А: ХаА = 1, ж € Д хаА = 0, х Е X \ А, и Щ) = ХаА/О — изображение выделенного объекта. Если /(•) — изображение сцены в надир, то на нем отсутствуют перспективные искажения, и движение регистрирующей аппаратуры параллельно сцене приводит к следующему преобразованию изображения объекта
Ja(x) = ХА^Н^) н- ХОаЛ+а(ж)/(О_а(ж - а)) =
= ХА^О-а^х - а)/(О_а(ж - а)) = /д(О_а(ж - а)), где а — угол поворота, а — сдвиг регистрирующей аппаратуры, оставляющие множество ОаА + а = {Оаж + а, х Е Л} в пределах поля зрения X. ОаА + аСХ. Это преобразование описывает поворот изображения объекта на угол а и сдвиг на вектор а.
В общем случае речь идет о преобразованиях h: Х2 —> ^2, их подмножестве Нд = {h Е Н, НЛ С X}, оставляющем Л в X, и соответствующих преобразованиях изображений объекта )
fA^ н- д(Н)/л(ж) = /л(Н-1ж), х Е X, h е Нд.
Поскольку относительное положение регистрирующей аппаратуры и объекта обычно не влияет на содержательную интерпретацию изображения, назовем изображения /д(-) и фв(*) эквивалентными,
/а(-) ~ /в(*), если для некоторых преобразований Ьа Е На, Ив Е НвЫ^х) = Зв^рх), х ex.
Так как при этом h^A = ЬдВ, то А = Н^НвВ и В = Н^НлТ Следовательно, /а(*) ~ /в(*), если и только если существуют На 6 На И Нв G Нв, такие, что За^Дх) = /в(ж), /а (ж) = Зв^рх), х £ X.
Отношение ~ , очевидно, рефлексивно: /а(-) ~ /а(*), симметрично: /а С) ~ /в С) о /в С) ~ /а С) И транзитивно: /а(-) ~ /в(Д /в(*) ~ /с(*) => /а(*) ~ /сСД т-е- отношение эквивалентности.
Эффективная размерность множества классов эквивалентности множества изображений Т = {/ai (•),•••,/ап (•)} по отношению эквивалентности ~ (фактормножества Т по отношению эквивалентности ~), заданному группой Н преобразований 7^2, определяется точно так же, как в определении 2.1 эффективная размерность фактормножества, а именно, это функция
WA = inf{min{fc|, Щ{а4}, Ц,}) ^е}|
{«J, 9j = 50b), hj € Нл,, j = l,...,n}, e 0,
где
ММЫ = £ E W^a ma2a = 0,1,2,..., j=l i=k+l
и inf вычисляется на множестве всех ортонормированнх базисов {щ} С £2(Х) и всех преобразований hj Е VAAj1 j = 1^... ^п.
Рассмотрим простой пример, в котором Н — группа трансляций плоскости 7^2, в = 2. Для определения эффективной размерности классов эквивалентности множества Т = {/аДД /a2(*)} п0 отношению эквивалентности, заданному группой трансляций 7^2, следует решить задачи на минимум:
Щ{а;}л) = Ё Дь+АТ ^jf Д./л2+/2Н-А^Я
для к = 0,1, 2,... , где фд^^ = fAi(x-ti), х EX, tt ЕХ2 — вектор сдвига, удовлетворяющий условию ti Е Т^ = {т/ Е 7^2, А^ -Е у СХ^ г = = 1,2; t = (ДД2), Т = {t = (ДД2), Д ETi, t2 ЕТ2}. В данном случае достаточно рассмотреть к = 0,1, поскольку ai(-) и а2(-) должны принадлежать линейной оболочке fAi-\-ti (Д ^ = 1, 2, и для к = 2,3,... t) = 0.
Пусть 5^ — матрица, матричные элементы которой суть ^2)Х1 = = f fA^x-t^dx, Е^2)=Е^2)= J fAAx-tiHA2(x-t2)dx, ^2)22 =
= J /л2(ж — t^ dx. Ее собственные значения
Е* ++(-1)\/(-т --т )2+4(2т )2
Mt)Mt)(2)ц(2)22 V 7 у V (2)11(2)227 V (2)127
Mt)
Mt)
2
г = 1,2.
Так как 5^ и 5^ от t Е Г не зависят, то сумма Ai(t) + + X2W = J(/li(x) + /л2(ж))2^ж = А — также не зависит от х 12
t Е Т, а А2(£) (А2(^) ^ Ai(t)) достигает минимального значения при том значении t Е Т, при котором максимально (Е^^)2 =
= \ J ^аЛзс-ti)fA2(3C-t2)dx\ JET.
Пусть A2 = ^ ™n^ A2 (t). Тогда искомая эффективная размерность
фМ =фМ =о,1,2,о,1,2,£ > А,А2 ^ £ < А,£ < А2.
фМ =
фМ =
о,
1,
2,
о,
1,
2,
Если, в частности, /л2 (•) и /лф) отличаются лишь сдвигом в пределах X. то
maxtETmaxtET^ fAM-MfAM-AW X^ fAM-MfAM-AW X
maxtET
maxtET
^ fAM-MfAM-AW X
^ fAM-MfAM-AW X
(УЛАА^ = (УАММ$) , XX
и при любом t = t° Е Т, при котором изображения «совмещаются»: Л2+^ = Л1+^ С X и, разумеется, /л1+^о(-) = /л2+^о(-). В этом случае
А2 — A2(t°) — О,
А = Ax(t°) + А2а°) = Ax(t°), Ш-) - Ы-)
ии= 1 1’= 1 1’е > А, Е < X.е > А, Е < X.
и
и
= 1 1’
= 1 1’
е > А, Е < X.
е > А, Е < X.
Эффективная размерность множества измеренных с ошибками сигналов
(4.1)(4.1)На практике данные ^tj } , как правило, представляют результаты измерений и содержат ошибки. Рассмотрим схему измерений выходных сигналов датчиков:
(4.1)
(4.1)
6j = fij ^Vvh j =
в которой &j — искаженный ошибкой v^j результат измерения выходного сигнала fij г-го датчика в j-й момент времени. Запишем схему (4.1) в векторном виде:
= f-j + v.j Е 3 = 1, • • •,
и рассмотрим модель измерений, в которой погрешности удовлетворяют условиям H^.jll^ = tr v.pA- ^ Sp j = 1,..., n, согласно которым
«энергия» H^.jll^ 3 -го вектора ошибок v. j =... не превосходит
Д j =
Пусть di,..., ат — ортонормированный базис Кт и пт2 п т
<Ц) ({агГ {/Л) = 52 || 52 A’ ai) mai || m = 52 52 (^’а0т’
3 = 1 i=k+lj=l i=k+l
WVuMfA) =0, k = V-.-,m-V(4.2)
— ошибка приближения сигналов /.i, • • •, Zn линейными комбинациями первых к векторов базиса ai,, ат. Для определения эффективной размерности множества {ДД по данным {&Д рассмотрим задачу, которая является аналогом задачи 1.1.
Задача 4.1. Определить ортонормированный базис е^ = = еД{£.Д), г = 1,... ,т, Нт так, чтобы для любого k Е {1,... , т}
й№ = “in w{ Й(Д{«Ц {/Д)| {Д} С.ДЦД), ^СМС СЬг J СТ^ттг
стгт} = 8ир{^({е4,{/.ц)|{/.цс^({ец), ^Кмс1гту (4-3)
где М — некоторое ограниченное множество в Нт,
•^({СД) = |{/ Д C7tmi ^.j = f.j + v.j^ v.j 6 Пщ^
ll^llm ^Ej, j = I,--.,»}.
Л e м м a 4.1. Пусть at = at ({СД) ? г = 1^... ^m; — решение задачи
А(Л)(ДЛ) = , min sup { dw({tti}, {/.,}) | ^f.^ С ^(ДЛ)} =
= sup{ ^fe)(K({G})}, {/Л)|С^(ДЛ)}, к =
(4-4)
Тогда для любого ограниченного М С Ttm
ег = аг({^,}), г = 1,...,т,
— решение задачи (4.3).
Доказательство. Действительно,
sup sup {«^(ЫКЛ), U-A U^ сЦКЛ)} ^б№ ^
^ЛсМсКт 11J
sup A(fe) (ЦД) =
^зКМсит
= sup вирД^и^ЛИ/Л)! ИЛ с Д{^ ^КМСКт 11J
Определение 4.1. Эффективной размерностью множества
{Д?}, определяемого данными измерений (4.1), назовем функцию
С(е) = <(е, {Л}) = min {/г | 0 ^ к < т, АрДЛЛ) ^ е} , 0 ^ £ ^ сю,
где Д^Д, А: = 1,..., m, определены в (4.4).
Рассмотрим задачу (4.4):
suP{£ Е аь^мс^л^ = 3 = 1 i=k+l
= sup { Е Е ^-и'Ь аг?т \v-j € ^rn, IKHm :ДЗ = 1,„ Д = 3 = 1 i=k+l
= SUP { Е ^i V'R A^-j - v.^m Д e тгт, |К||2 £2,
i = 1,..., n > ~ min, (4.5)
гдеm
Aw = E atav(4-6)
Заметим, что для каждого j = 1,..., п
sup {(G- - v.b Aw^.j - ир)т | v.j e-Rm, IKII2 Д =
= w2((AwA^^A^ -w/)-1^)m (4.7)
и достигается при v.j = (A^ — ojI)~1A^£i.j, где w = Wj =
= ujj^A^k^ e^ ^.j) > 0, из Д 1, — корень уравнения
1К.||2 = |Да)Д№-^)"1^||2=^,(4-8)
при котором значение (4.7) максимально.
Лемма 4.2. Пусть П: Нт -^ Нт — ортогональный проектор.
Тогда при 0 < и ^ 1 оператор П — col не вырожден и
(П-иЩ1 =ш"1((1-ш)-1П-1), n(n-wZ)-1 = (1—ш)-1П.
(4-9)
Доказательство. П — col — самосопряженный оператор, собственные значения которого Ai = • • • = Хр = 1 — со, Ap+i = • • • = = Хт = — ^- ПРИ w ?^ 1 отличны от нуля, р = rank П. Равенства (4.9) проверяются путем умножения их на П — col справа. □
Так как в (4.7), (4.8) оператор А^ (4.6) — ортогональный проектор на линейную оболочку £(а&+1,..., ат^, то согласно лемме 4.2, правая часть (4.7) равна
^j ^^(k) — шз^ £>-Г ^(k){^(k) —шз^ ^л)т —
= Д-^^^^^(4Л0)
и условие (4.8) записывается в виде
что позволяет представить задачу (4.5) в существенно более простом виде:
nn // т\ 2
52(^ + Mw^L)2 = 52rj + V ^ (4’«i)m ~ min. (4.11)
J = 1J = 1 \ V ^^^/ LatJ
Подведем итоги.
Теорема4.1. 1) Решение щ({£.Д), г = 1,...,т, задачи (4.11) является решением задачи (4.1).
Пусть Ej = £$j, idj > 0, е > 0, з = 1,..., п. Если £ -4 0, то
„(р li - J ДКЛ)+£МКЛ)+о(4 г^р,^П-Г#,i>P,
где
рп/=1 г 1 3=1рп/=1 г 1 3=1^j^ii ^-j^m^li ^-j^m^j^ii ^-j^m^li ^-j^mТПЛШегЛ.Х) 7t=lТПЛШегЛ.Х) 7t=lг = 1,... ,р,г = 1,... ,р,
рп
/=1 г 1 3=1
рп
/=1 г 1 3=1
^j^ii ^-j^m^li ^-j^m
^j^ii ^-j^m^li ^-j^m
ТПЛ
ШегЛ.Х) 7t=l
ТПЛ
ШегЛ.Х) 7t=l
г = 1,... ,р,
г = 1,... ,р,
вг, г = 1,...,ш, — ортонор мир о ванный базис Пт, приведенный в теореме 1.1 и дающий решение задачи 1.1, и для простоты считается, что положительные собственные значения попарно различны:
Ai > А2 > • • • > Хр > 0. При этом
Р™г РЫ/2
△(*)({G'})= 52 ^ + 2е52^[ 52 (е«’^)т] + °(£)> г=&+1j=li=k+l
l^k^p-1, Aw({^}) = Д?2^ = o(e), p^k^m.
3 = 1
Доказательство. Доказать следует лишь второе утверждение теоремы об асимптотике решения задачи (4.11) при е —> 0. Необходимое условие минимума (4.11) по ортонормированной системе {пД имеет вид
=Е ^-М'-е- + f(„„=
/ т
7=1 J Е (^, Е)е 2=1
у s=k-\-lт
= У^ Piq^q^ 2 = к + 1, . . . , т. (4.12) q=k^l
Здесь {(^} — лагранжевы множители, которые должны быть найдены из условия ортонормированности {пД. Пусть а^ = е^ + sb^ фц = = 5tq\q + E^iq^ Р Q = к + 1,..., т. Согласно уравнениям (4.12)
52 (е®’^'^т^з = Л»е»’ г = к + 1,...,т, (4.13)
откуда следует, что {еД — ортонормированная система собственных векторов матрицы ^2 ^-з^з упорядоченных согласно Ai ^ ... ^ А&+1 ^ ... ^ Хт. Далее, согласно (4.12) для членов 1-го порядка по £:
3 = 13 = 1У2 ^3 \е^ ^'з)т^'3
3 = 1
3 = 1
3=1 }/^д=к+1~(^П)т
= Ajbj + 52 Фгдед, г = к + 1,...,т. (4.14)
q—k^rl
Умножив эти равенства скалярно на es, найдем
д=к+1д=к+1es)es)
д=к+1
д=к+1
es)
es)
, m, (4.15), m, (4.15)= Xi(bi, es)m + ^is, S = к + 1,.
, m, (4.15)
, m, (4.15)
а для s = 1,...,А: последнее слагаемое в (4.15) отсутствует. Здесь использованы равенства (4.13). Отсюда следует, что
2
j=ij=i= , s = k + 1,..., m.2= , s = k + 1,..., m.2
j=i
j=i
= , s = k + 1,..., m.
2
= , s = k + 1,..., m.
2
д=&+1
^is = 0, Z ^ S,
^, г / s, 2^, г / s, 21
^, г / s, 2
^, г / s, 2
j=i
q=k+l
(4.16)(4.16)= 0, Z = k + 1, S = 1, . . . ,p,
(4.16)
(4.16)
где для простоты считается, что A^+i > А^+2 > * * * > Am и использован тот факт, что условие (а^ aq)m = 5iq = (eb eq)m + е [(eb bq) т + + (e9, Ьг)т] + o(s) в первом порядке по г дает
(вГ Мт +
Тем самым определены сц = Ci + еЬ^ и фц = 5iq^Xq + Еф^^ Ф q = = k + 1,..., т. Найденные выражения без труда позволяют подсчитать ДЖ({Щ). □
Об эффективной размерности измерений на линейном приборе
Рассмотрим важную для практики схему измерений:
Cj = Afj +v.j, j = l,...,n,(5.1)
обобщающую (4.1). В (5.1) f.j E Ttmi Фз € Им, 3 = l,...,n и A — линейный оператор, моделирующий измерительный прибор, А: Пт Гу •
Пусть щ,..., ат — ортонормированный базис 7tm и \k)^atV ^f j^ — ошибка приближения измеренных сигналов /л,---,/-п линейными комбинациями первых к базисных векторов. Рассмотрим задачу 4.1, в которой в (4.3) ^({^д}) заменим на
7a ({^ j}) = {{/ j} C7^m, Фз = Аф.^ + v.qi v.q Е IZm^ II v-j\\M С
j = l,...,n}. (5.2)
Так как согласно равенствам (5.1) (см. [5])
fj = AAtj ~ Vj) + U - A"A)zj, j =(5.3)
где А-: Т^м —> ^т — оператор, псевдообратный к А, I — А-А ортогонально проецирует на ядро JV(А) С Ttm оператора A, zq —
произвольный вектор 7£m, j = 1,... ,п, то ^({^д}) , вообще говоря, неограниченное подмножество Ttm х ... х Ptm = (Jtm)n.
Поэтому
sup {<W{°d, {Д})|| U-Л СТДДЛ)} < °°> если и только если
Е Е ^ “ A"A)zj, at)2 = о, ^ е Rm, j = 1,...,п, j=l г=&+1
и, следовательно, в (4)
(I- A"A)at = О,
т.е. at еЛ/ДЛ), г = 1,... , т. При этом условии вместо задачи (4.5) получим
sup{Е Е (Д^Х|{/лс^(кл)} =
3 = 1 i=k+l
= SUp{E Е (АЛЛ) °Лт\
3 = 1 г=к-\-1
Vj ERm, 1К-||м Д j = 1,...,п} =
= sup { Е^' - V'A 8№^-з - ^Дм)
vj eRm, IKHm ^ Д j = l,...,n) ~ min (5.4)
Здесь S^ = (A-)*A^A- A^ как и в (4.6), — ортогональный проектор на линейную оболочку £(n^+i,..., пт),
^(k)f =^ ^г(/? CLi^m^ f ^т-
i=k-\-l
Нетрудно убедиться, что имеет место
Лемма 5.1. Точная верхняя грань в (5.4) равна
^^Ш3^^(к) — шз^ C-j"> ^(к) (.^(к) — шз^ ^-з)м
и достигается при
v-j = (Д) - WjlVS^-b j = V--,n,(5.5)
где ujj — тот корень 'уравнения
\\(8№-ШрГ18Мз\\м=е^(5-6)
при котором максимально
^нсбД) -^лЕ^ф^^зйг j =
Рассмотрим подробнее случай достаточно точных измерений, а именно, пусть £j = е^-, е ^ 0, j = 1,..., п. Поскольку в таком случае в (5.5) coj —> ею, то, ограничившись в (5.5) и (5.6) первым порядком по wj1, j = 1,..., n, найдем
^2 = II^W^J 11м = 6 Л
3
Ui - -^ГДл (I - Д^г^Д ~ \ шзшз/ м
Теперь для решения задачи следует найти ортонормированную систему {аЛ = {аг({€д})} cAf-^A), на которой достигается минимум
3 = 13 = 1
3 = 1
3 = 1
где
(S(k)^-r ^-з)т = 52 (аГ А
2т
И^^^’^Им = 52 каг A £,.^m^aqiA £,.^т^А ) ОгДА ) aq^)M. г, q=k-\-l
Глава 3
Оценивание параметров распределения вероятностей
Далее мы неоднократно будем иметь дело с задачами оценивания параметров распределения). Довольно широкий класс таких задач может быть охарактеризован следующим образом. Дано семейство распределений вероятностей Р(-,У), зависящих от вектора параметров / = (Ух?... ? Ут)* > принадлежащего подмножеству Т С Tlm. и вектор-функция t^ = ДДУ),... ,tk(f))* • Требуется построить оценку вектора ДУ) при условии, что аргумент / Е Т неизвестен, но доступен наблюдению случайный вектор £ Е Рп который контролируется распределением Р(-,У). В этой главе обсуждаются методы оценивания значения ДУ), / Е У. посредством случайного вектора или, как говорят, статистики т(£) = (ti (£),..., тД£))* , определяемой таким образом, чтобы ее реализации в известном смысле максимально концентрировались около ДУ), У Е Т. В связи с дальнейшими применениями как обычно считаем, что оценка т^ тем лучше, чем меньше ее среднеквадратичное (с.к.) уклонение
ЕММ/)||(o.i)
от ДУ) при каждом / Е Т 2). Однако не любые две оценки т и т* значений Д/), / Е У. можно сравнивать по этому критерию. Если, например, Е zЩ(^) — f (/)||2 ^ Е уЦт'^) - i(/)||2, /€^, причем хотя бы для одного / Е Т выполняется строгое неравенство, то, очевидно, т^ лучше, чем т’ ^ , оценивает ДУ), У Е Т. Если речь идет о сравнении оценок из некоторого класса Т и т(-) Е Т лучше любой другой оценки из этого класса, то опять-таки все ясно. Но, как правило, при сравнении оценок оказывается, что Р(£) при У Е Т1 С Т лучше, чем т^ , оценивает ДУ), а при У Е ^\Т' — наоборот. Такие оценки, естественно, несравнимы по критерию (0.1). По той же причине обычно не существует наилучшей оценки в классе, если последний достаточно
широк [20, 21]. Вместе с тем, если для некоторой оценки т(^) Е Т т(т(-)) = sup Е /Пт^) - t||2 < оо,(0.2)
то можно считать, что т(^) лучше т'^) при т(т(-)) < т(т'(-)), а в том случае, когда т(т(-)) = infT/(.)етт(т'(•)), т(^) — наилучшая оценка в классе Т. Она минимизирует в Т максимальную погрешность (0.1) и называется минимаксной1).
На практике значение т(т(-)) (0.2) в ряде случаев оказывается неадекватным нашему пониманию качества оценки. Действительно, трудно согласиться с тем, что, скажем, т(^) лучше т'^) оценивает t(f), f ^ F, если во-первых, Е у||т(^) — t||2 = 8 = const > 0, / Е во-вторых, Е /Пт'^) —1||2 = 0 при всех / Е Тисключая / = /0 С Т а при / = /о Е /Пт'^) — t||2 = 8* > 8. В этом случае т'(^) оценивает t(f), / Е Т, без ошибки при всех / Е Тисключая / = /0, где погрешность 8* больше 8. в то время как т(^) имеет постоянную погрешность 8 при всех / Е Т. Тем более трудно согласиться, что в этой ситуации т^ и т'(£) как оценки £(/), / Е Тэквивалентны, если т(т(-)) = т^т1 (•)) = 8 = 8'. Исследователь, как правило, склонен считать, что равенство / = /о «не реально», и выбирает т^-). Однако такое решение, по сути, свойственно задачам оценивания, в которых априори известно распределение вероятностей / Е Пт. Задачи с такой, более полной априорной информацией о параметре также будут рассмотрены в этой главе.
Один из параграфов посвящен проблеме оценивания, в которой имеется определенная симметрия между наблюдениями и значениями параметров распределения. Учет этого обстоятельства приводит к сужению класса оценок, отражающему беспристрастность исследователя при сравнении оценок, обладающих такой же симметрией.
Известен более общий подход к задачам оценивания, основанный на теории статистических решений, при котором вместо с.к. погрешности используются конструкции, свойственные игровой ситуации (риск, потери и т.п.). С ним можно ознакомиться в работах [22, 23].
Неравенство Крамера—Рао. Эффективные оценки
Пусть р^р, х е тги, у е Лт ,, — семейство плотностей, отвечающих семейству распределений вероятностей Р(-,/),/ Е 7tm, случайного вектора £ Е Пи и
(1.1)(1.1)Е 1ТЮ = У Т^р^х, f)dx = t(/) + т(Л,
(1.1)
(1.1)
Tin
где t^ =(Н(-),...,Ы-))*Л.)=(ri(.),...,rfe(-))*,T(-)=
= (тД-), ..., тД-))* — известные функции, определенные на Пи и
принимающие значения в Ptk. Следующий результат, известный как неравенство Крамера-Рао, позволяет априори оценить предельное качество т^ как оценки t^ .
Теорема 1.1. Обозначим S = {S^}, М = \МгУ\ и D = ^D^ матрицы, матричные элементы которых даются равенствами 1)
UJ3изз
0 = Е;81"ДЯ, =j =
Пу=Ех(тХ)-Ш))ЦАЗ-^(П), i,j = l,-..,k.(1.2)
В первом равенстве предполагается, что дифференцирование может быть выполнено под знаком интеграла (1.1), второе при том же предположении следует из условия нормировки J p^(x,f)dx = l. В таком случае справедливо неравенство
(Крамера-Рао)
п(П^г(ПгЧП + 8(Пм-(Л8ЧЛ, f&^m,(1-3)
причем равенство в (1.3) имеет место тогда и только тогда, когда существует к х т матрица С = C(f), не зависящая от £, такая, что с вероятностью единица
тю-ад-гш = с<„п>»1Ы),(1.4)
*^ц»*!^....д5мх .<L5>
\ о ВУ Jm /
Доказательство. Согласно обозначениям (1.1), (1.2) и (1.4)
D = Б(Л = Е Дт - t^r - ty, М = М(Л = Е faa*(= ЕД
Е/а = О, 8 = 8(Л = Е/та* = Е f(r - t - г^а* =
Для любой к х т матрицы С
О ^ Е Дт — t — г — СаУт — t — г — С а)* =
= Е f(x - t)(T - t)* - тт* - CS* - SC* + CMC* =
= e f(x - tyT - ty - rr* - sm-s* + (c - sm-^m^c - SM-y-
rr* =ЕЛт-УЕДт-1у.rr* =ЕЛт-УЕДт-1у.(1-7)(1-7)
rr* =ЕЛт-УЕДт-1у.
rr* =ЕЛт-УЕДт-1у.
(1-7)
(1-7)
Здесь использован тот факт, что для любых случайных векторов а и т JV^a) С Я(^та) или, что то же самое, 7^(Еа) D 7^(Еат) = = 7£(Е*а) (см. включение (2.2) гл. 1). Это означает, что Н(8*) = = 7?,(Е ja(T — t)*)c7t(M) и, следовательно, SM~M = S, ММ~8* = = 8* (М~М = ММ-. ибо М — симметрическая матрица), ММ— матрица ортогонального проецирования на 7^(М), (ММ-)* = = ММ-. Положив в (1.7) С = SM~, получим неравенство (1.3).
Пусть существует матрица С = С(/), такая, что выполняется равенство (1.4). Тогда Е fra* = СЕ ^аа* или, иначе, 8 = СМ. Следовательно, (С — SM-)M(C — SM-)* = 0 и согласно равенству (1.7)
Е /(т - tyr -ty = D = тС + SM-S*.(1.8)
Наоборот, пусть выполнено равенство (1.8). Тогда согласно соотношениям (1.7) для всякой матрицы С
^^T-t-r- СаУт -t-r- СаУ = (С - SM^M^C - 8М"У.
Выбрав С = SM~, найдем, что с вероятностью единица выполняется равенство (1.4). □
Следствие 1.1. Матричное неравенство ') (1.3) влечет следующие неравенства [24]: для диагональных матричных элементов D = D(f), feRm : Da = Ет^^М" S^ti, г = 1,..., к,
и для детерминанта: det D ^ det(rr* + SM-S*).
Следствие 1.2. При условиях теоремы 1.1
Е/Цт-tH2 =trE/(r-i)(r-t)* ^tr(rr*+SM“S*), / е ?гт, (1.9) и, более того, для любой матрицы U должного размера
Е f\\U^-t)\\2 =trU(rr*+SM~S*)U*, f eRm, (1.10)
причем в первом случае равенство выполняется тогда и только тогда, когда выполняется равенство (1.4) при некоторой матрице С(П-
Левая часть неравенства (1.9) (или (1.10) в более общей ситуации) определяет погрешность оценивания £(/) с помощью т(^) как функцию / 6 Пт. Чем меньше Е/||т(^) — t(/)||2 для / 6, тем выше
качество оценки т(^); однако при таком сравнении оценок могут возникнуть трудности, оговоренные во вводных замечаниях к этой главе. Неравенство (1.9) характеризует предельное качество т(^) как оценки УЛ, fenm._
Если sup tr (rr* + SM S*) = ею, то статистику т, очевидно, /етгт
нельзя рассматривать как оценку £(/), / Е Пт; для того чтобы т была оценкой УЛ, / Е Ят, необходимо, чтобы sup tr (rr* +
+ SM-S*) < 00.
') Напомним, что, по определению, неравенство (1.3) означает, что (ж, Dx) ^ (г, ж)2 + (ж, SM~ 8*х) для любого вектора ж Е Ль .
Замечание 1.1. Если г(/) = 0, то в теореме 1.1 речь идет о так называемой несмещенной оценке t(/). Несмещенная оценка т(^) называется эффективной, если D = Е /(т — t)(r — t)* = SM~S*,f ЕН™. В этом случае Е/(т - t)(r - ^)* = ST — ковариационная матрица т(^). В более общем случае, когда выполняется равенство (1.8), т(^) — эффективная оценка своего математического ожидания t(J) + г(ф), / G .
Пример 1.1. Рассмотрим в качестве характерного примера семейство нормальных распределений Ы^Аф, Е), где А и Е > 0 — заданные матрицы, / G Кт — вектор параметров. Измеряемый вектор £ Е Кп удобно определить равенством £ = Аф + v (6.1) гл. 1, в котором случайный вектор v Е Нп контролируется нормальным распределением ^(0, Е). В данном случае вектор (1.5) а = Л*Е-1(ж — Аф) = а(ж, ф). Пусть t(J) = Пф, г(ф) = Вф + b, где U, В — заданные кхт матрицы, b — вектор из Пи ^ вектор параметров ф — произвольный вектор Нт . Условие (1.4)
т(х) = гинЦП + сиМх,П =
= UJ + BJ + Ь + СА*1Г1(х - АЛ (1.11) выполнено для оценки 1)
т(х) =Ъ + СА*Е~1х, хЕТ,(1.12)
если и только если
U + B - СА^^А = 0.(1.13)
Класс эффективных оценок линейных функций t(P = Uf выделяется условиями несмещенности В = (фЬ = 0, и условием разрешимости уравнения (1.13) относительно С (при В = 0). Последнее, как известно [5, 25], разрешимо тогда и только тогда, когда U удовлетворяет уравнению (см. условие (6.5) гл. 1)
U(I - (Л*Е-1Л)-Л*Е-1Л) = U(I - А" А) = 0(1.14)
или, иначе говоря, тогда и только тогда, когда равенство Аф = 0 влечет иф = 0, ф Е Нт. Всякое решение уравнения (1.13) (при В = 0) может быть записано в виде
С = И^^А)- + Z(I - А" А),
где Z - некоторая матрица. Поэтому эффективная оценка t(J) = Пф в данном случае является линейной функцией £
т(£) = и (А* УТ1 АТ А*= U^T^AyYT^H (1.15)
и ей сопутствует с.к. погрешность
Е ||Щ) - Uf\\2 = tr и<А*У,"Ауи*,(1.16)
поскольку, как нетрудно убедиться, М = А*Е-1А, S = U, D = = 1ЦА*У-А А)МР (см. (1.7)). Для любой другой несмещенной оценки UУ погрешность не меньше значения (1.16). □
Замечание 1.2. Если условие несмещенности не выполнено, то
Е ||т - i||2 = tr (rr* + SM-S*) =
= \\Bf + &||2 + tr (U + BW(U + By, (1.17)
ибо S = CM^ U + В — CM = 0, причем предполагается, что уравнение CM = U + В (1.13) разрешимо относительно С .Следовательно, если В ^ 0, то в случае, когда / — произвольный вектор Rm, погрешность (1.17) не может быть оценена: sup{E ||т —1||2|/ ERm^ = = ос, а если В = 0, то выражение (1.17) принимает вид
Е\\т - t||2 = ||6||2 + tr (UM~U*trUM~U\
согласно которому следует считать b = 0, если мы хотим получить оценку с наименьшей погрешностью.
Следовательно, в рассматриваемом случае, когда вектор параметров У может априори принимать любые значения в Rm, линейная оценка Uf,fE Rm, непременно должна быть несмещенной, так как в противном случае либо вообще не может быть оценена погрешность оценивания (при В ^ 0), либо оценка не является наилучшей (при b ф 0).
Пример 1.2. Согласно замечанию 6.2 к теореме 6.1 гл. 1 оценка (1.15) может быть записана в виде т(^) = ВД^ где для U Е (Rm —> Rk^ линейный оператор Во является решением задачи на минимум:
sup Е ||Ло£ - Г/П2 = inf{ sup Е ||ле - Г/||2|Л € (Ли Rky =
= inf{trRER*\R € (Л„ -4- Rk\ RA = U} =
(1-18)
Таким образом определенная оценка является наилучшей в классе линейных несмещенных оценок. Случайный вектор ВД имеет нормальное распределение JV(BoAf, Bq^Bq) = JV(UУ, UM~U*), которое в отличие от распределения JV(Af, Е), вообще говоря, вырожденно. Оно сосредоточено в линейном подпространстве Rk, натянутом на собственные векторы корреляционного оператора UMU*. отвечающие положительным собственным значениям. В ортогональном дополнении, натянутом на собственные векторы UM U*. отвечающие нулевым собственным значениям, статистика Во б, не принимает значений с вероятностью единица.
Замечание 1.3. В рассматриваемом случае нормального распределения оценка (1.15) является наилучшей несмещенной оценкой t(f) = Uf, У Е Rm) в классе всех гильбертовых несмещенных ста-
тистик).
Как мы увидим позднее, это утверждение перестает быть верным без условия несмещенности. В §3 будут построены нелинейные оценки Пф, для которых с.к. уклонение меньше (1.16) при любом / Е Rm- С другой стороны, если исходить лишь из предположений Е f^ = = Аф, Е/(£ — АфУф, — АфУ = Е, ф Е Rm- свойственных теории второго порядка, но не предполагать, что £ контролируется нормальным распределением, то статистика (1.15) остается наилучшей несмещенной оценкой Uф в классе линейных несмещенных оценок. Чтобы глубже понять роль нормального распределения в этом случае, рассмотрим еще раз линейные оценки, подробно изученные в гл. 2
Пусть наблюдаемый вектор £ имеет вид
^ = AHv, feRm,(1.19)
где v — случайный вектор с известным корреляционным оператором Е^ = Е и математическим ожиданием, равным нулю). Не предполагая известным распределение v, рассмотрим задачу линейного несмещенного оценивания t(J) = Пф, ф Е Rm- в которой для заданных линейных операторов А, Е и U следует найти линейный оператор Ro так, чтобы (см. теорему 6.1 гл.1)
sup Е\\R()^-ОД = пйЦЕ\\RF-Uf\\2 Re^RA = U}.
(1-20)
Так как sup{E у||Д^—Г/||2 / € Дт} < сю, если и только если RA = U,
то задача (1.20) эквивалентна задаче
tr^oE^o = тш{1гЯЕЯ*|Я Е (Rn Rk\ RA = 1Гу (1.21) Предположим для простоты, что оператор Е невырожден. Тогда уравнение RA = U (разрешимое при условии (1.14)) эквивалентно уравнению ЯЕ1/2(Е-1/2Л) = U, всякое решение которого можно записать в виде
ДЕ1/2 = иОД^А-)" + Z(I - Е-^МД-^М)”), где Z - некоторая матрица должного размера. Поэтому
ИДЕЯ* =
+ tr Z^I - S-1/2A(S"1/2A)")Z* ^ tr U(A*E-1 A)"U*
и, следовательно, минимум в (1.21) достигается при Z = 0. Итак, искомая линейная несмещенная оценка Пф существует лишь при условии (1.14) и дается равенством (1.15). Ей сопутствует погрешность (1.16).
Этот вывод совместно с результатами теоремы 1.1 и следствия 1.2 позволяет записать для случая измерения (1.19) неравенства
tr и(А*У,-1А)-и* = min{E f\\R^ - Uf\\2 R e (Rn -> Rk), RA = U^ ^inflEyllO-rZ/lPlTO, EfO = Uf, j6Rm^
^ tr UM"U‘ = tr U^A*NA^U\ (1.22)
где N - матрица с элементами T)
(1-23)(1-23)/ 8 1прЩ) 8 1пр„(ж) nm = Л—ат
(1-23)
(1-23)
у СУ еЛ>2J
В самом деле, согласно равенству (1.19) р^(ж,/) = pv(x — Af), х Е T^n , / Е Пт , где Pv(-) — плотность распределения v. Поэтому
Mst = Е / 99=V A^NyAjt = (A*NA)st.
Правая и левая части неравенств (1.22) не зависят от / Е Пт.
Итак, доказана
Теорема 1.2. Зафиксируем матрицу N (1.23) и при этом условии вычислим min tr 1ЦА*У^ A)-U* no всем распределениям v. Он равен tr U(A*NA)-U* и достигается на нормальном распределении ^(О,^-1), поскольку, как легко убедиться матрица, N (1.23) равна Е-1, если v ^^(0, Е), и в этом случае неравенства (1.22) превращаются в равенства. С другой стороны, если в (1.22) зафиксировать матрицу Е и при этом условии вычислить maxtr U(A*NA)~U* по всем распределениям v, то он будет равен tr U(А^УГ1 A) - U* — значению tr 1ЦА*У-А A)~U* на нормальном распределении ^(0, Е).
Задачи с априорной информацией. Линейные минимаксные оценки
Предположим, что в задаче оценивания значения функции £(/) известно, что / Е Т С Пт , причем множество Т, априори ограничивающее возможные значения аргумента f, таково, что для некоторой оценки т(-) т(т) = sup{E /||т(^) — ^(/)||2|/ ЕТ^ < сю. В таком случае качество оценки можно определить значением т(т(-)) и считать оценку т(^) тем лучшей, чем меньше для нее т(т). Пусть Т — некоторый класс оценок. Если существует оценка т(^) Е Т, удовлетворяющая
условию
™Ш) = suP{e- tuW\f е Л =
= TinfTSup{E ЛЛ^) - tlKVf G Л, (2-1)
она называется минимаксной в Т. Минимаксная оценка минимизирует максимально возможную с.к. погрешность (0.2)
E/|K)-i(/)||2,(2.2)
В этом параграфе будут рассмотрены простейшие минимаксные оценки т^ вида Нф + г линейных функций t(f) = U f, f Е Иш где г Е Rk, U Е (Rm RkV ^(^n ~Rk) — линейные операторы и
вектор £ Е Rn определен равенством (1.19). Речь пойдет о задаче)
sup{E ||Я£ + г — СТП2]/ еД ~ min,
которая с учетом равенства (1.19) может быть записана следующим образом
8ир{||(ЯА -U)f + г||2|/ е Д+ trR^R* ~min. (2.3) r,R
Пусть в задаче (2.3) Т — ограниченное множество в Rm симметричное относительно /о Е Т. Последнее означает что Т вместе с любым вектором / содержит вектор 2/о — / • При анализе задачи (2.3) будет использована
Лемма 2.1. Для любой матрицы Н Е (Rm —> Rk)
inf sup ЦЯ/-6Ц = sup ||Я(/-/0)||,
т.е. точная нижняя грань no b E Rk достигается при b = Hfo.
Доказательство. Так как \\Hf — 6||2 = \\Hf — bi ||2 + Ц&2Ц2, где bi Е R(H) (и поэтому bi = На при некотором а Е Rm) и b2 Е НДН). то inf sup \\Hf - b\\ = inf sup ||Я(/-g)||.
bER-k ^УgERm ^J
Рассмотрим функцию Ду) = sup ||Я(/ —p)||, у ERm^ конечную fER
для всех у Е Rm в силу ограниченности множества Т. Во-первых, Д-) — выпуклая функция [26], ибо
#agi + (1 - а)дг) = sup ||аЯ(/ - gi) + (1 - a)H(f - g2)||
^ 8ир[а||Я(/ - gi)|| + (1 - а)||Я(/ - g2)||] ^ a sup ||Я(/ - д^Щ
+ (1 - a) sup ||Я(/ - g2)|| = atp(gO + (1 - a>(g2l
О ^ а ^ 1,51,52 € тгт
Во-вторых,
V’(g) = sup \\H(f - 5)|| = sup ||Я(2/0 - / - 5)|| = Д2/о - д').
Как следствие этих свойств, получаем
Д/о) = <ш + ^(2/о - д)) ^ ^Дд) + ^(2/0 - д) = Дд)
для любого д Е Пт . Поэтому min ср(д) = rUV) • □
уетг^
Лемма 2.1 позволяет переписать задачу (2.3) в следующем виде
8ир{||(ЯА-С7)(/-/о)||2|/€ Л+- min. (2.4)
Если минимум в (2.4) достигается на операторе R = Ro, то согласно лемме 2.1 искомая минимаксная оценка
т0Д = Г/о+ЯоК-М)т0Д = Г/о+ЯоК-М)(2-5)(2-5)
т0Д = Г/о+ЯоК-М)
т0Д = Г/о+ЯоК-М)
(2-5)
(2-5)
Здесь уместно вернуться к равенству (1.18), определяющему погрешность несмещенной оценки (1.15), чтобы заметить, что погрешность h минимаксной оценки (2.5) удовлетворяет неравенству
h = inf{tr Я5Ж + sup \\(U - RA)(f - /о)||21^} < inf {tr W+ fET
+ 8пр||([/-ЯЛ)(/-/0)||2 R, RA = U} =ш£{1гЯ5Ж|Я, RA = U}
и, следовательно оценка (2.5) заведомо не хуже оценки (1.15). Это и понятно, поскольку при получении оценки (1.15) условие / Е Т не учитывалось.
Заметим, что в задаче (2.4) можно считать, что R^R^ CR(U).
Лемма 2.2. Пусть П — оператор ортогонального проецирования на R(U), тогда оператор Ro, на котором достигается min в (2.4), удовлетворяет условию ПЯ0 = Ro .
Доказательство. Положим R = ПЯ + (I — П)Я. Тогда
tr R^R* = tr ТПППГП + tr (I - H)R^R*(I - П) > tr HR^R*H, (2.6)
IIД - НАШ - /о) II2 = ||[ПД - RA) -(I- П)НАШ - /0)||2 =
= ||Д-ПЛА)(/-/0)||2 + ||(1-П)ЛЛ(/-^^^^ ^||Д-ПЯЛ)(/-/о)||2.
(2-7)
Обозначим б = inf{trПЛЕЛ*П + sup ||Д —ПЯЛ)(/ —/о)||2}. Тогда в силу неравенств (2.6), (2.7)
5 = inf{trflSfl* + sup ||([/ - RA)(J ~ /о)II2} ^
R
^ inf{tr ДЕД* + sup ||(Д - ДА)(/ - /0)||21Д, (I - П)Д = 0}.
Следовательно, действительно, (Z — П)Яо = Он тем самым тг(я0) стг([/). □
Пусть в задаче (2.4) Т = {/ G 7^т, ||О(/ — /о)|| ^ 1} ~ эллипсоид, где Q невырожденный оператор и rankU ^ 1, т.е. Uf = п(/,и), |М| = 1. Согласно лемме 2.2 решение задачи (2.4) в этом случае следует искать в виде R- = a(-,q), где q — искомый вектор. При этом RA(J - /о) = a(q,A(f - /0)) = a(A*qJ - /0) и, следовательно, для
\\(U - RAXf - /о)|| = \\а(п - A*q, / - /0)|| < 1НГ>
- A*q)\\\\D(J - /о)|| < ИН^^ - A*q)\\. (2.8)
где D = (Q*Q)1^2 — положительный квадратный корень из оператора Q*Q(> 0). Так как при D(f - /0) = D"1^ - A*q^\\D~4u - A*q)\\, / Е Т в (2.8) выполняются равенства, то
sup \\(U - RA)(f - /о)|| = ИН^^ - A*q)\\.
Следовательно, в рассматриваемом случае rank U ^ 1, задача (2.4) эквивалентна задаче вычисления минимума
min{||a||2||E1/2g||2 + ||а||2||Д-1(ы - Л*д)||2|д € Д„}.(2.9)
Первое слагаемое под знаком min равно tr RYR*. В этом можно убедиться следующим образом. По определению, ЯЕ1/2- = = aAY^q^ •), поэтому сопряженный оператор действует согласно равенству (ЯЕ1/2)*- = YT/2q(-,a) и соответственно ДЕ^^ДЕ1/2)*- = = RYR*- = п||Е1/2^||2(-, а). Этот оператор имеет единственное положительное собственное значение, равное ||а||2||^1//2^||2 (если rankLZ = = 1), отвечающее единичному собственному вектору п/||п||. Теперь осталось вспомнить, что tr RYR* равен сумме собственных значений RYR* . Поскольку под знаком inf в (2.8) стоит квадратичная функция q. inf достигается на решении уравнения
Yq - AD"2 (и - A* q) = 0(2.10)
— необходимого и достаточного условия минимума (2.9). Решением уравнения (2.10) является вектор
q = (AD”2 А* + Y^AD^u = Е-Ч^Е-Ч + Р2)-1^,
а искомая оценка (2.5) может быть записана следующим образом:
тО = а(и, /о) + a^f^Ap1 +Е"1^^ - А^ =
= Uf0 + U(M + /^Г^Е-Д - Af0), (2.11)
где *) М = А*У^ А А. Сформулируем полученные результаты.
Теорема 2.1. Решение задачи (2.3), в которой U f = a(f, и), Т = = {/€Д„ ||Q(/ — /о)|| ^ 1}; Q*Q = D2 — невироснсдсиний оператор, дается равенствами (2.5), где Ro = U^A*1^-1 А + D2)-1 А*1^-1, или (2.11). Погрешность h оценивания (2.9) равна
||а||2|| А +(2-12)
Рассмотрим теперь задачу оценивания, в которой априорная информация задана условием
/е^={/€7гт,|(М,/-/о)| а, ||«|| = 1}.(2.13)
В данном случае Т — слой в Rm толщины 2а, ортогональный вектору и и симметричный относительно /о • Если, например, / = = (/(жх),... J(xm)y , то точки (жд/(ж^)), г = 1,... ,т, приближенно задают график функции /(•), а включение / Е Rm (2.13) может, в частности, означать, что в точке ж^ |/(жг) — /о(^г)| ^ «, см рис. 3.1.
Рис. 3.1. Априорное ограничение на значение /(•) в точке ж г
Пусть требуется оценить Uf = а(/, е), ||е||=1. Речь
идет, например, об оценивании значения f(xt) при условии, что 1/Д) - /ЬСД| а.
Следуя лемме 2.2, будем искать оператор R в задаче (2.4) в виде R = а(ц q). Так как
IIД - КАШ - /о)II = ||а|||(е - A*qJ - /0)|,(2.14)
то неравенство sup ||(L7 — RA)(f — /о)|| < сю, необходимое для возможности оценить погрешность, в силу условий (2.13), (2.14) эквивалентно требованию
е — A*q = jiu(2.15)
т) Решение (2.11) известно как оценка Кукса-0лмана [27].
на искомый вектор q. где р - неопределенный множитель.
Уравнение (2.15) разрешимо относительно q. если и только если
П(е-ри)=0,(2.16)
где П = I — А* (А*)- = I — АА ортогонально проецирует на JV(A). Если Пи ^ 0, то в свою очередь для того, чтобы могло быть выполнено условие (2.16), необходимо и достаточно, чтобы векторы Пе и Пи были коллинеарны, т.е. чтобы
Пе = ((Пе, и)/||Пи||2)Пи.(2.17)
В этом случае условие (2.16) выполняется при единственном
ц = Цо = (Пе, и)/||Пи||2.(2.18)
Если Пи = 0, то условие (2.16) выполняется, если и только если Пе = 0 или, что же самое, (I — A A)U* = 0. Это равенство эквивалентно равенству U(J — АА) = 0 — необходимому и достаточному условию существования несмещенной оценки т(^) (1.15) значения 77/, / Е Ит. Параметр ц в (2.15) при этом остается произвольным.
Любое решение уравнения (2.15) можно записать в виде
УЧЦ = (^^-^^-(е - ^и) + (/ - (А*^-1/2)-^*^-1/2)^, выбирая произвольно вектор г. Поскольку согласно условиям (2.14), (2.15) sup ||(U - КАШ - /0)||2 = ||а||2а2//2 и
tr R^R* = HalHlS1^^ = ||a||2[||A*S-1/2)-(e_jUti)||2 +
+ ||(I - (A*S-1/2)-A*S"1/2)2||2 ^ ||a||2||(A*S-1/2)-(e - ^u)||2, то задача (2.4) сводится к отысканию
h = ||п||2 inf{||(A*E-1/2)-(e - ци)||2 + а2ц2}.(2.19)
Теорема 2.2. Если Пи ^ 0 и выполнено равенство (2.17), то
h = ||a||2(||(A*S-1/2)_(e - Мо«)||2 + а2^(2.20)
и искомая оценка дается равенством
То (0 = Г/о + ЙО К - М) =
= а(/0,е) + a((A*S-1/2)-(e - МоЫ), S”1/2^ _ AJoyy (2.21)
Параметр ро в равенствах (2.20) и (2.21) определен равенством (2.18).
Если Пи = 0, Пе = 0, то в задаче (2.19) точная нижняя грань достигается на решеии р = р* 'уравнения — (М-(е — д, и), и) + «2д = = 0 (М = А*Е-1А). В этом случае р* = (М-е,и)/((М-и,и) + а2)
и соответственно
h = llalPtll^S-1^)-^ - ^Ы)||2 + Д^ =
= ||а||2((М“е,е) - ^(Л1"е, и)), ШО = a(f0,e) + «((ЛЧ-1^)-^ _ ц^, S-V2(^ _ M))(2.22)
— искомая оценка.
В заключении рассмотрим задачу оценивания (2.4), в которой множество Т определено в виде
7={/еДт,(«Л-/оД«', г = 1,---Д(2.23)
обобщающем (2.13). Здесь щ, г = 1,..., 8 — линейно-независимые векторы s ^ m. Пусть ui,... ,и8 — система векторов Rm биортогонально сопряженная с иу,..., и8 , т.е.
Ui^j) = бу =.(2.
(О, 1^3, г,з = 1,...,8.
С ее помощью множество Т (2.23) можно представить следующим равенством
7 = {/ = /о + Z^i + g, g е £.-l(u1,...,us), г=1
i = l,...,s}, (2.25)
воспользовавшись тем, что в разложении / — /0 = ^ /№ + g. ft = г=1
= (/ - /о,Иг) И (д,щ) = 0, г = 1,... ,8.
Условия (2.24), вообще говоря, (при s < m) не определяют систему щ,..., и8 однозначно. Единственная система щ,..., и8 определится условиями (2.24) и требованиями
Гг с£(м1,...,мД z = l,...,s.(2.24*)
При этом в (2.25) можно считать £± (ui,... ,us) = £± (щ,..., щ).
Пусть как в предыдущей задаче Uf = а(/, е), ||е|| = 1, / 6 Rm, тогда
R- = аЦ q\ || Д - НАШ - /о)IР = IДII2(е - A*q, ^ fiVi + д)2,
trR^R* = |H|2(q,£q)(2.26)
и, следовательно, задача (2.4) разрешима (sup ||(L7—RA)(f—/0)|| < сю) лишь при условии: (е — A*q^g) = 0 при любом д Е /^(щ,..., щ), которое в свою очередь определяет множество Т) допустимых значений q Е Rn. Последнее определим следующим образом. Пусть П5 —
ортогональный проектор на £(щ,..., щ), тогда
Г = Ц G 7г„, (/ - П$)(е - A* q) = 0},(2.27)
и для задачи (2.4) получаем следующую формулировку:
sup{(e - Л*д,52М)2|Д ^«2, г = l,...,s}+ г=1
+ (щ Sq) ~ min .
qE^Zn ,О~П5)(е — A* q)=0
Так как, очевидно,
Г / 5\ 2
г = 1,..., sг = 1,..., ssupi vAe~a^auA Ш 4=1'
г = 1,..., s
г = 1,..., s
то доказан следующий результат.
(2.4) T определено равенством(2.4) T определено равенствомТеорема 2.3. Пусть в задаче
(2.4) T определено равенством
(2.4) T определено равенством
Uf = a(f, е), / Е Т, R- = a(-,q), Vi, г = 1,..., s,— биортогонально сопряженная с системой и-^... ,us система, удовлетворяющая условиям (2.24) и (2.24*). Тогда задача оптимального минимак- ( 8А 2
сного оценивания (2.4) эквивалентна задаче I 52 |(е — А^и^аД I + \г=1/
+ (q, Eq) ~ min, где Т) — множество (2.27).
qED
Дополнительные результаты, касающиеся проблем оценивания, рассмотренных в этом параграфе, содержатся в работах [28-33] и будут приведены в гл. 7, посвященной нелинейной редукции измерений.
Оценки типа Стейна—Джеймса
Вновь вернемся к задаче оценивания вектора параметров / Е Пп по наблюдению случайного вектора £ Е Rn из распределения ^(У, И)1). Мы намеренно упростили задачу, выбрав А = I, чтобы сосредоточить внимание на нелинейности рассматриваемых в этом параграфе оценок. Как было отмечено в примере 1.4, оценка (1.15) , в данном случае равная £, является наилучшей несмещенной оценкой значения / Е Пп в классе всех гильбертовых несмещенных статистик. Иначе говоря для любого / Е Rn
(3-1)(3-1)Е/||е-/||2 = ЫЕ/||Щ)-/||2,
(3-1)
(3-1)
х) В этом параграфе развиты идеи, изложенные в работах [34, 35]; см. также [36-39].
где inf вычисляется по всем несмещенным гильбертовым статистикам т(-). Поскольку, устранив в (3.1) условие несмещенности Е ут(^) = = У, У Е rtn, мы не можем ухудшить оценки, очевидно, что infT(.) Е у||т(^) — У||2 Е /||£ — У||2, У Е rtni и можно попытаться улучшить оценку, допуская контролируемое смещение. С этой целью проанализируем величину 5 разности погрешностей оценивания У Е ГЛ статистиками £ и т^ = £ + д^ :
= (3-2)
с тем, чтобы впоследствии должным образом выбрать поправку д^. Для вычисления стоящих справа в (3.2) математических ожиданий нам предстоит выполнить ряд вспомогательных преобразований. Так как ^-exp(-Q/2) = -(S_1(z -/))fcexp(-Q/2), к = l,...,n, где Q = (Е-|(т — У),ж — У) — квадратичная форма, которая является аргументом экспоненты плотности распределения ЛГ(Л Е), то в координатной записи
(^ - Лг =(^ - Лг =exp(Q/2)exp(Q/2)(3-3)(3-3)
(^ - Лг =
(^ - Лг =
exp(Q/2)
exp(Q/2)
(3-3)
(3-3)
и соответственно
(® - Л д) =
= - exp(Q/2) У= - exp(Q/2) У(3-4)(3-4)^тДдД)ехр(-9/2)) + V ^ДЛдхкЭхк
= - exp(Q/2) У
= - exp(Q/2) У
(3-4)
(3-4)
где х = (жх,... ,хпУ, д(‘) = (91(‘),---,9п(-))*,. Ограни
чим выбор вектора дЛ таким образом, чтобы
Эх =
к=1
= lim
Е
где %^Л = 52 ^кгОгЛ ехр(—Q/Л^ к = 1,...,щ da — векторный
элемент площади поверхности сферы ^2 хк = Р2 в ^^ • Воспользовавшись выражениями (3.3) — (3.5), найдем
5 = 2ЕМЛ-ЕМЛ\\2,(3.6)
где
э$к И dyi
0П0
тг.3.7тг.3.7= УД^я—, ж = 2у, г = 1,...,
тг.3.7
тг.3.7
Рассмотрим класс оценок
М = Ф1^^ГЧ, з = з^\(3.8)
напоминающих по структуре байесовскую оценку случайного вектора Ф Е И^ из распределения JV(O.sI) (при s = const) в схеме измерения £ = ф + v , в которой случайный вектор v Е Кп распределен согласно JV(O, Е) и не зависит от ф (см. § 6). Точно такой же вид имеет линейная оценка случайного вектора ф при измерении £ = ф + v в теории второго порядка, когда ф и v некоррелированны, Е ф = Е v = 0 и заданы корреляционные операторы Е^ = si и ^^ = Е (см. (5.2) гл.1). В каждом из этих случаев, как известно,
min Е ||J?e - Д2 = tr (Е-1 + s^Z)"1(3.9)
и достигается на R = Ro = s(sZ + S)-1, причем Ry^ = Е (у?|/), если речь идет об оценивании ф в задаче с заданным нормальным распределением р^ф. Погрешность (3.9) меньше, чем погрешность оценки £, и мы надеемся благодаря этому обстоятельству получить в виде (3.8) оценку лучше, чем £. Для этого предстоит должным образом выбрать s^. Подчеркнем, что в нашем случае, когда / — вектор параметров, принимающий произвольные значения в Ип, статистика (3.8) при s = const как оценка / Е Ип неприемлема. Действительно, ее погрешность
Е /ПзЦ + 81ГН - /||2 = ||S(sZ + Щ-1/!I2 + Е + sRrW не может быть оценена из-за неконтролируемого смещения —
sup ||E(sZ + Е)-1/||2 = сю.
Для оценки (3.8) при £ = х Е
g(x) = s(sl + Е)-1ж — х = —E(sZ + Е)-1ж = —E(sZ + Е)-1Ет/,где вектор у определен в равенствах (3.7). Выберем s = s(x) == ||Еаж||2/(2сД, где ш > 0, а < 0 — параметры задачи. В таком случаедля q(-) (3.7) найдем: q(x) = tr E(s(x)Z + Е)-1Е — cj-1||E1+a(s(x)/ +
+ Е) 153т/||2 и- следовательно,
§ = 2Е ;tr ади + s)-4 - Е Л£«Л + S)-1^!2-
-Ie/Hs^^^j + s)-1^!2^
2Е f{tr ЭД^Т + s)-1s - (2 + МЛ~1|2ЫЛЛЛЛ)1 + S)-1!!2}, поскольку с вероятностью единица
P (з(£Л + S)-1 ell2 Н^^Л + S)-1||2||^H2 =
= 2wO||S1-“(s(£H + S)“1||2 $5
^2WS(e)l|S““H2||S(3(€)Z + S)-1||2.
Поэтому неравенство 5 ^ 0 будет выполнено, если с вероятностью единица параметр ш > 0 удовлетворяет условию
2 + tr (ЭД^Т + S)-1S)/(3(e)||S(s(€)Z + S)"1!!2),
ш =W||S-“||2.(3.10)
Пусть о^ ^ (72 ^ ... ^ а^ > 0 — полный набор собственных значений Е. Тогда
Нцог + Е)-^) _
5ОДзО +s)-x||2 "
tt ^i + 8O<V1 " ^0 ^ (Л + 8)sat
(3.11)(3.11)
(3.11)
(3.11)
откуда следует, что условие (3.10) будет удовлетворено, если ша подчинить неравенству 2 < 2 + wa ^ ЦХЦз/П^П2. Справа в (3.11) 52 ^ = г=1
= tr Е2 = ||U||25 — квадрат нормы Гильберта-Шмидта оператора Е (см. [5]), сг^ — максимальное собственное значение Е2, т.е.сг^ = = ||S||2 = ||S2||, ||Е(./ + Е)-1!!2 = ^/(ст? + s)2 и для а < 0 ||S1-“(sZ + S)-1||2 = стД"^/^ + s)2 = ||S-“||2||S(sZ + S)-1||2, ибо max Л^-^ЛС172 + з)2 = стД “^/(сг2 + s)2 .
Разрешив это неравенство относительно cj, найдем, что 5 > 0,
еслиесли0 < и0 < иPII1-2INI2 _||S||2-2“°"PII1-2INI2 _||S||2-2“°"(3-12)(3-12)
если
если
0 < и
0 < и
PII1-2INI2 _
||S||2-2“°"
PII1-2INI2 _
||S||2-2“°"
(3-12)
(3-12)
Итак, имеет место
Теорема 3.1. Искомая оценка значения / Е Пп имеет вид
+(3.13)
где параметр ио должен бить выбран согласно условия (3.12). Для нее Е /||ЛЕТ — /||2 ^ Е Дб, — /||2 — 6 при любом / Е Пп. Поскольку, как это следует из неравенства (3.11)
trE(s/ + E)-xE ||Е||2
то выигрыш в точности оценивается согласно неравенству
62E/s||S(s/ + S)“1||2x
(ЛгЕЩ + Д"^||S||2\ /ИЛ)
^2E;||£(.s/ +ДД|2И
В частности, при ша + 2 = ЦЕЦ^/НЕЦ2
Замечание 3.1. Следует подчеркнуть, что со, удовлетворяющие неравенству (3.12), существуют лишь при условии ЦЕЦ2 = tr Е2 =
п2
= 52 ^ > 2сг^ . Если п ^ 2, то для любого оператора Е 52 at С ^i г=1г=1
и лишь при условии, что п ^ 3, существуют матрицы Е, для которых tr Е2 > 211Е112 и, следовательно, может быть выполнено условие (3.12) для ио > 0.
Рассмотрим теперь оценки типа
^ + g^=F(F + ^"4 F = F^.(3.14)
Они также аналогичны байесовской оценке, соответствующей схеме измерения £ = ф + v в предположении о нормальности ф ^ Ы^дД\ v ~ ^(0, Е) и независимости ф и v. Такие оценки, так же как и оценки типа (3.8), в оговоренных условиях имеют погрешность
Е/ПЕД + ДЩ-/!^
= tr (Е - E(S + Д"1 Д = tr (S - S(F + ЕДД:
не превосходящую погрешность оценки £, которая равна tr Е. Однако в нашем случае эти факты, к сожалению, не могут быть непосредственно использованы, ибо при оценивании статистикой £ + #(£) (3.14) вектора / Е Пп при любом F, не зависящем от ^, невозможно оценить
погрешность
Ef\№ + Fr4-J\\2 =
= ||S(F + Д-Д||2 + Еf\№ + Д"М12, f e Fn.
Выберем F = ^*/(2cj), где w > 0 — параметр задачи. В таком случае в согласии с (3.7) ^(ж) = —S(F + Т?ГхТл).
Е ^ = -tr W + s)-4 + -Ur w + S)-4)||(F + Е)"Чу||2 +
+ 2_||S(F + S)-1Sy||2
и соответственно в согласии с (3.6)
5 = 2Еytr (S(F + S)-1^) - ^1 - ^ E;||S(F + S)"1^2-
- Ie ;tr (S(F + S)"4)||(F + s)-1^!2.
Поскольку
жж* X"1.E-4(E-4)*
2w /2w + ж*Е-1ж ’
TO
tr ^(F + ЕГ1^ = 2ихЕ*УГ1х/(2и) + x*^-1^),
^(F + ^)-1x = 2cox/(2co + x*^-1^).
Поэтому ||E(F+E)-1x||2 = 4cj2||x||2/(2cj+x*E-1x)2 и для определения 5 требуется усреднить
2IICII2 14^|К||2
2шС^"Ч2шС^"Ч2w + e*S"4 ш(2ш + СХ"Ч)2
2шС^"Ч
2шС^"Ч
1 Lv нен2 1 w [ 2w + CS“4.
4^lkl|2
(2w + CS“4)2'
Отсюда следует, что 5 > 0, если с вероятностью единица
2||€||2. _2№CK1L_
2ш + СЕ-Ч (2ш + ^Е-Ч)2 /1\4w2||^||24wtrS
“ \ + w/ (2ш + СЕ"Ч)2 + 2w + e*S"4
или, что то же самое, если
tr Е —tr Е —2w + ^*S-1^2w + ^*S-1^^0,^0,ио > 0.ио > 0.
tr Е —
tr Е —
2w + ^*S-1^
2w + ^*S-1^
^0,
^0,
ио > 0.
ио > 0.
Учитывая, что £*Е х£ = ||Е 1//2£||2 и ||£||2 ^ ||£1/2||2||£ 1//2£||2 найдем, что с вероятностью единица
frV (2 + «2(2 + W)||SV2||2||S-l/2^||2 _
^е^-чр-^ен2 "
= lisvam _ (2 + ^)||S1/2||2, Следовательно, для того чтобы выполнялось неравенство 5 > 0, достаточно определить со из условия НЕ1/2^ — (2 + cv) 11Е1/2112 ^ 0, ио > 0. Заметим, что требование НЕ1/2^ — 2||Е1/2||2 > 0 слабее, чем требование ЦЕЦ2 — 2||Е||2 > 0 в (3.12), ибо
0 <" 2^ С Л " 2сг1) •
г=1\г=1/
Сформулируем полученный результат.
Теорема 3.2. Искомая оценка (3.14) значения / Е Рп имеет вид
(l + 2W||S-1/2^||-2)-i^ (3.15) где параметр ио подчинен условию
0<W^[||S1/2|||_2||S1/2||2]/||S1/2||2j(3 16)
гарантирующему, что
еж-ут-е^о-д2 ^о
для любого f Е Рп, п ^ 3.
Достаточные статистики
Обсуждая вопросы оценивания параметров распределений, нельзя не остановиться на важном понятии достаточной статистики [41, 42].
Напомним, что статистика Т(£) = (Ti (£),..., ТД£))* называется достаточной для семейства Р(-Д), / Е Рп, если существует вариант условной вероятности Р(-Д\Т), не зависящей от / 1). Грубо говоря,
О Р(-Д\Т = t) можно интерпретировать как распределение вероятностей на подмножестве Т = {ж Е РП1 Т(х) = t} в Рп . Если, например, k = 1 (см. также §6), то Т можно представлять как поверхность в Рп .
Т(^) содержит всю информацию о /, содержащуюся в £, но, возможно, в более компактном виде. Заметим, что тривиальной достаточной статистикой является £, ибо для любого измеримого множества (события) А С Рп
ГA g А= к
Но интерес представляют нетривиальные достаточные статистики, позволяющие реально уменьшить объем данных, используемых при оценивании, не ухудшив качество оценивания.
Если £ — дискретный случайный вектор (т.е. с вероятностью единица £ принимает не более чем счетное множество значений), то необходимое и достаточное условие того, что Т^ — достаточная статистика эквивалентно возможности представления Р(х, f) в виде
Р^, /) = g(T(x^ fWY $ЕРп, f Е Pm. (4.1)
Здесь первый сомножитель, зависящий от /, зависит от х только посредством Т(х), а второй множитель от / не зависит.
В случае, когда Р(-,/) имеет плотность р(х, f)х) статистика Т(-) достаточна тогда и только тогда, когда
р(жЛ)=д(т(Л,рцл, жетг„, /етгт. (4.2)
Эти представления, известные как факторизационная теорема Неймана-Фишера , по существу, означают, что вся доступная наблюдению информация об / проявляется только через значения Т(-). В частности, при Т(£) = t распределение £
PU € А,/ХЮ = t) = Р(А п шл = t}, /)ЛР({Щ) = t}, /) =
= Е
Q ■№)=<}$е{т(ж)=О
не зависит от / и, наоборот, из этого равенства следует представление (4-1)
Пусть, например, Р(-,Р ~JV(Af, S) и П —ортогональный проектор на ТгД-/^), П = Е-ГМД-1^^)-. Тогда ЦЕ"1^^ _ л/)||2 = = ||ПЕ-1/2(ж —HDI^ + IKZ —ПД-1/2ж||2 и, следовательно, в равенстве (4-2)
оШП = ехр (-^ПЕ-1^^ - Ар\\^ ,
Т(ж) = ПЕ’1^.(4.3)
Поэтому вся информация о /, имеющаяся в £, содержится и ПЕ^/Д. в то время как размерность ПЕ1/2, равная рангу проектора П,— сНшТДА), не превосходит min(m,n).
Представим £ в виде суммы
£ = EV2inr1/2£ + sra^ _ п)Е“1/2Д(4.4)
в которой слагаемые контролируются соответственно вырожденными распределениями JV^Af^^IlS1^2) и АДО, У^/2у — П)ЕХ/2), сосредоточенными на подпространствах ЕХ/27^(П) и Е1/2??^/ — П). Если Т(£) = ПЕ-1/2£ = t. то условное распределение £ = Е1/2^ + + Е1/2(7 —П)Е-1/2£ есть ^(Е1/2^ ЕДД/ — П)Е1//2) и не зависит от /. Заметим, что взаимный корреляционный оператор слагаемых в (4.4) равен нулю:
Е12ж = Е Д^ШД/ДД, Е^Д/ - ЩЕ"1/2^ =
= (Е1/2ПЕ-1/2)Е(Е-1/2(/ - ЩЕ1/2)^ = О,
ибо П(/-П) =0.
Роль достаточной статистики в задаче оценивания не ограничивается возможностью уменьшать объем исходных данных без ущерба для качества оценивания. Оказывается, любая хорошая в смысле критерия (0.1) оценка должна быть функцией достаточной статистики1) (теорема Б лекуэлла-Рао-Лемана-Шеффе [42]). Действительно, пусть т(£) — оценка Д/) и Т(£) — достаточная статистика. Тогда статистика
не зависит от / и, следовательно, также может служить оценкой Д/). Более того, в любом случае
Е /11Ж) - Ц/) 112 = Е /||Е у(Щ) -
Е ЦЕ ДЦО - Ц/)112|щ} = Е Z||O - ОН2, поскольку для всякого случайного вектора £||Е £||2 ^ Е ||£||2 . Если
т(£) — несмещенная оценка Д/), Е ^т^ = Д/), то тем же свойством обладает и т(£), так как Е /т(£) = ЕДЕ Дт(£)|Т)) = Е /т(£).
Инвариантные методы оценивания
В этом параграфе речь пойдет о задачах оценивания, обладающих естественной симметрией между значениями наблюдаемых и оцениваемых векторов £ и / (или Д/)) соответственно. Характерные черты
таких задач проще всего проследить на несложном примере. Пусть РД-,/), / £ — семейство распределений, обладающее свойством симметрии:
для любых векторов aj EU; т(^) обозначим оценку f Е^ ее качество охарактеризуем с.к. ошибкой Е у ||т(^) — /||2 . Поскольку в данном случае связь между вектором параметров / и наблюдением £ = ж, определяемая семейством РД-,/), f ЕВ, инвариантна относительно одновременной замены х и / соответственно на х + а и / + а, где а — любой вектор из В, то естественно предполагать аналогичную связь между значениями оценки и ее аргумента:
т(х + п) = т(х) + а.
Такие оценки называются жвивариантними. Для них качество оценивания не зависит от сдвига а*.
Е /+а||О - (/ + «)112 = = Е ;||< + «)-(/ + «)112 = Е /ПО - /||2.
В данном случае это означает, что любое значение / Е В оценивается посредством т^ , £ ~ РД-, /), с одинаковой точностью Д.
Преобразования £ = ж—>£ = ж + щ / —> / + а можно интерпретировать как переход к новым системам отсчета в пространствах наблюдений и параметров соответственно. В таком случае речь идет об инвариантности задачи оценивания относительно выбора систем отсчета. Это естественное условие, так как выбор системы отсчета не может привнести дополнительной информации для уточнения оценки.
Условия инвариантности, естественно, сужают класс возможных оценок, и в ряде случаев это приводит к тому, что среди инвариантных может быть найдена наилучшая оценка (отсутствующая в более широком классе) [20, 42].
Рассмотрим подробнее структуру инвариантных задач оценивания, ориентируясь на применения, характерные для целей анализа и интерпретации эксперимента. Для этого нам понадобится понятие инвариантного семейства распределений вероятностей. Обозначим В пространство наблюдений, У — группу измеримых отображений В на себя, т.е. таких, что QB = В и для любого измеримого множества В С В и любого преобразования g Е 6 множество дБ = {Дж. х Е В}
Для простоты можно считать, что распределение РД-, /) задано плотностью вероятности рДж, /) (относительно меры Лебега), зависящей от разности х — f .При этом
Е /+а||Щ) - (/ + а)||2 = jp^xj + а)|к(ж) - (/ + а)|ДЖ =
= JР^ж ~ а, /)11т(ж - «) - f\\2dx = Е /Цт^) - /||2.
также измеримо. Посредством У обозначим группу преобразований, действующих в пространстве параметров В и отображающую его на себя, 6В = В.
Связь между 6^6 и P^,f\ f G В, выделяющую 6,6- инвариантные семейства распределений вероятностей, определим следующим образом:
для любого преобразования g Е 6 существует единственное преобразование g = ^^9, такое , что
РНЛНМ.дЛ, ИР,(5.1)
или, иначе, для любого события В
Р^дВ,дЛ = РЦВ,Л.(5.2)
7(5) =5-~~~
Зависимость д = ^(д^ д е 6- не предполагается взаимно однозначной, поэтому запись д Е Д-1 Д) означает, что д — один из прообразов д,^-1(д) обозначает полный прообраз д: ^-1(д) = {д ЕВ, д = = 7(g)}-
Дополнительно к сказанному потребуем:
для любого преобразования д Е 6 можно указать вариант преобразования д Е "РЧд), для которого выполнено условие (5.1)1).
Поскольку из приведенных условий следует, что 6 = U Т^'Д)- дед
вместо 1) и 3) можно потребовать, чтобы равенство (5.1) выполнялось для каждой пары преобразований д Е "рЦд).д. когда д пробегает множество 6 •_
Пусть, например, РД-,/)-ЛДАДЕ), f~EBm, А Е(Вт Вп) Н — группа ортогональных преобразований Вп, оставляющих инвариантным линейное подпространство В(^-1^2А) СВп: ВВ^^^А) = = В^-1'2 А), 6 — группа движений Вп
gx^YAl2H^I2x^h, х ЕВп, НеВ, h еВ^А\ (5.3)
Если в (5.3) ж Е В(А), то дх Е В(А) для любого д Е 6, ибо включение Е гАдс ^BfJL */2 А) влечет включение НЕ 1//2ж 6 Н(Е 1//2А), что в свою очередь, влечет ^АН^-1^2^ g В(А) и, далее дх Е В(А). Нетрудно проверить, что для любого события Z С Вп
РЦд2, Л = I р^Л Л<1ж = j р(дх, Л® = gzz
= [((2тг)и/2 detS1^)-! ехр (-lui;-1/2^ _ лу)||2) dx. z
Тем самым условие (5.1) выполнено для любого р Е 7-1(д).
Здесь использовано равенство det ЕХ/2ЯЕ /2 = det Я = ±1. Так как дх = Е1//2НЕ”А!2х + h. то для некоторого f' ЕН
з(дЛЛ = ||s-1/2(^- и/)||2 =
= НЯЕ"1^^ _ s1^^-1^-1^^ _ 7г.))II2 =
поскольку \\Н • || = || • || и Е1/2Я-1Е-1/2(А/ — h) Е Н(А), а из последнего включения следует, что существует вектор f1 Е Нт, такой, что,,
^Н"1^"1/2^ — h) = Af =(5.4)
или, короче, g-1Af = Af* = Ад-1 f. Если ^(А){0} , то /', а, следо
вательно, и д этим равенством определяются неоднозначно. Поэтому потребуем, чтобы JV(A) = {0}. Это условие эквивалентно тому, что равенство Af = 0 влечет / = 0, или, что то же самое, оператор А*А имеет обратный. В таком случае
f = (A*A)-1A*S1/2H"1S-1/2(Af — h) = (А* А)-1 А*д-1 Af = g"1/.
Следовательно,
g"1 = 7(Г1) = (ЛЩЧдЧ
и соответственно
g = 7(9) = (А*АГгА*дА,(5.5)
так что
д/ = (А*АГ1А*^1/2Н1Г1/2А/ + ЬЧ f ЕПт. (5.6)
Равенство (5.5) определяет единственное решение уравнения
дА = Ад(5.7)
относительно д1). Вместе с тем поскольку уравнение (5.7) определяет преобразование д только на 7ЦА) , то при 7ЦА) ^ Нп возможна неоднозначность при восстановлении д по д. Дело в том, что ^(д) = 7(^9 > еСЛИ д. =• +h, д'- = Е^Я'Е"1/2 . +/г',
где
А*Е1/2ЯЕ"1/2Л = А*£1/2я'Е"1/2Л, A*h =
Здесь первое равенство означает, что Нх = Н'х для любого х е ЯД"1/2 Л); согласно второму равенству h = h', поскольку h, h’ Е 7ЦА). При этом, вообще говоря, Нх ^ Н’х для х Е Пи . Например, если бппТДА) = 1, dim7^n = 3, то Н и Н' могут отличаться на произвольное вращение и отражение в плоскости, ортогональной ^(Е-ГМ).
Заметим, наконец, что По = А (А* А) ХА* — оператор ортогонального проецирования на 7ЦА). Действительно, Щ = По и п^ = По, так что выполнены условия, гарантирующие, что По — ортогональный проектор, а кроме того, Пог = г г Е 7?, если и только если г = А/ при некотором / Е Ит. Действительно, А(А*A)-1 A*Af = = А/ при любом / Е Пт. и если г = А(А* А)-1 А*г, то г = А/ при / = (А*А)-1А*г.
Воспользовавшись этим замечанием и равенством (5.5), нетрудно проверить, что
7(91)7(92) = ^AVA^iA^AVA^A =
= (Л*Л) 1Л*д152^4 = 7(9192), 91 92 € 9, поскольку П(А) = ^^(А) и По^А = д^А. Следовательно, множество 6 преобразований пространства параметров является группой.
Итак, для любого преобразования д Е 6 существует единственное преобразование д Еб, удовлетворяющее условию (5.1), наоборот, для любого д Е 6 можно указать вариант преобразования д Е ^-1(д), удовлетворяющего (5.1) 1).
Следовательно, семейство распределений Af(Af^) 6,6- инвариантно, причем 6 = (А*А)-1^А.
В дальнейшем важную роль будет играть связь рассмотренных преобразований со свойством инвариантности квадратичных форм
Л (ж) = 11(7 - Е-ГМД-ГМЦД-!/2^!2, ~ е ^
j^J^W^'^AUж^У Jey (5.8) сумма которых равна
В данном случае
зЧЛ = 1ДЦ)||2, У(х,Л = \Ых,Л\\21 УЛЛ = ЫЛЛ\\Ч причем векторы
= У- пд-1/2^ е тг-Щ-^М),
х) Подтвердим этот вывод прямым вычислением. Для заданного д определим h и любое преобразование Н. дающее д (5.6). Тогда
||S1/2(« — Чр/)|Г = ||S“1/2(^ — A(_A*A)-1A*y1/2Hy.-1/2Af + h)\\2 =
= ||Е"1/2(жЛ£1/2Я'£“1/Щ+Л))1|2 = ||S-1/2(S1/2HS-i/2(^-/i)-A/)||2 =
= ||Е"1/2(Г1ж-Щ||2-
Здесь д — любое преобразование из д-1(д). Для того чтобы получить равенство (5.1), достаточно заметить, что | д 6д~^х}/ <9 ж| = 1 при любом р.
z^x, Л = Е“1/2А/ -€ 7г(£-1/2А)
(где П =S-1/2A(S-1/2A)- — ортогональный проектор на
7£(S-1/2A)) ортогональны и их сумма равна
^(ж,/) = ^Цж-АЛ, ж€?г, /бЯ.
Нетрудно убедиться, что обе квадратичные формы (5.8) инвариантны относительно преобразований ж —> дх. / —> 7(g)/, д Е 9^ а именно
= зХдР, ЫРЛ = h(gx, pg) л
для любых х Е И, / Е П и д Е 9. Покажем, что верно и обратное заключение: если
Л®=л(Ц л(ж,/) = ЫД/Т(5.9)
то найдется преобразование д Е 9 такое, что х* = дх. f = A^f •
Действительно, равенства (5.9) означают, что ||г1|| = ||Д|| и Ц^Ц = = ||Д||, а поскольку (21,22) = 0 и (Д,Д) = 0, то можно указать ортогональное преобразование Н такое, что
Д = Н21, Д = Н^2.
В подробной записи эти равенства выглядят следующим образом:
(I - ид-1/2®' = НЦ - П^^^х,^^Af - ПЕ"1/2^ = яр”1/2 А/ - ШГ1/2^.
Поскольку zi,z'x е ТДД-1/2A), ziX-i G Т^Д-1/2А), отсюда следует, что подпространство Т^Д-1/2А) (и автоматически Т^ДЕ-'Др) инвариантно относительно преобразования Н, а так как х и / — «независимые переменные», то
Y^Af = HY^^Af + s,
НАГ^х' = НП^-1^^+ s
для некоторого s Е Н. На самом деле, очевидно, s Е 7^(Y-1/2A), Наконец, прибавив к последнему равенству (I — П)^-1/2^ = = Ну — П)^-1//2ж, окончательно найдем
дх = х* = Yy^2 HY-y^x + h,
Agf = Af = Y^^HY^^Af + h,(5.10)
где E1/2HY^^n^A) c7t(A) и h = E1/2^ E К(А). Первое равенство (5.10) определяет преобразование д (5.3), а второе можно переписать в виде равенства (5.6), в котором д = ^(д) (5.5).
Если на П х П определить группу Т преобразований
то квадратичные формы ji, 7'2 и j Т-инвариантны и, более того, пара 71,72 образует то, что называется максимальным Т-инвариантом (см.§ 7 гл. 4).
В общем случае, если семейство распределений вероятностей Р^(-,/) / ^ ^ 5, Q-инвариантно, то для инвариантности задачи оценивания оценку естественно выбирать из класса эквивариантных оценок, обладающих свойством
т(дж) = дт(ж), хеЯ, geg, g = ^{g)eg,(5.11)
и ограничиться инвариантными критериями качества
е^/1Ч(£)-у/ll2 = Е/1Ч(у£)-у/ll2 =
= Е/||дЩ)-Л1|2=Е/||Щ)-/||2, JeR. (5.12)
Равенства (5.11) и (5.12) должны быть выполнены для каждой пары преобразований g Е ^-1(д) -д- где д — любое преобразование из Q.
Можно несколько ослабить требование к оценкам и ограничиться лишь требованием инвариантности (5.12), не привлекая условие (5.11). В более общем случае оценивания значения t(/), f ER, условие инвариантности (5.12) приобретает вид
Еа/||Щ) - Чу/)II2 = Е f\W) - адн2 = Е /ПО - i(/)||2,
/ е тг, дед, д = 7(g) е д.
Приведем пример, поясняющий эти замечания. Как было показано в § 1, наилучшая в смысле критерия (1.18) несмещенная оценка т(^) вектора Uf, / 6 Р, по наблюдению £ ~ JV(Af, Е) существует, если UУ — АА) = 0, является линейной функцией £ и имеет вид (1.15)
т(С) = Н^ = и^-^АуУТ1^.
Заметим, что согласно (5.3), (5.5) для любого д Е Q
Rg^ = Rg(AJ + г/) = RgAf + R^^H^^v = R(Agf + Е1/2ЯЕ1/21/), feR, g = ^(g),
причем вектор g = Ех/2иЕ-1/2р имеет нормальное распределение, Eg = 0, Ч, = Е1/2НЕ-1/2ЕЕ-1/2Н*Е1/2 = S, ибо НН* = I. Следовательно, Rg^ — наилучшая несмещенная оценка Ugf, f Е R, причем для любого преобразования д Е 6
Egf\\R^ " Гд/||2 = Ef\\Rg^ " Гд/||2 = E/W2 =
= tr U(A*E-1A)-U* = Е z||^ - (//И2. (5.13)
Имея в виду равенство первого и последнего выражений в (5.13) при всех д Е 6, оценку R$, можно назвать эквивариантной. Если преобразование ^ —> д^,/ —> gf интерпретировать как переход к
новым системам отсчета в R и R, то смысл эквивариантности состоит в том, что (в новых системах отсчета) Rg^ оценивает Ugf, причем столь же качественно, как Р^ оценивает U f.
Байесовское оценивание
Задачи оценивания параметров распределения, в которых априорная информация о параметрах носит стохастический характер, выделяются как байесовские. В таких задачах вектор параметров семейства РД-,/), f ЕР, является случайным и его (априорное) распределение известно; при этом распределение РД-,/) интерпретируется как условное P^(-\f).
Наилучшей в среднем квадратичном оценкой / до наблюдения £ является вектор Е /. Действительно, пусть случайный вектор f1, не зависящий от /, рассматривается как оценка /. Тогда
Е ||/ - /'||2 = Е ||/ - Е/Ц2 + Е ||Е/ - /'||2 Е ||/ - Е/||2
и min Е II/—/'Ц2 достигается на /' = Е /. Если при оценивании можно наблюдать £ ~ РД-|/), то наилучшая в среднем квадратичном оценка равна условному математическому ожиданию / при условии, что наблюдается £ : Е (/|£). Поэтому далее речь пойдет об условных математических ожиданиях, их свойствах и способах вычисления [20, 42].
Напомним определение условного математического ожидания и некоторые его свойства, используемые в дальнейшем. Пусть (П,, Р) — вероятностное пространство, ц, v — случайные векторы, определенные на Q и принимающие значения в R и R соответственно, причем существует Е ц. Условным математическим ожиданием ц при условии v = ж, Е (цф = ж), называется вектор-функция т^, х Е R, принимающая значения в R, такая, что
J g(w)P(dw) = J m(x)Pv(dx)(6.1)
Z
для любого борелевского множества Z Ф. Посредством Е (цф) обозначим случайный вектор т^. Если
z х fl, и) Е Z,
то Е (ц^) обозначается P(Z\v) и называется условной относительно v вероятностью события Z.
Пусть, например, v = v(co), w Е Q, принимает не более чем счетное множество значений 2ц, Ж2, • • • с положительными вероятностями Ру, Рз,... соответственно, так что
Ру = P(Qj), Qj = {и : н(ш) = Xj }, J = l,2,...,^^ Pj = 1.
j=i
Выберем в (6.1) множество Z = Z3 так, чтобы оно содержало точку Xj и не содержало других точек xt, i ^ j, (например, Zj = {ж^}). Тогда согласно определению (6.1)
тХж^ = у j T](w)P(dw)(6.2)
— среднее значение у(-) на Qj, j = 1,2,... В остальных точках Р т(-) можно определить произвольно, поскольку для любой функции m(-)Pv(m(v) = m^v^ = 1, если m(xj) = m(xj), j = 1,2,... Таким образом, в рассматриваемом случае Е (цф = ж) = т^ ^ где при х = = Xj правая часть определена в (6.2), а в остальных точках т(х) может принимать любые значения.
Фактически Е (цф) определено разбиением Q = |J Q^ , порожденным ^р), а хз определяет только индекс Qj, j = 1,2,... Поэтому Е (цф) можно обозначить Е (?7|сг^), где av — минимальная а- алгебра подмножеств Q, содержащая все Qj, j = 1, 2,..., или, иначе говоря, — сг-алгебра, порожденная V0. Развивая эту точку зрения, можно описать устройство Е (цф) в общем случае. Пусть av — минимальная ст-алгебра подмножеств Q, содержащая все подмножества {и : v(lj) Е Z}, где Z — борелевское подмножество Р. Обозначим {Ппд,..., ПП)П} = Лп, п = 1, 2,..., последовательность разбиений Q, такую, что [43]:
^J ^In^k — ^, ^гцк Pl ^nj — 0? к т^ 3i ^п,к С Opi k,j — к=1
= 1,..., ri, n = 1, 2 ...;
Лп+i получается из Лп разбиением одного из Ппд на две части;
минимальная сг-алгебра, содержащая все Ппд , к = 1, 2,..., п, /г = 1, 2,..., совпадает с av .
Тогда Е (z/|p) = Е (r/lcr,,) = J.im° Е (г/|сг(и)) (Р„ почти наверное), где а^ — минимальная сг-алгебра, содержащая Ппд,..., Qn?n, = = 1,2,....’’
Среди свойств условного математического ожидания отметим следующие.
Если f^ — случайний вектор Tt^ (/(z/),^) — скалярное произведение f^ и Т] и Е|(/(г/),ц)| < сю, то
ЕШДчНЕГЕа/И,^)]
ЫЕ((/М,г,)|р) = (/М,ЕШ)
Pv -почти наверное.
Возвращаясь к рассмотренному примеру, нетрудно получить, что Е(Ки),р) = ^(/(х,),т(х,))Р, и E((/(t/),7?)|^ = х^ =
= У^х^\т^х^\з = 1,2,.... В остальных точках Е ((/(z/), т;)^ = ж) можно определить произвольно.
Если у и v независимы, то Е (y\v) = Ет/.
Пусть рр^(х,у), х Е П, у G П, — плотность распределения вероятностей v,y, pv(x), х Ell, — плотность распределения вероятностей v. Тогда
р(ж)=0,1 J
—плотность условного распределения у при условии v = х, ибо Р(р Е Z\ = х) = Jp^p^x^dy, и если Е у существует, то
z
Е (7?|iz = ж) = j ypTI\v(y\x')dy.
Пусть, например,
P((z) = [(2тг)п+п detS]-1/2 exp ^— |tr
— плотность нормального распределения ^(0, S), в котором
/I У' У' \~~
V. ьТ1 = Пп, П = Пп.
\П /\У /\Т‘прГ1Т1Т1 у
Так как
^р^Д"1 f^+QD^Q* -QD-1\
где
Q = D =— s^^s^Js^^,
Т0Z*E"XZ = х*^Дх + (у - Q*xYD"4y - Q*x\
Кроме того, det S = det ^рр det D, поскольку
/ I 0\ fTjppTjp-qX fTipp TippA
Г Y^v^vJ ” V 0 D )
ii det ^_q*= 1. А так как
Pv(x) = [(2тг)п det S^tz]-1^ exp Е|1гж*Е”Д^ ,
то согласно равенству (6.3)
P^\v(y\x) = ((2тг)и det D)-1/2 exp (-|tr (у - Q*xyD-1(y - Q*x^ , т.е. у при условии v = х имеет нормальное JV(Q*x,D) распределение и, в частности,
Е (г)\у = ж) = Q*x = ^р^х,
Е (О - О*$Уп - Q*xY\v = ж) = D = Sw - S^S^S^ = S^;^ — условные математические ожидания и ковариационная матрица соответственно вектора ц при условии v = ж1). Если цо = Е?7, z/o = Ет/, то равенство (6.2) модифицируется следующим образом:
Е (т? - ^v - z/0 = ж - гД = S^S”^x - z/0),
Е (т?!^ = ж) = уо + S^S^ (ж - гД-
Пусть Е ||ц||2 < сю. Тогда
шш{Е||ц-/(г<|^
Е ||/(ту)||2 < сю} = Е ||ц — Е (ц|ту)||2,(6.5)
т.е. наилучшее в среднем квадратичном приближение случайного вектора ц вектор-функциями f^ — условное математическое ожидание Е (ц|^). Действительно,
Е ||ц - /(ту)112 = Е ||ц - Е (цф)||2 + Е ||Е (цф) - /(ту)112,(6.6)
поскольку Е (ц — Е (цф)ф) = Е (ц^) — Е (цф) = 0 и, следовательно,
Е О-Е (у|ДЕ ОЮ-У(О) = Е [(Е (y|z/)-/(t/),E (у-Е ОЮ1О)] = 0. Равенство (6.5) следует теперь из (6.6).
Возвращаясь к примеру, в котором вектор £ = ^^ контролируется нормальным распределением АДО, Е), заметим, что в согласии с равенствами (6.5) и (6.4) наилучшее с.к. приближение оказывается линейной вектор-функцией v. именно
Е (у|р) =(6.7)
и при этом с.к. погрешность выражается формулой
Е ||ц — Е^Е^ ту|| = tr (Е^ — Е^Е^ Е^Д.(6-8)
Равенство (6.7) и (6.8) были получены ранее (см. (2.5), (2.6) гл. 1) при решении задачи о наилучшем линейном приближении в более неопределенной ситуации, когда предполагались заданными лишь корреля- ционныи оператор и математическое ожидание вектора С = I I . В
т) В данном случае E^lz/ = х от х не зависит.
общем случае, разумеется,
min{E\\л - ЛО1|2|Л)} = Е ||„ - Е („ЮН2~
tr (Sw - E^S^jE^) = min{E ||„ - Bz/||2|B 6 (3? —> 3?)}-
Но при фиксированном операторе E правая часть этого неравенства не зависит от распределения £. Поэтому
maxE ||„ - Е („ИЦ2 = Е ||„ -
где max вычисляется по всем распределениям £ с фиксированными корреляционным оператором Е и Е £ = 0 и достигается на нормальном распределении АДО, Е). Следовательно, в обгцем случае значение (6.8) является оценкой сверху для погрешности оценивания у вектор-функциями ДД.
На самом деле имеют место более сильные утверждения.
Лемма 6.1.1) Для любого случайного вектора f(v), такого,
что Е ||/(^)||2 < сю,
Е (у - f^Xn - /МГ ^Е(у-Е (пНХп - Е (пНУ = S^.
Для любой матрицы R п х п, п = dim??,, n = dim??,, и любого вектора t ER
Е (ту — Rv — tyr/ — Rv — t) ^ S^ — SqpSjSVTp
Доказательство. Действительно для г Е R
Ez^-M)^-^))^
= Ez*(„ - Е (лИКл ~ Е („Ю)*^+
+ ZE (Е („Ю - /М)(Е W - fWV
^^Е(„-Е(„ю)(/?-Е(„ю)^.
Отсюда следует первое утверждение. Для доказательства второго заметим, что если т/о = Ещ Vo = Ev, то значение
Ф(Я, t) = Е z^y - Rv - t)(T] -Rv- tyz =
= Ez*(„ - „о - R^v - v0V
- (t-T]o+ -ЙЮД?? - Ло - Rkv "" ^o) - (t - „0 + RvoWz =
= z*S^z + z*RSvvR*z + z*(t - „о + RvoW - „о + Rvoyz-
- z*S^R*z - z*RSVT)z
достигает минимума no R и t при
R — R* — S-qpSvv , t — t* — Tp) R^Vq,
равного,
zys^ - s^s^s^z.
При этом
R^v + t* = SqpS”^v - Vo) + T)o-
Из сказанного следует также, что
S-q-q — SqVSvv SVq ^ Sqq\v.(6.
В случае, когда вектор = I I имеет нормальное распределение,
Е (т/Ю =- р0) +
поэтому неравенство в (6.9) превращается в равенство. □
В дальнейшем мы неоднократно будем иметь дело со схемой измерения случайного вектора ф
£ = Лу + z/,(6.10)
в которой А — заданный оператор из (Jtm —> Un), ( — наблюдаемый случайный вектор. Предположим, что ф и v независимы и имеют соответственно нормальные распределения JV^o, F) и ^(0, Е) с плотностями п^фо; F), у е Fm. и п(ж|0;Е), х е Fn. Тогда совместное распределение пары случайных векторов £, ф нормально и имеет плотность
РфЛж^ = п(х\Ау^>(у\ф^Р) =
// у;-1—Е-1А Л 'Л
п f ж, у\Аф0^ фо, I1 H*1j | F—) или, что то же самое,
/, л fAFA* + Е AF\ \
71 I ж, т/|Л.у?о, фо; IРА* F / / ’
X eFn, у EFm.(6.11)
В этом нетрудно убедиться непосредственным вычислением. Согласно равенству (6.10) маргинальное распределение ^ нормально и имеет плотность
р^х^ = п(х\Аф0-, AFA* + Е), же Fn
Поэтому плотность условного распределения ф при условии ^ = ж (которое также нормальное) дается равенством
Ру|$(у1ж) = Р^ж^уЦрЦ^ = n(y\FA*(AFА* + у,ф(х - А(р0) + w,F - FA* (AF А* + Е)-1 AF), у€71т, х е71п-
Плотность p^i^?/^) можно подсчитать непосредственно, но можно также воспользоваться распределением (6.11) и формулами (6.4), согласно которым
^w^ = F- FA*(AFA* + Е)"1^,
Е (<^|е = ж) = FA*(AFA* + Е)-\ж - А^о) +
Пусть, в частности, £ = (а, <^) + ^ —«скалярное» измерение вектора ф. Тогда
Ру|$(у|ж) = п(у|Га(<72 + (а,Га))-1(ж - (а,у0)) + фо",
Р-Ра(Р(1)*((а,Ра(+Лф =Р-Ра(Р(1)*((а,Ра(+Лф =(аь ... ,ak)(F)(аь ... ,ak)(F)
Р-Ра(Р(1)*((а,Ра(+Лф =
Р-Ра(Р(1)*((а,Ра(+Лф =
(аь ... ,ak)(F)
(аь ... ,ak)(F)
/°1 А
Ц) - Ц) I I («1,... ,ак)х \&к /
х(Дх(Д(«1 . ..аД(Т)(«1 . ..аД(Т)<т2 = ЕЛ<т2 = ЕЛ
х(Д
х(Д
(«1 . ..аД(Т)
(«1 . ..аД(Т)
<т2 = ЕЛ
<т2 = ЕЛ
Среди задач, рассматриваемых далее в гл. 5, в которых будут использованы полученные результаты, выделим:
Задачи редукции измерения, в которых на основе измерения £ = Аф + v требуется найти наиболее точное в с.к. приближение Иф, где А и U — заданные линейные операторы.
Решением является:
E(W|£) = У UypvK(y\x)dy =
= У Uyn(y\FA*(AFA*- Аф + W,
F - FA*(AFA* + ^фАР^у =
= UFA*(AFA* + Д-1(ж - М) + Uф0.
Задачи прогноза, в которых случайный вектор ф определяет модель измерений, at, г = 1,..., s, — входные сигналы, тестирующие и уточняющие модель,
U = («г,Д + Vi, г = 1,...,3,
— результаты измерения тестирующих сигналов, и требуется оценить отклик
л = кьф,
на известный входной сигнал Ь.
Наилучшая с.к. оценка у по наблюдению £ = (£i-..£s)* дается
равенством
Е(т?Ю = Е^уОЮ = У (b,y)pv\^y\Ody =
= у (Ь,уМу\ЕАЦАРА* + ^"Ч^ - АроН W,
F - FA*(AFA* +H)-1AF)dy = (b, FA* (AFA* + S)"1^ - Ay?0) + y0),
гдегде
где
где
di — ^il i i dim) i ^ — 1, • • • i §i — (€1^s) •
В обоих случаях ф и v незавмсимы, ф ^ JV(b, F), v ^ ^(o, £).
§ 7. Информационные матрицы
Матрица M^(f) = Е/а/^, У)^^,/) в (1.2), где вектор а(^ f) определен равенством (1.5), называется информационной матрицей Фишера или короче, информацией Фишера. В определенном смысле М^(/) является мерой количества информации, содержащейся в измерении £ о значении t(f) функции £(•), допускающей эффективное оценивание. Кроме фактов, приведенных в § 1, об этом свидетельствуют следующие ее свойства [42].
Пусть £i и £2 — два независимых измерения из распределений PiWL ^2(3/); Ы^ь/)> Ж1 е и, р2(ж2,/), ж2 е тг — их плотности соответственно,/ G Рт- Тогда в равенстве (1.5) p(x,f) = = Р1Лч,Лр2(х2,Л> где ж = ^) ’ И’ слеД°вательн0’ «(^Л = = «1(^1,Л + «2(^2,/),
«г^гЛ =«г^гЛ =/д 111 Рг(х»,ЛУ ЭЛ/д 111 Рг(х»,ЛУ ЭЛд Ь Рг(2Сг,Л\* эи ) ’д Ь Рг(2Сг,Л\* эи ) ’г = 1,2.г = 1,2.
«г^гЛ =
«г^гЛ =
/д 111 Рг(х»,Л
У ЭЛ
/д 111 Рг(х»,Л
У ЭЛ
д Ь Рг(2Сг,Л\* эи ) ’
д Ь Рг(2Сг,Л\* эи ) ’
г = 1,2.
г = 1,2.
А так как Е/оДб, Ла2(&, Л = E/ai(fi,/) 1 Е/а£(£2,/) = 0, то в данном случае
МЛЛ = мС1(Л + мал,
где М^ (/) = Е fOii^i, f)a*(^t^ f) — информационная матрица г-го измерения, г = 1,2.
Итак, количество информации, содержащейся в двух независимых измерениях £i,£2 ^ = ^)) ; равно сумме количеств информации М^ и М^, содержащейся в ^ и £2 соответственно.
Пусть ^ = £(£) — случайный вектор. Понятно, что ^ не может нести больше информации об /, чем ^, и этот факт хорошо согласу-
ется со следующим свойством информации Фишера:
f^m.(7.1)
Равенство в (7.1) достигается лишь в том случае, когда £ — достаточная статистика, т.е. когда £ содержит всю информацию об /. Неравенство (7.1) означает, что М^(/) — M^f) — неотрицательно определенная матрица, т.е.
гЦМ^Р-М^ОО
для любого вектора г G Вт.
Пусть р(хЛ)) х £ ^n, / Е 1^ — семейство плотностей распределений £ (и аналогично p(x,f), х Е 7^? Для £)• Тогда
Р^еВ,Р = jp(x,Pdx = j p(x,PdxвжД(ж)ев
и, при достаточно слабых ограничениях на качество р и р,
_ /<91пр~ ~\ f Э1ир_
Чж ( Ж Ж в
= / дщ^ = еЯе;(^^^(7-2)
Jу J гу у J г //
где Еу(ц;£ Е В) — обозначение для математического ожидания ц, вычисленного по множеству, определенному условием ^ Е В. Из соотношений (7.2) следует, что
Э \пр(рр/аЬ = Ерд 1прр,Р/дШ, г = 1,...,т,
Т"е"«о = ЕМЖ
Поэтому для любого вектора z G 7?.т
О [Е РАЧРР-'ЧРР'^ = Е/[г*ааЧ + г*ааЧ - 2z*ad*z] =
= z^M^Pz + z*M^Pz - 2Е/[Е/(^«й^|€)] = z*WP - М^РР, так как
Е У[Е f(z*a5*zO = Е /[Е f(^I)5*z\ = Е fz^г = z^M^f)z.
Отсюда следует неравенство (7.1). Если ^ — достаточная статистика, то p(x,f) = g(x, f)h(x) и, следовательно,
э In p/ajj = a In g/dfj, j = 1,..., m;
8^р(х,Р (ЭУпр^р)- Л Э\пд(х,р .
Поэтому
Э Inpdlnp ЭУпдЭУпд _
р Э In р г z.
В то же время, если М^(ф) = М^ф)^ / G Ttm то для любого г G Ttm
Е - Е/М]2 + Е ДЕ Д^)]2 =
= ЕД/а - Е Д^*<)]2 +
и, следовательно, с вероятностью единица для любых / G£ ^т
2*<,/) = ЕД^<) = д(Щ).
Поэтому можно указать С(ж,/) и 5(ж) такие, что р(ж,/) = = ехр(С(ж, /) + 5(ж)), т.е. £(£) — достаточная статистика.
Заметим, что в случае схемы измерения £ = Аф + v (1.19) вектора параметров ф Е Ttm^ £ ~ ^(Аф, Е), если v ^(0, Е). В этом случае информационная матрица равна
М^ = Efaa* = Е fA*YT^ - Аф)[А*1Г^ - Аф)^ = ^*£“4. (7.3)
Поскольку, как было показано в § 1, для любой несмещенной оценки т(£) значения Пф любого линейного оператора U, удовлетворяющего условию ИУ — АА) = 0, гарантирующему существование несмещенной оценки, и любого ф Е 7tm:
EfM0-UJ\\2^tiUM-^U*(7.4)
(причем для т(^) = UtJZr1^2А)-^-1^2^ (1.15) в (7.4) выполняется равенство), матрица М^ (7.3) «оценивает всю информацию», позволяющую наилучшим образом приблизить значение любой линейной функции Uф, ф Е Т^т , используя измерение ^.
В байесовской задаче оценивания значения U<p по наблюдению ^ = Аф + v (6.10) аналогичную роль играет матрица
ед|€ = [е (^ - е (^ie)(^ - е (^ю)*]-1, в случае нормального распределения равная
М^ = [F - FA*(AF*A* + ЕЩАЕ]"1 = А^-Ы + F"1.(7.5)
Как и матрица (7.3) ЕД^ для любого линейного оператора U позволяет определить погрешность наилучшей оценки Е (L7(^|^) значе-
ния Пф:
E\\U^-E(U« =trU^w^U*,
и в этом смысле Е”^ «оценивает всю информацию» о линейной функции Иф^ каким бы ни был линейный оператор U. В то же время вся информация о Пф, содержащаяся в корреляционных связях, оценивается матрицей М^ (7.5), поскольку последняя позволяет определить погрешность наилучшей линейной оценки Пф для любого линейного оператора U (tr UM^U*, см.§6 гл.1). Понятно, что М^ не может учитывать информации больше, чем Е”^, М^ ^^|^, но если ф и v — независимые нормальные случайные векторы, то ЕГ* = Mt.
та_
Матрицу М^ (7.5) можно интерпретировать как сумму количеств информаций: заключенной в априорном знании (F-1) и полученной в связи с измерением (Л*Е-*Л). В том случае, когда вся информация для оценивания извлекается из измерения, М^, как и следовало ожидать, совпадает с М^ (7.3).
Глава 4
Случайные множества как оценки параметров распределения.
Проверка статистических гипотез о параметрах распределения
В отличие от рассмотренных в главе 3 оценок вектора параметров У Е Т^т распределения РД-,У), задаваемых в виде статистики т(^), и сопутствующей погрешности, например, Е у||т(^) — /||2, теперь в качестве оценки будем применять случайное множество Ф (£) С Ят, зависящее от наблюдения £ ~ Р^(-,У) и покрывающее / с заданной вероятностью. Качество оценивания в этом случае определяется «размером» множества Ф(£) и вероятностью того, что Ф(£) накроет У, т.е. вероятностью события / Е Ф(£). «Размер» Ф(£) характеризует точность оценивания / Е Ят, а вероятность
— его надежность. Оценивание, естественно, тем лучше, чем меньше «размер» Ф(£) и выше надежность. Действительно, чем больше вероятность того, что Ф(£) покроет истинное значение вектора параметров У (т.е. то, которое, будучи неизвестным, определяет распределение £), тем более правдоподобным представляется утверждение, что У лежит в пределах множества Ф(£). Вместе с тем мы не получаем никаких указаний на то, чему именно следует (или, наоборот, не следует) считать равным вектор параметров, и, если «размер» Ф(£) велик, то наши суждения об истинном значении вектора параметров останутся в значительной степени неопределенными1). Как правило, с увеличением точности оценивания его надежность уменьшается и наоборот.
х) Эти рассуждения, опирающиеся на расплывчатые представления о размере множества, в дальнейшем будут уточнены.
Оценивающее множество
В этом параграфе случайное множество рассматривается как инструмент для оценивания параметров распределения.
Определение 1.1. Множество Ф(£) С Пт , зависяицее от случайного вектора £, называется случайным, если {£ Е Pm f Е Ф(£)} — событие для любых f и f Е Пт при условии, что £ контролируется распределением Р^-,/').
О пре де л ение 1.2. Случайное множество Ф(£, Р) назовем оце- ниваюсцим / Е Пт с вероятностью Р, если Р^(/ Е Ф(£, Р),У) = = Р для любого / Е Пт. Вероятность Р назовем надежностью оценивания (истинного значения У) *).
Рассмотрим семейство множеств Ф(ж, Р) сПт,х Е Пп , и образуем множество
Рр = {(ж; У), х ЕТ1п, f Е ^(х,Р) СПт} =
= и Цх-л^х^^с-Кп хтгт, (1.1)
называемое в дальнейшем дискриминантным множеством уровня Р. Рр — множество в Рп х Рт, его можно рассматривать как «график функции» Ф = Ф(ж,Р), х Е Рп, для каждого Р, 0 ^ Р ^ 1, определенной на Рп.
В дальнейшем мы ограничимся изучением оценивающих множеств Ф(£, Р), монотонно возрастающих с увеличением Р в том смысле, что для любого / Е Пт включение / Е Ф(£, Р) влечет включение У Е Ф^Р') или, точнее,
Д ({/ е ФД, Р)^ и и е Ж р1)}, f) = РЦ^ ф(С р\ Л,
если 0 ^ Р ^ Р* ^ 1. Как правило, это будет означать, что Рр сРр. и Ф(ж, Р) сФ(ж, Р') для любого х Е Пп , если 0 Р Р' 1. В таком случае с увеличением Р суждение о том, покрывает ли Ф(£, Р) истинное значение /, становится более определенным, но в то же время становится менее определенным любое предположение о том, каким конкретно следует считать это истинное значение. Кроме того, при наблюдении £ = ж предположение, согласно которому / — значение вектора параметров распределения, контролирующего £, тем менее надежно, чем больше минимальное Р, при котором Ф(ж,Р) покрывает У, точнее, чем больше ш£{Р|Ф(ж,Р) Э /}. Образно говоря, чем больше требуется надежность оценивающего множества, чтобы оно покрыло /, тем менее надежным представляется предположение о том, что У — истинное значение вектора параметров распределения. Эти соображения относятся к области проблем проверки гипотез о параметрах распределения. Мы вернемся к ним позже, несколько иначе
х) В математической статистике Ф(£,Р) называется доверительным множеством уровня (доверия) Р [21, 41].
определив понятие надежности.
Пример 1.1. Рассмотрим семейство нормальных распределений ЛД/, 1), / 6 T^i. Поскольку £ — / ~ ЛДО, 1), то для любого Р, 0 Р 1, можно указать 5 = 5(Р) ^ 0 так, чтобы
р^-л^т, п = р-
В таком случае дискриминантное множество
Рр = Цх-,л, жетгь /€7гь \х-п^б(р^(1.2)
— полоса в Pi х Pi,
Ф(ж0,Д = {fePi, ^о-Д^Р)}^(1.3)
— вертикальное сечение Рр прямой ж = жо. Чем больше Р, тем шире полоса Р и каждое ее сечение прямой ж = const. С ростом Р возрастает уверенность в том, что сечение Ф(ж,Р) содержит /, если £ ~ М(/, 1) и £ = ж — наблюдаемое значение. Но при этом, если Ф(ж,Р) ив самом деле покрывает /, то всякое предположение о конкретном значении параметра становится тем менее определенным, чем больше Р. В частности, при £ = жо предположение о том, что £ ~ ^(/1,1) представляется более надежным, чем £ ^ЛДД. 1) поскольку /1 покрывается Ф(жо,Р) при меньшей надежности, чем /2 (рис. 4.1).
Дальнейшее изложение на
правлено на уточнение понятия качества оценивающего множества и на выяснение возможностей построения хороших оценивающих множеств. Рассмотрим вначале одну из таких возможностей, основанную на понятии оценивающего множества максимального правдоподобия. Доводы, выделяющие их среди других оценивающих множеств, не основаны на точно определенном критерии оптимальности и носят интуитивный характер. Однако при больших объемах наблюдений качество таких оценивающих множеств обретает ряд экстремальных свойств [42, 44].
Рис. 4.1. Дискриминантные множества Рр С Рр! и их сечения ф(жо,Р) С Ф(жо,Р'), Щ/оЖ);0 Р Р' 1Рис. 4.1. Дискриминантные множества Рр С Рр! и их сечения ф(жо,Р) С Ф(жо,Р'), Щ/оЖ);0 Р Р' 1Прежде чем дать определение, напомним, что функцией правдоподобия Кщц f) называется плотность распределения вероятностей Р^ц/) относительно некоторой не зависящей от / 6 Рт меры ц на Рп, рассматриваемая как функция переменного / Е Рт и завися
Рис. 4.1. Дискриминантные множества Рр С Рр! и их сечения ф(жо,Р) С Ф(жо,Р'), Щ/оЖ);
0 Р Р' 1
Рис. 4.1. Дискриминантные множества Рр С Рр! и их сечения ф(жо,Р) С Ф(жо,Р'), Щ/оЖ);
0 Р Р' 1
щая от ж Е Рп как от параметра. При этом для любого измеримого
множества Z С rtn
P^Z, л = j /(ж, ЛМЛ, / G Um-(1.4)
Z
Как обычно, ограничимся распределениями либо абсолютно непрерывными относительно меры Лебега, когда
p^z,p = jKxj)dx, fePm,z
либо дискретными, когда носителем меры д служит конечное или счетное множество точек {Ж1,Ж2, • • •} СПп. В этом случае ц(ж^) = 1, k = 1, 2,..., и равенство (1.4) принимает вид
рмл = 52 l^k,n, /еът,
k:xkeZ
так что
Р^ = xk,f) = WxkJ\ fenm, к = 1, 2,...
Согласно общепринятой интерпретации, при / = /о значение £ = = х считается более вероятным, чем £ = х', если 1(х, /о) > Кж\ fo) ? а при условии ^ = х значение / = /о считается более правдоподобным, чем / = /1, если l(x,fo) > /(ж,/Д. В пользу этого можно привести следующий довод: при векторе параметров /о фактически наблюдаемая реализация £ = х более вероятна, чем при Д. Этот же довод лежит в основе определения оценивающего множества максимального правдоподобия.
Определение 1.3. Семейство оцениваюицих множеств Ф(ж,Р), х Е Нп, называется семейством оцениваюицих множеств максимального правдоподобия, если включение / Е Ф(ж,Р) при условии l(x,f) ^ Z(x,/Q влечет включение f Е Ф(ж,Р) для любого f Е Нт .
Иными словами, если оценивающее множество максимального правдоподобия покрывает вектор параметров /, то оно покрывает и любой другой, не менее правдоподобный вектор ff.
Для иллюстрации обратимся к предыдущему примеру, в котором /) = (2тг)-1/2 ехр (-1(ж - /)2) , xj е Я1.
Согласно определению Ф(ж,Р) — оценивающее множество максимального правдоподобия, если включение / Е Ф(ж,Р) влечет включение f1 Е Ф(ж,Р), для любого f1, удовлетворяющего условию
Иначе говоря, Ф(ж,Р) вместе с / содержит все f*, удаленные от х не более чем /, а это как раз множества (1.3).
Любое оценивающее множество максимального правдоподобия можно определить равенством
ф(ж,р) = {/етгт, i(xj) ^ср^у
где функция ср^х\х Е Rn, имеет вид
Ср(х) = ш£{/(ж,/)|/ е Ф(ж,Р)}
И
j WxJW^ = P-х : Ф(я,Р)Э/
Приведем еще один общий метод получения оценивающих множеств, дающий непосредственно дискриминантные множества. Пусть С,ЛЛЩ ЕИпЛ CR-nи — вектор-функция со значениями в R^ такая, что случайный вектор £(£,/) имеет распределение, не зависящее от №,, если £ ~ Р^(-, /). Это означает, что для любого измеримого множества Z С Rk
не зависит от / Е Rm^ поэтому, выбрав Z = Zp так, чтобы P^(Zp) = = Р, найдем, что
ЪрЩЛЛУ ЩЛПМ
— дискриминантное множество уровня Р, а
ФК,Д = {/етгт,
— оценивающее множество.
Пусть, например, £ = F^^f), где Р(х,Л) х Е Pi, — семейство непрерывных функций распределения, / Е Pi, тогда:
Р^Ж ЛЖЛЖ^Р-^Л, ЖЖЛ Л=^ где
F~* (г. /) = sup{x Е Ri\F(x, Л Л^ 0 < 2 < 1.
Следовательно, статистика £ = F(^ Л имеет равномерное распределение на [0,1] (независимо от / Е Pi) и может быть использована для получения дискриминантных и оценивающих множеств.
Пример 1.2. Если £ ~ «М(/, Е), то распределение ^(0, Е) статистики £ = £ — /, не зависит от / 6 Rm 1 и любое измеримое множество ZpФп, удовлетворяющее условию Р^(£—/ EZp^) = Р(С EZp) = Р, определяет дискриминантное множество Рр = {(ж;/), х — / Е Zp} и оценивающее множество ^(^Р) = {/ = £ — г, 2 Е Zp}. В таком виде представлены, в частности, Рр (1.2) и Ф (1-3).
В монографиях [41, 42, 45, 4] читатель может познакомиться с многими глубокими фактами теории интервального оценивания.
Множество принятия гипотез
Определим на Нт «функцию Ф1 . обратную кФ», как семейство подмножеств Нп, определенных равенством 1)
фЩЛРЩЦетг», /€Ф(Ж,Р)}(2.1)
ДЛЯ каждого / Е Пт . При этом
Т)р = Цх-П, xe»-4f,P), j£Pm^= U {ФЩЛР);/} (2.2)
/ ет?,т
— «график» функции Ф-1(/, Р), f Е Пт . В данном случае важно то, что, во-первых, для любых х Е Пп, fEHm и 0 ^ Р ^ 1
f Е^х^Р\ если и только если ж Е Ф-1(/, Р),(2.3)
и соответственно, во-вторых,
p^f е ф д pw = рци ф"1 (/, pmi (2.4)
(= Р, если / = /9 для любых /, f' Е Нт и 0 ^ Р ^ 1 (рис. 4.2)).
Рис. 4.2. Фиксированное значение /о Е Ф(ж0,Р), если и только еси жо изменяется в пре- _ делах Ф-1(/0,Р); фиксированное значение жо Е Ф-1 (/о, Р), если и только если /о изменяется в пределах Ф(жо,Р). ф-^/о, Р) — множество тех реализаций ^ = ж, при которых принимается гипотеза / = /о; Ф(жо, Р) — множество тех гипотез / Е Пт которые принимаются при наблюдении ^ = ж о
Чтобы глубже понять смысл этих построений, оставим на время задачу оценивания и рассмотрим простейшие понятия, связанные с проблемой проверки статистических гипотез о параметре распределения. Начнем со следующей задачи: на основании наблюдения £ = х требуется проверить гипотезу о том, что £ контролируется распределением Р^(-, /о) • В качестве альтернативы предположим, что вектор £ распределен согласно Р^(-,/), где / может быть любым вектором из множества Р(/о) СНт . В дальнейшем, когда речь пойдет о семействе задач проверки гипотез, будем считать, что множество альтернатив Р(/о) зависит от рассматриваемой гипотезы /о, к&к от параметра, принимающего значения в Нт , и всякий раз /о ^ Р(/о) •
9 Ф-1(/, Р) — множество тех ж 6 Пи1 при которых Ф(ж,Р) накрывает / Е Пт •
Посмотрим вначале, каким образом множество Ф^Д/о-Р) можно использовать для решения задачи проверки гипотезы / = /0, выбрав некоторое значение Р, 0 ^ Р ^ 1, пока безотносительно к возможным альтернативным значениям /. Выберем в (2.1) Р = Ро = 0,999. Если наблюдение £ = ж о не попадает в Ф-1(/о, Ро), то, предположив, что гипотеза верна (т.е. £ ~ РД-До)), мы будем вынуждены признать, что имеем дело с маловероятным исходом, ибо согласно равенствам (2-4)
Р^ £ tPo, Л), /о) =PdUPn\ Ф'Що, Ро), /о) =
= 1-Р^Е ЧтЧкХоМо) = 0,001.
В такой ситуации представляется достаточно разумным отказаться от этого предположения и считать, что гипотеза неверна. Можно спорить о том, каким именно для этого следует выбрать Ро. Важно то, что в каждом конкретном случае приемлемое значение Ро выбрать можно, причем не обращая внимания на альтернативы.
Зафиксируем приемлемое значение Ро. Тем самым мы определим так называемое критическое множество Рп \ Ф^Д/о-Ро) и получим решающее правило или, короче, критерий, согласно которому гипотеза / = /о должна быть отвергнута всякий раз, когда вектор £ попадет в Рп \ Ф-1(/о,Ро) • Если же £ попадает в Ф-1(/о,Лз), то гипотеза должна быть принята (за неимением аргументов, позволяющих ее отвернуть). По этой причине ф-'До.Рд) называется мноснсе- ством принятия гипотезы f = fo уровня (доверия) Ро. Подчеркнем, что, отвергая гипотезу, мы исходим из того, что наблюдение £ = х ^ Ф^С/фЛ)) плохо согласуется с предположением / = /0. Если же х Е Ф-1(/о,Д))5 то наблюдение £ = х не противоречит предположению / = /о и на этом основании гипотеза принимается, хотя при этом, по существу, ничто не говорит о том, что она и в самом деле верна. Действительно, во-первых, другое предположение / = /1 может еще лучше согласовываться с наблюдением £ = ж, а, во-вторых, наше решение не может гарантировать, что какое-либо другое наблюдение не заставит нас отвергнуть гипотезу / = /о • Мы лучше поймем источники этих сомнений, если примем во внимание возможные альтернативные решения.
Согласно выбранному критерию, отвергая гипотезу, мы можем ошибаться, и вероятность такой ошибки равна
^(е^Ф“1(/о,Ро),/о) = 1-Л.(2.5)
Принимая гипотезу, мы тоже можем ошибаться, но в этом случае вероятность ошибки
P3£e4T4fo,Po),n, /Щ/о),(2.6)
зависит от (неизвестного) вектора параметров / Е ^(/о) • При фиксированном Р = Ро эта вероятность зависит не только от альтернативы, но и от используемого множества Ф-1(/о, Дз) принятия гипотезы, поскольку последнее не определяется равенством (2.5) однозначно. По-
этому естественно это множество (при фиксированных /о и Ро) постараться выбрать так, чтобы вероятность ошибочно принять гипотезу (2.6) имела минимально возможные значения при каждом / Е ^(/о), согласованные с условием (2.6), т.е. чтобы
Щ£ € Ф’До, Л),/) ~ min для каждого / е Ч/о) (2.7)
при условии (2.5). Если такое множество Ф-1(/о, Л) = Фо Ч/о, Ро) СУ" ществует, то оно определит наилучший критерий в рассматриваемой задаче проверки гипотезы / = /о при альтернативе / Е ^(/о) (если, разумеется, считать, что качество критерия тем выше, чем меньше вероятности ошибок (2.5) и (2.7)). В самом деле, для любого другого множества Ф-1(/о, Дз) принятия гипотезы
Р^ е фЩ/сЮЛо) = Р^ е ^ЧЬ,РоШ = Ро,Р^ е ФЩ/оЧо) Л) Р^ е ФоЧоЧоМ)
для каждого / € Ч/о) •
Поскольку в математической статистике функцию
W) = WH/o,W), /еЧЫ (2.8) принято называть мощностью (или функцией мощности) критерия, а согласно условию (2.5)
3О(П=РЦ^»оЧЬ,РоУП~ max, /€Ч/о),
то критическое множество 7^п\Ф^1(/о, Дз)5 соответствующий критерий, а также множество принятия гипотезы Ф^~ (fo,Po) назовем равномерно наиболее мощными (равномерно относительно всех альтернатив / Е ^(/о)).
Однако, если множество P(fo) содержит более одной альтернативы, то задача (2.7), (2.5), как правило, неразрешима. Причина этого в том, что обычно нельзя указать одно множество принятия гипотезы, которое минимизировало бы вероятность ошибочного принятия гипотезы при всех альтернативах / Е ^(/о)- Множество, минимизирующее вероятность (2.7) зависит от / Е ^(/о)- Поэтому рассмотрим вначале задачу (2.7), (2.5) для того случая, когда P(fo) содержит единственный вектор /1 = /Д/о)
Для определения множества принятия гипотезы / = /о при альтернативе / = /1, как будет видно из дальнейшего, следует поставить задачу на минимум с менее жесткими ограничениями на выбор Ф1 .
^ж € »щь,рМ1Жь,рз р^р0} =
= P^e^o4fo,P3Ji3 O^Po^PiO (2.9)
Д Подчеркнем, что в рассматриваемой задаче наблюдение ^ может контролироваться лишь одним из двух распределений, т.е. непременно либо / = /о, либо / = /1, а ситуация, при которой не верны ни гипотеза, ни альтернатива, исключается.
Здесь inf вычисляется по всем множествам Ф T(fo,P) и значениям Р ^ Ро. Последнее неравенство выражает ограничение
РК€Ф-1(/о,Р),/о)=Р^Л
на вероятность принять гипотезу, когда она и на самом деле верна, причем учитывается, что в силу структуры задачи равенство Р = = Ро может оказаться невыполненным. Это обстоятельство будет подробно проанализировано в связи с рандомизированными правилами решения. Для разрешимости задачи (2.9) необходимо, чтобы inf достигался на некотором множестве Ф-1(/о, А) при Pi ^ Pq. Для него вероятность безошибочного принятия гипотезы равна
Pi =P^U^"4fo,Pi)Jo) ^Рь
и при этом условии вероятность ошибочного принятия гипотезы минимальна.
Для решения этой задачи можно воспользоваться одним из вариантов фундаментальной леммы Неймана-Пирсона [42].
Лемма 2.1. Пусть РоД, Р1(Д • • • ^ Рк^ — определенные и интегрируемые на Пп функции, Еу,... ,Ек — заданные неотрицательные постоянные и В — класс всех множеств В С Кп, таких, что
JPi(x)dx = Et, г = 1,... ,k. в
inf <inf <ввДля того чтобы
inf <
inf <
в
в
еВ>
достигался на множестве Вц из В, достаточно, чтобы существовали постоянные, Ai,..., А& такие, что
{к
(2.Ю)(2.Ю)х еР,п, ро(х) ^ ^Х^р^Р)
(2.Ю)
(2.Ю)
г=1
Если постоянные в (2.10) неотрицательны, то Bq минимизирует J po(x)dx на классе множеств, удовлетворяющих условию в
(2.11)(2.11)JPi(x)dx Ei, г = 1,... ,к. в
(2.11)
(2.11)
Доказательство. Пусть В ЕВ и Bq определено в (2.10). Тогда
ВоВоввВо\(Во U В) кВо\(Во U В) кУ Po^dxвчв0 J в) кУ Po^dxвчв0 J в) кBo\(B|jBo)Bo\(B|jBo)b\(b|Jbo)кb\(b|Jbo)ккк
Во
Во
в
в
Во\(Во U В) к
Во\(Во U В) к
У Po^dx
вчв0 J в) к
У Po^dx
вчв0 J в) к
Bo\(B|jBo)
Bo\(B|jBo)
b\(b|Jbo)
к
b\(b|Jbo)
к
к
к
\х = 0.
Здесь использованы неравенства
к
Ро(ж) ^2 ^iPi(x), ж е В0\(В U Во);
к
Ро(ж) > ^ ^iPi^), ж € В\(В U Во),
а также тот факт, что В и Bq принадлежат S, т.е. что
г = 1,... ,к.
ввв0
в
в
Если же Xi ^ 0, г = 1,... Д, то при условии (2.11)
ккккккВоВоВВВВ
к
к
к
к
к
к
Во
Во
В
В
В
В
Замечание 2.1. Если для некоторого во класс В U < В, f po(x)dx = во г не пуст, то, очевидно,
inf <
Предположим, что распределения РД-ДД ^ = 0,1, в задаче (2.9) заданы соответственно плотностями l(x, fi), х Е Вп , г = 0,1, относительно меры Лебега, так что
В таком случае задача (2.9) обретает вид задачи на минимум
1п^ У /р,/1Цж|Ф \ у l(x, fo^dx Ро | = У l(xJ3dx,
Ф"1Ф^/оРо)
_(2-12)
рассмотренной в лемме 2.1. Поэтому множество Фо1(/о5Ро) можно искать в виде
фо"1(/о,Ро) = {хетгп, КхЛхНЖ^Ш(2.13)
где постоянная А ^ О должна быть определена из условия
У KxJ0)dx = P0.(2.14)
ФоЛеЛ)
пример 2.1. Если в частности, Р^ч f) ~ ^(f,I^ / G РП1 то согласно выражению (2.13)
(2.15)
— полупространство в Рп. Для определения In А = р = ц(Ро,/оД1) уравнение (2.14) дает
Ро =У(2тг) 2 ехр (Др - /о|Д dx =
(ж-Л,/1-Л)^м+||/1-/о||2/2
= У (2тг)-1/2 ехр Д 1;Д ch =
2^м/||/1 ~/о II + H/1 ~/о 11/2
= ф f —-ь Д/клКЛ^ (2.16)
МА-ХоГ 2 у ^ ^
где Ф(г) = J (2я) 1//2 exp (—^ж2) dx — функция распределения
АДО, 1). Обозначив ф-ДРо) корень уравнения Ф(г) = Р^ получим выражение для полупространства (2.15)
Фо Ч/оЖо) = Р е Rn, (х - /о, Л - /о) ^ Ф-ЧРОШ1 - /о||} .
(2-17)
Его границей является плоскость (х — /оД1 — /о)=
= Ф-1(Р0)||/1 - /oil, ортогональная вектору /1 - /0. Если Ро = 1/2, то плоскость проходит через /о, ибо в этом случае Ф-1(1/2) = = 0. Если же плоскость пройдет через (/о + /1)/2, то вероятности
принять гипотезу, когда она верна, и отвергнуть, когда она неверна, сравняются и примут значение, равное Ф(||/о — Д11/2) (рис. 4.3).
^-Hfo.Po) ф-Д/оД/2)^-Hfo.Po) ф-Д/оД/2)Рис. 4.3. Области принятия гипотезы / = /о при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Р0 = Ф(||Д-Д||/2)>1/2Рис. 4.3. Области принятия гипотезы / = /о при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Р0 = Ф(||Д-Д||/2)>1/2Возвращаясь к задаче (2.7) проверки гипотезы /= Д
^-Hfo.Po) ф-Д/оД/2)
^-Hfo.Po) ф-Д/оД/2)
Рис. 4.3. Области принятия гипотезы / = /о при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Р0 = Ф(||Д-Д||/2)>1/2
Рис. 4.3. Области принятия гипотезы / = /о при альтернативе (конкурирующей гипотезе) / = Д для Ро = 1/2 и Р0 = Ф(||Д-Д||/2)>1/2
при альтернативе / G ^(Д), видим, что согласно условиям (2.13), (2.14) наилучшее множество ФоДД,Ро), как правило, зависит от альтернативы Д Е ^(Д). Это будет не так в том случае, когда существует функция Дж), ж Е Пп, такая, что при любом Д Е ^(Д) отношение
/(ж, Д)Д(ж, Д),навиваемое отношением прав-доподобие является монотонно
возрастающей функцией t = t(x). Действительно, при этом условии неравенство в (2.13), определяющее множество принятия гипотезы, можно записать в виде неравенства относительно t^:
после чего условие (2.14)
(2-18)(2-18)У l(x,f0)dx = Ро
(2-18)
(2-18)
^(ж) ^7
определит значение у = у(Ро) — одно и то же для всех Д Е ^(Д) • Так определенное множество ФдДД^о) является равномерно наиболее мощным относительно всех альтернатив Д Е ^(Д) • Разумеется, вероятность РД^ Е Ф^ Д/о, Ро), /) ошибочно принять гипотезу зависит от альтернативы / (Е ТДД), но при каждой альтернативе эта вероятность не больше, чем при любом другом выборе множества Ф1 принятия гипотезы, ограниченном условием РД^ Е Ф-1. Д) ^ Д).
Пример 2.2. Пусть, P^J) = Я/^), Л/о) = Wo^ > 1}. В таком случае логарифм отношения правдоподобия
1
(у-О^-ЧЛо)-^—lls-vVoii2
является монотонно возрастающей функцией (Е-1ж,Д). Следовательно, область принятия гипотезы равномерно наиболее мощного критерия задается неравенством (Е-1ж,Д) ^ у, в котором у надлежит определить из условия (2.18). Вычисления, аналогичные проведенным в (2.16), дадут следующее выражение для равномерно наи-
Рис. 4.4. Равномерно наиболее мощные области принятия гипотезы / = /о при альтернативах из класса ^(/о) = {^/о,^ > 1}
более мощной области принятия гипотезы:
Фо^/о, F) = р е тги, Щ1^ - /о), /о)Ф-1 (ЩI |S-V2/o 11}. (2.19)
На этот раз снова имеем полупространство, но его границей является гиперплоскость, ортогональная Е-1 /о (рис. 4.4).
Оценивающие множества минимального размера
Мы уже обратили внимание на то, что при оценивании параметров распределения посредством случайных множеств возникают вопросы, ответы на которые могут быть даны в терминах теории проверки гипотез. По-видимому, теперь, после обсуждения идей, связанных с задачами проверки гипотез о параметрах распределения, ясно, что задачи оценивания и проверки гипотез можно рассматривать как различные аспекты одной математической проблемы. Действительно, как следует из формул (1.1) и (2.2), множества, оценивающие значения параметров распределения, и множества принятия гипотез о значениях этих параметров являются сечениями одного и того же дискриминантного множества Т)р СЛП х 7tm . Связь между этими множествами отмечена условиями (2.3), (2.4) и проиллюстрирована на рис. 4.1 и 4.2. Она-то и позволит уточнить приведенные ранее рассуждения о размере оценивающего множества.
«Размер» оценивающего множества Ф(ж,Р) можно связать с тем, насколько велико множество «лишних» векторов параметров / Е Лт ,
накрываемых Ф(ж, Р) при условии, что ^ ^ Р^(з /о) и / ?^ /о Х)• Под «лишними» естественно понимать прежде всего те векторы параметров, которые по той или иной причине нежелательно спутать с предполагаемым значением вектора параметров распределения, в данном случае с /о- Выделим для каждого /о множество Р(/о) «лишних» векторов и рассмотрим семейство задач проверки гипотез о том, что истинное значение вектора параметров распределения, контролирующего наблюдение £, равно /о при альтернативном предположении, согласно которому оно может быть равно какому-либо вектору из Р(/о) • Будем считать, что /о может принимать любое значение в rtm , определяя тем самым различные задачи проверки гипотез. В каждой задаче множество Р(/о) выделяет векторы Пт^ которые важно отличать от /0, т.е. «лишние» , если /о ~ истинное значение вектора параметров распределения £. Если же на самом деле £ ~ Р^-^ и / 6 Р(/о), то / нежелательно спутать с /0; в этом случае для любого / 6 Р(/о) «лишним» является /о •
Пусть сначала Р(/о) = {/1} и Ф-|(/0.Р) — наиболее мощная область принятия гипотезы / = /о уровня Р. Как известно, это значит, что
РЦС е фЩ/оПУо) = Р = P^h е ФД ДДо)
(см.(2.4)) и для любой другой области Ф-|(/0.Р) того же уровня Р^ е Ф-1(/о,^),/1) < Р^ ^ Ф^С/фР),/!). Согласно равенству (2.4) отсюда следует, что для любого оценивающего множества Ф(ж, Р)
Р^ = Р^ е ФК,ПЛ) < W е Ф(фР),А) = (3.1)
Итак, вероятность того, что Ф(£,Р) накроет /о , когда на самом деле вектор параметров распределения равен /1, не больше, чем вероятность того, что /о будет накрыт любым другим оценивающим множеством той же надежности Р. Неравенство (3.1), по существу, подсказывает определение размера оценивающего множества ^(^Р) посредством функции д(/, Р) заданной равенством
7(/^)=^(/оеФ^,Р),/) (3.2)
на множестве {/0} П Р(М = {/о} П {/1} Э /, 0 < Р < 1.
Назовем размером оценивающего множества Ф(£,Р) функцию ^(f^P), / G {/о} П ^(М Р имеет смысл параметра, определяющего значение размера при / = /0. По определению, y^fo^P) = Р и, как следует из замечания к лемме 2.1, y(/i,P) < Р, если Д ^ /0 . Чем ниже лежит график сечения д(/, Р) при Р = Ро (или, как говорят, график сужения функции ^Yv^ на область {/о} П-^(/о) Э f,P = = Ро), тем меньше соответствующее оценивающее множество Ф(£, Р).
х) Напомним, что согласно обозначению Ф(£, Р) накрывает / = /0 с вероятностью Р.
В частности, каким бы ни было оценивающее множество ^(^Р), y(f,P) <Р) = РЩо G ^АП(3.3)
для всех / Е {/о}П{/1} и 0 ^ Р ^ 1. Следовательно, при любом Р, 0 ^ Р ^ 1, оценивающее множество Ф(£, Р) не больше любого другого оценивающего множества Ф(£, Р).
Пусть ^(^Р) и ^(^Р) — произвольные оценивающие множества. При фиксированном Р могут представиться две возможности: либо 1) ^(fhP)= ^(fh?) и в этом случае множества Ф(£, Р) и Ф(£, Р) естественно назвать эквивалентными (при надежности Р); либо 2) Л/ьД # ^ЩХУ В этом случае, если, скажем, 7(/i,P) < 7(Л,Р), то считаем, что Ф(£, Р) меньше Ф(£, Р) и отмечаем это символом -<, Ф(£, Р) -< Ф(£, Р). Соотношение Ф(£, Р) ~ Ф(£, Р) используем для обозначения эквивалентности Ф и Ф.
Итак, если Р(/о) = {/1}, т0 любые два оценивающих множества Ф(£, Р) и Ф(£, Р) сравнимы по размеру при любой надежности оценивания: для любого фиксированного Р, 0 ^ Р ^ 1,, либо Ф(£, Р) -< -< Ф(£, Р), либо Ф(£, Р) -< Ф(£, Р), либо, наконец, Ф(£, Р) ~ Ф(£, Р) Вполне возможно, что символ предпочтения -< изменится на противоположный >- при изменении Р:
ф^,р) Ф(е,р), но Ф(е,Pi) ф(^Pi), Pi р
Однако, если оценивающее множество Ф(£, Р) отвечает наиболее мощному критерию, оно будет наименьшим среди всех оценивающих множеств при любом Р, 0 ^ Р ^ 1 (см.(3.3)).
Обратимся к примерам.
Пример 3.1. Если Р^(-,/) = ^(/, 1), то, как известно, наиболее мощное множество принятия гипотезы / = /о при альтернативе / = = /1 является полупространством (2.17), ограниченным плоскостью, (ж - /о, Л - /о) = Ф-1(Д)||/1 - /о||, проходящей через a/i + (1 - а)/0, где а = ф-^Ро)/!!/! — /0||, ортогонально /1 — /о- Соответственно
РР = ^Л\(ж_/0,/1_/0)^ф-1(Р0)||/1_/0||}(3.4)
— дискриминантное множество и
Ф(Ж,Р) = {/о€7г„, (ж-/о,/1-/о) ^ф-ЧЛ)!!/!-/oil} (3.5)
— оценивающее множество. В равенствах (3.4) и (3.5) можно считать /1 произвольной функцией /о, подчиненной единственному условию /1(/о)^/о, /оеРп.
Пример 3.2. Рассмотрим вначале случай «фиксированной аль-
Ф"1(Р) = -0,5||Ж-/1||
Ф"1(Р) = 0
Ф-1(Р) = ^-лп
Ф"1(Р) = 1,5||Ж-/1||
Рис. 4.5. Оценивающие множества (3.7) при различных надежностях
тернативы», определив для каждого /о € 'R-n
f ( f \ _ / /11 /о / /11^^t - [.bi /о = /1-
(3-6)(3-6)Оценивающее множество можно представить в виде объединения двух множеств
(3-6)
(3-6)
фЦ Д = (/о е тг„, /0ф-1(д| П
I\\п - Joli)
нм ес™(х-ьл2-ькФЛРШ2-м, если (x-ha2-h)>^-4PW2-h\V
Что касается первого множества, не содержащего /1, то, переписав определяющее его неравенство в виде
нетрудно представить себе его структуру. Если Р = 1/2, Ф-1(1/2) = = 0, то это шар
радиуса ||ж - /1||/2 с центром (ж + /1)/2. Обозначив ||/0 - /1|| = = А к — /ь /о - /1)/||/о - /11| = Ik - /11| cosy?, где у? — угол между векторами ж — Д и /о — Д, получим уравнение границы множества Фк,Д\{/о}:
Р = Ik - /111 cosy? + Ф-1(Р), Р > 0,
имеющее хорошо известный двумерный аналог — уравнение «Улитки Паскаля» (рис. 4.5). Наконец, что касается вектора /1, то он принадлежит ^^х^Р^ если
к-Л,/2-/1) ^ф-кДПЛ-ЛП,
и не принадлежит — в противном случае.
Пример 3.3. Если гипотезу и альтернативу связать не условием (3.6), а равенством
Л = А(/о) =-/о, /оетг„, то оценивающие множества могут быть получены из выражения (3.5) заменой /1 на —/о:
»(х,р) = Ьоерп-^^Д^Ф-ЧрД, o^p^i (з.8)
Они выглядят так же, как представленные на рис. 4.5, при условии, что /1 определено равным 0.
Рис. 4.6. Если ^ ~ Р^(-,—/о), то факт включения /о 6 Ф(ж,Р) при ^ = ж изображенный на рисунке, оказывается максимально неправдоподобным. Предположение о том,что ^ ~ ^(з/о) при ^ = ж имеет надежность, равную 0,5 (/о лежит на окружности радиуса ||ж/2|| с центром в ж/2)
Пример 3.4. Наконец, если /1 и /о связаны условием
Л(/о) = 2/о, №,(3.9)
Ф(ж,Т) = До G Рп,Ф(ж,Т) = До G Рп,(ж - /о,/о)НУо11(ж - /о,/о)НУо11^фДРЦ, O^F^l,^фДРЦ, O^F^l,(3.10)(3.10)то оценивающие множества принимают вид
Ф(ж,Т) = До G Рп,
Ф(ж,Т) = До G Рп,
(ж - /о,/о)НУо11
(ж - /о,/о)НУо11
^фДРЦ, O^F^l,
^фДРЦ, O^F^l,
(3.10)
(3.10)
и оказываются дополнениями предыдущих до Рп, если в них предварительно Ф-1(Р) заменить на — Ф-1(Р).
Рассмотрим оценивающее множество Ф(ж,Р) (3.8), изображенное на рис. 4.6, и любой вектор /о Е Ф(ж,Р). Предположим, что /о ~ истинное значение вектора параметров, т.е £ ~ Р(-, /о) •
В таком случае речь идет о событии, вероятность которого равна Р. Альтернативное предположение, согласно которому истинное значение вектора параметров равно — /о, уменьшает вероятность включения /о £ Ф(ж,Р) до минимально возможного значения Р^(/о Е 'S^P), —/о) (для данного Р). Иначе говоря, предположение £ ~ Р^(-, —/о) приводит к тому, что факт включения /о ЕФ(^,Р) при £ = ж оказывается максимально неправдоподобным. В этом состоит буквальный смысл рассуждений о минимальном размере ^(^Р) по отношению к «лишним» векторам.
Разумеется, и в общем случае, если /о 6 Ф(ж, Р), то предположение о том, что /о ~ вектор параметров распределения, контролирующего £, во-первых, более правдоподобно, чем альтернативное предположение, согласно которому £ ~ РДз /1 (/о)), ибо
Р = Р^Ь € ФДЩо) = р^ е фЩ/оДИо) >
> Р^ е фД/оЛ./!) = Д(/о € ФДР),А).
Во-вторых, при альтернативном предположении включение /о Е Ф(ж,Р) максимально неправдоподобно по сравнению с любым другим включением /о Е Ф(ж,Р). Следует заметить, что включение /о Е Ф(ж,Р) не исключает включения /1(/о) Е ^(Ж)Р)) как, например, в условиях (3.9), (3.10) (см. векторы /д и ^fo на рис. 4.6).
Пусть Ф-1 (/0. Р) ~ область принятия гипотезы / = /0, равномерно наиболее мощная относительно класса альтернатив Р(/о) • В таком случае, если
Р = Р^ е ф-^/сДЛо) = Р^Л е ФД Д,/о) = Р^Л с ФД Д,Ы то для любого / е Що)
р^ € ^"ЧЛ,Р),Л = РЦЛ е ФДПУ)
Р^ е ФЩ/оЛ),/) = Р^Л е ФДPMY
Иначе говоря, если £ ~ РД-,/),/ Е Р(/о), то Ф(£,Р) может накрыть предполагаемое, но неверное значение вектора параметров / = = /о с минимальной вероятностью в сравнении с любым другим оценивающим множеством Ф(£, Р), каково бы ни было истинное значение / Е Р(/о) • Можно сказать, что Ф(£, Р) имеет минимально возможный размер для любой альтернативы, ибо д(/, Р) ^ д(/, Р), 0 ^ Р ^ 1, УеЩо) (см.(3.2)).
Пример 3.5. Если £ ~ JV(f, Р), Р(/о) = {^Уо,^ > 1}, то, согласно выражению (2.19) для наиболее мощной области принятия гипотезы / = /о(Е = 1),
^,РНИЫх-МоКНР)Шй (3.11)
точно совпадает с множеством (3.8). На рис. 4.7 приведен график функции (3.2) (поверхность) 7 = 7ДР), f е {/0} П ДЛ), 0 < Р 1.
Для любого другого оценивающего множества Ф(ж,Р) поверхность 7 = 7(/, Р) будет расположена не ниже.
Надежность гипотезы
Как было отмечено ранее, предположение о том, что /о — истинное значение вектора параметров распределения, при наблюдении ^ = ж выглядит тем более надежным, чем меньше максимальное Р, при
Рис. 4.7. Зависимость д(/, Р) = = Pdh е ФДДТ), / е{/о)А АДМ 0^Р^0,5, £ ~Я/Т), ^(^Р) — наиболее мощное оценивающее множество (3.8). Для любого другого оценивающего множества ^(^Р) поверхность д(/, Р) не может лежать ниже изображенной на рисунке
котором /о 0 ^(х,Р). Дело в том, что рассмотренный критерий для каждого наблюдения £ = ж предписывает либо принять, либо отклонить гипотезу, но на практике исследователю, как правило, далеко не безразлично, с каким «запасом надежности» принимается то или иное решение. Например, одно дело, когда наблюдение Е, = зс при уровне Р отвергает гипотезу, но при небольшом увеличении Р (уменьшении критического множества) не отклоняет ее, другое — когда гипотезу не удается «спасти» даже ценой значительного увеличения Р. Чем больше максимальное Р, при котором наблюдение £ = ж отклоняет гипотезу, тем значительнее £ = ж свидетельствует против гипотезы.
Простая гипотеза И, = {/о}? простая альтернатива /С = {/1}. Рассмотрим понятие надежности гипотезы в случае, когда гипотеза и альтернатива — простые.
Определение4.1. Назовем надежностью гипотезы / = /о ^^ альтернативе f = fi ^ fо случайную величину
afo,fi К) = «К) = Ы{1 - Д/о £ ФК, Р),), 0 ^ Р ^ 1} =
= inf{l - FK £ ФЧД Р), 0 Р $5 1}. (4.1)
Допуская известную вольность, ск(^) можно интерпретировать как минимальную вероятность ошибочно отвергнуть гипотезу / = /о в пользу альтернативы / = /х, если наблюдается вектор £ ~ Р^(-, /о) 1) •
Например, надежность гипотезы / = /о при альтернативе / = = — /о в ситуации, изображенной на рис. 4.6, равна 1/2, если £ = х. Чем меньше а(£), тем определеннее наблюдение £ свидетельствует против гипотезы.
Рассмотрим свойства надежности в том случае, когда множество Ф-|(/о.Р) принятия гипотезы определяется равенством (2.13). Но
Д Аккуратная интерпретация а в терминах теории возможностей дана в [46].
прежде заметим, что введя отношение правдоподобия
/(ж) = /(ж, А)Дж,/о), /(ж,/о)>О, ж€Тгп,
можно записать другое представление для множества принятия гипотезы
ф-^/сД = Цё7гп, ^ЦА),(4.2)
несущественно отличающееся от (2.13). Действительно, в определении Ф1 (4.2) не участвуют элементы 7^п, в которых не определено отношение правдоподобия, т.е. ж Е Рп, в которых /(ж,/о) = 0. Эти элементы входят в Ф1 (2.13), но для них, в силу структуры условия (2.13), и /(ж,/Д = 0. Следовательно, Ф1 (2.13) отличается от Ф1 (4.2) на множество Z С Пп, для которого как P^Z^fe) = 0, так и P^Z^fi) = 0. Этот факт не позволяет отличить статистические выводы, основанные на определениях (2.13) и (4.2) ф-Д/о.П).
Условие £ 0 ф-^/о,^) (4.2) эквивалентно неравенству /(£) > А. Поэтому
ct(£) = inf{l — Р|0 А </(£)} =
= inf ^ 1 — У /(ж, /о)йж| 0 < А < /(£)| =/(ж)^А
= inf{ j /(ж,/о)^|^ > 0 j* = j l(x,fo)dx, (4.3)
поскольку
{Ж е пп. /(ж) > 1О = А {^ е нп. /(ж) > /(£) - 5}
5>0
и интеграл является непрерывной функцией множества относительно монотонного предельного перехода.
Предположим, что распределение статистики /(£) при £ ~РД-,/о) абсолютно непрерывно, или, иначе говоря, для любой постоянной с > 0
PM)=cJo)=O-(4-4)
Тогда и
pdKO = cJi)= j l(x,f1)dx = c j l(x,Jo)dx = O,Цх^ = СЦх) = С
т.е. распределение l^ и при £ ~ P^-f^ абсолютно непрерывно. Согласно предположению (4.4) множество
{ж 6 Т^п, а(ж) < г} = {ж G T^n, j l^t^f^dt<z^ (4.5) /(^)^/(ж)
можно представить в виде
{ж е Н^ 1(х) > с(г)}, 0 < z < I,(4.6)
определив с(г) из условия
j l(x,f0)dx = z(4.7)
В свою очередь согласно свойствам (4.5) — (4.7) получаем, что
Рфф < zjo) = j l^xjo)dx = а(ж)<г
= j l(x,fo)dx = J l(x,fo)dx = z, 0 < z < 1. 1ф)>ф)рхфсф
Следовательно, надежность аУ£) в случае, когда гипотеза верна, £ ~ Р^ /о) имеет равномерное распределение на [0,1]. Вместе с тем
РМ^^>?МО<^(4.8)
и совпадает с мощностью критерия уровня г, 0 ^ z ^ 1, поскольку
ЩаД) < z,fi) = j l(xji)dx, I l(x,fo)dx = z. (4.9) /(ж)>с(г)1ф)>(ф)
Это означает, что распределение надежности при неверной гипотезе по сравнению с распределением при верной гипотезе смещено в сторону меньших значений г, 0 ^ г ^ 1. Если сверх того для любого с > 0 и Р^1(^ > с,/о) > о, то
при z -л +0, ибо
тлф > ф)ф) = у ikxjxW
^Ф) У l(xjo)dx = с(г)Рфф > c(z)J0) 1ф>сф
и c(z) —> сю при Z -Ф +0 в силу ТОГО, ЧТО Z = J l(x,fo)dx > 0 1ф>ф)
для любого c(z) > 0. Свойство (4.10) показывает, что, когда гипотеза неверна, надежность принимает преимущественно малые значения.
Рис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативыРис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативыРис. 4.9. Плотности распределений надежности: 0 - при / = Д;1 - и при / = ДРис. 4.9. Плотности распределений надежности: 0 - при / = Д;1 - и при / = Д
Рис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативы
Рис. 4.8. Функция распределения надежности (4.11): 0 - в случае верной гипотезы; 1 - в случае верной альтернативы
Рис. 4.9. Плотности распределений надежности: 0 - при / = Д;
1 - и при / = Д
Рис. 4.9. Плотности распределений надежности: 0 - при / = Д;
1 - и при / = Д
Проиллюстрируем сказанно на примере семейства нормальных распределений Рф f) ~ ^(f,I^ / G Пп. Действуя согласно равенству (4.3), найдем, что ф) = Ф(-(£ - ДД1 - /о)/||Д - /о||), а также выражения для функций распределения надежности
ДНО < zjo) = z,
ДНО < Л) = «ДФ-П) +11/1 - /оII),(4.11)
Графики этих функций распределения приведены на рис. 4.8.
Статистику а(£) можно использовать в задаче проверки гипотезы / = /о ПРИ альтернативе / = Д, не обращаясь к ее интерпретации. Для этого заметим, что согласно равенствам (4.9)
йДНО^Л) _ ^ДНО^Л) _ z . п^ г<1 йд«)<фо)- dz
— плотность распределения надежности при / = Д, причем, как следует из проведенного анализа, c(z) монотонно убывает на (0,1] и не ограничена в окрестности нуля. Критическая область в задаче проверки гипотезы / = Д при альтернативе / = Д на основании наблюдений статистики аД) имеет вид
где c-1(/z) = Р. Поскольку мощность определенного таким образом критерия равна (рис. 4.9)
р
фф = Рфф) < Д Д),
о
в силу замечания к формуле (4.8) найдем, что она совпадает с мощностью наиболее мощного критерия, использующего наблюдения £. Следовательно, надежность а^ также хорошо «различает» гипотезу и альтернативу, как и £. Заметим, что а («(£)) = а^ ибо если а(£) = С, то а(<) = / dz = C,.
Понятие надежности гипотезы естественно вводится в так называемой байесовской задаче проверки гипотез, которой мы намерены уделить сейчас некоторое внимание.Предположим, что вектор параметров распределения P^fY / G Кт. является случайным и может принимать всего лишь два значения /о и /1, отвечающие соответственно гипотезе и альтернативе, с вероятностями P^f = /о) = = Qo, ?U = /1) = Qi, Qo + щ = 1. Эта априорная информация о гипотезе и альтернативе в случае необходимости позволяет решить вопрос о выборе между /о и /1 и без наблюдения £. Действительно, если Qo > Qi > т0 следует выбрать / = /0, если Qo < Qi 5 то следует выбрать / = /1, а в случае Qo = Н решение может быть произвольным. Действуя таким образом, мы обеспечим минимальное значение вероятности ошибки: 1 — Qo 5 если Qo > Qi 5 или 1 — щ , если q^ < q\.
Поскольку Qo(Qi) — вероятность ошибочно отвергнуть гипотезу (альтернативу), назовем, в согласии с определением Qo(qi) (априорной) надежностью гипотезы (альтернативы). Тогда рассмотренное правило решения естественно назвать решением по максимуму надежности.
Если наблюдается £ G Нп то байесовский пересчет априорного распределения Qo, Qi в апостериорное 1)
q<^ = PU = m qi^ = PU = h\^
определит скорректированные значения для надежностей: qt^ вместо q^ г = 0,1, и решение по максимуму (апостериорной) надежности опять-таки гарантирует минимальное значение для вероятности ошибки, но на этот раз с учетом наблюдения £.
При формальной постановке задачи проверки гипотезы / = /о при альтернативе / = Д в байесовском случае, как и ранее, будем использовать множество Ф1 принятия гипотезы, но критерий качества решения, основанного на Ф1 . определим, исходя из вероятности ошибочного решения
и считая, что решение тем лучше, чем меньше Р^ Д. Поэтому в
байесовском случае множество принятия гипотезы определим как ре
min. ф-1min. ф-1шение следующей задачи на минимум: Р^ Д
min. ф-1
min. ф-1
Пусть /(ДД), х 6 НП1 — плотность (на этот раз условного) рас-
х) Р(-|£) — обозначение для условной вероятности при условии £.
пределения Р^(-,/^) (при условии / = /^), г = 0,1. Тогда
Р(Ф-1) = д0 ^1 - У /(^l/o)^)^)^ +91 У /(ж|/1Щ(ж) = ф-1ф-1
= 9о + У (91М/1) - 9(Дж|/о))<Ыж), (4.12)
и как нетрудно заметить, минимум Р(ф-') достигается на множестве
Ф"1 = Фо 1 = {ж € ^„, 91МЛ) ^ 9оМ/о)},(4.13)
на котором подинтегральное выражение в (4.12) неположительно. Это множество можно определить, используя апостериорное распределение
Фо 1 = {ж е тгп,щ(ж) < q^Y
где
^^ qOl(x\Jo)+д11№У 1 °’ ’
— апостериорные надежности гипотезы и альтернативы, полученные байесовским пересчетом. Теперь ясно, что множество Ф1 определяет правило решения, названное ранее решением по максимуму надежности: при ^ = ж принимается / = /0, если #о(ж) ^ щ(ж) •
Согласно выражению (4.13) критическое множество РП\Ф^"1, отвечающее априорному распределению q^. q\ . имеет вид
тгДфД = Д €тг„,г(ж) > 90/91}, ^) = 1№№\Ы-
Пусть наблюдается £. Чтобы представить, насколько это наблюдение свидетельствует против гипотезы, можно определить
sup{go/gi|go/9i < IO = ЦО
— «предельно большое отношение ^o/qi » (или другими словами, «предельно большое априорное предпочтение гипотезы», при котором тем не менее гипотеза отвергается наблюдением £) или наоборот — «предельно малое отношение qo/qi», при котором гипотеза может быть принята при наблюдении £. Понятно, что чем больше l(6,Y тем сильнее свидетельствует наблюдение £ против гипотезы. Эти доводы можно рассматривать как дополнительную характеристику надежности гипотезы, связанную с надежностью «(£) формулой (4.3).
В любом случае надежность следует рассматривать как статистику, призванную помочь исследователю сформировать свое отношение к гипотезе и альтернативе, основанное на наблюдении £ и априорных представлениях.
Сложные гипотеза и альтернатива. Все сказанное до сих пор относится к простейшему случаю, когда множества Г1 и К, векторов параметрического пространства, определяющие соответственно гипотезу и альтернативу, содержат по одному вектору: П =
= {/о}, ^ = {/1}. Рассмотрим теперь понятие надежности в общем случае, когда Н и /С могут содержать более, чем по одному вектору.
Если К, — множество векторов параметров, составляющее альтернативу для гипотезы / = /0 . то надежность «^^(^ гипотезы /о естественно определить равенством
а/оЩ) = 1пВ«/о,/1(£Ж1 (4-14)
в котором с^дД^) обозначает надежность (4.1). В этом определении отражен тот факт, что гипотеза /о должна быть отвергнута, если наблюдение £ свидетельствует в пользу хотя бы одной альтернативы fi G К. Поэтому, если inf в (4.14) достигается, скажем, на fi = = /1(/о,£) € /С, то наблюдение £ более всего свидетельствует против гипотезы /о ПРИ альтернативе /1(/о, £) • В частном случае, когда в равенстве (4.1) Ф~1 (/0- *) — множество принятия гипотезы, равномерно наиболее мощное относительно всех fi ЕД при любом fi EKL выполняется равенство ск/0,к:(£) = ^/oji^)? показывающее, что «согласие» между гипотезой и наблюдением не зависит от альтернативы.
Если гипотеза Н содержит более одного вектора, а К, = {/i}, то, поскольку Н принимается, когда £ свидетельствует в пользу по крайней мере одного fo ЕН, определим надежность И при альтернативе fi равенством
«-HJ1 Д = sup{a/oJ1 (е)|/о е (4.15)
Если /о(^/1) — частная гипотеза, на которой достигается sup в (4.15), то назовем /о(^/1) самой надежной гипотезой из Н при наблюдении £.
Определение 4.2. Назовем
“нДД sup тЩс/МfoEH h^ic
«Н,Д) = inf sup а^,кДЫН,
соответственно нижней и верхней надежностями гипотезы Н при альтернативе К,. В общем случае
^о^ДО ^нД^) ^^,/iK)
при любых fo ЕН и fi Е KL. Если а^ ДД) = однДД то а^Д^ = = ^гнДО назовем надежностью гипотезы Н при альтернативе К,.
Поясним введенные понятия на примерах.
Пример 4.1. Рассмотрим в 7£п семейство нормальных распределений ^(f, Е), f Е Нп. Положим И = {/о},= {/1}. Тогда
согласно равенству (4.3)
afojAO= j (2Л~''Жхр (ф|.г||2)(4.16)
где
ЦД = (z, S"1^^ - /0)), v =- Joy
Иначе равенство (4.16) можно переписать в виде
«Л,А (О = J(Л 1/2 ехр (Д*2) dt =
= Ф(-- /о), /1 - /о)/!^"1/2^ - /0)||),(4.17)
Р = {^ (Е"Д - МЛ - /о)/||Е"1/2(Л - МТ
Чтобы получить последнее выражение, следует в Пи ввести ортонор- мированный базис, определив первый базисный вектор как
S-1/2(A-/o)/||S-1/2(/i-/o)||,
и выполнить интегрирование по 2-й, ..., n-й координатам 1).
Пример 4.2. Пусть класс альтернатив задан одномерным линейным подпространством К, = {АД, — ею < А < ею} и fo ^ 1С. Для того чтобы получить надежность «^^(^ = шДа^ jT (£)|/i Е/С}, согласно выражению (4.17) следует подсчитать
Т П^-ЧзСА/т -/о)||•
Определим ортогональную проекцию Пц вектора ц = Е-1/2(^ —/о) на плоскость тг в rtn , натянутую на векторы E-1/2/i И S 1/2/о- Пусть2)
ТогдаТогдаПт? = Е-У2(ж1Л _ ЖоМ
Тогда
Тогда
(4-18)(4-18)(M^Wi ~М
(4-18)
(4-18)
Т ||Е-У2(АД-М1"W’
если жд > 0, и достигается при А = жх/жд. В противном случае, т.е.если жд > 0, и достигается при А = жх/жд. В противном случае, т.е.когда жо ^ 0,когда жо ^ 0,(г,,Е"У2(АЛ-/о)) а ||Е"У2(АЛ-М1(г,,Е"У2(АЛ-/о)) а ||Е"У2(АЛ-М1= Ц1МЦ,= Ц1МЦ,(4-19)(4-19)
если жд > 0, и достигается при А = жх/жд. В противном случае, т.е.
если жд > 0, и достигается при А = жх/жд. В противном случае, т.е.
когда жо ^ 0,
когда жо ^ 0,
(г,,Е"У2(АЛ-/о)) а ||Е"У2(АЛ-М1
(г,,Е"У2(АЛ-/о)) а ||Е"У2(АЛ-М1
= Ц1МЦ,
= Ц1МЦ,
(4-19)
(4-19)
где Пх — ортогональный проектор на Е-1/2/С
В более общем случае, когда К, — произвольное линейное подпространство Пп и /о ^ АД определим ортогональную проекцию Пц вектора // = Е~ */2 (( —/д) ни минимальное линейное подпространство Пп, содержащее /С и /0. Пусть Пц = Т-1/2^0 - ж0/0), f? EKL. Тогда
Д В равенстве (4.17) t — обозначение для первой координаты г в этом базисе, по остальным координатам выполнено интегрирование,
Рис. 4.10. Геометрическая интерпретация условий (4.18) и (4.19)Рис. 4.10. Геометрическая интерпретация условий (4.18) и (4.19)
Рис. 4.10. Геометрическая интерпретация условий (4.18) и (4.19)
Рис. 4.10. Геометрическая интерпретация условий (4.18) и (4.19)
в полной аналогии с результатами (4.18) и (4.19)
supf£ 115-1/2^-/0)11supf£ 115-1/2^-/0)11ЦП77Ц, ж0 > О, ||П17?||, Ж0 О,
sup
f£ 115-1/2^-/0)11
sup
f£ 115-1/2^-/0)11
причем в первом случае sup достигается на f^ = Д/жо (рис. 4.10), Щ — ортогональный проектор на Е-1/2^. Следовательно,
Ф(-||П5-1/2(е-/о)||), ж0 > О,
Ф(-||П15-1/2(е-/о)||), ж0 О,
где, как обычно, Ф(г) = J ехр(—t2/2) dt/^/2^.
Пример 4.3. Если К, = 7^п\{/о}, то, очевидно,
fas-vy/Wo))Лех: ||5-1/2(/1-/о)||fas-vy/Wo))Лех: ||5-1/2(/1-/о)||= IMI = П^-ЧД^- /о)ц.= IMI = П^-ЧД^- /о)ц.
fas-vy/Wo))
Лех: ||5-1/2(/1-/о)||
fas-vy/Wo))
Лех: ||5-1/2(/1-/о)||
= IMI = П^-ЧД^- /о)ц.
= IMI = П^-ЧД^- /о)ц.
В этом случаеВ этом случаеаЛЩ) = Ф(-||5Г1/2У-/о)||).аЛЩ) = Ф(-||5Г1/2У-/о)||).(4.20)(4.20)
В этом случае
В этом случае
аЛЩ) = Ф(-||5Г1/2У-/о)||).
аЛЩ) = Ф(-||5Г1/2У-/о)||).
(4.20)
(4.20)
Пример 4.4. Исследуем надежность ск-щхф) для случая, когда Н = П - заданное линейное подпространство Пп, a KL = Нп\П - дополнение Н до Нп . Полученные факты будут использованы в дальнейшем при обсуждении надежности модели формирования сигнала в задачах интерпретации измерений. Следующая лемма доказана в [4].
Лемма 4.1. Пусть Н — заданное линейное подпространство, вектор z G фиксирован и
Ф,1Л =Ф,1Л =(z — х, у — х)(z — х, у — х)Ну -У1Ну -У1
Ф,1Л =
Ф,1Л =
(z — х, у — х)
(z — х, у — х)
Ну -У1
Ну -У1
Тогда
inf sup s(x,y) = sup inf s(x, y) = \\z — Пг||, где П — ортогональный проектор на Н.
Согласно лемме 4.1 и равенству (4.17)
анлЮ = inf sup afoJ1(O = о^ДД = SUP Д^а^ДО =
= «нД^ = Ф(-||(Г " ПД^ДН), (4.21)
где П — ортогональный проектор на Yn^ri.
Пример 4.5. Рассмотрим семейство нормальных распределений ЛДО, S),S ^ I. Предположим, что гипотеза содержит единственное распределение АДО, /), в то время как все остальные распределения составляют альтернативу. В данном случае параметрическое пространство образует множество корреляционных матриц ^ ^ I, гипотезой является подмножество, содержащее одну матрицу, П = {/}, альтернативу образует множество К = \^Г ^ I^ ^ D$. Надежность гипотезы П при частной альтернативе Е > 1 дается равенством
«тДО = У(2тг)"п/2ехр (-||И|2) dx-
Р = {ж е тг„, ((I - КДж, ж) ^ ((I - 5Г1 Д ^}.(4.22)
Область интегрирования в (4.22) является дополнением в 7tn эллипсоида
Д-^ГДДД^-^ГДД,(4.23)
граница которого содержит векторы £ и — £. Для определения
inf{a/;S(C)|S ^ /}
заметим, что, зафиксировав размеры первых п — 1 полуосей элипсо- ида (4.23) и поворачивая его в rtn, мы получим максимальное значение величины п-й полуоси (и соответственно минимальное значение интеграла (4.22)), когда эта полуось совпадает с £. После этого в ортонормированном базисе Пи ^ состоящем из собственных векторов оператора I — Е-1, эллипсоид (4.23) можно задать условием
А1Ж + ... + Xn_ixn_1 + Хпхп < Ап||£|| 1
где Xi > 0, г = 1,...,п, — собственные значения I — Е-1. Отсюда следует, что
inf{aJ?E(£)|E > 1} = lim «/щЮ =
Ai vAn-HO
= j (2тг)"1/2ехр Д|ж2Дж„ = 2Ф(-||е||). (4.24)
В пределе интеграл (4.24) вычисляется по дополнению в Пи слоя |жп| ^ ||^||. Поэтому (рис. 4.11, а)
^л(е) = 2Ф(-цец).
Рис. 4.11. о) inf в равенстве (4.24) достигается при интегрировании по (заштрихованному) дополнению слоя ж^ ^ 11^112 — вырожденного эллипсоида в Нп . б) inf в равенстве (4.26) достигается при интегрировании по полупространству (заштрихованному) в Нп — дополнению вырожденного эллипсоида
Пример 4.6. Рассмотрим семейство нормальных распределений JV(a^ Е), а ЕНп ^ ^1. Гипотезу И определим как пару (а, Е) = (О, I), а альтернативу зададим множеством
В таком случае надежность гипотезы при частной альтернативе (п, Е) определяется как
= j (2тг)-п/2ехр (-||И!2) Йх, (4.25)
где
Г(Д = |И|2-||Е-1/2(ж-а)||2 =
= ((I - Е"1)^) + 2(ж, S^a) - HS-^all2.
Интеграл в (4.25) вычисляется по дополнению в 7tn эллипсоида
((I - Е"1)^ ж) + 2(ж, S-Ч) < ((/ - Е~Д, О + 2(£, S-4)
с центром в с = (S — /)-1а. Его граница содержит £ и 2с — С В этом случае для вычисления надежности
Лн,к(€) = ^{«(О’Ща^СОКаД) е/С}(4.26)
заметим, что, поскольку с — произвольный вектор Пи inf в (4.26) достигается при интегрировании по полупространству, граница которого проходит через £, причем ортогонально £, так как в этом случае граница наиболее удалена от начала координат (рис. 4.11, б). Поэтому
= j Фг'Фхр (-фп) dx„ = Ф(-||^||).
Пример 4.7. Посмотрим теперь, как распределены некоторые из надежностей. Надежность (4.17) в случае, когда верна гипотеза, распределена, очевидно, равномерно на [0,1]. Если верна альтернатива,
,/1 (£) < /1) Р1/2 (у / )||'
где с(г) — корень уравнения
(2тг)-1//2 ехр ^— 2^1^ ^г1 = Ф(—с(г)) = г5 0 г < 1.
> Ф),А> Ф),АПоскольку
> Ф),А
> Ф),А
к ||Е-1/2(/1-/о)||
( р-фл _/0)|| > ( ) 11 (Л Л)|1’ Д
= Ф(-ф) + р-1/2(Л-./Ь)||),
то P(aW1^ < z,h) = Ф(ф-ф) + р-фл - /о)||).
Для надежности (4.20), когда верна гипотеза, функция распределения имеет вид
/1) = ЛН^-Гф _ /0)|| > ф), /о), где Ф(—с(г))= г. Поскольку в этому случае статистика
||S-V2(^ - /о)||2 имеет %2-распределение с п степенями свободы, то
FdlS-V2^ - /0)|| > ф),/0) = 1 - Fn(c2^ = 1 - ^([Ф-1^)]2), где Fn — функция распределения %2 с п степенями свободы. Если гипотеза неверна, то статистика ||Е-1/2(^ — /0)||2 = ||^-1//2(€ — /1) + + s-1/2^ _ Л)||2 имеет нецетральное %2 -распределение с тем же числом степеней свободы и параметром нецентральности б2 = = ||Е-1/2(л - /о)II2. В таком случае
Р(акД^ < ^, Л) = 1 " ^([Ф"1^)]2),где ф^2(-) — функция нецентрального х2-распределения с парамет-
Рис. 4.12. Функции распределения надежности (4.20) в случае верной гипотезы для п = 1,2,5и10 степеней свободы. Если гипотеза неверна, распределение надежности зависит от п и й2 (от альтернативы). Соответственно интерпретация любого наблюдаемого значения надежности а может быть различной в зависимости от величины отношения [1 — Еп ^2 ([Ф-1 (а)]2)] : [1 — ЕП(Ф-1 (а)]2)] (чем больше отношение, тем ниже надежность а гипотезы при данной альтернативе)
ром нецентральности 172. При этом распределение надежности зависит от альтернативы.
На рис. 4.12 приведены графики функций распределения надежности (4.20) для п = 1,2,5 и 10.
В заключение этого параграфа заметим, что в весьма распространенной ситуации, когда Н = {/о}, а К, образует некоторую окрестность /о в параметрическом пространстве, представляет интерес критерий, позволяющий лучше всего отличать /о от близких альтернатив. Речь идет о так называемом локально наиболее мощном критерии [40] и соответствующей локальной надежности И.
Проиллюстрируем это замечание на простейшем примере /о ^i, KL = 7^1\{/о}- Пусть p^(xj) = р^х\ х еТ1п, — плотность распределения £ G 7^ В = 7^П\Ф-1 — критическая область, Jpj(x)dx = 3(/) — мощность критерия и для близких альтернатив
М/) = Ж) + Л/о)(/ - /о) + 34fo)U - /о)2/2 + oU - f.y. В таком случае при фиксированной вероятности 3(/о) = а ошибочно отвергнуть Н область В естественно определить из условий: 3'03 = 0, ЗЧМ = niax. Согласно лемме 2.1 (Неймана-Пирсона)
В = {ж е тг„, д^р^{x)/dfl Хйр$0 (ж) + Худр$0 (ж)/д/о}, (4.27) где Ao,Ai надлежит определить из условий
Соответственно локальную надежность а^ЕЗ = inf{ct|B Э £} при очевидных ограничениях на качество ру0(*) можно определить как ct(£) = J pf0(x)dx, где В(£) — множество (4.27), в котором Ао =
= Aq(£),Ai = Ai(£) — решения уравнений
с^РрАО м , A 8ррА0-Д^-АоМ«) + А1^^,
= о,
W)
см. также [91].
5. Рандомизированные правила решения
До сих пор правило решения в задаче проверки гипотез формулировалось таким образом, что при каждом наблюдении £ = ж гипотеза принималась или отвергалась в зависимости от того, содержится ж в области Ф1 принятия гипотезы или нет. Рандомизированный критерий для каждого наблюдения £ = ж также приводит к выбору между двумя решениями — принятием или отклонением гипотезы, но этот выбор производится с зависящими от ж вероятностями. Гипотеза отвергается (принимается) с вероятностью ф(х) (1 — ^(ж))’ гДе ^С) — так называемая критическая функция, 0 ^ ф(х) ^ 1, ж Е Рп. Мы вернемся к старому правилу решения, если определим ф(-) как индикаторную функцию множества 7^П\Ф-1 отклонения гипотезы,
IT, хе-кд»"1,
В этом случае при каждом наблюдении £ = ж гипотеза принимается с вероятностью единица, если ж Е Ф-1, и с вероятностью единица отвергается, если ж ^ Ф1 . В общем случае для принятия решения при наблюдении £ = ж должен быть произведен случайный выбор между гипотезой и альтернативой (с вероятностью ф(х) в пользу альтернативы) .
Итак, рандомизированное правило решения задается критической функцией ф^ на Пп, ее значение ф^ — условная вероятность отвергнуть гипотезу при условии £ = ж. Соответственно полная вероятность отвергнуть гипотезу, наблюдая £ Р^ц f^ дается равенством
= У ДхХхЛШкЛ
при любом определении множеств в пространстве параметров Г1т выделяющих соответственно гипотезу и альтернативу. Обозначим эти множества Р и соответственно KL. Тогда для / = /0 е % Е у0(^(£) — вероятность ошибочно отвергнуть Р при значении вектора параметров / = /о , а для / = fi Е Р Е ^ф^) — вероятность отвергнуть гипотезу, когда она и на самом деле неверна, при значении вектора параметров f = fi. Поэтому задача определения наилучшей критической функции ф^ может быть сформулирована следующим образом:
(5.1)
Е ^ф^ ~ max, f Е Kf(5.2)
где Р — фиксированный уровень, 0 ^ Р ^ 1. Критическая функция, удовлетворяющая условиям (5.1), (5.2), определяет рандомизированное правило решения (критерий) так, что при заданном ограничении (5.1) на вероятность ошибочно отвергнуть гипотезу вероятность принять любую альтернативу f Е KL максимальна, если £ ~ Р^(-,/). Функция
M=Ef< ^Pd-J^ fe)CC]PGPm, как и 3(f) (2.8) , называется мощностью критерия; решение задачи (5.1), (5.2) определяет критическую функцию равномерно наиболее мощного критерия уровня Р ’).
Задача (5.1),(5.2) обобщает рассмотренную ранее задачу (2.5), (2.7) определения наиболее мощного множества Ф1 принятия гипотезы 77 = {/о} ПРИ альтернативе К, = P(fo) в двух отношениях. Во- первых, теперь множество Р, может содержать более одного вектора параметров. Но это отличие, фактически означающее, что шах в (5.2) отыскивается при более жестких ограничениях на множество допустимых критических функций, в данном случае не принципиально. Во- вторых, в отличие от задачи (2.5),(2.7), расширено множество правил решения — добавлены рандомизированные критерии. Если раньше были допустимы критические функции только из класса индикаторных функций, принимающих два значения — 0 и 1, то теперь критическая функция может принимать любые значения от нуля до единицы. Это расширение делает класс критических функций выпуклым, поскольку если (^(-) и О(-) — критические функции, то и ск^(-) + + (1 — ООО — критическая функция при любом а, 0 ^ а ^ 1. Этот факт позволяет доказать разрешимость задачи проверки гипотезы / = /о ПРИ альтернативе / = /1:
ЕЛДО~тах, Е/оДе = 1 - Р,
для любых распределений Р^(-,/о)> Р^(з/1) при любом значении Р, 0 ^ Р ^ 1, в то время как задача (2.5), (2.7), как будет показано ниже, при таких условиях может оказаться неразрешимой. Мы обсудим эту дополнительную возможность более подробно, но в данный момент только подчеркнем, что, как и в случае задач (2.5), (2.6), причина, по которой задача (5.1), (5.2), как правило, оказывается неразрешимой, состоит в том, что критическая функция, максимизирующая мощность Е/Д£Г может зависеть от альтернативы f Е КЗ
Проиллюстрируем преимущества рандомизированного критерия на примере задачи проверки гипотезы Р = {/о} при альтернативе К = {/1}, считая, что
Р^^ = XiJo) = rt, Р^ = xt, = qi, г = 1,2,...;
= ^qi = 1.
г=1г=1
x) Иногда, как, например, в (2.8), область определения 30 сужается до 7/.
В этом примере распределения £ как в случае гипотезы, так и в случае альтернативы дискретны. Для того чтобы сравнить решение этой задачи с решением аналогичной задачи для абсолютно непрерывных распределений (2.12), полезно и в рассматриваемой задаче оба распределения задать плотностями
^((£) /о)|ж=я?г = ^ii 1(х, /1)|ж=а^ = Qti Z = 1, 2, . . . , (5-3)
относительно дискретной меры р:
/А{жг}) — 1?— 1,2,...;/А{жг}) — 1?— 1,2,...;
/А{жг}) — 1?— 1,2,...;
/А{жг}) — 1?— 1,2,...;
Равенства (5.3) определяют /(ж,/о) и Ц^,/Д /z-почти всюду на Рп.
Проанализируем задачу (2.9) определения множества Ф1 принятия гипотезы
(5-4)(5-4)inH ^ qi\^-4jo,P),P^PoVj:XiE^-1(fo,P)J
(5-4)
(5-4)
-1-1inf < 52 F Ф<xi еФ-1inf < 52 F Ф<xi еФ-1Ее можно переписать в форме:
-1
-1
inf < 52 F Ф
<xi еФ-1
inf < 52 F Ф
<xi еФ-1
(5-5)
Рассмотрим систему множеств
Вх = ^ХгЕР-п, qi^Ti, г = 1,2,...}, О ^ А < оо,
и определим
Fi = inf < 52 п|А^0, 52 п^Лг(5.6)
kxiEBxXiEBx)
— минимальное значение J2 Тг ближайшее к Pq со стороны
XiEBx больших значений. Остановимся вначале на случае, когда выполняется равенство
pi = pm= 52 п = р0.
XiEBx^
Пусть В — любое подмножество Рп , такое, что ^ Тг ^ ?о • Действуя
XiEB
так же, при доказательстве леммы 2.1, найдем
52 % - 52 ® =$iEBX1 XiEB52 % - 52 ® =$iEBX1 XiEB52 и- 52 и
52 % - 52 ® =
$iEBX1 XiEB
52 % - 52 ® =
$iEBX1 XiEB
Ba^IJs) в\(вЛ1ив)
oi 52 тз -Л1 52 тз =
Ba^IJb) в\(вЛ1ив)
Следовательно, в этом случае Ф1 = ВХ1 — искомое множество принятия гипотезы. Заметим, что это множество может оказаться не единственным решением задачи (5.5), если 52 9j = 0. Действительно,
Bai пусть
ВХ1 = {жь... ,xhY где q^Xir^.(5.7)
Добавим в ВХ1 очередную точку х^ , образовав множество
В\2 {яд,..., xdl, Xj2},
где qj2 = A2Tj2, А2 > Ai. Если 52 % = 0, то и Ф1 = В\2 тоже дает
решение задачи (5.5) (при условии 52г/ ^ B^Y Если же 52 Qj > 0,
Ва2вХ1
то Ф1 = ВХ1 — единственное решение задачи (5.5).
Пусть теперь Pi = Р(АД = 52 r j > ^о и 52 Qj У 0. Уменьшая Ai вХ1вХ1
до значения Aq , меньшего Ai, при котором из ВХ1 будет исключена очередная точка Xj^Xj^ = ВХ1\ВХо, где ВХо = {жъ ... ,^0}, qjo = = X()Tj0 , получим
Р(Ло) = 52п<Ро
и, разумеется, 52 91 < 52 Qj • Но это «действие» неприемлемо, так Sa0 ВХ1
как после него P(Aq) < Ро- Поэтому очередная точка должна быть исключена из ВХ1 лишь «частично», с вероятностью ^(ж^), подобранной так, чтобы
52У+ч(1= ро < 52ч(5-8)
Вх0ВХ1
Определим критическую функцию (р(-) = <^о('), исходя из следующих условий:
ф^х^ = 0 в точках Xi Е ВХо, где гипотеза принимается с вероятностью единица;
^оЩ) = 1-[ро-Р(Ао)]/?jT в точке х^ в которой гипотеза принимается с вероятностью 1 — ф^ Vх ji) •
При таком, «частичном», использовании точки Xj мы удовлетворим условию (5.8), если определим
3)<po(xi) = 1 в остальных точках, где гипотеза отвергается с вероятностью единица.
Этими условиями критическая функция определена ц-почти всюду на Пи . При этом1)
Е Щ “ <А)О = 52 п + (1 -= Ро
Вх0
— вероятность принять гипотезу, когда она и на самом деле верна,
Е /1 (1 - <Л)(О) = 52 ^ + ^ - ^оЩ ))9л
— вероятность ошибочно принять гипотезу, когда верна альтернатива.
Покажем, что так определенное рандомизированное правило решения доставляет минимальное значение вероятности Е д(1 — (Д£)) (5.5) при условии Е/о(1 — (Д£)) = Ро, т-е. является решением задачи (5.4). Для этого заметим, что, определив Ai из условия (5.7),
«л =
'0,*А)(ж) = ^оЩ),'0,*А)(ж) = ^оЩ),мы получим выражение для критической функции
'0,
*А)(ж) = ^оЩ),
'0,
*А)(ж) = ^оЩ),
Xj : Qj < XiTj, j = 1,2,.
(5-9)(5-9)жл : Чп = Air.,,;
(5-9)
(5-9)
Xj : gi > Air,, j = 1,2...,
напоминающее определение множества принятия гипотезы (2.13).
Пусть (р(-) — любая критическая функция, удовлетворяющая
условиюусловиюЕД1-Д0) ^РоЕД1-Д0) ^Ро
условию
условию
ЕД1-Д0) ^Ро
ЕД1-Д0) ^Ро
(см.(5.1)). Тогда, используя условие (5.9), найдем
Е /1 (1 - фо) - Е д (1 - Д = 52 Ыж<) - Фо(х^ +
До>Д
+ 52 И®») “ ^оДЖ» Ао 52 t^^) “ ^оД)]п +
</?0<ДД0>Д
+ Ao 52 [V’C^i) - фО^Х^Гг = АоЦДаД - фо^Х^П =
= AOS[(1 - Фо<хХ - (1 - ф(хг)>» =
= Ao(Fo - S(1 - ДЩЖ) 0,
x) Подчеркнем, что в классе индикаторных функций это равенство может оказаться невыполнимым. Именно этим обстоятельством обусловлена постановка задачи (2.9), в которой при формулировке ограничений допущены неравенства. В более широком классе критических функций этому условию удовлетворяет ^о(-)-
что и требовалось доказать. □
Нам осталось заметить, что в том случае, когда Pi = Р(Х^) > Ро, но 52 9г = О, необходимость в рандомизации отпадает, поскольку в
Bai
этом случае множество Ф1 = В\г дает решение задачи (5.5).
Итак, на примере рассмотренной задачи проверки гипотезы достаточно отчетливо видно преимущество рандомизированного критерия: для любого Рц, 0 ^ Tq ^ 1- такой критерий существует и доставляет минимальное значение вероятности ошибочного решения в пользу гипотезы. С другой стороны, в рассмотренном примере представлены все характерные черты задачи проверки гипотезы / = /о при альтернативе / = /1, свойственные общему случаю. Поэтому мы ограничимся формулировкой точных результатов для общего случая. С доказательством можно ознакомиться в монографии Э. Лемана [41].
Теорема 5.1 (фундаментальная лемма Неймана—Пирсона). Пусть /о(тф к (х) — плотности распределений РД, /о); ^(з/i) соответственно (относительно некоторой меры у) в задаче проверки гипотезы / = /о тгри альтернативе ,f = ,fk -
Существование критерия. Для проверки гипотезы / = /о тгри альтернативе / = /1 существует критическая функция р(-) и постоянная А, такие, что для любого Р, 0 ^ Р ^ 1,
Е/о<)-1-Т(5.10)
МЖ) > ^о(ж),/ X
[0, к(х)<Х1ДД(}
Достаточное условие для критерия максимальной мощности. Если критическая функция удовлетворяет условиям (5.10), (5.11), то она определяет наиболее мощный критерий уровня Р для проверки гипотезы / = /о ^^ альтернативе / = /1.
Необходимое условие для критерия максимальной мощности. Если р(-) — критическая функция наиболее мощного критерия уровня Р для проверки гипотезы / = /о тгри альтернативе / = /1, то р(-) удовлетворяет условию (5.11) р,-почти всюду; р(-) удовлетворяет условию (5.10), кроме случая, когда существует критерий уровня > Р и мощности единица.
Если
P =(5.12)
— мощность наиболее мощного критерия уровня Р для проверки гипотезы / = /о тгри альтернативе / = /1, то ДР) > 1 — Р, за исключением случая, когда РДДо) = РДД1) •
Критическая функция наиболее мощного критерия определяется условиями (5.10), (5.11) однозначно всюду, исключая множество точек, где k(x) = А/о(ж). На этом множестве рД можно определить
произвольно, соблюдая лишь выполнение условия (5.10). В частности, можно считать, что
V^ = < 7,V^ = < 7,(0,(0,Мж) > А/0(ж), /1(ж) = А/0(ж), /1(ж) < А/0(ж),Мж) > А/0(ж), /1(ж) = А/0(ж), /1(ж) < А/0(ж),(5.13)(5.13)
V^ = < 7,
V^ = < 7,
(0,
(0,
Мж) > А/0(ж), /1(ж) = А/0(ж), /1(ж) < А/0(ж),
Мж) > А/0(ж), /1(ж) = А/0(ж), /1(ж) < А/0(ж),
(5.13)
(5.13)
где постоянные Аид определяются из условия (5.10). Если при этом оказывается, что ц-мера множества 1\^ = AZq(^) — равна нулю, критическая функция определяется условиями (5.10),(5.11) однозначно, а соответствующий критерий будет нерандомизированным.
В общем случае значение А = 1 — Р в условии (5.10) может оказаться завышенным, если существует критическая функция ф^ф такая, что Еду? = 1 при Е ^ф < а. Этого можно избежать, если априори а подчинить ограничению 0 ^ а ^ а, где
а = Д(£, /о) = Ы{Д(£, /о)|£ С тг„, Р5(С, А) = 1}, (5.14) ci — максимальное значение вероятности ошибочно отвергнуть гипотезу / = /о • Множество точек Пп\8 не следует использовать при формулировке критерия, поскольку это не может увеличить мощность последнего. Что касается существования множества 8 в (5.14), то, предположив, что 8^ j = 1,2,... — любая минимизирующая последовательность измеримых множеств, найдем, что 8j = Д Д. j = 1,2,..., — также минимизирующая последовательность, причем для нее P^(8,fo) = lim P^^fo), 8 — Д 8j, поскольку она монотонна.
В заключение заметим, что критическая функция ^(-), удовлетворяющая условиям (5.13), в которых постоянные д и А определяются из условия
EfM3 = 3,
является решением задачи
Е/0ДС) =inf{E/o^)|^,
в которой минимизируется вероятность ошибочно отвергнуть гипотезу при ограничении на мощность.
Оценивающие множества и семейство рандомизированных критериев
Рандомизированный критерий можно задать с помощью множества Ф1 принятия гипотезы вполне аналогично тому, как это было сделано в случае нерандомизированных критериев, если должным образом расширить пространство наблюдений. Для этого в качестве наблюдения рассмотрим случайный вектор
в котором £ контролируется одним из распределений РД-,/о) или РД-,/1) в зависимости от того, верна гипотеза или альтернатива, а случайная величина ту равномерно распределена на [0,1] и не зависит от £. Пусть ф(-) — критическая функция некоторого рандомизированного критерия. Для каждого наблюдения Е, = зс разыграем случайную величину ту. Если ту = ту < ф(Рр то гипотеза отвергается, ибо Р(д < ф(х)) = ф^х) — вероятность отвергнуть гипотезу при наблюдении £ = ж, как предписывает рандомизированный критерий. Следовательно, множество принятия гипотезы можно определить как подмножество Рп х 7^1:
ф-1(/о,Д = {ЦУ)етгпх7г1, жетгп, <$) <у <ту
Таким образом, ценой увеличения размерности пространства наблюдений на единицу рандомизированный критерий превращается в нерандомизированный: гипотеза / = /о принимается всякий раз, как только наблюдение (£;ту) попадает в область Ф_|(/0.Р).
Рассмотрим семейство задач проверки гипотез / = /о ПРИ альтернативах /1 = /Д/о), где вектор /о играет роль параметра семейства и может принимать произвольные значения в Ртп, А(М /о €?гт, — фиксированная функция на Ртп, такая, что /Щ) / /, / € Ят. Обозначим у?р(ж,/о), ж Е Рп, критическую функцию наиболее мощного критерия уровня Р проверки гипотезы / = /о при альтернативе / = /1(/о)- Семейство областей принятия гипотезы
Ф-1(/о,Р) = {(ж;у) 6 Pn х 7£i, ж е Ри,
уР(ж,/0) < у < 1},
как в случае нерандомизированных критериев, определяет дискриминантное множество
Рр= U {ф-1(/о,Д;/о}= U {(ж;у),Ф(ж,у,Р)}
/ое7?,т(ж,?/)е7гп х7\Д
и оценивающие множества в Рт
ФЦ у, Р) = {/о е Рт, (ж; у) е Ф"1 (/о, Д }
надежности Р. Эти построения, по существу, ничем не отличаются от выполненных ранее применительно к нерандомизированным критериям.
Инвариантные методы проверки гипотез
В основе статистических проблем, рассматриваемых в этом разделе, лежит понятие Q. Q-инвариантного семейства распределений вероятностей, рассмотренного в §5 гл. 3. Напомним, что семейство распределений P^f),/ ЕР называется Q, Q-инвариантным, если:
для любого g Е Q существует единственное преобразование
д = 7(^) ^ 9 такое, что
Рд^-,Л = Р^.дЛ, (7.1)
7(9) = 9;
для любого д G 9 существует вариант преобразования д Е ^гЧд)- для которого выполняется условие (7.1). 9 и 9 — группы преобразований пространств 79,79 соответственно, 979 = 79, 979 = 79.
9-инвариантность семейства распределений — точное выражение симметрии зависимости между значениями наблюдений и параметров распределений. Связанные с этим факты частично рассмотрены в гл.2 на примере задач оценивания. Здесь мы обсудим, каким образом свойства симметрии могут быть учтены при решении задач проверки гипотез, а в следующем параграфе — при построении оценивающих множеств.
Пусть П и /С — непересекающиеся подмножества 79, первое определим как множество векторов параметров, составляющих гипотезу, второе — альтернативу. Задача проверки гипотезы Г1 при альтернативе 19 называется 9,9 -инвариантной, если: 1) семейство распределений P^f), f Е19 9,9 -инвариантно; 2) множества Н и 19 9 -инвариантны, т. е. для любых /i Е П, ^ Е К, и любого g Е 9 9 К £ .9/2 € 19.
В качестве характерного примера рассмотрим задачу, в которой П — линейное подпространство 79, К, = 79\Н. Как правило, такая задача возникает в связи с необходимостью проверки состоятельности модели линейной схемы измерения
е = А/ + щ fEH, ^ЕН, (7.2)
(см. § 5-8 гл. 1). Если известно распределение Pv^ случайного вектора v, а / — априори произвольный вектор 79, то
р^.,Л = Р^АЛЗ = Р^аЛ,
где а - произвольный вектор 79(A). Речь идет о задаче проверки гипотезы а Е 79(A) при альтернативе а $. 79(A). Такая задача является формальным выражением следующих альтернатив: если оператор А Е (79 —> 79) в равенстве (7.2) с точностью до случайной ошибки v определяет правильную математическую модель формирования сигнала £, то при неизвестном входном сигнале f ЕН выходной сигнал £ можно представить в виде £ = а + v при некотором а Е 79(A). Если же это равенство невозможно ни при каком а Е 79(A), то модель (7.2) неверна.
Пример 7.1. Пусть v ~ Л/^О, Е). Тогда согласно гипотезе £ ~ ^(a, Е) при некотором а Е 79(A), а если а ^ 79(A), то верна альтернатива. Рассмотрим группу движений 9 пространства 79,
введенную в § 5 гл. 3:
gx = ^1/2H^"1/2x + h, хЕК,
где ^Н^ — группа ортогональных преобразований 77. оставляющих инвариантным линейное подпространство 7^(^-1//2Л), и h Е ТЦА). Нетрудно проверить, что семейство распределений JV(сц Е), а ЕВ, 8,8 — инвариантно. Действительно,
Рд^В,^ = Р^д-1В,а) = j p(x,a)dx =
= Jp(g-1x, a)dx = Jp(x,ga)dx = P^(B,ga), вв
где р(ж, а) — плотность распределения JV(a, Е), В С В.
Поскольку 8В(А) = 77(A) и 8(В\В(А)) = В\В(А), то гипотеза и альтернатива 8 — инвариантны. Следовательно, рассматриваемая задача проверки гипотезы а Е В(А) при альтернативе а $. В(А) 8 8 инвариантна.
Что касается гипотезы и альтернативы, то их 8 -инвариантность является выражением такого факта, что в задаче нет информации, которую можно было бы выразить в форме предпочтения какой-либо из частных гипотез а еВ(А) и (или) альтернатив а ^В(А). Этого, однако, еще не достаточно для 8- 8-инвариантности задачи, поскольку такие предпочтения могли бы диктоваться свойствами распределения Р^ и проявляться в наблюдении £. Однако Р^(-,а) = Р^_а(-) и, как было показано, Р^(-,а) = РД-,^п), т.е. наблюдение дЕ, при значении параметра а стохастически неотличимо от наблюдения £ при значении параметра да. А поскольку при любом д Е 8 да Е В(А) , если а Е В(А) , то при любом д Е 8 наблюдение д£ в равной степени согласуется (или не согласуется) с гипотезой а Е В(А). Можно сказать, что знание д в наблюдении дЕ не может уточнить решение о том, содержится а в 77(A) или нет. Отсюда следует, что в инвариантных задачах проверки гипотез естественно использовать инвариантные правила решения.
Пусть Ф1 - область принятия гипотезы и %(ж), ж Е 77, — ее индикаторная функция:
^_/i, Ser1
(О,
Критерий, отвечающий Ф1. называется 8-инвариантным, если 7Ф1 = Ф1 , д Е 8 или, что то же самое, %(^ж) = %(ж), д Е 8 х ЕР. При таком определении, если наблюдение ^ приводит к при-
нятию гипотезы, то и любое наблюдение ^, д Е б, также приведет к принятию гипотезы.
При построении инвариантных критериев большую роль играет понятие максимального инварианта. Пусть б — группа преобразований пространства К на себя и Дж), х Е К, — функция на К со значениями в пространстве J.
О пре де л ение 7.1. Функция j^ называется Q-инвариантной, если для любых ж ЕК ид Е б j (дх) = j (х). Если сверх того условие з^ = j(xi) влечет равенство Д = дх для некоторого д Е Q, то з^ называется максимальным инвариантом.
Максимальный инвариант jo(•) выделяется среди инвариантных функций тем, что любая инвариантная функция j(-) зависит от х ЕК посредством зо^ , т.е. j(x) = F(jo(x)), х ЕК.
Пример 7.2. Если ^Н^ — группа ортогональных преобразований К, то функция jo(x) = ||ж||, х Е К, {Я}-инвариантна и, более того, является максимальным инвариантом.
Пример 7.3. Пусть Т — группа преобразований К х К, действующих по формуле (5.10) из гл. 3:
Ч J = Л х ЕК, f ЕК, tET хЛ \gf/
Тогда пара квадратичных форм
(7-3)(7-3))Д) = ||(Ь1Ц~1/2£||2, х€ U,
(7-3)
(7-3)
Mx, f) = н^-гму - ns-V2^||2 = ншгМд/ -ж)||2, ж e тг, у e тг, _ _ __ (7"4)
где П = Е Г2Л(Е ГМ) — ортогональный проектор на Я(Е ГМ), как было показано в §5 гл. 3, образует максимальный Т-инвариант. Квадратичная форма ji(x) (7.3) в свою очередь является максимальным б-инвариантом. Действительно, для любого преобразования g Е К (5.3) из гл. 3
= ||(/-п)е-Г2(еГ2ЯЕ-1/22 + л)ц2 =
= Пя^-ДЕ-МжП2 =л(ж), жетг,
ибо (Т-П^-^Ч = 0 и (1-П)Я = Я(/-П). С другой стороны, если ji(x') = Л СЮ, т0 найдется ортогональное преобразование Н, такое, что (I — П)^-1/2^ = Н(I — П)Е-Ь2у. Его, очевидно, можно выбрать так, чтобы Я7^±(Е-1/2Л) = 7^±(Е-1/2Л), или, иначе говоря, чтобы (I — IT) Н = Н (I — П), поскольку I — П — ортогональный проектор на 7^±(Е-1/2Л). В таком случае (I — П)(Е_|/2у7 _ Т/Е-1/2^) = 0 и,
следовательно,следовательно,ж' = У^ЮЛЛ + кж' = У^ЮЛЛ + к
следовательно,
следовательно,
ж' = У^ЮЛЛ + к
ж' = У^ЮЛЛ + к
для некоторого h Е 71(A).
Рассмотрим теперь, как устроено распределение инвариантных функций. Пусть Р^(-,/), f £ К, - 9 9-инвариантное семейство распределений, j(-) — 9-инвариантная функция. Тогда
Р^ti^ ^в,п = q(n = р^еГ1 (В),л =
= в^^д-Ч"Чв\П =
= Р^~ГЧв\дЛ = РМ^в,дП = qkgfY
Следовательно, распределение з не меняется при преобразовании / —> gf и, таким образом, зависит от / Е Р только посредством jo, где jo(-) — максимальный 9-инвариант:
(7-5)
При том же предположении 9,9-инвариантности семейства распределений аналогичным свойством обладает распределение Т-инвариантной функции j(x, f), х ElZ, / ЕЯ. По определению
ЛдРдЛ = хер, /ер, д = ^^,
для любого д Е 9 • Поэтому
q(P = РЧЯ^Л ев,Л = Р^рд^дЛ ^в,р =
= РЧЛЛдЛ е В, дЛ = д(дЛ-
Вывод в данном случае точно такой же:
РЧЖ.Л ^в,п = p^bMPY JeP.
Что касается 9,9-инвариантной задачи проверки гипотез, то теперь должно быть ясно, что область принятия гипотезы 9-инвариантного критерия должна определяться посредством максимального 9 -инварианта. Именно, если j(x), х Е Я, — максимальный 9 -инвариант, то индикаторная функция % (ж) области Ф1 должна зависеть от х посредством з (ж):
Х(Л = s(j(x)), хЕР.
Пример 7.4. В 9 •> 9-инвариантной задаче проверки гипотезы а Е 7ЦА) при альтернативе а ^. 7t(A) область принятия гипотезы должна иметь индикаторную функцию вида
х(Л = s(||(j - ^-^^(S-V^A)-)^-1^^^), ХЕР,
поскольку 31 (х) (7.3) — максимальный 9 -инвариант. Если гипотеза
верна, то статистика
М = \\(1 -^"Ч^А^-Ч^А)-^-!^^ =
= ||(1 - Е-Ч2а(Е-Ч2а)-)Е"Ч2^2
имеет %2 -распределение с числом степеней свободы, равным рангу ортогонального проектора П' = / — Е-1/2А(Е-1/2А)- (на Т^^Е-1/2^. Если гипотеза неверна, то
Д(£) = lin'E-^ + n'E-1/2^2, а £ЩА\
имеет нецентральное %2 -распределение с тем же числом степеней свободы и параметром нецентральности, равным ^2 = ЦП^-^-^пЦ2 ). Как известно, отношение правдоподобия
l^(t) = p(t, $2)/p(t, 0), 0 < t < сю,
в котором p(t^2) (р(£,0)) — плотность %2-распределения с г степенями свободы и параметром нецентральности 1^2 (0), является монотонно возрастающей функцией t. 0 < t < сю [41]. Следовательно, в данном случае существует равномерно наиболее мощный критерий в задаче проверки гипотезы i^2 = 0 при альтернативе 1^2 > 0. Множество принятия гипотезы уровня Р имеет вид
Ф^Ф) = [0, А],
где А = А(Р) определяется из условия
А
Р= j p(t,O)dt.(7.6)
О
Важно в данном случае то, что таким образом мы получили Q -инвариантный критерий, равномерно наиболее мощный в классе таких критериев для проверки гипотезы а Е Р(А) при альтернативе а $. Р(А). Действительно, а Е Р(А) , если и только если
О2 = ||ПЕ“1/2а||2 = 0
, поэтому задача проверки гипотезы О2 = 0 при альтернативе О2 > 0 эквивалентна исходной У. Q-инвариантной задаче проверки гипотезы а Е Р(А) при альтернативе а ^ Р(А) , если речь идет о выборе критерия в классе Q-инвариантных критериев. Равномерно наиболее мощный критерий такого типа имеет множество принятия гипотезы уровня Р~
ф-^Цетг, нп'е-гфн2 х(р^,
где А(Р) — корень уравнения (7.6).
§ 8. Эквивариантное оценивание и проверка гипотез
В этом параграфе кратко обсуждаются свойства оценивающих множеств и связанные с ними семейства задач проверки гипотез при тех или иных условиях симметрии соответствующих семейств распределений.
Пусть ^(x,P), х Е Р, — семейство оценивающих множеств, РД-,/), / ^ ^ — 5, 9-инвариантное семейство распределений,
Р = Р& €Ф(£,Р),Л
— надежность оценивания, Dp — дискриминантное множество.
Рр = U {(ж; фц, р))} с тг х тг.
Предположим, что множество Dp 9- 9-инвариантно. Последнее означает, что если (ж, /) Е Dp, то при любом д Е 9 •
№7(9)/) € Пр.
Другими словами, если / Е Ф(ж, Р), то ^(g^f Е ^(дх,Р) или, что то же самое, Ф(щЕ Р) = 7(g) Ф (ж, Р), х Е Р, д Е 9 • Это свойство симметрии оценивающих множеств называется эквивариантностью. По сути, оно является прямым аналогом свойства эквивариантности оценивания, рассмотренного в § 5 гл.З.
Поскольку
Рр= U {Ф-1(/о,Р);/о},
/о ETt
где Ф-1(/о,Р) ~ множество принятия гипотезы / = /0, у.9-инвариантность Dp означает, что
дФ"1(/о,Р) = ф-1(7(9)/о,Р)(8-1)
для любых д Е9 и /о Е Р. Пусть х — наблюдаемое значение вектора £. Если х Е Ф-1(/о,Р)) то согласно сказанному в § 2 принимается гипотеза / = /о о значении параметров распределения £, а если х Е ^Ф-1(/о, Р), то согласно условию (8.1) должна быть принята гипотеза / = 7(^)/о ? причем при том же уровне
Р = РЩф-1(/оЖ) =
= Р^ е дфЩ/о, Р)л(Ж) = Р^ е *"WA ^дИоУ
Определение 8.1. Семейство задач проверки гипотез / = /о при альтернативах / Е Р(/о), /о Е Р . эквивариантно, если
Пд:М = gPUo), де 5-(8.2)
В таком случае
рц^ е ^>-Ц/0,руп = Р^ е g4."4fo,py
чШ = РЦС е ^ЫдИ^Р^^Л,
и, если /е^Ло), то 7(9)/6-^(7(9)/о) • Следовательно, Q- инвариантен не только уровень, но и мощность критерия. Если ф-^/о.Р) — область принятия гипотезы / = /о, равномерно наиболее мощная относительно / Е Р(/о), то тем же свойством обладает область ^Ф-1(/о, Р) в задаче проверки гипотезы / = ^(д) fo относительно класса альтернатив / Е P^^fo), причем с теми же значениями мощности.
Пусть 5о — подгруппа группы преобразований У. оставляющих неподвижным вектор / = /о : Уо/о = /о • Тогда согласно условию (8.2) GoPUo) = ^(/о), а поскольку семейство Р^-,Л, / Е П, 60,60- инвариантно, где 5о = Д^ЧУ») ~ полный прообраз Уо • то мы приходим к б -инвариантной задаче проверки гипотезы / = /о при альтернативе / Е Р(/о)-Такие задачи рассмотрены в [41].
Таким образом, эквивариантные семейства задач проверки гипотез / = /о ПРИ альтернативах / Е ^(/о), /о Е П, выделяются следующими условиями:
семейство распределений Р^(-,/), f ЕП, 6,6 -инвариантно;
семейство гипотез / =/о и альтернатив / Е Р(/о) 6-экви- вариантно;
дискриминантные множества семейства задач проверки гипотез У.6-инвариантны.
Чтобы уяснить структуру дискриминантных множеств таких задач, рассмотрим группу Т преобразований П х П, действующих по формуле (5.10) гл. 3:
и пару функций з^х^ 3^, Л) х Е П, f Е 1^ (7.3) и (7.4) соответственно, т.е. полный Т-инвариант.
Т-инвариантное дискриминантное множество Пр можно задать с помощью его характеристической функции
у(ж f) = Р’ ^’ ^ G ^Pl
XVM) to, (x-JWp, которая на сей раз должна зависеть от х и / только посредством Р и ЭР~_
хЛхЛ = РОЛх^ЛОхЛУ
Пример 8.1. Поясним сказанное на примере эквивариантного семейства задач проверки гипотез / = /о при альтернативах / ^ /0, /о ЕП^ относительно вектора параметров распределения N^Af^Y рассмотренного в § 5 гл. 3. В данном случае %(ж, /) = F^^x^ /)), по-
скольку Е ^/^Ау — (Е Х/2А) Е т/2ос) — достаточная статистика1). Чтобы определить функцию Р(-), заметим, что в случае верной гипотезы статистика
= ||2-1/2Л(53-1/2Л)-53-1/21х||2
имеет %2-распределение с числом гх степеней свободы, равным рангу ортогонального проектора Е-1/2А(Е-1/2А)_ (на 7^(Е-1/2А)). В противном случае статистика
м^, f) = №~1/2Mfo -р + s-1/M(s-1/M)-s-1/2iz||2
гипотезыгипотезыимеет нецентральное %2 -распределение с тем же числом степеней свободы и параметром нецентральности 1^2 = ||Е-1/2А(/о — /)||2- Как было показано в § 7, равномерно наиболее мощный критерий проверки
гипотезы
гипотезы
^ = ||Е-1/2л(/о-/)||2 = О
при альтернативепри альтернативеI?2 > оI?2 > о
при альтернативе
при альтернативе
I?2 > о
I?2 > о
задается множеством принятия гипотезы
где А = Х(Р) — корень уравнения
А
jp(t,O)dt = P,(8.3)
О
в котором p(t, 0) — плотность центрального %2-распределения с гх степенями свободы. С другой стороны i^2 = 0, если и только если /о = / (напомним, что N\A) = {0}). Поэтому в рассматриваемом эквивариантном семействе задач проверки гипотез существует равномерно наиболее мощный критерий, задаваемый областью принятия гипотезы
ф-^/о, Д = Ц е Д ||s-1/2M(/o - Щ^ЩЕ-1/2^!!2 А},
где А = Х(Р) — корень уравнения (8.3). Соответственно
ФЦ, Д = {/о € М ||S-1ZWo - Щ1/2Л)-£-1/22?)||2 ^ Д}
— эквивариантное семейство оценивающих множеств, ж Е Р. В данном случае Ф(ж, Р) — эллипсоид в Р с центром (Е-1/2А)-Е-1/2х, равным наилучшей несмешенной оценке т(ж) (см. (1.15)) гл. 3 при U = I) вектора /о, полученной по наблюдению £ = ж = Afo + v. Размер эллипсоида определяется выбором Р. Наконец, Т-инвариантное дискриминантное множество Рр определяется равенством
Пр = {Ц; /о) е (^ х М. 11S-V2 Л (/о - (S-V2 Л) - S-V2S) II2 А(Д}.
х) Это следует из равенства ji (ж) + р^х^ f) = ||Е-1/2(ж — А/)||2 (см. (5.8) и далее, гл. 3).
Глава 5
Линейная редукция измерения
Рассмотрим идеализированный вариант проблемы редукции измерения — так называемую задачу несмещенной редукции [5], (см. также [94]). Предположим, что задана модель [Л, Е] схемы измерения
£ = AJ + v,(0.1)
т.е. заданы операторы А — математической модели измерительного прибора и Е корреляционный оператор шума и. моделирующего погрешность измерения. Кроме того, предположим, что измеряемый сигнал / — априори произвольный вектор 7^т и Е v = 0. Такова исходная информация о схеме измерения (0.1)х).
В задаче несмещенной редукции предполагается заданным линейный оператор U, символизирующий измерительный прибор, выходной сигнал U/ которого желательно синтезировать на измерительновычислительной системе (ИВС), и требуется определить линейный оператор R так, чтобы R^ можно было интерпретировать как наиболее точную версию U/, каким бы ни был входной сигнал / Е Rm.
Определим ошибку интерпретации как
sup EfWR^-UfW.(0.2)
Поскольку
sup E/ЦД^- Г/||2 = sup IK-RA- ZT)/||2 +trR^R* < oo, (0.3)
/e7^m/e7^m
если и только если RA = U, то задача редукции ставится как задача несмещенного 2) оценивания значения U/, / Е Ит1 рассмотренная в
х) Эта информация говорит о том, что модель в значительной степени идеализирована. На практике никогда не приходится рассчитывать на то, что операторы А и Е известны без ошибки, а о входном сигнале, как правило, что-нибудь известно априори.
§ 6 гл. 1. В этой задаче оператор R определяется из условия
Ef\\R£-Uf\\2 =tTR^R* ~min,(0.4)
где min вычисляется на множестве операторов, удовлетворяющих условию RA = U. Если корреляционный оператор Е шума v не вырожден, а оператор U удовлетворяет условию U(I — АА) = 0, эквивалентному условию разрешимости уравнения RA = U относительно R. то, как было установлено в §6 гл.1,
R^ = ШАУгАгАУАе, = и^Г^АТ^Т1^(0.5)
— искомое наилучшее приближение U f, f Е Rm , а
MU) = tr и(АЧГ1А'ги*(0.6)
—оценка сопутствующей погрешности оценивания.
В этой главе оценка (0.5)
Д^ = 7// + t/(S-1/2yl)-s-i/2p(0.7)
интерпретируется как выходной сигнал ИВС, имитирующей измерительный прибор U в схеме изменения (0.7), и называется несмещенной редукцией измерения £ к прибору U. Другими словами, R^ понимается как искаженный шумом U(^~r^A^YtR^v выходной сигнал прибора U, на вход которого поступил сигнал /, причем шум в (0.7), как следует из постановки задачи, имеет минимальную энергию (0.6).
Измерительно-вычислительная система (ИВС) как измерительный прибор
При изучении свойств ИВС как измерительных приборов плодотворной оказывается точка зрения, согласно которой ИВС [Л, Е] рассматривается на всем классе R^a,^ = {Д U(I—АА) = 0} приборов U, допускающих синтез с помощью модели [Л, Е]. Дело в том, что при сравнении ИВС следует учитывать не только качество синтезированного прибора U, но и качество синтеза, т.е. величину погрешности (0.6). Следовательно, сравнивать ИВС можно, исходя из того, насколько обширно множество R^a^ и насколько качественный синтез приборов из R^a^ обеспечивает ИВС. На этом этапе качество самих приборов из R^a^ можно не принимать во внимание. Поскольку все интересующее нас свойства ИВС целиком определяются моделью [Л, Е] схемы измерения (0.1), в дальнейшем, говоря ИВС [Л, Е], мы фактически будем отождествлять ИВС и модель схемы измерения. При этом особо следует отмечать, какой прибор имитирует ИВС.
Рассматривая ИВС как измерительный прибор и не указывая, о каком конкретно приборе из R^a^ идет речь, мы будем иметь в виду произвольный прибор из R^a^ 1 точнее, примем следующее
Определение 1.1. ИВС [Л, Е] как класс измерительных при-
боров — это пара функций
R = R(U) = U^^A^A*^"1,
h = ЦП) = tr U(A*^-TA)-U\ и Е Т^а^ (1.1)
принимающих значения в (Rn -^ U) и [0, сю) соответственно. Операторнозначная функция R(-) определяет выходной сигнал ИВС R(U)£ (0-7) как искаженный шумом U^E-1^A^Tr^v выходной сигнал прибора U Е ^ад? значение h(U) (0.6) определяет с.к. погрешность интерпретации R(U)^ как выходного сигнала U f прибора U. Область определения Т\ад функций R(-) и h(-) является множеством тех и только тех приборов, выходные сигналы которых могут быть синтезированы на ИВС.
Полезно заметить, что ')
Р[АД = W М^лК^У(1.2)
Понятно, что ИВС тем лучше, чем больше различных приборов можно на ней реализовать и чем выше качество реализации каждого прибора. Поэтому далее примем следующее
Определение 1.2. Будем говорить, что модель [Л, Е] (и соответствующая ИВС) равномерно не хуже [Л, Е], и писать [Л, Е] -< [Л, Е], если выполняются два условия: 1) Р[дщ] D D^ ^ ; 2) ЦП) < ЦП) для каждого U Е И^ . Если [Л, Е] -< [Л, Е] и [Л, Е] -< [Л, Е], то модели назовем эквивалентными и будем писать
Если [Л, Е] -< [Л, Е], то любой прибор, синтезированный на ИВС [Л, Е], может быть синтезирован и на ИВС [Л, Е], причем с лучшим или по крайней мере с таким же качеством. Поскольку при таком сравнении моделей [Л, Е] и [Л, Е] качество приборов из Р^д ^ не имеет никакого значения, то в любом случае, как бы ни было оно определено, предпочтение должно быть отдано модели [Л, Е], если [Л, Е] -< [Л, Е]. Этот факт позволит нам обсудить свойства ИВС, исходя только из качества синтеза, не учитывая характеристики синтезируемых приборов. Вопрос о качестве синтезируемых приборов будет рассмотрен отдельно.
Условия 1) и 2) определения 1.2 можно выразить в терминах опе-
х) Согласно (1.2) множество Р[а,е] состоит из приборов U, каждый из которых обращает сигнал / в ноль (Uf = 0) всякий раз, как только этот сигнал обращает в ноль прибор A (Af = 0). Необходимость этого условия очевидна: если Л/ = 0, то в ^, а следовательно, и в R^ нет информации о /. Если при этом Uf 0, то согласно выражению для погрешности (0.3) R^ не может служить (равномерным) приближением U/ ни при каком R.
раторов модели. Включение D^ ^ СТ^д^ эквивалентно неравенству А" А > А" А,
а условие h(U) ^ h(U), U Е R^ g], эквивалентно другому неравенству:_ _
А" А [^*£“4)“ - (А^-М)-] А" А 0.
С доказательством можно ознакомиться в монографии [5].
Заметим, что отношение ~ рефлексивно, [А, Е] ~ [А, Е], симметрично, [А, Е] ~ [А, Е]еэ[А, Е] ~ [А, Е], и транзитивно, [А, Е] ~ [А, Е], [А, Е] ~ [А, Е] —> [А, Е] ~ [А, Е] , т.е. является отношением эквивалентности на множестве моделей схемы измерения (0.1). Следовательно, множество всех моделей схемы измерения (0.1) разбивается отношением ~ на классы эквивалентных моделей. В каждом классе естественно выделяется каноническая модель
[А~А, (А^^А)"],(1.3)
отвечающая редукции к прибору U = АА. Эта модель фактически отвечает схеме непосредственного измерения составляющей АА/ сигнала /, лежащей в Л/^А), с погрешностью, корреляционный оператор которой равен (А*Е-1А)-. Каноническая модель, разумеется, эквивалентна исходной [А, Е].
Сравнение моделей можно охарактеризовать на геометрическом языке, если исходить из геометрической интерпретации задачи редукции. В связи с этим обсудим вначале вопрос о так называемом предварительном преобразовании измерения, который представляет также и самостоятельный интерес. Если вместо схемы измерения (0.1) рассматривать ее линейное преобразование
в^ = ва/ + Вщ /Е?гт,(1.4)
где В — некоторый линейный оператор, то, поскольку схеме (1.4) отвечает модель [ВА,ВЕВ*], возникает вопрос, нельзя ли таким образом улучшить первоначальную модель, подобрав должным образом линейный оператор В (или, иначе говоря, должным образом «предварительно» преобразовав данные измерения £)? Ответ, разумеется, отрицательный.
Теорема 1.1. Любое линейное преобразование В не может улучшить модель: [А, Е] -< [ВА,ВЕВ*] для любого В.
Доказательство. Для доказательства заметим, что согласно равенству (1.2)
^[ДЩ] АР[вД,ВЕВ*]5
поскольку если N\U) D JV(BA) , то тем более N\U) D АГ(А). Пусть U Е В[вд,вев*] • Тогда
ЦП) = inf {tr R^R*\R, RA = U} ^ inf {BBEB* |B, RA = U, R(I - B-B) = 0} = inf {tr RB^(RBy\R, RBA = U^
где условие R(I — ВВ) = 0, эквивалетное тому, что R = RB при некотором R , означает, что точная нижняя грань справа вычисляется на множестве операторов R. действующих на В А Следовательно, интенсивность шума редукции h(U) для модели [А, Е] не больше, чем для модели [ВА,ВЕВ*] при любом В. Эти выводы, вместе взятые, и означают, что [А, Е] -< [В А. В^В*]. □
С другой стороны, если в (1.4) выбрать В = Ro, где Яо ~ оператор несмещенной редукции (0.5) к прибору U = АА. т.е.
До = (A*S"1A)“A*S“1 = Щ^АЩ-!/2,^ 5)
то модель не ухудшится. Действительно, поскольку
Д0А = А" А,
то согласно определению (1.2)
ЦаД = ДдоА,До5Д5]
. Кроме того, поскольку Д'ДоА = U при R' = U € Да,е] , то
hVR0A,R0SR^U) = inf{tr Д'Д0ЕД5Д'*|Д', Д'ДоА = Д}
tr UАГU* = hVA,4(UV
что и требовалось доказать. Следовательно, в сигнале Яо^, где Яо — оператор несмещенной редукции к прибору АА (1.5), содержится вся информация, позволяющая оценить Я/, U Е Т)^^, и притом столь же качественно, как посредством Я^ (0.5).
Получаемая в итоге преобразования Яо модель [ЯоА,ЯоЕЯд] равна канонической модели [А-А, (А*Е-1 А)-] (1.3), что доказывает ее эквивалентность исходной модели [А, Е]. Название «каноническая» связано с тем обстоятельством, что решение любой задачи несмещенной редукции (0.4) можно записать в виде
R^UR^, UeD№(1.6)
означающем, что сигнал Я^ будет получен, если сигнал Яо^ «пропустить» через прибор U.
В более общем случае, когда измерение £ преобразуется к виду (1.4) и к результату добавляется шум, т.е. когда
Г = AAf + Av + v,(1.7)
результирующая модель имеет вид [А А, EJ, где Е^ — корреляционный оператор шума £ = AvAv. Если v и v — независимые случайные векторы, то_
[АА, EJ = [АА, А^А* + Е]
и, очевидно, при любых А и Е
[А,Е] [АА, АЕА*] [АА, АЕА* + Е].
В терминах моделей преобразование (1.7) определяет композицию моделей [А, Е] и [А, Е], которую естественно назвать произведением:
[А, 5] • [А, S]°=P"[AA, ASA* + S].
Следует подчеркнуть, что без предположения о независимости v и v модель [АА, EJ, Е^ = А^рА* + Е, может быть и лучше, чем [А, Е]. Достаточно, например, выбрать А = —I, если v = и. Но, поскольку шум v наблюдаем только в комбинации с сигналом А/, рассчитывать на такую компенсацию помехи на практике не приходится.
Обратимся к геометрической интерпретации сравнения моделей. Определим множество моделей
Al^^] = {[ВА, В^В*^ В — любой оператор}
Пусть [В, 0] — модель, в которой U Е В^а,^] • Введем расстояние между моделями М(В) = [ВА,ВЕВ*] и Ми = [В, 0]:
р(М(В), Му) = supE\\BAHBv-Uf\\2 = sup ||(BA-B)/||2+tr В^В*. //
Наиближайшая к Ми модель М(В) из АЛ^^] определяется из условия
р(Жв\ма = педжвумц) д(в) е м[Л,2]} =
= inf{trBSB*|B,BA = В} = trB(A*S-1A)"B* и точно совпадает с той моделью, которая получается при решении задачи редукции (0.4), т.е
В= СД-ГМ)^-!/2.
Для каждого U Е В^а,^] наиближайшая к Ми модель [В А, В ЕВ*] фактически выбирается из подмножества ^[л^]:
М№и = ДО А. ВЕВ*], В А = В}.
Все остальные модели из А1[л,е] «бесконечно далеки» от Му . Если в последней модели UeB^a^ , то она «бесконечно далека» от любой модели из Л4^а,е] • Стало быть, модель [А, Е] тем лучше, чем меньше множество таких «бесконечно далеких» моделей Му и чем ближе все остальные модели Му к Л4[ад •
На самом деле, если исходить из определения 1.2, то, за редкими исключениями, модели окажутся несравнимыми '). В то же время совершенно очевидно, что, например, в том случае, когда две ИВС используются в качестве одного и того же фиксированного прибора В, единственным параметром, по которому их следует сравнивать,
х) То есть не будет выполнено ни одно из сравнений [А, Е] -< [А, Е], [А, Е] -< [А, Е].
является погрешность (0.6), и, если, скажем h(U) < h(U), то ИВС [А, Е] лучше, чем [А, Е]. В таких случаях условимся сравнивать ИВС как средства измерений, исходя из следующего определения.
Определение 1.3. Если D — множество приборов, которые можно синтезировать как на ИВС [А, Е], так и на ИВС [А, Е], т.е.
С Дд,Е] П ’ С1’8)
то будем говорить, что на D ИВС [А, Е] не хуже, чем ИВС [А, Е], и писать [А, Е] -< [А,Е]|р, если h(U) ЦП), U Е D. Обозначение [А, Е] ~ [А,Е]|р отмечает эквивалентные на D модели.
В частности, если D содержит единственный прибор U,D = {L7}, то ИВС [А, Е] как прибор U не хуже (лучше) ИВС [А, Е], если h(U) ^ HU) (h(U) < h(U)). Заметим, что в этом и только в этом случае качество модели определяется числом.
Какова связь между свойствами ИВС, зафиксированными в определениях 1.2 и 1.3? Если [А, Е] -< [А, Е], то, естественно, [А, Е] -< [А, Е]|р для любого D С ^[дд П ^[А 5] = -^[А 5] * Однако, даже если [А, Е] -< [А,Е]|р верно для любого D (1.8), это еще не означает, что [А, Е] -< [А, Е], поскольку вполне возможно, что при этом множество Р^д 5] не содержится в ^[ДЩ] •
Понятно, что в том случае, когда Р[лщ] П Dy^ ^ = 0, модели несравнимы (на любом D).
Линейная минимаксная редукция схемы измерения
Результаты предыдущего параграфа подсказывают более общую постановку задачи редукции — редукции схемы измерения £ = А/ + + v к схеме измерения ц = U f + Vv, где U и V — заданные операторы. Первый продолжает служить моделью прибора, измеряющего параметры исследуемого объекта, второй трансформирует шум, преобразуя его к виду, априори оговоренному исследователем. Можно говорить о редукции модели [А, Е] к модели \U, УЕУ*], и это эквивалентно упомянутой редукции схемы измерения, если расстояние р между моделями [ЯА, R^R*^ и \U, У ЕЕ*] определить как точную верхнюю грань по / 6 Rm с.к. расстояния между R^ и ц:
supE |Щ<^ — 77Ц2 = sup ||(7?Л — L7)/||2 + tr (R - V^R - VY = ff
= p([RA, R^R*], [U, VSV*]) = 5r, (2.1) а саму задачу редукции понимать как задачу на минимум для 5r :
6R = sup ||(ДА - Д)/||2 + tr (Д - V)^(R - VY ~ min.
/R
Эта задача эквивалентна задаче *)
ЦП, V) = шт^г(К -V)^R- V^\R, RA = U},(2.2)
обобщающей рассмотренную ранее задачу (0.3). Она сводится к задаче (0.3), если V = 0, а в случае U = 0 превращается в задачу оценивания шума Vv. Следующая теорема описывает некоторые ее свойства.
Теорема 2.1. Предположим, что Q = AFA* + Е невырожденный оператор, где F — некоторый неотрицательный оператор, удовлетворяющий условию R(F) dJV^^A). Тогда задача (2.2) разрешима, если и только если U 6 Т\аД , ее единственное решение имеет вид
R = V + (U - VA^F^yQ-^AF^-Q-^2(2.3)
и
ци, V) = tr (и - VA)F1/2^F1/2A*Q-1AF1/2)- - ЦР1/2(и - УЛ)*.
(2-4)
Доказательство. Введем неотрицательный оператор F, удовлетворяющий условию R^F) Л АГ1" (А). Тогда уравнение RA = U можно записать в виде RAF1^ = UFA- и, далее, в виде
(Я - V)Q1/2(Q"1/2AF1/2') = UF1/2 - VAF1^2.
В силу условия U Е Т)^д^ это уравнение разрешимо и всякое его решение можно определить из равенства
(Я - V)Q1/2 = (U - VA)F'/2(Q”'/2AF'/2p +
+ ZR - Q-1/2AF1/2(Q~1/2AF1/2)-), (2.5)
где Z — произвольный оператор. Поскольку при ЯЛ = U
6R = tr (R-V^^R-V)* = tr (Я-У)9(Я-У)*-П (Я-УЛ)Я(Я-УЛ)*,
(2-6) где последнее слагаемое не зависит от R, исходная задача на минимум (2.2) эквивалентна задаче отыскания
min{tr (Я - V)Q(R - У)* |Я, ЯЛЯ1/2 = UF1/2y
Но, если учесть равенство (2.5), то
tr (Я- V)Q(R- У)* =
= tr (U - УЛ^Дя^Л^-МяГЩЯ1/2^ - УЛ)* + + tr Z(I - Q-v!2 AFVI2^Q-VI2 AF1'2')-^* ^
tr (U - УЛ)Я1/2(Я1/2Л*(9"1ЛЯ1/2)"Я1/2(У - УЛ)*, (2.7)
х) Как и в (0.3), если 5r < оо, то RA = U.
откуда следует, что искомый минимум достигается на единственном операторе (2.3) (при Z = 0 в (2.5)). Выражение (2.4) является следствием равенств (2.2), (2.6) и неравенства (2.7). □
Для сравнения этого результата с полученным ранее выберем F = = I и будем считать для простоты, что оператор Е невырожден. В этом случае можно положить Q = Е, и тогда решение задачи (2.2) можно записать как
R = v + (U -
Ему будет сопутствовать погрешность, равная
ЦП, V) = tr (U - УА)(А*Е-1А)-(П - УА)А (2.8)
Задача редукции (2.2) так же как и задача (0.4), позволяет сравнивать модели, исходя из условия разрешимости задачи (2.2) и величины погрешности редукции (2.8). Однако нетрудно заметить, что на этом пути мы не получим ничего нового. Дело в том, что, рассматривая погрешность (2.8) при любых U Е F^^ и У, легко увидеть, что фактически речь идет о погрешности
1г1У(А*Е“1А)-1У*, где W = U — VA Е Т^а^г если и только если U Е Т^а^г ибо У А Е Fya^v Короче говоря, если [А, Е] -< [А,Е], то Т>д^ АГ)^^ и h(U\ V) h^U, V) для любого U Е и лю^ого V.
Критерии качества измерительного прибора и соответствующей ИВС
До сих пор, обсуждая задачи редукции к заданному прибору U, мы не интересовались параметрами U как прибора, считая, что исследователь знает, какой прибор обеспечит наилучшие условия для решения задачи интерпретации. При таком подходе единственным критерием качества редукции является оценка величины погрешности (0.6). В том случае, когда U f — параметры измеряемого объекта, как это было в примерах, рассмотренных во введении, вопрос о выборе U решается автоматически, если U Е ^ya^] * Понятно, что в этом случае следует считать, что U = U, поскольку при любом другом выборе U оценка погрешности (0.6) при оценивании параметров U f объекта будет хуже.
Даже в тех случаях, когда на практике шум h(U) оказывается неприемлемо большим, в рамках модели [А, Е] не существует альтернативных решений, поскольку любое другое непременно приведет к худшей оценке погрешности (0.6). Более того, сам факт, что шум редукции оказался «неприемлемо большим», не может обсуждаться в
рамках модели [Л, Е], поскольку его не с чем сравнивать — сигналы / и U f неизвестны, а наблюдаемы лишь £ = Af + // или R^ = RAf + -V Rv. «На практике» в данном контексте означает , что по существу, речь идет о другой модели, в которой имеется априорная информация о сигнале, позволяющая судить о том, велик шум или нет. Дополнительные возможности, основанные на такой информации, будут рассмотрены несколько позднее, однако уже сейчас следует заметить, что все они в конечном счете окажутся формально эквивалентными дополнительному измерению /.
Таким образом, в случае когда Uf — параметры изучаемого объекта, оператор U моделирует идеальный прибор, [77, 0] —модель идеальной схемы измерения и если U Е R^a^ т0 МЦ) — единственная характеристика качества синтезированного на ИВ С [Л, Е] идеального измерительного прибора U.
В частности, когда параметры исследуемого объекта образуют входной сигнал /, для исследователя наилучшим будет прибор U = I, не искажающий входной сигнал, а наилучшей моделью схемы измерения — [/, 0], поскольку при этом к измерению I/ = / не добавляется шум. В данном случае как прибор U = I, так и схему измерения [/, 0] естественно назвать идеальными, так как речь идет о непосредственном измерении параметров объекта без искажений и без шума. Следует заметить, что модель [/, 0] не хуже любой другой модели [Л, Е] и в смысле определений 1.2 и 1.3: поскольку ^[/,о] содержит любой прибор U и для этой модели h(U) = 0 ). В рассматриваемом случае на выходе ИВ С [/, 0] сигнал точно воспроизводит параметры объекта, поэтому такая ИВ С представляет то, что мы назвали идеальным прибором.
В общем случае по сравнению с моделью [/, 0] любой другой модели [Л, Е] свойственны искажения входного сигнала, которые можно представить на диаграмме / —> Л/ —> Л/ + v. Вначале сигнал претерпевает искажение / —> Л/, которое можно назвать аппаратным. При этом происходит то, что иногда называют размытием, потерей разрешения, амплитудно-фазовыми искажениями и другими подобными терминами, заимствованными из оптики, спектроскопии и электротехники. После этого может быть точно восстановлена лишь та информация о сигнале /, которая заключена в Л/. Вместе с тем, если, / = А + /2, где /1 е ЛЩЛ), /2 е M(A), то данные об /2 уже на этом этапе безвозвратно потеряны, ибо Л/2 = 0. Но /1 = А (Л/) = = (Л* Л)-1 Л* Л/, если скажем, оператор А*А имеет обратный.
Вслед за этим Л/ искажается шумом и. и, как будет видно из дальнейшего, это может сделать фактически невозможным восстановление и /1 Е Af± (Л).
Образно говоря, можно сказать, что не вся информация о / содержится в £ = Af-Vv. При измерении часть ее (/2) необратимо теряется, остальная (Д) в той или иной степени разрушается шумом (см. § 4).
Применительно к параметрам объекта U f эти факты позволяют заоо ооо
ключить, что в том случае, когда U Е R[a,yt U f = U/1 + U f^ = U/1, поскольку 77/2 = 0, и, следовательно, данные об /2 не важны. Но если составляющая /1 в конечном счете оказывается в значительной степени разрушенной шумом, все будет зависеть от того, насколько это повлияет на U/1 (см. § 4).
Если, как мы условились, U f — параметры исследуемого объекта, но UeD^a^ 1 т0 все параметры объекта оценить невозможно и в рамках модели [Л, Е] можно лишь обсуждать вопрос о том, какую часть, или, точнее, какую функцию параметров можно оценить и насколько качественно. Однако, хотя формально вопрос о том, какой интерес представляет та или иная функция U/, U Е Т^а^ параметров объекта U f почти целиком определяется тематической направленностью исследования и, следовательно, лежит вне математики, тем не менее на практике при выборе U Е D^a^ решающее значение может иметь величина погрешности h(U). В частности, если исследователь не в состоянии определить свои предпочтения на ^[дд т0 естественное правило выбора U сводится к тому, что выбирается U = U£ из
Ре = {ГеДЛд, h(U) ^е},(3.1)
самый близкий к идеальному 77, где е — параметр, контролирующий уровень шума редукции к U£. При этом редукция к U£
R^ = UJ + Rev = Uf + (UE - Uy + Rev
непременно будет содержать ложный сигнал (Ue — 77)/, если Ue ^U и Re^ интерпретировать как редукцию к U. Поскольку при U£ ^ U sup||(77£ — 77)/|| = сю и, следовательно, 8прЕ||(Я£^ — 77/)||2 = сю, //
R£E нельзя рассматривать как оценку 77/ .
Интерпретация редукции на сей раз должна быть инструментальной: R£E — искаженный шум R£v выходной сигнал прибора Ue, самого близкого к U при условии Е ||Я£?/||2 ^ е. Если расстояние между приборами 77 и 77 определить как \\U — 77||2, то
|Де - 7||2 = min{||t/ - 7||2Д е(3.2)
В этом случае на ИВ С с максимальной точностью синтезируется
прибор U (в виде Ue) при заданном ограничении на уровень шума). Такая точка зрения на ИВ С как на измерительный прибор совпадает с инструментальной, при которой измерительный прибор моделируется как оператор U, который определяет его паспортные характеристики, оператор Ue моделирует реальные характеристики прибора, шум Rev моделирует измерительную погрешность. Как правило, в силу физических и технологических ограничений точное равенство Ue = U для реальных измерительных приборов невозможно и речь может идти лишь о минимизации отличия Ue от U. В дальнейшем такие задачи синтеза измерительных приборов на ИВ С будут более подробно изучены в гл. 9, а сейчас рассмотрим вопрос о том, как связаны качество измерительного прибора А и соответствующего измерения £ = Af + + v как таковые и в составе ИВ С. Для определенности 'условимся считать, например, что прибор А тем лучше, чем меньше
тт|Д-АА|Ц = |Д-А0А|Ц.(3.3)
Такое соглашение предполагает возможность нормировки измерения £ = Af + v —> Aq£ = AoAf + Ао^ путем выбора «коэффициента усиления» Ад , в результате которой Ао£ можно интерпретировать как измерение, выполненное на приборе AqA, самом близком к идеальному U среди всех приборов ХА, — сю < А < сю (ср. с (3.2)). Поскольку
Ао = tr[M*/trHH*,(3.4)
ТООО*
ооо о* tvTT ATT
g(A^,U) = \\U-X0A\\l = trUU - Д-ДЦ
Оо *
7 , . ДtrUAHr AU tr Е..
) = E ||Ао^П = (ДХГД "("5)
Следовательно, сравнивая измерения £ = Af + v и £ = Af + v c точки зрения интерпретации Aq£ и Aq£ как измерений на приборе U, естественно считать, что £ лучше, чем £, если
дД, Е, U) < дД, Е, Uf ИД, Е, Д < ИД, Е, Д, (3.6)
причем хотя бы одно из неравенств строгое. Эти неравенства являются формальным выражением предпочтений исследователя в том случае, когда измерительные приборы не используются в составе ИВ С. Если же речь идет об использовании приборов в составе ИВ С и
U Е Т)^^ П Р^д g], то ИВС [А, Е] позволит лучше синтезировать прибор U, чем ИВС [А, Е], если [А, Е] [А, Е]|^^ или, иначе, если)
^А^Г) = tTU(A*Y,-1A')-U >
>tTU(A*Y,-1A)-U = h(A,^,U\ (3-7)
Поскольку условия (3.6) и (3.7) друг другу не противоречат, можно привести достаточно много примеров, в которых стремление улучшить измерительный прибор А и измерение £ = А/ + v в том смысле, как это определено выше неравенствами (3.6), будет приводить к ухудшению свойств ИВС как прибора [/. см., например, рис. 0.2 во Введении.
Пусть, скажем, U = А, Е = I, так что измерение £ = А/ + v выполняется на идеальном приборе А. Если прибор А предполагается реализовать на ИВС [А, Е], то следует ли стремиться к тому, чтобы в схеме измерения £ = А/ + Г прибор А был как можно ближе к А в смысле расстояния ^(А, Е, А) (3.5)? Будем считать, что оператор А не кратен А и Е = а1. Тогда неравенства (3.6) можно переписать в виде
(trAA*)2 . trAAArAA*
-—^- = tr А А > —,
tr АА*tr АА*
52(trAA*)2, х
1 < V7 ,3.8
(trAA*)2
где первое неравенство выполняется автоматически, поскольку равенство А = ХА невозможно ни при каком А. Условия (3.8) означают, что прибор А хуже А и измерение £ = А/ + v не лучше, чем £ = А/ + v. С другой стороны, ИВС [А, Е] позволит более точно синтезировать прибор А, чем ИВС [А, Е], если
tr I = п > 52tr А*А(А*А)”1(3.9)
(см. неравенство (3.7)). Условия (3.8) и (3.9) совместны, если
(tr АА*)2(tr АЛ*)2(tr АА*)2(tr АЛ*)2tr А*А(А*А)-1пtr А*А(А*А)-1п(ЗАО)(ЗАО)
(tr АА*)2
(tr АЛ*)2
(tr АА*)2
(tr АЛ*)2
tr А*А(А*А)-1
п
tr А*А(А*А)-1
п
(ЗАО)
(ЗАО)
для некоторого А. Поскольку разность левой и правой частей неравенства (3.10)
d(AA) =d(AA) =/ (tr АА*У у (tr АА*)2/ (tr АА*У у (tr АА*)2trA*A(A*A)-TпtrA*A(A*A)-Tп_= 0,Л = Л_= 0,Л = Л(ЗА1)(ЗА1)
d(AA) =
d(AA) =
/ (tr АА*У у (tr АА*)2
/ (tr АА*У у (tr АА*)2
trA*A(A*A)-Tп
trA*A(A*A)-Tп
_= 0,
Л = Л
_= 0,
Л = Л
(ЗА1)
(ЗА1)
для проверки условия (3.10) достаточно проанализировать приращение d(A^A) по Л в «точке» А = А. Пусть, например, А — самосопряженный оператор и А — функция А, А = А (А). Тогда в некотором ортонормированном базисе А = diag (ai^... ^ап)^ А = diag (Hi,...,ап)
ииd(A,A) =d(A,A) =пп(ЗА2)(ЗА2)ПоэтомуПоэтому8d(A,A)8dk8d(A,A)8dkScik —Scik —25ak25ak(3.13)(3.13)
и
и
d(A,A) =
d(A,A) =
п
п
(ЗА2)
(ЗА2)
Поэтому
Поэтому
8d(A,A)8dk
8d(A,A)8dk
Scik —
Scik —
25ak
25ak
(3.13)
(3.13)
Если оператор А не кратен единичному, то
8d(A,A)8dk8d(A,A)8dk5ак > 0А = А5ак > 0А = А
8d(A,A)8dk
8d(A,A)8dk
5ак > 0
А = А
5ак > 0
А = А
для 5ak = s о^1^ 1 — ак(^Оч) 1 , где е > 0. Поэтому для А = \ 1 /
= А + s(A-1/n — A(tr А2)-1) при достаточно малом положительном е существует Н2, удовлетворяющее неравенству (3.10). Следовательно, хотя прибор А лучше А и измерение £ = А/ + // лучше, чем £ = А/ + + v. тем не менее на ИВ С [А, Е] прибор А может быть синтезирован более качественно, чем на ИВ С [А, Е]:
[А,5]^[А,Ч|{л}.
Любопытно, что в том случае, когда А — единичный оператор I или кратен единичному, неравенство (3.9) не выполняется ни при каком А. Чтобы упростить доказательство этого факта, перепишем
неравенство (3.10) в терминах норм и скалярных произведений:
(trzn*)2 = (z, Л)! > 1цЛ||4||Л-1||1,(з.14)
п
(А,В)2 °= tr АВ*, || А||| = (А, А)2 = tr АА*.(3.15)
Используя неравенство Коши—Буняковского , получим
О Al ^ ||/||2||А||2 = п||А|Ц ^ (1/гг)||Л||41|Л-1 Hi,(3.16)
поскольку в силу того же неравенства
п2 = (А,А-1)1^||А||1||А-1|Ц.
Неравенства (3.16), верные для любого невырожденного оператора, противоречат неравенству (3.14).
Точно также, если U = I, Е = X = I. то неравенства (3.6) обретают вид_
(trA)2/trAA*(tr A)2/tr АА*,,,
(tr A)2/(tr АА*)2 < (tr A)2/(tr АА*)2,;
откуда следует неравенство
tr АА* tr АА*, противоречащее неравенству (3.7)
tr^A)"1 > tr^A*)-1.
Из этих фактов, равно как и из результатов первого параграфа, следует, что, разрабатывая или совершенствуя измерительный прибор, исследователь должен отдавать себе отчет в том, что в конечном счете многое будет зависеть от того, как он намеревается использовать прибор — в составе ИВС или как таковой1).
Однако неравенства (3.6) не единственная форма выражения предпочтений исследователя. Несколько другую форму можно получить, рассматривая упрощенную модель формирования оптического изображения.
Как известно, математической моделью оптического прибора в ряде случаев может служить интегральный оператор
АЩ) = j а^х- у)/(у)с/у, х е X.(3.18)
X
Чтобы не вдаваться в детали взаимодействия излучения с веществом объекта, представим дело таким образом, что /(•) — выходной сигнал идеального прибора на поле зрения X = 7^2 , а выражение (3.18) описывает аппаратные искажения, которые вносит прибор А в отличие
х) По существу, предпочтения (3.6) и (3.7) позволяют вложить точный смысл в слово «совершенствуя».
от идеального. Функция п(г), г Е X называется аппаратной функцией А, ее можно интерпретировать как отклик прибора на точечный источник света, помещенный в точку о, математической моделью которого является 5-функция 5(ж), х Е X.
А5(х) = j а(х — y)6(y)dy = а(х\ хЕХ. (3.19) х
Принято считать, что чем «шире» аппаратная функция а(-), тем ниже разрешающая способность А. Это соглашение тесно связано с релеевским определением разрешающей силы оптического прибора для входных сигналов типа точечных источников. Согласно этому определению мерой разрешающей способности прибора является минимальное расстояние между двумя одинаковыми точечными источниками, при котором суммарный выходной сигнал позволяет заключить, что наблюдаются два источника).
В общем случае понятие разрешающей силы должно определяться классом изучаемых входных сигналов и характером решаемых задач).
Определим, например, класс входных сигналов как множество случайных векторов р с заданными математическим ожиданием Е р = = 0 и корреляционным оператором Е^ = а21. Речь идет о сигналах типа белого шума или импульсных сигналах. В последнем случае р = (pi,... ,РтУ имеет вид случайной последовательности (О,..., 5,0,..., 0), в которой «импульс» случайной амплитуды д. с Ед = 0, Е J2 = ^ с вероятностью 1/т может занимать любую из т «позиций». Если цель измерения на приборе А = А* состоит в том, чтобы как можно точнее в среднем квадратичном воспроизвести входной сигнал р, должным образом усиливая или ослабляя р, то качество прибора следует определить, исходя из вносимых им искажений, задавая их величину, например, в виде
h0 = inf Е ЦАЛ92 — (/?||2 = inf^2tr (АА -/)(АА -/)* = ^2tr(Z-А0Л), где
Ао = tr A/tr АА*, d2 = d^Jm.
Прибор А следует считать идеальным, если Ло = 0, что в свою очередь будет тогда и только тогда, когда оператор А кратен единичному оператору I. Соответственно качество измерения £ = Ар + v
определим, исходя из величины погрешности
h* = inf Е ||А£ - у>||2 =
= inf{i?2tr (АЛ - /)(АА - Г)* + A2tr S} = ^2tr (I - AM), где
А* = tr A/(tr A2 +^-2tr S).
Величину
A (A) == Ul- (tr A)2/tr A2(3.20)
назовем релеевской шириной аппаратной функции прибора А, а
А*(А) = ^~2h^ = tr I — (tr A)2/(tr A2 + ^-2tr E).(3.21)
— эффективной шириной аппаратной функции. Так как
(tr А)2 < (tr Z)(tr А2),
то А (А) ^ 0, причем А (А) = 0, лишь если А = XI при некотором А, т.е. когда А — идеальный прибор. Аналогично
-д 2 h* > tr Z ( 1 —-д 2 h* > tr Z ( 1 —tr A2 A trZtF2trE
-д 2 h* > tr Z ( 1 —
-д 2 h* > tr Z ( 1 —
tr А2 + ^-2tr Е уtr А2 + ^-2tr Е ’
причем и здесь равенство выполняется лишь в случае А = XI.
Эффективная ширина аппаратной функции определяет относительную погрешность воспроизведения ф при измерении £ = Аф + + v. Ее естественно назвать разрешающей способностью измерения, а А (А) — релеевской разрешающей способностью прибора А, поскольку
А(А) = »Г2Ме=о = тГЧ0.
Теперь мы можем сформулировать предпочтение исследователя: 1) прибор А обладает более высоким разрешением, чем А, если
А(А) < А(А)
или, иначе, если~~
(tr A)2/tr А2 > (tr A)2/tr А2
аналогично первому неравенству (3.17); 2) измерение £ = Аф + v. выполненное на приборе А = А* , лучше, чем измерение £ = Аф + v. выполненное на приборе А = А*, если Л* < h* или, иначе, если
(tr A)2/(tr А2 + ^-2tr Е) > (tr A)2/(tr А2 + ^-2tr Е).
Строго говоря эти рассуждения, основанные на свойствах априорной информации о входном сигнале ф, теряют силу в случае модели [А, Е]. Они свойственны модели [A, F, Е], в которой известен корреляционный оператор F сигнала ф, равный в данном случае ^2Z. Задачи редукции для модели [A, F, Е] будут рассмотрены в гл.6, но,
забегая вперед, заметим, что в данном случае задача редукции к идеальному прибору U = I ставится как задача на минимум для погреш
ности редукцииности редукцииЕ||Д^-^||2 ~™п-Е||Д^-^||2 ~™п-
ности редукции
ности редукции
Е||Д^-^||2 ~™п-
Е||Д^-^||2 ~™п-
В §5 гл. 1 показано, что минимум достигается на
R = R* = FA4AFA* + Е)-1 = (А^М + р-^АЧГ1 (3.22)
И
Е ||Я^ - (^||2 = tr (F - FA^AFA* + ^TAF) =
= tr (A^U + F"1)"1. (3.23)
Задача несмещенной редукции к U = I для модели [А, Е], как известно имеет решение Ro = (А*Е-1 А)-1 А*Е-1, а сопутствующая погрешность (0.6) удовлетворяет очевидному неравенству
tr (А*Е-1А)-1 > tr (А^^А + F"1)"1,
отражающему влияние дополнительной информации о сигнале ф.
Заметим, что дополнительную информацию о ф можно учесть в форме дополнительного измерения входного сигнала в рамках модели [А, Е]. Речь идет об измерении £ = А/ + v. в котором / — априори произвольный вектор Rm, и о независимом дополнительном измерении £' = 0 = / + v* , в котором Е т/ = 0 и Е^/ = F. Иначе говоря, пусть задана модель (^), (^ ^) схемы измерения
Тогда несмещенная редукция измерения (^) к прибору U = I определяется оператором
/। А \\। А \
R — I ( Д*. Т\ IU И Л I I ( Д* • ТА II —
А) оF"1) \l) )0F"1) -
и имеет вид (см. равенство (3.22))
= (А*Е-1А + F"1)"1A*E"1£ = R^.
Ей будет сопутствовать погрешность
tr (А*; 1)К0 фЛ М ^rGTS-M + F-1)-1,
совпадающая с (3.23)х).
Итак, вне ИВС прибор А тем лучше, чем меньше релеевская ширина его аппаратной функции Z\A (3.20), а измерение £ = А^ + z/ тем лучше, чем меньше эффективная ширина аппаратной функции А* (А) (3.21). Но в тех случаях, когда прибор А используется в составе ИВС, его качество нельзя рассматривать вне модели схемы измерения. В частности, в случае модели [А, Е] согласно определению 3 § 1 качество измерения Яо£ = / + ^о^ (см.1.5) на ИВС [А, Е], как на идеальном
приборе U = I, тем выше, чем меньше значение погрешности
h = tr (А*Е"1А)"1.
Соответственно в рамках модели [А, Е, Е] качество измерения ЛД на ИВС [A, F, Е] как на идеальном приборе тем выше, чем меньше значение погрешности
К = tr (А*УГгА + F"1)"1.(3.24)
В этом случае оператор R* определен равенством (3.22).
Подчеркнем, что как в случае ИВС [А, Е], так и в случае ИВС [A, F, Е] речь идет о синтезе выходного сигнала идеального прибора
U = I и измерения на этих ИВС сравниваются с измерением на идеальном приборе, не искаженным шумом. Более общий случай, когда на ИВС синтезируется прибор, отличающийся от идеального, но измерение на ИВС по-прежнему сравнивается с измерением на идеальном приборе, будет рассмотрен в §1,2 гл. 9.
Сравним эти четыре аспекта использования прибора на простейшем примере, в котором А = ^ ^ . Если b = 0, то А представляет идеальный прибор, с увеличением \Ь\ отличие А от идеального прибора возрастает. В данном случае релеевская ширина аппаратной функции А согласно выражению (3.20) равна
А(А) = 2b2/(a2 Fb2).(3.25)
Эффективная ширина А* (А) (3.21) при условии Е = а21 равна
АДА) = 2(Ь2 + ^^(а2 + Ь2 + ц2),(3.26)
где ц2 = л2/Д2. Соответственно качество А в рамках модели [А, Е] = = [А, ст2/] тем выше, чем меньше значение
h = 2а2^а2 + Ь2^а2 - 52)2,(3.27)
поскольку
л л + Ь2 2аЬ\АА=Ы ,.=+»=)’л л + Ь2 2аЬ\АА=Ы ,.=+»=)’(А*А)"1 = (а2 -Ь2)~2 Г ,(А*А)"1 = (а2 -Ь2)~2 Г ,— 2ab\аЧУ)1— 2ab\аЧУ)1
л л + Ь2 2аЬ\
АА=Ы ,.=+»=)’
л л + Ь2 2аЬ\
АА=Ы ,.=+»=)’
(А*А)"1 = (а2 -Ь2)~2 Г ,
(А*А)"1 = (а2 -Ь2)~2 Г ,
— 2ab\аЧУ)1
— 2ab\аЧУ)1
Д См. работу [37], где этот вопрос обсуждается в связи с проблемами линейного оценивания
а в рамках модели [A, F, X] = [A, 02Z, ст2/] — чем меньше значение
(3.28)(3.28)2 о-2 (о? + Ь2 + ц2)(а2 + Ь2 + ц2) — 4а262
(3.28)
(3.28)
На рис. 5.1 представлен вариант зависимостей (3.25)—(3.28) от 5, наглядно показывающих, насколько существенно отличаются понятия
Рис. 5.1. Графики зависимостей погрешностей ^ZX^A)^ б2 ZX*(A)^h и И, от b 0 : maxh* при Ъ2 = 2а^/а2 + д2 — (а2 + д2), 5 ~ 0, 9а; maxh* = _ а2 _ а21/ 2\ .2 а2 _2,2 _22а7^ЙВ-2а^2«2(V2=T)VРис. 5.1. Графики зависимостей погрешностей ^ZX^A)^ б2 ZX*(A)^h и И, от b 0 : maxh* при Ъ2 = 2а^/а2 + д2 — (а2 + д2), 5 ~ 0, 9а; maxh* = _ а2 _ а21/ 2\ .2 а2 _2,2 _22а7^ЙВ-2а^2«2(V2=T)V
Рис. 5.1. Графики зависимостей погрешностей ^ZX^A)^ б2 ZX*(A)^h и И, от b 0 : maxh* при Ъ2 = 2а^/а2 + д2 — (а2 + д2), 5 ~ 0, 9а; maxh* = _ а2 _ а21/ 2\ .2 а2 _2,2 _2
2а7^ЙВ-2а^2«2(V2=T)V
Рис. 5.1. Графики зависимостей погрешностей ^ZX^A)^ б2 ZX*(A)^h и И, от b 0 : maxh* при Ъ2 = 2а^/а2 + д2 — (а2 + д2), 5 ~ 0, 9а; maxh* = _ а2 _ а21/ 2\ .2 а2 _2,2 _2
2а7^ЙВ-2а^2«2(V2=T)V
качества прибора как такового и в составе ИВ С. Характерно прежде всего то, что при b -4 сю ^2Д(А) -4 2^2, ^2Д*(А) -4 2^2 (монотонно возрастая), в то время как h и h* монотонно стремятся к нулю. При b > aV^ погрешность несмещенной редукции h меньше, чем ее значение при b = 0, и монотонно убывает с увеличением Ь. т.е. с увеличением отличия А от идеального прибора. Аналогичное поведение характерно и для К* при b > [2п^/п2 + ц2 — (а2 + ц2)], причем
h* < h для любого b .
Рассмотрим подробнее модель [А, X], А = ^ ^ , X = а21.
Как было отмечено при синтезе идеального прибора I,
tr (А*Х”1А)-1tr (А*Х”1А)-12а2^а2 + 52)(а2 - №У <2 гт2< —=tr (ASX^AoF1,2а2^а2 + 52)(а2 - №У <2 гт2< —=tr (ASX^AoF1,Ao —Ao —a 0\0 ay ’a 0\0 ay ’
tr (А*Х”1А)-1
tr (А*Х”1А)-1
2а2^а2 + 52)
(а2 - №У <
2 гт2
< —=tr (ASX^AoF1,
2а2^а2 + 52)
(а2 - №У <
2 гт2
< —=tr (ASX^AoF1,
Ao —
Ao —
a 0\
0 ay ’
a 0\
0 ay ’
как только b > aV^. Это означает , что согласно определению 1.3 [дч^[л0,Ч|{/}
при b > ад/З-
Согласно определению 1.2, модель [А, Е] равномерно не хуже, чем [Ао, S], если
tr U(A*^”1Ay1U* tr U(A*^”1Aoy1U*
для любого оператора U. Это условие эквивалентно операторному неравенству (А*Е-1А)-1(AqE_1A0)-1, которое в свою очередь
эквивалентно двум неравенствам
(а + Ь)2 ^ а2, (а — Ь)2 ^ а2(3.29)
поскольку а-2 (а ± Ь)2 — собственные значения оператора
аа-2-2/п2 + 62 2аЬ\хUt. 5 А/п2 + 62 2аЬ\хUt. 5 А
а
а
-2
-2
/п2 + 62 2аЬ\х
Ut. 5 А
/п2 + 62 2аЬ\х
Ut. 5 А
Для b > 0 неравенства (3.29) эквивалентны неравенству b > 2а, выделяющему модели [А, Е], которые равномерно не хуже, чем [Aq, U]. Следовательно, при b > 2а ИВС [А, Е] позволяет синтезировать любой прибор U более качественно, чем ИВС [А0,И].
Можно было бы заподозрить, что все сказанное объясняется увеличением отношения сигнал/шум при увеличении Ь. Покажем, что это не совсем так. Действительно, энергия ||А/||2 = (А*А/,/) сигнала А/ не меньше, чем энергия сигнала Ао/, если ((А*А — AqAq)/, /) ^0 для любого /. Это условие эквивалентно операторному неравенству А*А ^ AqAq, которое в свою очередь записывается в форме неравенств (3.29) для собственных значений операторов А*А и AqAq. Итак, при фиксированном уровне шума отношение сигнал/шум для модели [А, Е] больше, чем для модели [Aq,^], если b > 2а.Это условие совпадает с условием [А, Е] -< [Ао,£ф но несколько сильнее, чем требуется для того, чтобы [А, 5] -< [Aq, 5ф{/} •
Связь между качеством модели и соответствующим отношением сигнал/шум может быть установлена и в общем случае.
Определим величину отношения сигнал/шум для модели [А, Е] в схеме измерения (0.1) как
ПЕ-ГМ/П2 = (Л^-Щ, л, f е тгт. (3.30)
Если для всякого / Е Пт
(л^-1 л/, л (Л^-1 л/, л,(3.31)
или, что то же самое, если
(3.32)(3.32)А*Е-1А > А*^-1!,
(3.32)
(3.32)
то будем говорить, что отношение сигнал/шум в схеме измерения (0.1) для модели [А, Е] равномерно не меньше, чем в схеме измерения £ = А/ + v для модели [А, Ё].
Покажем, что такая связь между моделями [Л, У] и [Л, У] влечет [Л, У] -< [Л, У]. Действительно, неравенство (3.32) влечет включение JV(A) D JV(A) , а это эквивалентно тому, что
^[ЛД] ^^VA^(3.33)
Ибо 1^А^ = М Я№эД<
Кроме того, как показано в работе [48], из условия (3.32) следует, что (Л*У-1Л)_ ^ ЛЛ(Л*У*Л)ЛЛ. а это неравенство эквивалентно тому, что
tr С^У"1 Л)"С* > tr U(A*^-TA)-U*(3.34)
для любого U Е Р^д g]. Условия (3.33) и (3.34) означают, что [Л, У] ^ [Л, У].
Что касается определения отношения сигнал/шум (3.30), то доводы в его пользу основываются на следующей форме записи схемы измерения (0.1):
Е—Г2£ = S-1/2^/+(3.35)
при которой интенсивность шума Е-1/2р вдоль любого направления s, ||s|| = 1, равна единице:
Е (s, Е”1/2^2 = (s, Е-Гг^х-!/2^ = ||s||2 = L (3.36)
Именно это обстоятельство следует рассматривать как основной довод в пользу определения (3.30).
Роль шума измерения
Для анализа влияния шума удобно записать схему измерения (0.1) в базисе модели [5]. Так называется ортонормированный базис 7Лт, состоящий из собственных векторов оператора Л*У-1 Л:
Л*У-1Ле^ = S^e^ к = 11...1т,
5^5^.(4.1)
Согласно этой записи мы ограничиваемся случаем, когда оператор Л*У *Л невырожден (5^ > 0). При этом условии на ИВС [Л, У] можно синтезировать любой измерительный прибор U. Если
о —
ор о — ор+1 — ... —
то на ИВС могут быть синтезированы лишь те приборы, которые обращают в ноль сигналы ep+i,..., em
Ues = 0, s = р + 1,..., т.
В частности, ортогональная проекция Щ/ сигнала / Е Ptm на к- мерное линейное подпространство С^ может быть оценена лишь при условии £^ С £(ei,..., еД . В этом случае речь идет о редукции £
к виду, свойственному непосредственному измерению составляющей Щ/ сигнала /. Среди всех таких приборов П^ = АА — самый близкий к Z, который можно синтезировать на ИВС [А, Е], поскольку AAf — «максимальная ортогональная составляющая /», которая потенциально может быть восстановлена по наблюдениям £ = Af + + v. Поскольку шум редукции Rpv к прибору Щ G ^[дщ] имеет энергию tr Щ(А*£-1 А)-Щ, можно сказать, что подпространство Ср поражено шумом R^v интенсивности
Базис модели доставляет естественный аппарат для исследования свойств ЦЦр) как функции ортогонального проектора Щ С ^[АЩ] • Образуем цепочку вложенных подпространств Rm возрастающей размерности
CH С Цех, е2) С ... С Цех,...,ер) = МДА) (4.2)
— линейных оболочек, натянутых соответственно на ei, на ei, 62,..., на ei,..., ер и соответствующую последовательность ортогональных проекторовn пл
П?^П^...^П°=А-А.
Важное для нас свойство базиса модели в данном случае состоит в том, что каждое из подпространств (4.2) поражено шумом не больше, чем любое другое подпространство Rm той же или большей размерности [5]. При этом любое подпространство Rm, не содержащееся в £(ei,..., ер), считается пораженным шумом бесконечно большой интенсивности. Это соглашение основано на том, что любая ортогональная составляющая сигнала /, не лежащая в £(ei,..., ер), не может быть оценена — факт, который можно интерпретировать как бесконечно интенсивный шум оценки. В частности, можно считать, что таким шумом поражено каждое из подпространств, натянутых на ер+1, на ер+2г .., на ет. Наоборот, каждое из подпространств
^(^р) ^^pi ^р—1) С ... С £(ер, вр—1 ..., 61)
поражено конечным шумом, причем не меньше, чем любое другое подпространство Rm такой же или меньшей размерности. В цепочке
^(^m) С £(ет, вт_i) С ... С £(ет,..., 61)
все подпространства поражены бесконечно большим шумом. Эти вопросы подробно изучены в монографии [5], а в этом параграфе мы ограничимся элементарным анализом интенсивности шума редукции, причем для простоты будем считать, что rank (А*Е-1 А) = р = т.
Как известно [5], векторы
Si = df1^-1/2 Aei, г = 1,..., m,образуют ортонормированную систему в Rn ') и являются собствен-
~ .(А^Ае^) _ 6^ _ fl, г = f
Н г’5^дАз [О, i^f
ними векторами оператора AA^Yr1^ : Y-^2 AA*Y~^2 s^ = = фЕ-1//2Act = S^s^ i = l,...,m. Кроме того, A*Y-1^2st = 5^1 поэтому
et = б^А*^-1^, i =(4.3)
Систему векторов si,..., sm многими способами можно дополнить до ортонормированного базиса Ptn (в нашем случае непременно n ^ т). Любой такой способ даст
Е"1/2^*^/^ = О, г = т + 1,...,п(4.4)
(поскольку rank (S-1/2AA*S-1/2) =m).
Воспользовавшись построенными базисами, запишем схему измерения (0.1) в координатной форме
6 = Sifi + щ, г = 1,,ш,
(4-5)
где использованы формулы (4.3) и (4.4) и обозначения
^ = (s^S-1^^, v. = (s^s-V2;/),? = l,...,n,
Л' = (ел/), j = l,...,m.
В этих обозначениях редукция R^ = f + Rqv (cm. (1.5)) принимает ВИД
(^o€)i = №€;е^) = 7 + i =(4.6)
Теперь мы можем легко выяснить, в каких случаях и как проявляет себя шум измерения. Самые драматические ситуации возникают тогда, когда, вопреки ожиданию, сигналы / и Rq^ могут отличаться сколь угодно сильно, в то время как сигналы / и £ практически совпадают. Пусть, например, ф = 1, г = 1,..., т — 1, 5т = s, Е = = diag (ст2,..., ст2), fm = 0, п = т. В таком случае оператор Е-1/2А не искажает / (могла быть искажена последняя координата, если бы fm ?^ 0), следовательно, если а2 достаточно мало, то £ « f. В то же время координата (Ro^m сигнала R<A не равна нулю, как у сигнала f, и более того, при е —> 0 она может принимать неопределенно большие значения. 1) В этом причина возможных больших отличий между Ro£, и f. Вообще, видимо, полезно заметить, что согласно равенствам (4.5) г-я координата f дает вклад в £ такого же порядка, как шум, если (ф/г)2 ~ 1- Информация об этой координате, содержащаяся в £, оказывается в значительной степени разрушенной действием шума. В такой же мере разрушающее действие шума проявится ив Яо£, это видно из сравнения формул (4.5) и (4.6).
Таким образом, реальная роль шума определяется величинами (5 iff)2 £ = 1,... ,771, которые в свою очередь определяют величину
!) E|(^)m-/m|2=E|^/^|2 = l/s2, Е|^|2 = 1, г = 1,...,п.
отношения сигнал/шум:
ПЕ-ГМ/П2 = У^’^Ар2 = ^5^г=1г=1
(см. равенства (4.3)). Слагаемые в правой части этой формулы определяют отношения сигнал/шум вдоль направлений щ, г = 1,...,ш. Следовательно, если, скажем, ф/г <С 1, то (Яо€)г ~ viJ^i и составляющая сигнала /^ оказывается полностью разрушенной шумом. К сожалению, оценить этот эффект априори невозможно, поскольку в рамках модели [А, Е] о сигнале / до измерения не известно ничего.
Если U = П^ — ортогональный проектор на линейное подпространство £(ei,..., е^) (одно из цепочки в (4.2)), то согласно равенствам (4.6) редукция к прибору U = П^ имеет вид
к
П°кМ = ^(Л + г^ДД;(4.7)
г=1 и представляет результат «непосредственного измерения» ортогональной проекции / на £(ei,..., е^). Из сказанного ранее следует, что эта к-мерная составляющая / может быть «измерена» по крайней мере не менее точно, чем ортогональная проекция / на любое А:-мерное подпространство Rm.
Заметим, что, хотя Яо^ и / могут значительно отличаться, редукция £ к U = n^_x, равная П^Яо£ (4.7) при к = т — 1, не зависит от е ((П^_17?0^)го = 0) и, в отличие от До£? является существенно более точной версией / (поскольку / = П^^/). Поэтому при анализе разрушающего действия шума значительную роль играют свойства прибора U. Этот факт будет использован в гл.9 в задаче синтеза на ИВС измерительного прибора при ограничении на уровень шума.
В связи с упомянутым примером может возникнуть вопрос: каким образом наилучшая в среднем квадратичном оценка Яо£ сигнала / оказалась, как мы убедились, гораздо хуже, чем £? В данном случае все объясняется тем, что, определяя Ro^ мы исходили из полной априорной неопределенности сигнала /. В таких условиях £ не может служить оценкой /, ибо Л / J и, следовательно,
sup Е ||£ - /||2 = sup||(A - Z)/||2 + tr S = oo, ff
a Rq^ — действительно, наилучшая в среднем квадратичном оценка в этой ситуации:
ЕНМ-Л2 =infsupE||^-/||2 = tr (А^-Ы)- < 00.
R’ f
В примере же речь идет о конкретном входном сигнале /, специально подобранном так, чтобы показать, что на практике £ может «выглядеть» гораздо лучше Ro$,, если априори знать, «с чем сравнивать». Однако сама возможность с чем-то сравнить R^ свидетельствует о
наличии априорной информации о / и, следовательно, о неверной постановке задачи оценивания, в которой эта информация не учтена. Рассмотренный пример, по существу, показывает, насколько может быть велика роль этой информации. В самом деле, если априори известно, что фт = 0, то формально этот факт можно учесть в виде дополнительного измерения, добавив еще одно безошибочное измерение 0 = (ет, /) к данным £ = Аф + v.
Эффект дополнительного измерения
Вопрос о роли дополнительных измерений настолько важен, что, хотя в дальнейшем мы рассмотрим его достаточно подробно, в этом разделе будет дано элементарное введение в техническую сторону проблемы. Итак, пусть к измерению £ = Аф + v добавлено еще одно £о = (о, ф) + vq . Формально речь идет о схеме измерения
^Af + I^PA+M,(5.1)
\а*ф \уо)
в которой а* = (щ,..., ат) — последняя строка матрицы А. Для простоты предположим, что последнее измерение сопровождается ошибкой vo, которая не зависит от v и имеет дисперсию оф . Следовательно, схеме измерения (5.1) сопоставляем модель
Л\ ФЕ 0\а*) \0 сг^уЛ\ ФЕ 0\а*) \0 сг^у
Л\ ФЕ 0\а*) \0 сг^у
Л\ ФЕ 0\а*) \0 сг^у
Теперь можно воспользоваться общими формулами для редукции (0.5) и погрешности (0.6). Чтобы подсчитать матрицу (Л*Е-1Л)-1, заметим, что матрица
Л^^Л = Л^^Л + аа^а*
имеет специфический вид Q + ху* , позволяющий получить явное выражение для обратной матрицы. Если Q — невырожденная матрица m х 771, х. у — столбцы из 771 элементов, то искомая обратная матрица существует, если и только если y*Q-1x ^ — 1, и равна
(Q + xy*)"1 = Q"X(Q + xy*)"1 = Q"XQ Txy*Q 11 + y*Q-1x'Q Txy*Q 11 + y*Q-1x'
(Q + xy*)"1 = Q"X
(Q + xy*)"1 = Q"X
Q Txy*Q 1
1 + y*Q-1x'
Q Txy*Q 1
1 + y*Q-1x'
Поэтому1)
(л^-Ч)-1 = (лч^л)-1(л^-Ч)-1 = (лч^л)-1(H^-^-W^S-^)"1cfq + а*(Л*Е-1Л)-1а(H^-^-W^S-^)"1cfq + а*(Л*Е-1Л)-1а(5.2)(5.2)
(л^-Ч)-1 = (лч^л)-1
(л^-Ч)-1 = (лч^л)-1
(H^-^-W^S-^)"1cfq + а*(Л*Е-1Л)-1а
(H^-^-W^S-^)"1cfq + а*(Л*Е-1Л)-1а
(5.2)
(5.2)
') Точнее вместо а* (Л*Е-1 А)-1 а следовало бы писать tr а* (Л*Е-1 Л)-1а, поскольку п*(Л*Е-1 А)-1 а — матрица, ее единственный матричный элемент равен tr п*(Л*Е-1Л)-1п.
и по формуле (0.5)
(А^А^а^-а*!®5+(А^А^а^-а*!®5+(5-3)(5-3)
(А^А^а^-а*!®
5+
(А^А^а^-а*!®
5+
(5-3)
(5-3)
Как следует из выражений (5.2) и (0.5), уточненной оценке / сопутствует погрешность
Ц1) = tr (Л*^-1^)-1Ц1) = tr (Л*^-1^)-1а*(Д*^-1Д)-2аа*(Д*^-1Д)-2аа^ + п*(А*Е-1 А)-1па^ + п*(А*Е-1 А)-1п
Ц1) = tr (Л*^-1^)-1
Ц1) = tr (Л*^-1^)-1
а*(Д*^-1Д)-2а
а*(Д*^-1Д)-2а
а^ + п*(А*Е-1 А)-1п
а^ + п*(А*Е-1 А)-1п
(5-4)(5-4)аЧА^А^а
(5-4)
(5-4)
^ +a*(A*S-1A)"1a‘
Конечно, главный результат в данном случае касается вычислительной стороны редукции, поскольку учет дополнительного измерения в виде поправок в равенствах (5.3), (5.4) не требует обращения матриц . Эта сторона будет обсуждаться позднее в связи с рекуррентными и диалоговыми методами редукции. А сейчас воспользуемся этими результатами, чтобы завершить обсуждение примера, приведенного в предыдущем параграфе. Формально путь, на котором получены формулы (5.3) и (5.4) неприемлем в случае, когда сг0 = 0, как это предполагалось в измерении (ет, /) = 0. Для этого следовало бы воспользоваться техникой, не предполагающей невырожденность корреляционного оператора Е (как, например, в теореме 6.1 гл. 1). Но, как несложно убедиться, формулы (5.3) и (5.4) останутся верными и при сто = 0. Воспользуемся схемой измерения (4.5), добавив к ней одно измерение 0 = (em,/) = fm. В таком случае величины, входящие в формулу (5.3), можно описать следующим образом1):
/510...0\
052...0
0 0 ... 5т
00...0’
00...0
\оо...о/
АЧ^А^а^.-.ЧтУ
Поэтому равенство (5.3) дает
яе = яе +яе = яе +
яе = яе +
яе = яе +
х) Напомним, что в схеме измерения (4.5) Е v2 = 1, ибо Vi = (s^ Е ^2и), г = 1,..., п.
откуда следует, в частности, что (Л£)т = (R^m — (ROm = 0, как и у сигнала /, а остальные координаты оценки не изменяются: (R^)t = = (^)г, г = 1, • • •, т — 1.
Согласно равенству (5.4) уменьшение погрешности
ЦП - ЦП = §т = е"2
— это как раз та величина, которая раньше могла принимать «неопределенно большие значения».
Рис. 5.2. а) Оцениваемая функция /j ,3 = 1, 2,..., m, оцен
ка fa^ 3 = 1, 2,..., m (5.5) и оценка /^ , j = 1, 2,..., т (5.9) с учетом дополнительного точного измерения (о а-й координаты (5.6) при одной и той же реализации шума, б) Зависимость Z\jt — влияние измерения г-й координаты на погрешность оценки j-й q координаты з = 1,..., m, и погрешности E(fj - Л)2 , E(Jj - f,)2 , j = 1,2, ...,m, (5.11). в) Зависимость /^i fj = fj — fj , i = = 1, 2,..., m, определяющая влияние измерения в «точке» г на оцен
ки ;, j = 1, 2,..., m; erg = О
Формулы (5.3) и (5.4) позволяют проанализировать эффект дополнительного измерения в более общей ситуации, характерной для экспериментальных исследований Для этого изобразим значения
П = № = П + (КИп j = l,...,m,(5.5)
как ординаты точек (jVfpb 3 = 1,...,ш, на плоскости.
Эти значения представляют редукцию как график функции fj 3 = 1, 2,... , т (см. рис. 5.2).
Пусть кроме измерения £ = Af + v, на основании которого построен график, выполнено еще одно измерение
£о = (aj) + ^о = (0^.. 010 ..£о = (aj) + ^о = (0^.. 010 ..+ ^0 — /г + ^0+ ^0 — /г + ^0(5.6)(5.6)
£о = (aj) + ^о = (0^.. 010 ..
£о = (aj) + ^о = (0^.. 010 ..
+ ^0 — /г + ^0
+ ^0 — /г + ^0
(5.6)
(5.6)
с погрешностью и^- Е v0 = 0, Е v^ = сг^. Тогда по формуле (5.3), положив а = (0 ... 10 ... 0), найдем уточненные значения оценок координат
5.75.7( fl\/ /1 \/ SU \А
5.7
5.7
\ -С I\ q^22
Vf /\jm/\8тг/и
где /1,..., /т — ранее найденные оценки координат /1,..., /т по формулам (5.5), основанные на измерении £ = Af + v^ s^j = = [(А*Е-1 А)-1]^, г^з = 1,...,ш. Согласно равенствам (5.7)
г £ । "^22 (£о fi)•
Л = Л + —ГТ’ г = 1,...,ш;(5.8)
+ 8а
Л = h + + , е’ J = 1, - - -, m(5.9)
Равенства (5.8) можно переписать в виде
?, , 8цР0 + (T^Rv^i .
Л = ft А—_, г = 1,..., т,
Уо + sti
откуда следует, что погрешность оценивания г-й координаты после дополнительного измерения (5.6)
Е (Л - ft? = CToSii^ + 8аУ\
как и следовало ожидать, меньше, чем погрешность Е (/^ — Л)2 = 8ц оценивания /^ без учета измерения (5.6), и меньше, чем погрешность измерения (5.6) Е (£0 — Л)2 = erg .
Что касается остальных равенств (5.9), то, переписав их в виде
? _ / ।\। 8з^ + (^2). / .
Л — Л + (-^^j +2 I е ’ 7 7^
^22
найдем, что
Е (Л - Л)2 = Sjj + Sji^O + 8ц)/(<7о + 8ц)2-
- 2Д/(о-о + Sti) = Sjj - Д/(<То + Sii), (5.10)
причем Е (Jj — fjY < Sjj, если s^ ^ 0. Следовательно, если s^ ^ 0, то измерение (5.6), направленное на непосредственное уточнение значения фг, уточняет и оценку координаты fj, причем тем в большей степени, чем больше \sjt \. Этот важный факт может быть эффективно использован в эксперименте, когда координата ft легко может быть измерена, a fj — недоступна.
Определение 5.1. График зависимости ^^SjJ^o+Sti), j = приведенный на рис. 5.2, определяет то, что называется функцией влияния измерения в «точке» г на погрешность оценки. Соответственно зависимость ZXtfj = s^^ — ftM^o + 8нУ 3 — согласно равенствам (5.9) определяет функцию влияния измерения в «точке» г на оценки координат f.
Если сто = 0, то дополнительное измерение производится без ошибки и его влияние, естественно, максимально. В этом случае формулу (5.10) удобно переписать в виде
Е^-Л)2 = ^(1-^), j = l,...,m,(5.11)
у8И8зз /
откуда следует, что относительное уменьшение погрешности в «точке» j при измерении в «точке» г точно такое же, как относительное уменьшение погрешности в «точке» г при измерении в «точке» j, — этот принцип взаимности подробно рассмотрен в §3 и §5 гл. 1.
Завершим параграф обсуждением роли дополнительных измерений в общем случае. С этой целью рассмотрим серию измерений одного и того же сигнала f G'R
& = Aif + ^етгм, ? = l,2,...,n.(5.12)
Здесь ^ —результат измерения / на приборе А^ щ —погрешность, сопутствующая измерению на этом приборе, Tt, 7Z^ — евклидовы пространства, г = 1,...,п. Как обычно, будем считать, что вектор щ имеет нулевое математическое ожидание и известный корреляционный оператор Е^, г = 1,..., п. Более того, предположим, что известен полный корреляционный оператор
(
Ец ... Ein\/ щ \
Iвектора = I ... I , Eni ... Епп/у vn /
задающий взаимные корреляционные связи измерений в (5.12). Если / Ai \
под А^ и £(п) понимать соответственно оператор ... и векУ /
тор ..., то схему измерений (5.12) можно записать в привычной
\/
формеформе€(n) — A^f + v^ Е — ЕА=-Д(€(n) — A^f + v^ Е — ЕА=-Д((5.13)(5.13)
форме
форме
€(n) — A^f + v^ Е — ЕА=-Д(
€(n) — A^f + v^ Е — ЕА=-Д(
(5.13)
(5.13)
и интерпретировать £(п) как искаженный шумом v^ выходной сигнал «объединенного» прибора А^ , на вход которого поступил сигнал /. Схеме измерения (5.13) сопоставим модель [А(П),У(П)], сигнал /, как обычно, до измерения считается произвольным элементом Tt.
у.. \ 1ьзз/ Jу.. \ 1ьзз/ JПокажем, что для любых двух измерений в (5.12), скажем для г и j -го, качество объединенной модели
у.. \ 1
ьзз/ J
у.. \ 1
ьзз/ J
Ч \ I ./Ду.. Ч/ Х^зг
равномерно не ниже, чем качество любой из моделей ДД УД, [Л^, ^jj^ т.е. что
Н(2)^(2)] А Да, М, а = ГЗ-(5Л4)
Теорема 5.1. Для любых моделей [Ла,Уаа], а = гД (коррелированных) измерений в (5.12) выполняются соотношения (5.14).
Доказательство. Для простоты считаем, что УД, ^ц и
/уу. А
У(2) — I у у . . )
^33)
— невырожденные операторы. Покажем, что
А) - (у Д До о ) ’ А) До у1 ) • (5Л5)
Первое неравенство следует из формулы для обратного оператора
/ у.,у.. \\/ DTD* \
Уд ^зз ) V 00 / V Т ) ’
где D = УУ1У^Т-1, Т = У^- — Уд У ^ У у и последнее слагаемое справа — положительно определенный оператор. Для доказательства формулы (5.16) прежде всего следует убедиться, что оператор Т = = Уд — УдУДУу- невырожден, если невырожден оператор У(2). Для доказательства заметим, что Т — неотрицательно определенный оператор. Этот факт является следствием того, что Т — корреляционный оператор вектора v3 — У^УУ1^ 1). Далее, как известно, оператор Т невырожден, если и только если условие Ту = 0 влечет у = 0, или, поскольку Т — неотрицательно определен, если и только если равенство (уДу) = 0 влечет у = 0. Таким образом, для доказательства невырожденности Т достаточно убедиться, что если равенство
°= Му" у Ч = ЧЛЧжН ЧЛЧЧ+
ХХУ/ \^33 / ХУ J J
+ (®, Syy) + (у, У у) (5.17)
влечет х = 0,у = О, то из равенства
(у,Ту) = ^У^ау) -=0(5.18)
следует у = 0. Выберем в (5.17)
Ж — ^гг ^^У’
тогда равенство (5.17) превратится в равенство (5.18). Следовательно, равенство (5.18) эквивалентно равенству (5.17) с условием х = = —У^Лу^у, поэтому равенство (5.18) влечет равенство у = 0.
раторраторДля завершения доказательства осталось убедиться в том, что опе
ратор
ратор
DTD* —D
—D*Т-1
неотрицательно определен. Действительно,
ж\ / DTD* ~D \
) ? I15 DT D х)
У/ \1 J \У/ J
- (х,Гу) ~ (D*x,y) + (у,Т-1у) =
= \\T1/2D*x -Т"1/2у\\2
для любого вектора ^J . Итак, первое неравенство (5.15) доказано, второе доказывается точно так же.
Из первого неравенства (5.15) следует, что
а отсюда, воспользовавшись свойствами псевдообращения [5], найа отсюда, воспользовавшись свойствами псевдообращения [5], найдем, что Uдем, что U(ад* /(ад* /у.. у.. \ 1 / Д . ^ггУ .. у . . I I Д . ^33 /у.. у.. \ 1 / Д . ^ггУ .. у . . I I Д . ^33 /и* и(А*^АГи*и* и(А*^АГи*
а отсюда, воспользовавшись свойствами псевдообращения [5], най
а отсюда, воспользовавшись свойствами псевдообращения [5], най
дем, что U
дем, что U
(ад* /
(ад* /
у.. у.. \ 1 / Д . ^гг
У .. у . . I I Д . ^33 /
у.. у.. \ 1 / Д . ^гг
У .. у . . I I Д . ^33 /
и* и(А*^АГи*
и* и(А*^АГи*
для любого U G ^[A^s^]- Теперь осталось заметить, что Дл(2),£(2)] а РАь^иЪ иб°’ очевидно, МД^)) сЩ). □
Следствие 5.1. Если некоторая часть измерений (5.12) допускает редукцию к прибору U, то и измерение (5.13) допускает редукцию к U, причем с меньшей или, в крайнем случае, с такой же погрешностью.
Итак, учет дополнительных измерений не может увеличить погрешность редукции, в том числе и тогда, когда им сопутствует произвольно большая погрешность. Однако этот вывод на практике следует использовать с известной осмотрительностью. Дело в том, что до сих
пор предполагалось, что используемые модели известны доподлинно, т.е. известно, что измерение £ (0.1) контролируется именно той моделью [А, У], которая используется при редукции. На практике нам известен результат измерения £, а вопрос о том, какое отношение к действительности имеет модель, используемая при редукции, как правило, требует специального исследования. Какую бы мы ни использовали модель дополнительных измерений, формально выигрыш в точности редукции будет обеспечен, но этот выигрыш может оказаться иллюзией, если используемая модель не соответствует реальному положению вещей. Одно и то же измерение £ может оказаться либо информацией, либо дезинформацией, в зависимости от того, какое отношение к действительности имеет объясняющая его модель. На этом важном вопросе мы остановимся подробнее несколько позже в связи с понятием надежности редукции.
§ 6. Типичные реализации сигнала. Структура «коридора ошибок»
Осознать полностью роль шума редукции, анализируя отношение сигнал/шум и, таким образом, основываясь только на энергетических соображениях, невозможно. Физики, оформляя экспериментальный материал, как правило, используют так называемый «коридор ошибок», отражающий энергетическую структуру шума, и склонны считать недостоверной любую «тонкую структуру» графика, если она покрывается «коридором ошибок». В дальнейшем мы более точно сформулируем проблему анализа тех или иных особенностей графического представления сигналов и рассмотрим ее решение методами теории проверки статистических гипотез, основанными на понятии надежности, а сейчас остановимся на вопросе о возможном «заполнении коридора ошибок». Нас будут интересовать вопросы о том, как выглядят возможные реализации сигнала, какие кривые могут заполнять «коридор ошибок», сколь велико множество таких кривых, и т. и.
Для того чтобы разобраться во всем этом, нам предстоит выяснить ряд вспомогательных вопросов. Первые три вопроса сформулируем следующим образом. Дана дискретная случайная величина Ф, принимающая значение оц с вероятностью pi > 0, г = l,...,s. Пусть ащ,..., aiN — последовательность N независимых реализаций ф. Условимся называть ее реализацией ф длины N. Спрашивается, каковы «типичные» реализации ф длины N, каковы их вероятности и сколько их, если N достаточно велико?
Пусть в реализации о^,..., a^N тг, раз встречается а^, так что tti/N — частота, с которой оц встречается в последовательности ац,..., aiN , г = 1,..., s, яд + ?Г2 + ... + тг5 = N. В таком случае вероятность реализации ащ, • • •, оцк равна
рТ ■■■Р? = ПрГ = ехр 1п рЛ • (6.1) г=1 \ г=1 /
В силу закона больших чисел для любых s > 0 и 5 > 0 можно указать число No такое, что
(6-2)(6-2)
(6-2)
(6-2)
как только N ^ No. Следовательно, выбирая е > 0 и 5 > 0 достаточно малыми и соответственно No достаточно большим, найдем, что вероятность (6.2) выполнения всех неравенств
^ ~Pi < е, г = 1,. ..,s, (6.3)
близка к единице, а это означает, что множество Z>(s, 5, N) реализаций ащ,..., oqN , удовлетворяющих условиям (6.3), содержит почти все типичные реализации, поскольку вероятность любой другой реализации, не удовлетворяющей условиям (6.3), мала:
Так как е выбрано достаточно малым, для типичных реализаций Pi/N^Vi, г = 1,...,з,
и, следовательно, согласно формуле (6.1) вероятность Pn каждой типичной реализации <р длины N примерно равна
exp I N ^ Pi In pt I .(6.4)
\г=1/
А поскольку они оказались примерно равновероятны и их суммарная вероятность примерно равна единице, то число типичных реализаций N(D(e, б, N)) близко к
exp(-^У2я1n Рг),(6.5)
г=1
где функция
н = Н(р) = -^Pi In Pi, р= (pi,...,ps)(6.6)
г=1
называется энтропией распределения pi,... ,ps (или случайной величины ф\
Дадим точные формулировки высказанных соображений.
Теорема 6.1 (Макмиллан). Пусть pi > 0, г = l,...,s, и О < Si < 1, N — длина реализации, D(ei,6, N) - множество реализации, удовлетворяющих условию (6.2) при s = Si, Pn — вероятность каждой реализации из P(Ey,5,N\ N(D(ei,6, N)) — число
реализаций из P(si,5, N). Тогда существует такое No, что для всех N > No
exp(N(H-s^ ^N^e^S^N)) < exp(N(Н + е)),ехр(—N(H + s)) < Pn С ехр(—N(H — s)),
где// S \\
Е = min I £i, £i / I —2 У^ In pi I I ,
XX г=1/ /
u P(P(si,5, N)) -+ 1 при N -у oo [49].
Итак, получены ответы на все сформулированные вопросы, которые, между прочим, содержат и необходимые разъяснения по поводу «типичности» реализации ф длины N. При большом N типичные реализации оказались приблизительно равновероятными, их вероятность (6.4) и их число (6.5) — простые функции полного числа N реализаций и энтропии распределения.
Чем больше число N(P(e, 5,N)) типичных реализаций, тем больше априорная неопределенность таких реализаций и соответственно тем больше требуется информации, чтобы выделить конкретную реализацию длины N среди всех возможных реализаций, наконец, тем больше информации несет каждая конкретная реализация, будучи выделенной из их общего числа. Энтропия является удельной мерой этой информации, а также мерой априорной неопределенности типичных реализаций ф длины N, отнесенной к «единице длины», т.е., по существу, энтропия является мерой неопределенности значений случайной величины ф.
Посмотрим теперь, как обстоит дело в случае непрерывной случайной величины. Пусть а — абсолютно непрерывная относительно меры Лебега случайная величина, рДж), — сю < ж < сю, ее плотность распределения вероятностей. Представим прямую — сю < х < сю, на которой принимает значения а, в виде разбиения
к
(-оо, оо) = (-оо, a-k-i + 5/2] [J (aj - 5/2, aj + 5/2] (J
U - 5/2,00), (6.7)
содержащего две полупрямые (—сю, a~k-i + 5/2] и (ад+1 — 5/2, сю) и 2к + 1 промежутков длины 5.
Точка а^ выбрана в центре промежутка (aj — 5/2, aj + 5/2], j = = —к,...,к, точка a_k-i выбрана на расстоянии 5/2 от границы полупрямой (—oo,a_k-i +5/2], точка од+1 — на расстоянии 5/2 от границы полупрямой (a^+i — 5/2, сю), ао = 0. Определим функцию случайной величины а
ф(а) = qj,ф(а) = qj,а € (-оо, a-fc-i + 5/2],а € (aj — 5/2, aj + 5/2], j = —к,... ,к, а € (ak+i - 5/2, оо),а € (-оо, a-fc-i + 5/2],а € (aj — 5/2, aj + 5/2], j = —к,... ,к, а € (ak+i - 5/2, оо),(6-8)(6-8)
ф(а) = qj,
ф(а) = qj,
а € (-оо, a-fc-i + 5/2],
а € (aj — 5/2, aj + 5/2], j = —к,... ,к, а € (ak+i - 5/2, оо),
а € (-оо, a-fc-i + 5/2],
а € (aj — 5/2, aj + 5/2], j = —к,... ,к, а € (ak+i - 5/2, оо),
(6-8)
(6-8)
которую будем рассматривать как дискретное приближение а. Для
этого, задавая е > О, определим 5 = 5(e) и к = к(е) так, чтобы
a_fe_i+5/2
Е (а — Да))2 =(a_k_i - ж)2ЩЩж +
Понятно, что к(е) —> ею и 5(e) —> 0, если е —> 0. Функцию ф(а) = ф£(а)^ удовлетворяющую условиям (6.8) и (6.9), назовем е- дискретизацией а. Ее распределение задается равенствами
а з^5/2
Р(М(а) = аД) =pj = j pa(x)dx, j = -k,...,k,aj—5/2
a_fe-i+5/2
(6.10)(6.10)P({y?£(a) = «-*-1}) =p-k-i =/ Pa^dx,
(6.10)
(6.10)
ЛШ«) = «л+1}) = Pk+i = у
«к + 1—5/2
Выбрав £ > 0 достаточно малым, мы намерены использовать фе(а) вместо а^ по существу отождествляя все реализации а^ попадающие в каждый промежуток разбиения (6.7). Доводом в пользу такой замены является ограниченная точность реальных измерений, не позволяющая различить реализации, отстоящие друг от друга менее чем на 5(e). В свою очередь сам процесс измерения а можно представить так, как будто на прямой — сю < х < сю имеется 2к + 3 «центра» ci-^-i,..., 0^1, реализация а = х отождествляется с а^ , если х попадает в соответствующее множество разбиения (6.7).
Оценим энтропию распределения (6.10). Поскольку
Р(|а - Да)| > У = max(afc+i, |a_A-i|)) <Р(|а - Да)| > У = max(afc+i, |a_A-i|)) <Е (а — р(а)УЕ (а — р(а)У/32’/32’
Р(|а - Да)| > У = max(afc+i, |a_A-i|)) <
Р(|а - Да)| > У = max(afc+i, |a_A-i|)) <
Е (а — р(а)У
Е (а — р(а)У
/32’
/32’
то, выбрав £ достаточно малым, получим
или
Hv = Н(р) = - У Pi In Pi = - In5 + Ha,j=-k-l
где Hv — энтропия распределения {рг}, а
На = — j Ра^} In pa(x)dx(6.11)
называется энтропией абсолютно непрерывного распределения ра(х), — ею < ж < ею. Если N — число реализаций а то определяя типичные реализации а длины N как типичные реализации р(а) длины N, найдем их число
-5-Nexp(NHa).(6.12)
Вывод в данном случае несколько отличается от полученного ранее: число типичных реализаций длины N абсолютно непрерывной случайной величины а лишь с точностью до множителя 5-N определяется числом реализаций и энтропий распределения. Если, однако, «дискретизация» (6.7) множества значений а фиксирована, то по- прежнему «емкость» множества типичных реализаций а длины N определяется энтропией его распределения и числом N.
Все сказанное о случайных величинах без каких-либо существенных изменений справедливо и для случайных векторов. Если £ — случайный вектор Нп , то N независимых его реализаций жх,..., xn образуют то, что мы назвали реализацией £ длины N. Каждый вектор Xi, г = 1,..., N, можно представить в виде последовательности точек (1; жц)..., (п; х^) на плоскости, или, иначе говоря, в виде графика функции ж^, k = 1,..., п. Соответственно реализации £ длины N — это N таких графиков. Если £ — дискретный случайный вектор, принимающий значение zt с вероятностью рн г = l,...,s, то энтропия £ дается равенством (6.6), а теорема Макмиллана описывает типичные реализации £ длины N, причем без каких-либо отличий от скалярного случая. Если £ — абсолютно непрерывный случайный вектор, р^х^ х Е Пи — соответствующая плотность вероятности, то энтропия £ дается равенством
Н^ = — j р^(ж)1п p^(x)dx,(6.13)
аналогичным равенству (6.11), а число типичных реализаций £, определенное как число типичных реализаций некоторой дискретной аппроксимации £, примерно равно
5"Nexp(NH^,
но, в отличие от выражения (6.12), здесь 6 — объем n-мерных ячеек Пп определяющих дискретную аппроксимацию £.
Рассмотрим теперь некоторые факты, связанные с экстремальными свойствами энтропии п-мерного нормального распределения, которыми воспользуемся в дальнейшем.
Прежде всего заметим, что энтропия нормального распределения МХр,, Е) равна
Н = - InН = - In"detS-1/2" _ (2тг)”/2 _"detS-1/2" _ (2тг)”/2 _г |И|2 iJ 2 (2тг)”/2г |И|2 iJ 2 (2тг)”/2
Н = - In
Н = - In
"detS-1/2" _ (2тг)”/2 _
"detS-1/2" _ (2тг)”/2 _
г |И|2 i
J 2 (2тг)”/2
г |И|2 i
J 2 (2тг)”/2
(6.14)(6.14)= -(n + 1п[(2тг)п det E]) = - 1п[(2тге)п det Е].
(6.14)
(6.14)
В рамках нормального распределения рассмотрим задачу, в которой требуется определить корреляционный оператор Е, доставляющий максимум энтропии (6.14) при ограничении Е ||£||2 ^ в2. Речь идет о задаче _
max{ln det Е| Е, tr Е ^ в2}. (6.15)
max < JJ ст2Д = 1max < JJ ст2Д = 1Переходя к собственным значениям ai,... ,ап корреляционного оператора Е, задачу (6.15) можно представить в виде
max < JJ ст2
Д = 1
max < JJ ст2
Д = 1
(6.16)
позволяющем без труда выписать решение
сг2=е2/п, j = l,...,n.(6.17)
Следовательно, «коридор погрешности» Е ||£||2 ^ (2 содержит максимальное число типичных реализаций длины N нормально распределенного случайного вектора £, если его корреляционный оператор кратен единичному: Е = (е2/п)1. Как видим, при прочих равных условиях наличие корреляционных связей, как и следовало ожидать, уменьшает количество типичных реализаций £.
Чтобы выяснить роль нормального распределения среди прочих распределений с данными двумя моментами, рассмотрим задачу: даны
Е^ = ж0, E(^-^o)K-^o)* = E, требуется определить распределение, доставляющее максимум энтропии при этих условиях. Речь идет о следующей задаче на максимум:
шахшахj p(x)dx = 1,
шах
шах
j xp(x)dx = хо, j(х — xq)(x — xo)*p(x)dx = Е}. (6.18)
Решая ее методом множителей Лагранжа, найдем следующее уравнение для определения искомой плотности распределения вероятно-
стейстей
стей
стей
1 + 1пр(ж) + ц + (v, х) + tr (ж — ж0)*Л(ж — ж0) = 0, же Пп,
в котором множители Лагранжа: скалярный ц, векторный v и матричный Л — определяются из ограничений в задаче (6.18). Это дает следующий результат:
Щ) =Щ) =detS"1/2——;—77Г" ехр (2тг)"/2detS"1/2——;—77Г" ехр (2тг)"/2-^(ж-ж0)*Е х(ж-жо)-^(ж-ж0)*Е х(ж-жо)ж е пп.ж е пп.
Щ) =
Щ) =
detS"1/2
——;—77Г" ехр (2тг)"/2
detS"1/2
——;—77Г" ехр (2тг)"/2
-^(ж-ж0)*Е х(ж-жо)
-^(ж-ж0)*Е х(ж-жо)
ж е пп.
ж е пп.
Таким образом, при заданном математическом оэюидании и корреляционном операторе энтропия достигает максимума на нормальном распределении с этими параметрами. Следовательно, при условиях Е( = жо, Е (£ — жо)(£ — жо)* = У энтропия Н любого распределения удовлетворяет неравенству
Н ^ln[(27re)"det S],Н ^ln[(27re)"det S],(6.19)(6.19)
Н ^ln[(27re)"det S],
Н ^ln[(27re)"det S],
(6.19)
(6.19)
причем равенство достигается на нормальном распределении.
Последние замечания касаются условной энтропии и так называемой е-энтропии.
Определение 6.1. По аналогии с определением (6.13) условной энтропией £ (распределения £) при условии, что случайный вектор у = у, называется
Н^Л = у) = - j р^^у) In p^xW^-(6.20)
Условной энтропией, или средней условной энтропией, называется
Н^\р) = - р5|„(ж|у)1п p^x^p^dxdy- (6.21)
Условная энтропия (6.20) является удельной мерой (апостериорной) неопределенности типичных реализаций £i ... ^ при N —> ею, если у = у, условная энтропия (6.21) — средней мерой той же неопределенности1). Поэтому можно сказать, что
(6.22)(6.22)Ж) - н^
(6.22)
(6.22)
описывает уменьшение неопределенности реализации £, связанное с наблюдением ц. Как нетрудно проверить,
Рассмотрим задачу на максимум Н(£|ц) при условии, что
ЕЖ^Се-^НЧЛ(6.23)
где X Е (Rn —> Рп) — некоторый положительно определенный оператор. Максимум вычисляется по всем возможным совместным распределениям ^Т]. Речь идет о задаче определения такого распределения, при котором наблюдение у в минимальной степени уменьшает число типичных реализаций £ в коридоре (6.22), т.е. требуется определить р^(х\у), Рт]^)^ $Е Рп, у Е Т1п, доставляющие
тах{ / p^^^ly) In p^x^p^dxd^
j ||S ^Чх-у^р^фДу^р^йхйу ^е2,
n(x\y')p^(y)dxdy = 1, РеДк) ^ 0, p^B ^ 0}.n(x\y')p^(y)dxdy = 1, РеДк) ^ 0, p^B ^ 0}.(6.24)(6.24)
n(x\y')p^(y)dxdy = 1, РеДк) ^ 0, p^B ^ 0}.
n(x\y')p^(y)dxdy = 1, РеДк) ^ 0, p^B ^ 0}.
(6.24)
(6.24)
При фиксированном рл(-) условная плотность ^^(ф) должна быть найдена из условия
1 + In Р^^у) + Ар-1^^ _ у)ц2 +// = о, х,у € КП1
где множители Лангража А и ц определяются из условий задачи (6.24). Это дает
Р^(х\у) =Р^(х\у) =det(^E)-V2 / 1~W7^expMdet(^E)-V2 / 1~W7^expM,2 \ -1/2(х-у) п,2 \ -1/2(х-у) п22х,у ЕРи,х,у ЕРи,
Р^(х\у) =
Р^(х\у) =
det(^E)-V2 / 1~W7^expM
det(^E)-V2 / 1~W7^expM
,2 \ -1/2
(х-у) п
,2 \ -1/2
(х-у) п
2
2
х,у ЕРи,
х,у ЕРи,
а поскольку эта плотность зависит от х — у Е Рп , maxH(£\rf) не зависит от распределения у. Следовательно, наблюдение у в минимальной степени уменьшает априорную неопределенность реализаций £ в коридоре (6.23), если условное распределение £ — гауссово; согласно (6-14)
тахЯ^т?) = - InтахЯ^т?) = - In(27re)"det(27re)"det= lhl= lhl2тгее2 А п I det X2тгее2 А п I det Xпп
тахЯ^т?) = - In
тахЯ^т?) = - In
(27re)"det
(27re)"det
= lhl
= lhl
2тгее2 А п
I det X
2тгее2 А п
I det X
п
п
Характерно, что при заданном с > 0 ехр {тахН(£|т7)} —> 0 при п —> 0, если ||Х|| ^ с. Действительно,
пп2тгее2 А п I det X2тгее2 А п I det XП —¥ СЮ,П —¥ СЮ,
п
п
2тгее2 А п
I det X
2тгее2 А п
I det X
П —¥ СЮ,
П —¥ СЮ,
ибо det X = ст2 ... ст2 С сп , где сг^ — г-е собственное значение X, г = = 1,..., п.
Теперь, вооружившись новыми полезными понятиями, рассмотрим вопрос о заполнении коридора ошибок. Единственной характеристикой погрешности редукции Rv, на которой будут основаны все дальнейшие выводы, является корреляционный оператор шума £ = = Rv1
Хс = R^R* = U^^A^U*.(6.25)
Для наглядности, как это принято в экспериментальных исследованиях, будем использовать графическое представление редукции. Фор-
мально это означает, что прибор U отображает сигнал / Е Пт в пространство Ык^ т.е. U Е (Rm —> UkV в ^k определен ортонормиро- ванный базис {е^} и графически изображаются координаты сигнала U f в этом базисе. Это означает, что речь пойдет о функциях (U/, щ) , (R^et) и (Rv^et) аргумента г = !,...,&. Корреляционный оператор (6.25) в этом базисе определяется своей корреляционной матрицей {(^ь ^c^j )} •
Определим в Uk еще один ортонормированный базис {s^}, состоящий из собственных векторов
= z^st i = l,...,k,
упорядоченных так, что
2 \2 \\2 П 22
z2zp > 0 = zpVL = ... = zk.
В этом базисе шум редукции задается разложением
р
С = ^ ^ G^b G = (С? 5г)? Z = 1,. . . ,р, г=1
в котором координаты £ некоррелированны, причем
(см. §1 гл. 1). Как было показано в §4 гл.1, число р = rank Е^ определяет степень «регулярности» случайной функции (Rv, е^, г = = 1,... , к. При р = 1
Rv = ( = (isi, Е<| = ^,
и все многообразие реализаций шума Rv определяется значениями одной случайной величины (Rv, si). Оно состоит из «кривых», переходящих друг в друга при масштабном преобразовании значений ординат. Согласно неравенству (6.6) энтропия такого шума не превосходит значения
-1п(27ге^2),
отвечающего нормальному распределению, а число типичных реализаций длины N не превосходит
(6.26)
где Ji — «шаг квантования» множества значений £i. Число типичных реализаций оценивается значением (6.26) в случае нормального распределения.
При р = 2 шум Rv представляется случайной линейной комбинацией первых двух базисных векторов si и S2:
С = ClS1 + C2s2, (г = (Rv, Sil z = 1, 2.(6.27)
В этом случае реализации (Rv,et), г = 1,...,к «предсказуемы» в меньшей степени, чем при р = 1, поскольку определяются двумя слу-
чайными параметрами. Число типичных реализаций шума Rv в этом случае не превосходит
(6.28)
где N — общее число реализаций, 62 — «размер» ячейки квантования плоскости 7?,i х 7?,i значений Ci, С2 • Если представить d2 = Si • ^ , где Si, 5^ — «шаги квантования» значений <д и Q соответственно, то верхняя граница (6.28) предстанет в виде произведения верхних границ (6.26) для первой и второй координат (6.27)
■ ^Г^ег2^2.
Устройство кривых, заполняющих «коридор ошибок», говорит о том, как и настолько могут отличаться результаты редукции R^ от истинного сигнала U f. В ряде случаев анализ реализаций случайного сигнала Rv позволяет установить, какие черты графика R^ можно (или нельзя) объяснить влиянием случайного слагаемого Rv. Для этого необходимо должным образом «разыгрывать» случайные линейные комбинации ^iSi + ... + (pSp. Однако, как правило, исследователя интересуют конкретные характеристики R^ типа «пиков», «провалов», численных значений определенных координат или комбинаций координат и т.п. Вопросы, которые ставит исследователь, могут звучать примерно так: есть ли на самом деле данный «пик» на спектральной кривой, можно ли считать наблюдаемое примерное равенство (B^)i, (7?^) 2 и (R^)s случайным и т.д. Ответы на такие вопросы легче получать с помощью методов теории проверки статистических гипотез, например, исходя из понятия надежности модели, рассмотренного в § 8.
Проблема устойчивости редукции
Как было отмечено в самом начале обсуждения задачи несмещенной редукции, тот факт, что модель [Л, У] предполагается точно известной, является серьезной идеализацией. На практике модель непременно известна с ошибками, причем влияние этих ошибок на редукцию может оказаться весьма значительным даже в тех случаях, когда исследователь склонен характеризовать их как «пренебрежимо малые»). Анализ возникающий в этой связи проблемы устойчивости редукции начнем с обсуждения простого примера модели схемы измерения (0.1), в которой А = А а = ^д ^ ’ гДе ^ — параметр модели, —ею <A<oo,E=(q ^ j , так что схема измерения (0.1) в
подробной записи выглядит следующим образом:
на са-на са-0А V ’0АV ’0А V ’0АV ’(ДА)-(ДА)--2АА2-2АА2А^О,А = 0,А^О,А = 0,(7-3)(7-3)
на са-
на са-
0А V ’
0А
V ’
0А V ’
0А
V ’
(ДА)-
(ДА)-
-2АА2
-2АА2
А^О,
А = 0,
А^О,
А = 0,
(7-3)
(7-3)
Предположим, что модель [Аа,Е] неверна, а измерение мом деле формируется согласно равенству
= ДА = / о Л ДА . ДЛ = f Ь А ДА
Л Цг/ \А 2 у \/2/ А^У V'/i + 2/2/ V^y ’
так, что истинная модель есть [Ад/, Е], но она неизвестна. Вопрос в данном случае состоит в выяснении свойств редукции Rx^qv) как функции модели [Ад,Е], — сю < А < сю. Поскольку
А^О
А = 0
то при А ф 0 модель [А\, Е] допускает несмещенную редукцию к любому прибору U, а в случае А = 0 возможна редукция только к таким U которые удовлетворяют условию 0 = U^I — A^Aq). Если U Е (Тг2 —> 7Д), то речь идет о матрицах U = (nnUi2), удовлетворяющих уравнению
(мцыД (q ^ = (0 U12) = (U11U12)-
Иначе говоря, при А = 0 измерение (7.1), отвечающее предполагаемой модели [А\, Е], не содержит информации о /1, и редукция возможна только к U f = U12/2 •
Рассмотрим редукцию к прибору U2 = (0,1), выходной сигнал которого равен /2, если на входе / = (/1/2)* • Редукция к такому U2 возможна при любом А. Поскольку
А 0,А = 0,А 0,А = 0,(7-4)(7-4)
А 0,
А = 0,
А 0,
А = 0,
(7-4)
(7-4)
то оператор редукции имеет вид
1 / 5—2АА /0 А А _
А2 Д2А А2 Д1 2Щ
1 /0 0А /0 0А _ 1
5 \0 1Д1 2/ - 5
и энергия шума *)
hx№) =hx№) =tr R^R^*trR^R^*tr R^R^*trR^R^*= 1, A ^ 0, = 1/5, A = 0.= 1, A ^ 0, = 1/5, A = 0.(7-5)(7-5)
hx№) =
hx№) =
tr R^R^*trR^R^*
tr R^R^*trR^R^*
= 1, A ^ 0, = 1/5, A = 0.
= 1, A ^ 0, = 1/5, A = 0.
(7-5)
(7-5)
Первое, что бросается в глаза при взгляде на эти формулы, — отсутствие непрерывной зависимости от А: хотя А\ —> Ло при А —> 0 (при любом понимании сходимости), тем не менее R^ -^ R^ и ^а(^) Д ^0(^2); второе — в пять раз менее интенсивный шум редукции при А = 0, хотя именно при этом значении А матрица А\ вырождается.
Для полноты картины приведем еще зависимость энергии шума редукции к прибору Ui = (1 0) для А ф 0:
Ы^) ^гЯДдД =5/А2.Ы^) ^гЯДдД =5/А2.(7-6)(7-6)
Ы^) ^гЯДдД =5/А2.
Ы^) ^гЯДдД =5/А2.
(7-6)
(7-6)
Соответствующий оператор редукции дается равенством
тЛ) _ тт (—2А\ 1/0 АА _ 1 / л\
A2 J А2 VV
Выходной сигнал Ui равен Д, если на его входе / = (/1/2)* •
Что касается погрешности редукции измерения (7.2), то согласно равенствам (7.4), (7.5) для редукции к U^
шГ1’^А ^(А') - ^2/ = < 2 Щ + 2z/2шГ1’^А ^(А') - ^2/ = < 2 Щ + 2z/2А ^ 0, —сю < А' < сю,
шГ1’
^А ^(А') - ^2/ = < 2 Щ + 2z/2
шГ1’
^А ^(А') - ^2/ = < 2 Щ + 2z/2
А = 0, —сю < X' < сю,
(7-7)(7-7)А 0, +сю < А' < сю,
(7-7)
(7-7)
А = 0, —сю < А' < сю,
Вместе с тем для каждого фиксированного / редукция R^ ^х1^ отличается от «истинной» редукции R^ ^х1^ на
е||<^)-ЛЛа-)112е||<^)-ЛЛа-)11244А 0, А^ 0;
е||<^)-ЛЛа-)112
е||<^)-ЛЛа-)112
4
4
А = 0, А' ^ 0;
А ^ 0, А' = 0;
А = 0, А' = 0.
Поскольку при А' = 0, А 0;, Е ||Д^2^(0) — Яд2^(0)||2 = 4/5, то для любой модели [Ла , Е], сколь угодно точно приближающей истинную модель [Ло, Е], но не совпадающей с ней, редукция R^ ^^ будет
отличаться в среднем квадратичном от ее истинного значения Яд2^(о) на 4/5 и, следовательно, не может служить «сколь угодно точным приближением» Яд2^(о) • Погрешность редукции Е НЯ^^о) — ^2/Ц2 (7.7) также испытывает скачок при А = 0.
В случае редукции к Ui
/\ 2
Е||(лУ-Л«Х(л-)||2= ЩЩ (а2 + ^)(7-8)
ецдУ^,)-^/!!^ецдУ^,)-^/!!^
ецдУ^,)-^/!!^
ецдУ^,)-^/!!^
где А ^ 0, поскольку редукция к Ui для модели [Ло, Е] невозможна, а в (7.8) по этой же причине А' ^ 0.
В данном случае для любой модели [Ла>, Е] может быть указана модель [Ла, Е], позволяющая сделать значение (7.8) произвольно малым. Это означает, что редукция R^E(X') является непрерывной функцией модели [Ла,£],А ^ 0. Однако и в случае редукции к Ui при истинной модели [Ло, Е] и сколь угодно близкой к ней модели [Ла, Е] редукция R^E(o) как приближение для редукции Д^^о) лишена смысла, поскольку последняя не существует. Более того, этот вывод сохранится, как бы ни была определена редукция к Ui для модели [Ло, S].
Нетрудно заметить, что причиной того, что модель [Ло, Е] оказывается выделенной, является отсутствие непрерывности Rа при А = = 0 : lim R^ = (1 0) |(1 2) = R^\ lim R^ — не существует. С другой стороны, если Rа — непрерывная функция модели [Ло,Е] при А = Ао, так что
limА—> АдlimА—> Ад|Ща — Rx0 II = о,|Ща — Rx0 II = о,
lim
А—> Ад
lim
А—> Ад
|Ща — Rx0 II = о,
|Ща — Rx0 II = о,
то и
lim Е ||ЛАе(Ао) - ЛАое(Ао)112 ^ Е ||е(Ао)||2 lim IIRx - ЛАо||2 = 0.
А—>AqА—>Aq
Итак, все результаты редукции оказываются «разрывными функциями» модели [Ла, Е] в «точке» [Ло,Е]. Энергия шума и погрешность редукции либо 1) неограниченно возрастают при А —> 0, либо 2) испытывают скачок в точке А = 0. В первом случае редукция к Ui = = (1 0) при А = 0 невозможна, а в любой окрестности А = 0 энергия шума редукции неограничена. Следовательно, при изменении модели в пределах любой окрестности модели [Ло, Е] редукции может сколь угодно сильно изменяться, и это говорит о том, что на практике такой результат не может привлекаться для интерпретации измерения. Во втором случае редукция к U2 = (0 1) возможна при любой модели [Ла , Е], причем при А ^ 0 результат не зависит от А, но всякое
отклонение от модели [Ло, Е] приведет к резкому изменению редукции и, в частности, к значительному увеличению погрешности. Это означает, что редукция к U^ = (0 1) измерения Д0) , основанная на приближенной модели [Аа, Е] при любом А ^ 0, повлечет значительное увеличение погрешности по сравнению с редукцией, основанной на точной модели [Aq , Е].
Эти факты показывают, что в любом случае редукция измерения До), основанная на приближенной модели [А\, Е], А ^ 0, либо будет существенно отличаться от истинной редукции, либо будет лишена смысла как «версия несуществующей редукции». С другой стороны, для любого X' ф 0 редукция измерения ^\^ основанная на приближенной модели [Аа,^], непрерывно зависит от А при А = А' и, следовательно, будет мало отличаться от редукции , основанной на точной модели [Аад Е], если |А — А' | достаточно мало.
Формальное объяснение того, что зависимость редукции от параметров модели не непрерывна, очень простое: если обратный оператор В-1 существует, то он является непрерывной функцией В, однако если В-1 не существует), то псевдообратный оператор В- не является, вообще говоря, непрерывной функцией В [5]. В нашем примере это видно из выражений (7.2) для (АдАаД1 и (AqAq)- . Однако такое объяснение оставляет без ответа вопрос: почему при А = 0 Д = В2/ оценивается в пять раз точнее? Следующее замечание позволяет глубже понять оба отмеченные явления.
Как видно из равенства (7.1), при любом АДО Д содержит информацию об Д, причем даже при сколь угодно малом А вклад АД в значение Д может быть сколь угодно большим, поскольку Д априори может принимать любые значения. Только при А = 0 Д, как и Д, является измерением Д • Отсюда, во-первых, следует, что редукция не может быть непрерывной функцией А. Во-вторых, в силу того что при А ^ 0 значение АД может быть произвольным, второе измерение Д вообще не несет информации о Д). Следовательно, точность оценивания Д при АДО целиком определяется первым измерением Д и, как уже было отмечено в (7.4), равна Е v^ = 1. Если же А = 0, то Д измеряется как при первом, так и при втором измерениях:
Д — Д + ^1,(ДАД = 2Д + ^2, \Д/Д — Д + ^1,(ДАД = 2Д + ^2, \Д/
Д — Д + ^1,(ДА
Д = 2Д + ^2, \Д/
Д — Д + ^1,(ДА
Д = 2Д + ^2, \Д/
По формуле редукции (0.5), где А = -, 77 = 1, Е = ^J , отсюда следует, что
((12) И) \12) ДД\ V/7\S2/
Д + 2Д р ^i + 2z/2
с сопутствующей погрешностью
ЕС^-Ь)2ЕС^-Ь)2z/i + 2z/2 А 2 _ 1
ЕС^-Ь)2
ЕС^-Ь)2
5/ = 5
Это разъяснение, несомненно, более глубокое, чем ссылка на свойство разрывной зависимости псевдообратного оператора от А, тем не менее не вполне удовлетворительно, поскольку оставляет открытым вопрос о том, как «бороться» с этим неприятным явлением. Поэтому дадим еще и такое разъяснение: если А ^ 0, то Д = Д + 2Д + + V2, где Д = А/2 может принимать любые значения, если же А = = 0, то Д = 2/2 + ^2 и это равенство эквивалентно тому, что Д известно точно и равно нулю. Согласно сказанному, теперь ясно, что причина всех неприятностей — плохая модель схемы измерения, не обеспечивающая возможность качественного измерения Д. Следовательно, путь, ведущий к преодолению феномена неустойчивости, должен быть не математическим, а инструментальным, основанным на усовершенствовании измерений. Проиллюстрируем эту возможность, продолжив обсуждение примера. Для этого добавим еще одно измерение Д согласно схеме
/0 1\
в которой Д = pj\ + v — отдельное измерение Д, А = А 2 ,
0/
Е = diag (1, 1, 1). Теперь при ц ^ 0 для любого А
(Л* Л)" = (Л* Л)-1(Л* Л)" = (Л* Л)-14/5—2А \
(Л* Л)" = (Л* Л)-1
(Л* Л)" = (Л* Л)-1
А2 + 5ц2 у—2А А2 + р2 j
А2 //2А2 //2
А2 //2
А2 //2
при р —> сю, когда в пределе Д известно точно, ибо Д /цз = Д +^з/А^з и Е (Рз/рз)2 -4- 0. Но также и при А —> 0
\2 I1
trU^A^U^-^^-,X2 + ор25
если р ^ 0. Тем самым неустойчивость по А преодолена более разумной организацией измерений. Первоначально неустойчивость означала не более как недостаточную информативность схемы измерения.
Проблема устойчивости редукции обретет еще более мрачную окраску, если учесть возможную погрешность при задании «нуля» в (А 2 ) ’ напРимеР’ связанную с вычислениями. Пусть А = Л£д =
£ 1 \д 2 L так что£ 1 \д 2 L так что(ЛДЩ)"1(ЛДЩ)"11(2е - А)21(2е - А)2/5-(е + 2Л)АД(е + 2А) е2 + А2 у ’/5-(е + 2Л)АД(е + 2А) е2 + А2 у ’В таком случае вместо равенств (7.5) и (7.6) найдемВ таком случае вместо равенств (7.5) и (7.6) найдем^с,а(^2) — Д2 + А2)/(2s — А)2,^с,а(^2) — Д2 + А2)/(2s — А)2,hE,xkUy = 5/(2е —А)2,hE,xkUy = 5/(2е —А)2,(7-9)(7-9)
£ 1 \
д 2 L так что
£ 1 \
д 2 L так что
(ЛДЩ)"1
(ЛДЩ)"1
1
(2е - А)2
1
(2е - А)2
/5-(е + 2Л)А
Д(е + 2А) е2 + А2 у ’
/5-(е + 2Л)А
Д(е + 2А) е2 + А2 у ’
В таком случае вместо равенств (7.5) и (7.6) найдем
В таком случае вместо равенств (7.5) и (7.6) найдем
^с,а(^2) — Д2 + А2)/(2s — А)2,
^с,а(^2) — Д2 + А2)/(2s — А)2,
hE,xkUy = 5/(2е —А)2,
hE,xkUy = 5/(2е —А)2,
(7-9)
(7-9)
и в зависимости от соотношения между в и А значения энергии шума (7.9) могут быть весьма далеки от их аналогов (7.5) и (7.6) (например при 2s — А -4 0. Дело в том, что если при s = 0 Д = Д + ^1 ~ измерение Д, то теперь Д = s/i + Д + Щ обретает тот же вид, что и Д = АД + 2Д + z/2, и, очевидно, результат редукции измерения €1 = ОД + Д + ^1, Д = ОД + 2Д + ^2 не может быть получен из соответствующей редукции при s / 0 А / 0 предельным переходом при s —> 0, А —> 0. Поскольку и в этом случае «дефект» модели схемы измерения обусловлен плохим измерением Д, добавим к Д и Д еще одно измерение Д = цД + V3 , как в (7.8). Это даст модель [А, У], где
SАSА1А ~/10 0А
S
А
S
А
2 , У = 0 1 0 , для которой
0/\0 0 1/
^(^2) — Д2 + А2 + ц2)/[(2е — А)2 + 5ц2],
h(uy = 5/[(2е- А)2 + 5Д]
— непрерывные функции s,A, если ц ^ 0. В частности, при е —> 0, А 0 ЦП^ -4 1/5, h(Ui) -4 1/ц2, а при ц сю ЦП^ -4 1/5, h(Ui) -4- 0 в полном согласии с отмеченными ранее фактами.
Источником ошибок, как было отмечено, может быть процесс вычислений. В этом случае проблема устойчивости оказывается связанной с методами вычислений и, хотя, как правило, погрешности вычислений, порожденные «округлением» и другими действиями, пересчитываются в погрешности «входных данных», принято говорить об устойчивых и неустойчивых методах вычислений. Понятно, что устойчивые относительно вариаций модели алгоритмы могут быть истолкованы как в той или иной форме использующие фиктивные дополнительные измерения /. Рассмотрим, например, известный алгоритм, основанный на методе регуляризации А.Н. Тихонова [3]. Для этого добавим к измерению £ = А/ + v фиктивное измерение £ = = А/ + v. считая v и v независимыми. Тогда
ДА /У ПА /ДА А~ ~~
А \0 ИА + А L А)
и редукция к прибору U = I имеет вид
/ = (ТЕГМ + ТЕ^ДЩТЕЩ + А*Е“Д).(7.10)
Если S = <т2/, S = (асг2)-1/, А = I, £ = 0, то выражение (7.10) превращается в решение
f* = (A*A + al')"1A*£, (7.П)
уравнения £ = Af, даваемое методом регуляризации. Параметр регуляризации а определяется точностью основного и дополнительного фиктивного измерений, а решение (7.11) является редукцией обоих измерений~
^ = AfAv, = f + v
к U = I при £ = 0. Если оператор А в (7.11) задан приближенно, метод регуляризации позволяет определить параметр а. связав его с погрешностью в задании А и погрешностью v таким образом, что при стремлении погрешностей к нулю /* (7.11) будет стремиться к значению, отвечающему точному оператору А и безошибочному измерению Af. В таком виде метод регуляризации, как правило, ориентирован на решение систем алгебраических уравнений вида
Аг = и г е Rmi(7.12)
в которых правая часть и и матрица А заданы приближенно: вместо А известно ее приближение Л, вместо и — приближенное значение й и заданы погрешности: ||Л — Л|| ^ h, ||u — u|| ^ б. В таких условиях приходится решать приближенную систему А г = и, и, если даже она разрешима, из предыдущего обсуждения следует, что при б —> 0, h —> 0 ее решение не обязано сходиться к решению системы (7.12). Метод регуляризации позволяет по входным данным задачи Л, щ h и б построить приближенное решение г(А,щ h,6), которое при h —> 0, б —> 0 будет сходиться к решению системы (7.12) [3].
Наш случай отличается тем, что модель схемы измерения
e = Af^u(7.13)
известна приближенно в виде [ЛШ,ЕШ] и требуется построить метод приближенного вычисления редукции для модели [Л, Е] по входным данным АШ) Е^, ЦЛ^— Л|| и ЦЕ^2 — Ех/2||. В предельном случае точной модели [Л, Е] измерение (7.13) сопровождается ошибкой v.
Будем говорить что оператор Qs, зависящий от модели [Аш, Е^] и погрешности б = {ЦЛ^ — Л||, ЦЕ^2 — Е1/21|}определяет устойчивый способ вычисления редукции R^ для модели [Л, Е], если [5]
R^ = 1ллп. Q§^.
Пусть для редукции измерения (7.13) привлекается неверная модель [ЛШ,ЕШ]. Рассмотрим редукцию к прибору U и(1—А-шАш) = 0.
Как было выяснено на примерах, несмотря на условие
А = lim Аш, Е = lim ,ш —>0ш —>0
оператор редукции R = U(А*Угг А)- А*Угг , отвечающий точной модели [А, Е], вообще говоря, не может быть получен из оператора редукции Пш = U(A^1Д1 Аш)- А* Е”1, отвечающего приближенной модели [А^,^^], предельным переходом при со —> 0; lim Пш не обязан существовать, не говоря уже о том, что в случае существования может не выполняться равенство R = lira .
Рассмотрим кроме измерения (7.13) еще одно, независимое от (7.13) фиктивное измерение
+(7.14)
в котором Е = со^А. и > 0. Считая, что измерение (7.13) контролируется моделью \АШ^ Е^], и учитывая измерение (7.14), найдем выражение для редукции
мд(|) =и№-1Аш + Ш1Г1№-Ц + шо, (7.15)
аналогичное формуле (7.10). Поскольку оператор U удовлетворяет условию разрешимости задачи редукции для модели [щ,,£Ц, представим его в виде
U = ПшАт со > 0.
Тем самым будет обеспечено существование редукции для любого ио > 0, а если сверх того потребовать существование lim Пш = U^.
ш —>0
то будет обеспечена разрешимость задачи редукции к U = U^A для предельной модели [А, Е].
Теорема 7.1. Если при со 0
pw - A\\!V0 О, Н^У2 - S1/2II О,(7.16)
то оператор
= и^А^А^сЛ^А^-1,
где U = ПШАШ определяет устойчивий способ вичисления редукции R^ к U для модели [А, Е].
Доказательство. Как показано в монографии [5], имеют место следующие оценки:
||(Л*Л + с^Г)-1А*||||(АА*+Щ"1||||А(А*А + Щ"1А*|| ^ 1,
причем последние три неравенства выполняются равномерно по А. Воспользовавшись этими оценками, найдем
+=
= РРЛАР: +1Д-1 - АА*(ЛЛ* +^/)-1|| =
= с^||(ЛшА* + Щ"1 - (ДА* + ^>11 ^ Р„ - лр-1/^
+ р-ццл* - А|н о
||Лш(ЛуЛш + wl) "*"w|| ^ ш ^^ш —> О
при си —> 0. Отсюда следует, что
R = lim Qy, 0 = lim U(A* ЕтЦ + w —>0w —>0
и, как следствие,
RE = l.i.m. QuE,ш—>0
д едд едгде R^ дано равенством (0.5). Более того, отсюда же следует, что
д ед
д ед
R^ = l.i.m. ^R
где ^R ^^ дается равенством (7.15) и предельный переход выполняется при фиксированном значении фиктивного измерения £ = = const. □
При фиксированном £ можно считать, что измерение (7.14) фактически ограничивает возможные значения / неравенством ||/|| ^ ||£|| + + П^П ~ си-1/2. В таком случае, если
£ = Af + v = A^f + иш + (Л - A^f -Vv-v^ A^f +
то при условиях (7.16) и ||/|| ~ A-Ia^uj это означает, что при ш —> 0
||(Л - АшШ ^ Р - Лшр-Г2 о,(7.17)
В свою очередь условия (7.16) являются следствием (7.17). При ш —> 0 стабилизирующее влияние дополнительного измерения (7.14) ослабевает, причем, как это зафиксировано условиями (7.16), согласованно с уменьшением ошибки в модели.
Ошибки в модели, как правило, связаны с приближенным представлением модели, в том числе в ЭВМ, но независимо от происхождения их дестабилизирующее влияние в конечном счете может быть предотвращено путем привлечения дополнительных измерений. В математических методах, определяющих устойчивые алгоритмы вычисления редукции, один из которых приведен в теореме, без труда может быть выделен эквивалент таких измерений, фиктивных или формально эквивалентных некоторой априорной информации о /.
Следует заметить, что supE ||<Эш£ — ^/||2 = 00 ПРИ любом фиксированном ш > 0, если Аш ^ А. Это означает, что, используя в качестве редукции Q^, мы не можем оценить погрешность, если Q^^ интерпретируется как выходной сигнал прибора U. В то же время
Е 1Ш - ГД2 = НГЛЛ-ДЛ^-1 А, + Щ-Д+
+ ДА"1 А + шГ^А^-ЦА - Иш)/)112 ^(||Г*Г2 + ||£Д(А-А^
где
Кш = tr [ишАш(А*5”1Аш + ш/)-1х
Отсюда из теоремы 7.1 следует, что
lim ЦАД - С7|| = 0, lim Кш = tr UtA*^"1 A^U*.(7.18)
ш —>0ш —>0
Поэтому Q^ = Q^Af + Q^v допускает инструментальную интерпретацию, согласно которой Q^^ — искаженный шумом Qwv выходной сигнал прибора Q^A. причем при ш —> О Q^A —^U,a Кш = Е IIQc^H2 стремится к энергии шума несмещенной редукции tr U^A*^-1 A)-U* . Любопытно, что первое условие (7.18) выполняется, когда А = lim Аш, Я = lim Е^, но для справедливости второго ш —>0ш —>0
этого недостаточно. Оно выполняется в силу условий (7.16) теоремы 7.1.~
В случае, когда £ (7.14), как и £ (7.13), реальное измерение, оно также может содержать ошибку в модели, и мы будем считать, что [Z,^1/], ио > 0, — истинная модель измерения (7.14), а задана приближенная модель [Деи-1/], и > 0, и ^ ио • В таком случае
WR^ = и^А^А^шЛГЧА^-Ц^шоО
— истинная редукция измерения ( ~) к прибору U, a ^R I ^ 1 (7.15) — редукция для приближенной модели. Однако теперь оператор ^R определяет устойчивый способ вычисления редукции, поскольку, как
нетрудно проверить що)^о = 1™ (waR^ если А = lim Аш и Е = = lim Еш. В данном случае редукция — непрерывная функция модели, хотя, как и ранее,
supE /supE /-Uf-Uf
supE /
supE /
-Uf
-Uf
Вывод из всего сказанного сводится к тому, что феномен неустойчивости редукции порожден неэффективностью измерений, порождающей в свою очередь то, что на математическом языке на-
зывается «недоопределенностью» задачи редукции. Выход из положения состоит в привлечении дополнительной информации — дополнительных измерений, априорной информации и т.п. и соответствующей модификации модели измерений, улучшающей редукцию.
Заметим что информация, доопределяющая и таким образом стабилизирующая редукцию, не обязательно должна быть информацией о /. Такую же роль может играть информация о характере возможных ошибок в модели или о классе альтернативных моделей. Например, если для модели [Aq,^] в качестве альтернативных привлекать не модели [Аа,£], А\ = ^д 2^’ 1де ^ т^ 0, а модели \Ае, Е], 0 < е < сю, где Ае = ^q 2) ’ т0 РедУкЦия ^е(2)£(о) измерения ^о) = A^f + v к прибору U^, основанная на приближенной модели [Ае, Е] , будет непрерывной функцией е при е = 1. В этом легко убедиться, проделав элементарные выкладки, приведенные в начале параграфа.
Проблемы надежности. Надежность модели измерения
Вводные замечания.
До сих пор, изучая проблемы редукции, мы исходили из того, что модель схемы измерения задана, и вопрос о ее соответствии реальному положению вещей не обсуждался. Однако без ответа на этот вопрос все сказанное до сих пор не может дать приемлемое на практике решение проблемы редукции. В самом деле, чтобы получить редукцию измерения £ к прибору U, формально достаточно воспользоваться любой моделью [А, X] '). допускающей несмещенную редукции к прибору U. При этом будет получено как выражение для редукции R^ = U^Yr^AAYr1/^, так и оценка погрешности h(U) = = tr С(А*Е-1 A)-U* , причем последняя никак не будет связана с измерением £ и определится только принятой моделью и оператором U. Но если используемая модель [А, Е] неверна, то для истинного значения сигнала /, вообще говоря, £ ^ А/ + г и редукция R^ может существенно отличаться от выражения U f + Rv, основанного на равенстве £ = А/ + //. Следовательно, прежде чем преобразование R^ интерпретировать как U/ + Rv, следует ответить по меньшей мере на два принципиальных вопроса.
Насколько хорошо модель [А, Е] согласуется с измерением £? По существу, ответ на этот вопрос должен быть основан на проверке того, что ни результат измерения £, ни какие либо другие факты не противоречат предположению о том, что модель [А, Е] контролирует процесс измерения. Конечно, непротиворечивость сама по себе еще не
т) В том числе выбранной безотносительно к измерениям.
гарантирует того, что модель и в самом деле верна), тем не менее, принимая во внимание соображения, которые первоначально определили модель, мы получаем веские доводы в пользу того, что модель [А, Е] ив самом деле контролирует измерение £.
В то же время, если измерение £ резко противоречит предположению о том, что модель [А, Е] контролирует процесс измерения ), то, как будет показано в дальнейшем, это еще не означает, что ее нельзя использовать для редукции измерения £. Иначе говоря, в этом случае редукция измерения £, подсчитанная на основе модели [А, Е], может и не отличаться от ее значения, которое было бы получено на основе точной модели.
Но если при анализе согласия £ и [А, Е] не обнаружено ничего такого, что не позволяет интерпретировать £ как А/ + v и, следовательно, модель не может быть отвергнута как несостоятельная, то тем не менее, как показано ниже, вполне возможно, что редукция £, основанная на модели [А, Е], не будет иметь ничего общего с редукцией, основанной на точной модели. Поэтому, прежде чем интерпретировать редукцию, исследователь должен иметь ответ на второй вопрос.
Можно ли использовать модель [А, Е] для вычисления редукции измерения £? Ответ на этот вопрос, как будет видно из дальнейшего, непосредственно не связан с тем, насколько хорошо модель [А, Е] согласуется с результатом измерения. Как было только что отмечено, модель может быть ошибочной и, более того, резко противоречить измерению £, но давать верную редукцию. С другой стороны, в §7 было показано, что точная модель, согласно которой сформировано измерение £, может обладать «патологическими» свойствами, не позволяющими получить достаточно точное значение редукции с помощью любой, сколь угодно точно аппроксимирующей ее), но приближенной модели [А, Е]. Этот случай относится к проблеме устойчивости редукции, по существу порожденной низким качеством точной модели схемы измерения £, и подробно рассмотрен в §7.
Там, в частности, показано, что в таком случае использовать для редукции приближенную модель [А, Е] нельзя, поскольку сколь угодно малое отличие модели [А, Е] от точной может повлечь неопределенно большую ошибку в редукции. Этот факт не позволяет П^ интерпретировать как U/ + Ни, хотя объективно (в том числе и судя по £) модель [А, Е] может весьма точно описывать £. В такой ситуации необходимо усовершенствовать модель за счет более качественных измерений, добавления другой информации и т.д.
По существу второй вопрос может быть сформулирован следующим образом: насколько можно доверять результату редукции измерения £, основанной на модели [А, Е], т.е. редукции Н^ и оценке
погрешности h(U), насколько этот результат согласуется с реальным положением вещей?
Рассмотрим первый из поставленных вопросов. Он сводится к выяснению того, насколько правдоподобно предположение, согласно которому измерение £ отвечает модели [А, Е], т.е. может быть представлено в виде Af + v при некотором / G Г1т. Предположим, что вопрос касается только оператора А , а про шум v доподлинно известно, что он имеет нормальное распределение N^^Y?). В таком случае задача состоит в проверке гипотезы, согласно которой £ = Af + и при некотором f Е rtm, при альтернативе, отрицающей возможность такого равенства при любом f Е rtm. Иначе говоря, гипотеза состоит том, что £ = а + v при некотором а Е ГЦ А) , согласно альтернативе такое равенство невозможно ни при каком а Е ГЦА). Параметрическим пространством и пространством наблюдений в данном случае является пространство rtm.
Согласно гипотезе £ Ы(а, Е), а Е ГЦА) , согласно альтернативе ^~АГ(а,^), а^Р(А),
Н = 7г(А), К, = Вт\ГЦА).(8.1)
Следует отметить, что, если а Е ГЦА), это еще не означает, что модель верна, хотя бы потому, что при этом, возможно, £ = A' f + + v, ГЦА') С ГЦА). Но если а ^ ГЦА) , то равенство £ = Af + v невозможно ни при каком f Е rtm , и модель должна классифицироваться как несостоятельная ). Как показано в §7 гл.4, рассматриваемая задача проверки гипотезы обладает естественной симметрией, связывающей значения параметров распределения а и наблюдения £ и согласованной со структурой гипотезы П и альтернативы К, (8.1). Речь идет о группе 9 движений пространства rtm, действующей по формуле )
х -э gx = ТГ^НУТ^х -Eh, х Е Вт, д EQ, (8.2)
где {77} — группа ортогональных преобразований Г1т , оставляющих инвариантным подпространство 7^(И-1/2А), и h Е ГЦА). Преобразования (8.2) согласованы со структурой гипотезы В и альтернативы К, в том смысле, что при любом д Е 9 да Е Г1 (да Е KL), если а Е В (а Е KL), или иначе говоря, разбиение Вт на гипотезу и альтернативу, В = ВIJ К, (8.1) 9-инвариантно. С другой стороны, если £ ~ АГ (а, Е), то там же было показано, что gf, ^ АГ (да, Е), т.е. для любого измеримого множества В СВт и любого движения д е9
Р(д^ЕВ,а) = Р(^ЕВ,да).
Следовательно, при любом д Е 9 решение о том, содержится да в ГЦА) или нет, основанное на наблюдении д = дЦ будет столь же
неопределенным, как и решение о том, содержится ли а в 7ЦА) , основанное на наблюдении £. Поскольку знание g Е 9 никак не влияет на решение этого вопроса, рассматриваемая задача проверки гипотезы является 9 -инвариантной и в ней естественно использовать 9-инвариантные правила решения (см. §7 гл.4). В данном случае это означает, что решение должно основываться на значении статистики х)
О = ||(/-П)2-/^||,(8.3)
в которой П = A(Y-Y А)- — ортогональный проектор на H^Y-1^ Л). Если гипотеза верна, то £ = a-Vv при некотором а Е П(А) и соответственно статистика (8.3)
О = ||(/-ПД"1/21/||2(8.4)
и имеет %2-распределение с к = rank (I — П) = dim 7^ (Е-1/2 А) степенями свободы. В противном случае, т.е. когда а $. К(А) , статистика (8.3) записывается в виде
Щ) = ||(/ - ДЕ^а + (I - ЩЕ-ГЗрЦЗ(8.5)
и имеет нецентральное %2-распределение с к степенями свободы и параметром нецентральности
d2 = ||(/-П)Е-1/2п||2.(8.6)
Таким образом, если гипотеза верна, то 172 = 0, в противном случае 1^2 > 0. Поскольку верно и обратное утверждение, согласно которому а Е ^(А)^ если ^2 = 0, и п Р(А), если ?72 > 0, то исходная 9,9- инвариантная задача проверки гипотезы сведена к задаче проверки гипотезы о значении параметра распределения 172 9-инвариантной статистики т(^) (8.3)2).
Если ^(t,^2), 0 < t < сю, — плотность %2-распределения с к степенями свободы и параметром нецентральности Р2. то, как показано в §2 гл.4, при фиксированной альтернативе 1^2 > 0 наиболее мощный критерий определится следующим множеством принятия гипотезы ^2 = 0:1о
ф* = Д Рк(М )/рД,0) < А(Р)},
где Х(Р) — корень уравнения
Р = j Pk(t,0W,
в котором Р — вероятность принять гипотезу, когда она верна. В данном случае важно, что при любом 1^2 > 0 отношение р/ф^,^2)
pk(t,O): является монотонно возрастающей функцией t > 0. Поэтому при фиксированном Р множество Фу1 не зависит от ^2 > 0 и определяет равномерно наиболее мощное множество принятия гипотезы 1^2 = 0 относительно всех альтернатив 1^2 > 0. Поскольку это означает, что множество Фу1 можно представить в виде
Ц t ^ А0(Р)},
где
Ао(Р)
Р = I Pk(t,0W,(8.7)
О
то в Рт соответствующее множество принятия гипотезы а Е Р(А), равномерно наиболее мощное относительно всех альтернатив а Р(А) , представлено равенством
Ф“Щ) = Ц е Рт, т^ ^ А0(Р)},(8.8)
где Ао(Р) — решение уравнения (8.7), т(ж) определено в (8.3).
Соответственно надежность гипотезы а Е Р(А) при альтернативе а $. Р(А) '). определяемая семейством множеств (8.8), 0 ^ Р ^ 1, дается равенством
<)=inf{l-P|P, t^)>A0(P)} =
pk(t^)dt\Xpk(t^)dt\X(8.9)(8.9)
pk(t^)dt\X
pk(t^)dt\X
(8.9)
(8.9)
Как следует из результатов, приведенных в §4 гл.4, если гипотеза верна, т.е. а Е Р(А), то статистика а(£) (8.9) имеет равномерное распределение на [0,1]. В противном случае более вероятны значения надежности а(£), близкие к нулю.
Чем больше значение, принимаемое статистикой т(^), тем меньше соответствующее значение надежности а(£) (8.9) и тем определеннее свидетельствует измерение £ против модели [Л, Е]. Это следует из формулы (8.9) и согласуется с интерпретацией т(£) как квадрата расстояния от Е-1/2£ до подпространства PAYr1^ Л). Если модель верна, то т^ дается равенством (8.5) и уклонение Е-1/2^ от P^Y^A-^ обусловлено только наличием шума v. В противном случае т^ определяется равенством (8.5), согласно которому ее возможные значения могут быть тем больше, чем больше значение ||(Z — П)Е-1/2ф|2 (8.6). Поэтому естественно, что надежность (8.9) определена как вероятность наблюдать фактическое значение т^ уклонения или еще большее в предположении, что модель верна.
Ответ на вопрос о том, следует ли считать малым то или иное наблюдаемое значение надежности а(£) гипотезы ^2 = О, разумеется, зависит от предполагаемой альтернативы. Если F^ (г) = = Р-^а^) < г)(= Р^2(п(^) ^ г)) — функция распределения надежности при ^2 > 0, то отношение k(z^id2) = F^ (z)/(F$2 (г)|^2=0) = = F^^/z показывает, во сколько раз вероятность наблюдать значение надежности, не превосходящее z , больше в предположении id2 > О по сравнению с тем, когда id2 = 0. Поэтому величину &(«(£), i?2) можно рассматривать как характеристику того, насколько мала надежность а^) гипотезы i^2 = 0 при альтернативе ^2 > 0 (см. также [46]).
Поскольку согласно условию (4.10) гл.4 k(z^id2) -4 сю при z -Л 0 и любом ^2 > 0, то при любой альтернативе надежность гипотезы id2 > 0 будет малой, если достаточно мало а. В то же время, каким бы ни было $2 > 0, A^z,^2)1/г и, следовательно, надежность
а ^ 1/2 гипотезы ^2 = 0 можно считать достаточно высокой при любой альтернативе1).
1. Надежность модели [Л, Е] и ее свойства. Далее будем называть статистику
аД) = / Pk^W(8-10)
надежностью модели [Л, Е].
Рассмотрим подробнее вопрос о том, насколько статистика а(£) чувствительна к ошибке в модели. Если на самом деле
^ = ЛД + щ(8.11)
то в равенстве (8.9)
а = (Л' - Л)/
и, как следует из выражения для т^ (9.5), сама по себе ошибка в операторе модели А* — Л не определяет надежность. Влияние этой ошибки на надежность определяется вектором
d = (1-П)Е"1/2(А' - Л)/,
равным ортогональной проекции вектора q = S-1/2 (Л' — A)f на д±(Е"1/2Л) , зависящим как от сигнала /, «проявляющего» ошибку в операторе тем сильнее, чем «больше» /, так и от шума и. «маскирующего» ошибку тем больше, чем выше его уровень. Грубо говоря, поскольку q зависит от шума и ошибки в операторе модели только посредством комбинации Е^/ДЛ' — Л), то любая сколь угодно значительная ошибка в операторе незаметна, если достаточно велик
х) 1/2 — медиана распределения надежности при б2 = 0. При верной гипотезе вероятности получить значение надежности как большее, так и меньшее 1/2 равны 1/2.
шум, и наоборот, при малом шуме может быть обнаружена и небольшая ошибка в операторе. В частности, при исчезающе малом шуме ошибка в операторе модели отразится в исчезающе малом значении надежности1).
Чтобы пояснить сказанное, рассмотрим вначале более простую ситуацию, в которой статистику т(^) (8.5) заменим на £ = ||Е-1/2п + + E-1/2z/||2 и покажем, что £ -4- сю 2) при Е |Н|2 = tr Е —> 0 или, иначе говоря, для любых е > 0, 5 > 0 Р(( > 5) > 1 — £, как только Е ||z/||2 достаточно мало. Для этого заметим, что при условии tr Е —> 0 все собственные значения Е стремиться к нулю. Обозначим их ст2 ^ ... ^. Тогда a^Iо-^! и соответственно
||Т-1/2а||2 = (Е-1ща)crf2||a||2 -4 сю.
Поскольку
Е£ = ||Е-1/2п||2 + Е ||E-i/2z7||2 = НЕ"1/2^2 + m,
где m = tr Е-1/2ЕЕ-1/2 = dim7^m, и
Е(С-ЕД2 = 2(Е~1/2щп)+ /,
где I = Е (||E-1/2z/||2 — тУ , то
Р(Е С - НЕ"1/2^1^2 <) = F« - Е С II|1+^2)
1 - [2(5-4, а) + Z] /11S—1/2а.| |20+F2)(*)
и при Е ||р||2 —> 0 Е^ — ||5-1/2а||1+/з2 —> сю, если /З2 < 1, а правая часть неравенства (*) при ^2 > 0 стремится к единице, свидетель> р
ствуя, что Q —> сю.
С другой стороны, если Е ||z/||2 = tr Е -4 сю, то £ Д уД. Действительно, поскольку
Е(С - HS-42^112) = ||S-1/2O||2
И
Е « - ||S-1/2a||2 - 11S”1/2^||2)2 = 4Е (5"1/2а, v-V2^2 = 4||S-1/2a||2, то для любого с > 0
P№ _ r-/^lPl , E) .+0
при E ||z/||2 -4- oo. Следовательно, в этом случае ^ Д ||E-1/2z/||2 = Хт •
х) Разумеется, при условии, что (I — П)д ^ 0, т.е. когда вектор q имеет ненулевую ортогональную проекцию на 7^±(Е-1/2А).
2) -4- — обозначение для сходимости по вероятности.
Возвратившись теперь к статистике т(^) (8.5), нетрудно заметить, что т(^) Д сю, если Е ||z/||2 —> 0, лишь при дополнительном условии ||(/-n)S-V2a||2 —> сю, означающем, что ошибка в модели || А' — А||, в том числе и значительная, не всегда влияет на надежность. Но если Е ||zz||2 ю, т0 т(^) 4 ||(Z - П)Е 1/2z/||2 в любом случае.
Итак, если Е ||z/||2 0 и, более того,
то a(f) -Д 0, как бы ни была мала ошибка ||А' — А|| > 0 в операторе модели А. В этом случае надежность а(£) позволяет обнаружить ошибку в операторе модели. С другой стороны, если Е ||z/||2 —> сю, то распределение надежности а(£) стремится к равномерному на [0,1]. В этом случае (и, очевидно, в том, когда q = 0) ошибка в операторе модели в конечном счете полностью маскируется шумом.
Замечание. В ряде случаев при анализе и интерпретации измерений, особенно в режиме диалога, полезно иметь не только значение надежности а(£), но также и график сигнала
(/-пд-гд (812)
Чтобы глубже понять смысл этого замечания, вернемся к рассмотренной в §2 несмещенной редукции схемы измерения £ = Af + v к виду ц = U f + Vv в частном случае, когда U = 0, V = Е-1/2. Речь идет о редукции измерения £ к виду ц, характерному для измерения компоненты (белого) шума Tnx!2v. В §2 показано, что для этого случая оператор редукции дается равенством
^i = ^-1/2 _ ^^а^^ау^-1^,
и соответственно редукция
Rif = [/ - ^^A^^Ayy^^f = (I - П)Е-1/2£
совпадает с сигналом (8.12). Если £ = Af + //. то Rif = (I — П^Е-'/Д — действительно компонента белого шума. Но если модель [А, Е] неверна, то £ = A' f + v и
Rif = (/ - П)Е-1/2(А' - А)/ + (I - П)Е-1/2?/.
Теперь в сигнале Rif появляется «регулярная» составляющая (I — П)Е_1/2(А' — A)f, которую исследователь, как правило, без труда «детектирует», наблюдая реализацию Rif, если значение надежности off) дает повод сомневаться в правильности модели.
Вопрос о надежности модели особенно важен в случае редукции серии измерений одного и того же объекта. Дело в том, что, с одной стороны, с увеличением числа измерений, как было показано в §5, точность редукции может существенно возрастать, а с другой — неизбежные ошибки в модели каждого измерения серии в конечном
счете могут свести на нет это увеличение точности, превратив его в кажущееся, в результате «накопления» ошибок в моделях.
Остановимся на этом вопросе подробнее и рассмотрим серию измерений вектора / G П
(8.13)(8.13)6 = Л/ + щ Е Пг, 7 = 1, . . . , 77,
(8.13)
(8.13)
имеимегде вектор ^ ~ результат измерения / на приборе /С, гд — сопутствующая погрешность; П^П^ — евклидовы пространства, г = 1,... .п. В (8.13) At — известный линейный оператор, определяющий математическую модель г-го измерительного прибора, вектор щ, определяющий погрешность г-го измерения /, имеет нулевое математическое ожидание Е щ = 0 и известный корреляционный оператор ^ц, г =
име
име
= 1,... ,77. Более того, будем считать, что вектор v^ =
ет нормальное распределение с корреляционным оператором Е(п) = /Ец •••^1п\
= ,задающим взаимные корреляционные связи из-
\ УУ /
х^п! • • • ^пп/
мерений (8.13). Если под А^ и £(п) понимать соответственно опера
тор ... и вектор ... , то схему измерения (8.13) можно записать
\ А )\ А /
Wwxsnz
в компактном виде
(8.14)(8.14)€(п) — ^(п)/ “Ь ^(n) Е 7^(п) —1^г
(8.14)
(8.14)
и интерпретировать ^п^ как искаженный шумом v^ выходной сигнал прибора А^ , на вход которого поступил сигнал /. Пару операторов [А(п), Е(п)] назовем моделью схемы измерения (8.14). Сигнал / до измерения будем считать произвольным вектором Tt.
Рассмотрим асимптотические свойства надежности модели [А(п), Е(п)] при п —> сю. Напомним, что для каждого значения £(п) надежность скп(^(п)) модели [Л(п),£(п)] определяется как вероятность того, что %20 ^ тп(^п^, где %20 — случайная величина, имеющая %2-распределение с тг степенями свободы,
тп(€(п)) = Н(^ — П(П))Е^п^ €(п)Н2?
и для упрощения обозначений считается, что 77 равно размерности пространства значений ортогонального проектора I — П(п), тг = = dim^(S^/2^(n)).
Согласно определению надежность ckn($(n)) модели [Л(п), Е(п)] — случайная величина, распределение которой определяется распределением £(п), причем, если верно равенство (8.14), то при любом / Е П
^п(^(п)) имеет равномерное на [0,1] распределение. Если же на самом деле
€(п) ^(п)/ “Ь ^(п) (8.15)
и A^f ^ Н^А^^, то надежность «п(^(п)) распределена на [0,1] с плотностью вероятности, неограниченной в нуле, и принимает значения, преимущественно близкие к нулю. Значения надежности тем более концентрируются около нуля, чем больше С = 1Ы|2, где Tn = (I - nwy^\Xw - A^f = = U-IW^A^J и [А(п), Е(п)] — используемая модель схемы измерения (8.15). Грубо говоря, с увеличением ^ надежность модели [^-(п)?^(п)] падает.
Рассмотрим последовательность измерений (8.15) и «соответствующую» последовательность моделей [А(п), Е^2], п = 1,2,... Согласно теореме 5.1 с увеличением п с.к. ошибка редукции, определенная как
не возрастает, как бы ни была выбрана последовательность {[Л(п), Е(п)]}. В то же время надежность [А(п), Е(п)] может как возрастать, так и убывать, в зависимости от поведения \\Tn\\2/V^ при п —> сю.
Теорема 8.1. При п -> сю 1) скп(€(п)) сходится по вероятности к нулю тогда и только тогда, когда \\тп\\2 / л/п —> сю; 2) распределение ^п(^(п)) сходится к равномерному распределению на [0,1] тогда и только тогда, когда ||тп||2 /^п 0 [48].
Таким образом, если измерения сопровождаются значительными ошибками в моделях, так что \\тп\\2 / V^ ~^ 00 ПРИ ^ —> сю, то при достаточно большом п модель [Л(п), Е(п)] будет несостоятельной. Если же ошибки в моделях измерений (8.13) незначительны, так что при п —> сю \\тп\\2/V^ —^ 0, то при большом п надежность будет близка к надежности точной модели (но это, конечно , не означает, что и модель [Л(п), Е(п)] непременно будет близка к точной модели).
Характерно, что в конечном счете надежность модели [А(п), Е(п)] определяется не погрешностью 5п = (А^ — A^)f, вызванной отличием в операторах А^ и А^, а величиной проекции на 7^±(Е^пу2А^) вектора Е^у25п, в котором погрешность 5п, грубо говоря, отнесена к интенсивности шума v^ . Как уже было отмечено, чем меньше уровень шума v^ , тем сильнее влияет на надежность модели [Л(П),Е(П)] ошибка в операторе.
Надежность модели можно определить, не используя свойства симметрии задачи. С этой целью определим верхнюю и нижнюю надежности модели как верхнюю и нижнюю надежности гипотезы Н
при альтернативе К, соответственно, следуя материалу §4 гл. 4:
= inf sup аа1й2(£),
«Ю = sup inf aO1O2(£)
a^EH a2E/C
Здесь ciaia2(^) — надежность гипотезы a = сц ЕП при альтернативе a = a2 E KL, £ = a + z/, v ^(0, E), т.е.
«aia2(0 = Ф(-Д-1(£ - ai), a2 - ai)/!!!:"1/2^ - O1)||)
(см. равенство (4.17) гл. 4). Отсюда следует, что для вычисления а и а надлежит подсчитать
infsup s(#,t/) = s,
жетг^-1^) ^етгхтгСЕ-^зд)
supinf 8(30^)=^(8.16)
?/е7г\7г(Е-1/2л) жетг^-^зд)
где з(ж,у) = (г] - Х,у - хУ\\у - ж||, Т] = S-1/2^ ж = S-1/2^, у = = Е-1/2«2 и использован тот факт, что Я = 7£(Л), К, = 77.\77.(Л).
Для вычисления значений (8.16) следует воспользоваться леммой §4 гл. 4, в которой показано, что
s = з = ||(z-nN| = ||(z -пд-1/2^.
Следовательно,
а.$ = «^ = «К) = Ц-Щ" ПД^ДН), (8.17)
где П = I2-1/2A(I2-1/2A)- — ортогональный проектор на 7^(Е-1/2А).
Выражение для надежности (8.17) можно представить в виде
«*(£) = У exp(-t2/2)dt/V27r,
аналогичном (8.12). Однако эта статистика, в отличие от (8.12), в случае, когда модель верна, распределена неравномерно на [0,1]. На практике удобнее использовать функцию от а* ^ имеющую равномерное распределение, например F*^*), где F*(-) — функция распределения «*(£). Так определенная надежность совпадает с (8.10) и называется нормированной.
О методе максимальной надежности (выбора модели). Завершим этот параграф анализом вычислительного эксперимента, в котором анализируется принцип максимальной надежности выбора модели [А, Е] [17, 59]. Пусть априори известно, что истинная модель принадлежит классу М. Методом максимальной надежности назовем метод выбора модели [А, Е], основанный на измерении £, при котором~
аА^ = тах{ад(£)|[А, Е] Е М}.
Здесь ад(^) — обозначение для надежности (8.10) модели [А, Е]. Пусть А = А (А) моделирует простейшую оптическую систему, А — параметр расфокусировки, равный числу ненулевых диагоналей мат-
Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,^ = 1Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,^ = 1
Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/
Таблица 1. Значения ста-тистики Tij, г А = 1,..., 5,S = 10”3/
Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,^ = 1
Таблица 2. Значения ста-тистики Tij, г А = 1,..., 5,^ = 1
гTijj = 17 = 23 = ^j = 43 = 510.256.796.740.306.0420.260.250.290.310.273102.4778.020.2878.19101.124303.79401.25173.700.37176.025505.28850.77722.64271.180.35гTijj = 17 = 23 = ^j = 43 = 510.256.796.740.306.0420.260.250.290.310.273102.4778.020.2878.19101.124303.79401.25173.700.37176.025505.28850.77722.64271.180.35гTijj = 17 = 27 = 33 = 43 = 51755132524123751566851365613959484305850587554548453442гTijj = 17 = 27 = 33 = 43 = 51755132524123751566851365613959484305850587554548453442
г
Tij
j = 1
7 = 2
3 = ^
j = 4
3 = 5
1
0.25
6.79
6.74
0.30
6.04
2
0.26
0.25
0.29
0.31
0.27
3
102.47
78.02
0.28
78.19
101.12
4
303.79
401.25
173.70
0.37
176.02
5
505.28
850.77
722.64
271.18
0.35
г
Tij
j = 1
7 = 2
3 = ^
j = 4
3 = 5
1
0.25
6.79
6.74
0.30
6.04
2
0.26
0.25
0.29
0.31
0.27
3
102.47
78.02
0.28
78.19
101.12
4
303.79
401.25
173.70
0.37
176.02
5
505.28
850.77
722.64
271.18
0.35
г
Tij
j = 1
7 = 2
7 = 3
3 = 4
3 = 5
1
75
51
32
52
41
2
37
51
56
68
51
3
65
61
39
59
48
4
30
58
50
58
75
5
45
48
45
34
42
г
Tij
j = 1
7 = 2
7 = 3
3 = 4
3 = 5
1
75
51
32
52
41
2
37
51
56
68
51
3
65
61
39
59
48
4
30
58
50
58
75
5
45
48
45
34
42
рицы А (А). В численном эксперименте неизвестная априори величина расфокусировки А определялась по методу максимальной надежности из пяти возможных значений А^ = 2г + 1, г = 1,...,5. Решение о максимально надежной модели принималось на основании значений статистики т^ = ||(/ — П^Е-1/2^ ||2 (8.3), где П* — ортогональный проектор на 77(£~’/АфА,)). ^j = A^j^fAvj, ij = 1,...,5. Одновременно вычислялась несмещенная редукция R^j к U = I для модели [А(АД£].
Эксперимент показал, что при невысоком шуме метод максимальной надежности, как правило, определял верную модель (т.е. минимум т^ достигался при г = j\ С увеличением шума процент верных решений естественно уменьшался, что отражено в табл. 1 и 2. Обратим внимание на случай j = 4, г = 1, когда даже при низком шуме определена неверная модель. Это объясняется тем, что при используемом входном сигнале / E-1/2(A(Ai) — А(А4))/ Е 7^(U-1/2A(Ai)) и, следовательно, статистика 741 распределена так же, как 744.
Этот случай проиллюстрирован на рис. 5.3, 5.4, 5.5. На рис. 5.3 приведена редукция для максимально надежной и в данном случае правильной модели, а также редукция для неправильной модели. На рис. 5.5 приведена редукция для максимально надежной, но неправильной модели при высоком уровне шума. Метод максимальной надежности в задаче выбора модели, в том числе при дополнительных ограничениях, контролирующих точность редукции, близость модели к заданной априори и т.д., с успехом применен при решении прикладных задач дистанционного зондирования, спектрального анализа (см. [8, 9, 60-62, 69]).
В заключение этого параграфа коротко обсудим применение понятия надежности модели при анализе редукции в режиме диалога, когда исследователь, анализируя результаты измерений, может формулировать, проверять на состоятельность и использовать для уточнения редукции свои собственные представления об исследуемом
—/^1^4^4^4—/^1^4^4^4Рис. 5.3. Редукция Нз^з для максимально надежной модели, которая совпала с истинной моделью, хорошо аппроксимирует входной сигнал. Для сравнения приведена редукция Нз^з для ошибочной модели
—/
^1^4
^4^4
—/
^1^4
^4^4
Рис. 5.4. Редукция Кб^2 для максимально надежной модели при высоком уровне шума. Максимально надежная модель оказалась ошибочной. Здесь же приведена редукция R2^2 для правильной модели. При столь высоком уровне шума она не имеет видимых преимуществ перед ЕД2
Рис. 5.5. Редукция Ri^4 для максимально надежной модели, которая оказалась ошибочной, имеет мало общего с входным сигналом /, несмотря на низкий уровень шума. Для сравнения приведена редукция R4^4 ДЛЯ истинной модели
объекте. Пусть, например, речь идет об анализе спектральной кривой, полученной как результат редукции данных спектроизмерительного эксперимента ^ = Af + v к значениям сечения рассеяния / = = сг(-) как функции энергии. Фрагмент этой кривой, содержащий «пик» а. представлен на рис. 5.6. Пунктиром окружена версия / = сг(Е) , предложенная исследователем в качестве альтернативы а для энергий Е Е ^Е\Е"). Формально версию сг(Е) исследователя можно представить в виде «измерения»
Рис. 5.6. Альтернатива «пику» о, предложенная исследователем, и функция ее влияния ^(Е) на погрешность редукции. Пунктиром отмечен предполагаемый «коридор неопределенности» предложенной альтернативы
€ = П^/ + щ (8.18)
выполненного лишь в интервале энергии Е'^Е'^ где П^/^// =
= <г(Е), Е Е ^Е\ЕН^ и v — шум, отражающий неопределенность представлений исследователя. Если состоятельность модели [А, Е]
спектроизмерительного эксперимента не вызывает сомнений, то зна
чение надежности а ^~
модели
/ А \ уП^/^//у
Е О
0\
Еу
покажет, на
сколько хорошо версия исследователя согласуется с измерением £ =
= Af + v спектра.
Если надежность окажется низкой, «альтернатива» £ = Пе'Е" f + + zv. согласно которой «пик» а порожден погрешностью редукции измерения £, плохо согласуется с реальным измерением и должна
быть отвергнута. Такой вывод говорит о том, что «пик» а скорее всего и на самом деле имеется на кривой cr(Ef Е Е (Е^Е"). Если надежность окажется высокой, это будет означать, что в измерении £ нет данных, которые говорили бы как о том, что «пик» а есть, так и о том, что его нет на спектральной кривой. В этом случае как результат редукции, так и версия исследователя могут быть объяснены как сг(-) с точностью до «типичной» реализации сигнала из «коридора ошибок» (см. §6). Такое заключение позволяет рассматривать £ и £ как измерения, взаимно уточняющие сг(-), причем не только для энергий Е Е (Е1, Е") , но и вне этого интервала. Это следует из вида функции влияния ^(У измерения а(Е) для Е Е^Е\Е") на погрешность, также изображенной на рис. 5.6.
Теперь исследователь может интерпретировать редукцию R ^^ как более точную версию сг(Е) для всех значений энергии, при кото-
Рис. 5.7. а) Редукция R^ к идеальному прибору U = I и функция влияния ^(-) «дополнительного измерения» ^ . Последнее интерпретируется как значение сигнала f(x'); б) результат совместной редукции R ^^ к идеальному прибору и функция влияния нового «дополнительного измерения» £", которое интерпретируется исследователем как значение f^x")^
б) результат совместной редукции R ^, который практически совпал
с входным сигналом /(•), приведенным на рис. 5.8, б. Значение статистики т(-) (8.3) свидетельствуют о высокой надежности модели [Л, Е] измерения
ДА
и предлагаемых в диалоге моделей измерений I ) и ^
Рис. 5.8. а) — Аппаратная функция прибора А; б) — входной сигнал /(•) и результат измерения ^ = Af + v. Af(y) = J А(у — x)f(xdx), x^y G X
рых ф(Е) > 0 (см. §5). На рис. 5.8, 5.7 приведены результаты вычислительного эксперимента, моделирующего диалог (см. также [95, 96]).
Надежность редукции измерения [58, 59, 67, 72, 92]
Вводные замечания. Ответ на вопрос о возможности использовать модель [А, Е] для редукции измерения £ определяется величиной фактической погрешности редукции, которая в свою очередь, вообще говоря, зависит от ошибки в операторе А модели. Действительно, если на самом деле измерение £ = A*f + ц, то погрешность редукции к прибору U для модели [А, Е] равна
Е ||Л/ - Uf\\ = Е |Д(Е-1/2л)-Е-1/2(А7 + О - [7/||2 =
= НГЦ-Гз^-Е-х/гц/ _ Л.)/|I2 + tr [7ОГ5Г1 Л)"[7*. (9.1)
При достаточно низком уровне шума ее значение определяет первое слагаемое1)
|ДД-1/2л)-д||2 = ||[7Д-1/2а)-П9||2,(9.2)
где q = Е^'/ДА7 — А)/. Разумеется, в таком случае использовать для редукции модель [А, Е] нельзя, но надежность а^ ^ к сожалению, не всегда позволяет распознать такую ситуацию. Действительно, зависимость статистики т^ (8.5), определяющей надежность модели [А, Е],
Д В этом равенстве использован тот факт, что
(Е“1/2А)“ = (Е“1/2А)“П, П = Е“1/2А(Е“1/2А)“.
от ошибки в операторе А определяется вектором (I—П)^, ортогональным вектору П<7, от которого зависит погрешность редукции (9.1). Поэтому в общем случае возможны ситуации, в которых (I — П)^ = 0, но Пд ^ 0, или, наоборот, (I — П)^ ^ 0, но Пд = 0, показывающие, что, наблюдая статистику т(^) (и а^)), вообще говоря, нельзя судить, насколько велико значение погрешности (9.2) и, следовательно, нельзя решить вопрос о том, применима ли модель [Л, Е] для редукции измерения £. В частности, если В(Е~ */2 (Л'—Л))сВЛ(Е-*/2 Л), то ошибка в операторе модели никак не повлияет на погрешность (9.1), поскольку при этом Пд = 0, в то время как значение статистики т(^)
Пусть, например,Пусть, например,е = л/ + в/ + ще = л/ + в/ + щ(9-3)(9-3)может вполне определенно указывать на несостоятельность модели.
Пусть, например,
Пусть, например,
е = л/ + в/ + щ
е = л/ + в/ + щ
(9-3)
(9-3)
где В — произвольный оператор, удовлетворяющий условию
ТЩГ1/2#) СК-Щ-ГМ). Если
H^-Vayyip » Е ц^ _ иД"1/2^2 = rank у _ щ,
то статистика
О = II(Т -= ||S-V2B/ + (2 _ пД"1/2^2
скорее всего укажет на несостоятельность модели [Л, Е]. Но при этом \Ж - Г/П2 = | ДЩГМЩ"1/^ + ву + р] - L//II2 =
= |Д(Е-1/2А)-Е"1/2р||2,
т.е. редукция R^ не зависит от В и, таким образом, даст результат, свойственный безошибочной модели. С другой стороны, если в равенстве (9.3) R(B) С В(Л), то т(£) = ||(Z — П)Е-1/21/||2 не зависит от В и не может указать на ошибку в модели, в том числе и тогда, когда ||В/1| >> ||Л/||. Но в этом случае редукция может радикально отличаться от редукции для точной модели, поскольку
НДС - г/н2 = |+ он2. (9.4)
Итак, статистика а^ при некоторых условиях позволяет обнаружить несостоятельность модели [Л, Е]. Вместе с тем несостоятельность модели еьце не означает, что ею нельзя пользоваться для вычисления редукции. С другой стороны, приемлемое значение надежности а(£) не означает, что модель верна, и, более того, не может гарантировать возможность использования модели [Л, Е] для вычисления редукции. Короче говоря, статистику а(£) можно использовать как надежность модели [Л, Е], но нельзя использовать как надежность редукции, поскольку низкое значение надежности не означает, что редукция будет подсчитана неверно, а приемлемое значение надежности не гарантирует, что редукция будет подсчитана верно.
Не следует думать, что статистика а(£) плохо «приспособлена» для определения надежности редукции. На самом деле в рассмотрен-
ном случае просто нельзя указать статистику, зависящую от наблюдения £, которая позволила бы охарактеризовать надежность редукции. Действительно, для этого необходимо по измерению £, как это следует из выражения (9.4), различать возможные равенства £ = Af + v и £ = (А + B)f + v, когда В(В) С В(А). Это, очевидно, невозможно, поскольку / — априори произвольный вектор В, и любое значение (А + B)f, / Е 7£, можно представить в виде Af* при некотором
Пусть 5 > tr U^A*^ ХА) U* выбрано так, что неравенство
Е ||Л£ - Г/||2 = | ИЕ-Г^-дН2 + tr и^А*^"1 A)"U* ^ 5, ограничивающее сверху фактическую с.к. погрешность, является условием применимости модели [А, Е] для редукции измерения £ = = A' f + zv (q = Yr^/^A1 — А)/). Тогда вопрос о применимости модели [А, Е] для редукции сводится к выбору между гипотезой
И = {g, ||[/(Е-1/2^)-9ц2 ^ (V = 5 _ tr U^^AVU^
и альтернативой
/С = {g,|Д(Е-1/2А)-д||2 > 5'}
по наблюдению £. Если гипотеза верна, модель [А, Е] можно применить для редукции, в противном случае — нельзя. Но, наблюдая
S"1/2^ = (I - п)д + П(д + 5Г1/2Л/) + S"1/2^,
невозможно решить, содержится q в И или нет, если априори q — произвольный вектор. Действительно, q ЕН, если и только если Пд Е И, а распределение £ зависит от Пд только в комбинации Пд + Е-1/2А/, знание которой не позволяет определить Пд в силу произвольности /.
Надежность редукции с учетом дополнительных измерений. Понятно, что для возможности выбора между Н и /С на основе наблюдения £ необходимо, чтобы класс альтернативных моделей [А', Е] был не слишком обширным. В частности, при любом / должна быть связь между проекциями Пд и (I—П)^, обеспечивающая зависимость распределения статистики (I — П)Е-1/2£ от Пд.
Именно так обстоит дело в задаче редукции с дополнительными измерениями, когда модель «основного» измерения известна точно и вопрос о применимости полной модели для редукции касается только модели «дополнительных» измерений. В этом важном для практики случае вопрос о применимости модели фактически эквивалентен вопросу о том, что на самом деле несут дополнительные измерения для редукции основного измерения — информацию или дезинформацию. Это происходит потому, что, если исходить из фактической погрешности, в которой учтена ошибка в модели дополнительных измерений, то последние могут как уменьшать, так и увеличивать погрешность редукции основного измерения. В первом случае дополнительные измерения естественно назвать информацией, а полную модель считать
применимой для редукции. Во втором случае дополнительные измерения — дезинформация и соответственно полная модель неприменима для редукции.
Оказывается, что при некоторых условиях ответы на поставленные вопросы могут быть даны на основе анализа измерений. Такая возможность в свою очередь позволит ввести понятие надежности редукции.
Итак, пусть кроме измерений £ = Af + v дополнительно измерено £ = Bf + v. но, в отличие от модели [А, Е], точно соответствующей измерению £, модель измерения £ известна с ошибкой. Поэтому измерению
С = Af + V е тги, £ = Bf + ? е ^й (9.5)
условимся, что оператор А*Е гА невырожден. При этих условиях оператор R несмещенной редукции к U = I имеет видусловимся, что оператор А*Е гА невырожден. При этих условиях оператор R несмещенной редукции к U = I имеет вид
условимся, что оператор А*Е гА невырожден. При этих условиях оператор R несмещенной редукции к U = I имеет вид
условимся, что оператор А*Е гА невырожден. При этих условиях оператор R несмещенной редукции к U = I имеет вид
ЕЕгдегдеq = ^-1/\B-A)f.q = ^-1/\B-A)f.(9-8)(9-8)
Е
Е
где
где
q = ^-1/\B-A)f.
q = ^-1/\B-A)f.
(9-8)
(9-8)
\ДУ^-1У
= S-1(A*S-1; A*S-1) (9.6)
где~
S =+ АТ”1 А
— невырожденный оператор, и соответственно
R^ = S"4A*^"4 +=
= f + З^А*^1^ - А)/ + S-^A*^-1^ + А*^"1^)
— искомая редукция.
Следовательно, фактическая с.к. погрешность редукции записывается как
2~ ~
(9-7)(9-7)= IIS-M^"1/2^2 + trS"1,
(9-7)
(9-7)
Поскольку без учета измерения £ погрешность несмещенной редукции £ была бы равна tr (А*Е-1А)- , то будем говорить, что изме-
рение £ является информацией, еслиIIS-1!^-1/2^2 +trS"1 ^tr (А*Е-1А)“,рение £ является информацией, еслиIIS-1!^-1/2^2 +trS"1 ^tr (А*Е-1А)“,и дезинформацией — в противном случае.Задача в данном случае состоит в том, чтобы по наблюдению измерения I (9.5) проверить гипотезуи дезинформацией — в противном случае.Задача в данном случае состоит в том, чтобы по наблюдению измерения I (9.5) проверить гипотезу?/ = {g, ^"М^-Гг^р ^2 =tr(^*S"M)- -trS"i} (9.9)?/ = {g, ^"М^-Гг^р ^2 =tr(^*S"M)- -trS"i} (9.9)о параметре q = S 'ДВ — A) J распределенияо параметре q = S 'ДВ — A) J распределенияпри альтернативепри альтернативе/с = и, HS"1^-1/2^2 > «ру/с = и, HS"1^-1/2^2 > «руЕсли гипотеза верна, то измерение £ несет информацию о редукции измерения £, в противном случае — дезинформацию. Естественно счи-Если гипотеза верна, то измерение £ несет информацию о редукции измерения £, в противном случае — дезинформацию. Естественно счи-тать, что в первом случае модельтать, что в первом случае модельЛ\ /Е ОлМо ЕЛ\ /Е ОлМо Еприменима дляприменима дляредукции измерения ^^ , а во втором — нет.Вообще для определения свойств редукции измерения (9.5), осноредукции измерения ^^ , а во втором — нет.Вообще для определения свойств редукции измерения (9.5), основанной на моделиванной на модели^ 2^Л/ \° ^/^ 2^Л/ \° ^/, следует исходить из неравенства, следует исходить из неравенстваHS-i^E”1^^^ + tr S”1 < А < А = tr ^E’U)”,HS-i^E”1^^^ + tr S”1 < А < А = tr ^E’U)”,в котором величина А, определяющая оценку фактической погрешности редукции, может быть выбрана любой из промежутка А = = trS-1 ^ А ^ ^(Л^Е^'Л)- = А. Тем самым будет определено множествов котором величина А, определяющая оценку фактической погрешности редукции, может быть выбрана любой из промежутка А = = trS-1 ^ А ^ ^(Л^Е^'Л)- = А. Тем самым будет определено множествоЖ = {q: ||5-1Л*Е-1/2^|2 + tr s-i Д}(9.9*)Ж = {q: ||5-1Л*Е-1/2^|2 + tr s-i Д}(9.9*)таких q. при которых редукция измерения (9.5), основанная на модетаких q. при которых редукция измерения (9.5), основанная на моделилиЛДЛу’ V0ЛДЛу’ V00\Еу0\Еу, имеет погрешность, не превосходящую А. При, имеет погрешность, не превосходящую А. ПриА = А погрешность редукции будет такой же, как в случае точной модели; если же А = А, то учет дополнительного измерения q неА = А погрешность редукции будет такой же, как в случае точной модели; если же А = А, то учет дополнительного измерения q не
рение £ является информацией, если
IIS-1!^-1/2^2 +trS"1 ^tr (А*Е-1А)“,
рение £ является информацией, если
IIS-1!^-1/2^2 +trS"1 ^tr (А*Е-1А)“,
и дезинформацией — в противном случае.
Задача в данном случае состоит в том, чтобы по наблюдению измерения I (9.5) проверить гипотезу
и дезинформацией — в противном случае.
Задача в данном случае состоит в том, чтобы по наблюдению измерения I (9.5) проверить гипотезу
?/ = {g, ^"М^-Гг^р ^2 =tr(^*S"M)- -trS"i} (9.9)
?/ = {g, ^"М^-Гг^р ^2 =tr(^*S"M)- -trS"i} (9.9)
о параметре q = S 'ДВ — A) J распределения
о параметре q = S 'ДВ — A) J распределения
при альтернативе
при альтернативе
/с = и, HS"1^-1/2^2 > «ру
/с = и, HS"1^-1/2^2 > «ру
Если гипотеза верна, то измерение £ несет информацию о редукции измерения £, в противном случае — дезинформацию. Естественно счи-
Если гипотеза верна, то измерение £ несет информацию о редукции измерения £, в противном случае — дезинформацию. Естественно счи-
тать, что в первом случае модель
тать, что в первом случае модель
Л\ /Е ОлМо Е
Л\ /Е ОлМо Е
применима для
применима для
редукции измерения ^^ , а во втором — нет.
Вообще для определения свойств редукции измерения (9.5), осно
редукции измерения ^^ , а во втором — нет.
Вообще для определения свойств редукции измерения (9.5), осно
ванной на модели
ванной на модели
^ 2^
Л/ \° ^/
^ 2^
Л/ \° ^/
, следует исходить из неравенства
, следует исходить из неравенства
HS-i^E”1^^^ + tr S”1 < А < А = tr ^E’U)”,
HS-i^E”1^^^ + tr S”1 < А < А = tr ^E’U)”,
в котором величина А, определяющая оценку фактической погрешности редукции, может быть выбрана любой из промежутка А = = trS-1 ^ А ^ ^(Л^Е^'Л)- = А. Тем самым будет определено множество
в котором величина А, определяющая оценку фактической погрешности редукции, может быть выбрана любой из промежутка А = = trS-1 ^ А ^ ^(Л^Е^'Л)- = А. Тем самым будет определено множество
Ж = {q: ||5-1Л*Е-1/2^|2 + tr s-i Д}(9.9*)
Ж = {q: ||5-1Л*Е-1/2^|2 + tr s-i Д}(9.9*)
таких q. при которых редукция измерения (9.5), основанная на моде
таких q. при которых редукция измерения (9.5), основанная на моде
ли
ли
ЛД
Лу’ V0
ЛД
Лу’ V0
0\
Еу
0\
Еу
, имеет погрешность, не превосходящую А. При
, имеет погрешность, не превосходящую А. При
А = А погрешность редукции будет такой же, как в случае точной модели; если же А = А, то учет дополнительного измерения q не
А = А погрешность редукции будет такой же, как в случае точной модели; если же А = А, то учет дополнительного измерения q не
даст гарантированного увеличения точности редукции.
Вернемся к задаче проверки гипотезы (9.9) о параметре q распределения измерения ^^ . Обозначим П* ортогональный проектор в
~/ /Е--/2Л\ \
^п ф Н^ на R ( \Е ^/2А/ / '
/Е"1/2^ /E-V2^\ _ /E-V2^\х /E-V2^\
VE"1/2^ VE-V2^y - ^-i/2^J^E"1/2^
Поскольку оператор редукции R (9.6) удовлетворяет условию R = = ЯП*, в равенстве (9.7)
||S“1A*S“1/2q1|2 =||S“1A*S“1/2q1|2 =^-Г2лу /оУ-гму U^-Г2лу /оУ-гму U22S"1S"1С другой стороны,С другой стороны,£~1/2 ~ О О ^-V2£~1/2 ~ О О ^-V2и, следовательно, ортогональная проекция П;и, следовательно, ортогональная проекция П;не несет ин-не несет ин-формации о П* f ~j, поскольку распределение П;формации о П* f ~j, поскольку распределение П;зависитзависит/q\/е-'/Тй^/о\от П* ( только в комбинации р = ( g-i/2^) / + п4 д и в силу/q\/е-'/Тй^/о\от П* ( только в комбинации р = ( g-i/2^) / + п4 д и в силупроизвольности У Е Rm знание р не позволяет определить П* ^~J .Действительно, для любого q Е Rn найдется вектор / Е Rn , такой, чт0 \ sr1/2!^ = пДг Поэтомупроизвольности У Е Rm знание р не позволяет определить П* ^~J .Действительно, для любого q Е Rn найдется вектор / Е Rn , такой, чт0 \ sr1/2!^ = пДг ПоэтомуР =Р =где У — априори любой вектор Rm .Теперь информацию о n*f~j несет ортогональная проекциягде У — априори любой вектор Rm .Теперь информацию о n*f~j несет ортогональная проекция/у-1/2л\/гД/у-1/2 \(I - щ) ~_1/2| = и - щ) ^ + (I - щ) ~_х//у-1/2л\/гД/у-1/2 \(I - щ) ~_1/2| = и - щ) ^ + (I - щ) ~_х/на 7?,1"на 7?,1"E"V2E"V2(1-Щ)(1-Щ)0\q)0\q)А\ \А) УА\ \А) Упоскольку ее распределение зависит отпоскольку ее распределение зависит от, а между (/ - П*), а между (/ - П*)0\ч)0\ч)п 1°\и 11* I ~ I имеется связь.п 1°\и 11* I ~ I имеется связь.
||S“1A*S“1/2q1|2 =
||S“1A*S“1/2q1|2 =
^-Г2лу /о
У-гму U
^-Г2лу /о
У-гму U
2
2
S"1
S"1
С другой стороны,
С другой стороны,
£~1/2 ~ О О ^-V2
£~1/2 ~ О О ^-V2
и, следовательно, ортогональная проекция П;
и, следовательно, ортогональная проекция П;
не несет ин-
не несет ин-
формации о П* f ~j, поскольку распределение П;
формации о П* f ~j, поскольку распределение П;
зависит
зависит
/q\/е-'/Тй^/о\
от П* ( только в комбинации р = ( g-i/2^) / + п4 д и в силу
/q\/е-'/Тй^/о\
от П* ( только в комбинации р = ( g-i/2^) / + п4 д и в силу
произвольности У Е Rm знание р не позволяет определить П* ^~J .
Действительно, для любого q Е Rn найдется вектор / Е Rn , такой, чт0 \ sr1/2!^ = пДг Поэтому
произвольности У Е Rm знание р не позволяет определить П* ^~J .
Действительно, для любого q Е Rn найдется вектор / Е Rn , такой, чт0 \ sr1/2!^ = пДг Поэтому
Р =
Р =
где У — априори любой вектор Rm .
Теперь информацию о n*f~j несет ортогональная проекция
где У — априори любой вектор Rm .
Теперь информацию о n*f~j несет ортогональная проекция
/у-1/2л\/гД/у-1/2 \
(I - щ) ~_1/2| = и - щ) ^ + (I - щ) ~_х/
/у-1/2л\/гД/у-1/2 \
(I - щ) ~_1/2| = и - щ) ^ + (I - щ) ~_х/
на 7?,1"
на 7?,1"
E"V2
E"V2
(1-Щ)
(1-Щ)
0\q)
0\q)
А\ \
А) У
А\ \
А) У
поскольку ее распределение зависит от
поскольку ее распределение зависит от
, а между (/ - П*)
, а между (/ - П*)
0\ч)
0\ч)
п 1°\
и 11* I ~ I имеется связь.
п 1°\
и 11* I ~ I имеется связь.
9.2. Случай одномерного дополнительного измерения. Рассмотрим вначале случай, когда вызывающее сомнение дополнительное измерение одномерно, т.е.9.2. Случай одномерного дополнительного измерения. Рассмотрим вначале случай, когда вызывающее сомнение дополнительное измерение одномерно, т.е.илиили^ = b*f + v = a*f + (b-ayj + v,^ = b*f + v = a*f + (b-ayj + v,если воспользоваться матричными обозначениями,если воспользоваться матричными обозначениями,М/Л\~...,/=(■■), Ь* = №,...,ьт), Ьт/\fm/М/Л\~...,/=(■■), Ь* = №,...,ьт), Ьт/\fm/Корреляционный оператор Е в данном случае — оператор умно-Корреляционный оператор Е в данном случае — оператор умно-жения на дисперсию ст2 (9.8)жения на дисперсию ст2 (9.8)шума v. Поэтому в прежних обозначенияхшума v. Поэтому в прежних обозначенияхq = a-4b-aYfq = a-4b-aYfв данном случае — число. Далеев данном случае — число. ДалееПП5-v2a* Jд5-v2a* JдE-V2^\5-V25*)E-V2^\5-V25*)
9.2. Случай одномерного дополнительного измерения. Рассмотрим вначале случай, когда вызывающее сомнение дополнительное измерение одномерно, т.е.
9.2. Случай одномерного дополнительного измерения. Рассмотрим вначале случай, когда вызывающее сомнение дополнительное измерение одномерно, т.е.
или
или
^ = b*f + v = a*f + (b-ayj + v,
^ = b*f + v = a*f + (b-ayj + v,
если воспользоваться матричными обозначениями,
если воспользоваться матричными обозначениями,
М/Л\~
...,/=(■■), Ь* = №,...,ьт), Ьт/\fm/
М/Л\~
...,/=(■■), Ь* = №,...,ьт), Ьт/\fm/
Корреляционный оператор Е в данном случае — оператор умно-
Корреляционный оператор Е в данном случае — оператор умно-
жения на дисперсию ст2 (9.8)
жения на дисперсию ст2 (9.8)
шума v. Поэтому в прежних обозначениях
шума v. Поэтому в прежних обозначениях
q = a-4b-aYf
q = a-4b-aYf
в данном случае — число. Далее
в данном случае — число. Далее
П
П
5-v2a* Jд
5-v2a* Jд
E-V2^\
5-V25*)
E-V2^\
5-V25*)
и, в частности, согласно формуле (5.2)
S"1 = (А^'М)"1S"1 = (А^'М)"1а2 + a*(A*S-1A)-1aа2 + a*(A*S-1A)-1a(9.10)(9.10)
S"1 = (А^'М)"1
S"1 = (А^'М)"1
а2 + a*(A*S-1A)-1a
а2 + a*(A*S-1A)-1a
(9.10)
(9.10)
Пусть в первом равенстве (9.5) для простоты п = т т.е. размерность £ равна размерности /. Тогда статистика
/у-1/2/ у-1/2
г? = (/-Щ)| =(/-Щ) ~~(9.11)
/ /у-1/2д\ \ принадлежит одномерному подпространству ( у-1/2) в Нп ф Ку, единственный базисный вектор которого ei = ^-^ опре
деляется из условия ПД ~ I = ( q I , эквивалентного уравнению
А*Е“1/2ж + ст-^ж = 0.(9.12)
Ранее принятое соглашение о невырожденности оператора H*E L4 в силу равенства п = т эквивалентно невырожденности оператора А* в уравнении (9.12), что в свою очередь гарантирует существование и единственность его решения:
ж = —сг ^х^А*^ 1//2) га
относительно х при любом х.
Определим ж из условия нормировки ei:
1 = ||ei||2 = ж*ж + ж2 = 5-2ж2 а* (А* Е-1 Л)-1 а + ж2,(9.13)
согласно которому
ж = Д(52 + ^(Л^"1 Л)"1^1/2(9.14)
Теперь базисный вектор ei определен полностью, и можно найти (единственную) координату статистики ту (9.11):
= (Г -Д-) = ж*Е-1/2г/+ ж)?-1!? + д) (9.15)
где жиж определены равенствами (9.12) и (9.14) соответственно. Очевидно, ?7i имеет нормальное распределение с параметрами
Ещ = xq = aq^a2 + п*(Л*И-1 Л)-1а)-1^2,
Е (щ — Е щ)2 = ж*ж + ж2 = 1.
Наблюдая статистику щ, нам надлежит проверить гипотезу (9.9) о значении параметра q, согласно которой
р-^а-^П2 = WS^aW^q2 < d2.
Альтернативой является противоположное неравенство WS-1^-2^ >d2.
Поскольку согласно равенству (9.10)
S^a = (Л’ЛГ1 Лр'й Д—-—],
|_<т2 + а*(Л*£-1Л)-1а
то в рассматриваемом случае
п, _ Г5I51d(52+й*(Л*Е-1Л)-1й)1/2)
РЩз+сДЛ^-МЩа)1/2 II^S-M)-1^!J’
г _ /~o\q\8<d2 + гТЛ^-М)-1^)1/2 |
■ t^’f^2+ ЛЧЛ*Е-1Д)-1й)1/2 >||(Л*Е-1Л)-1Й||J"
(9.16)
В (9.9) d2 = IIM^-M)"1^!2/^2 + ^(Л^-М)"1^ (см. (9.10)). При этом правые части неравенств (9.16) равны единице. В общем случае Н и /С (9.16) следует заменить на Нд и /Сд соответственно (см. (9.9)). Для этого достаточно d в (9.16) заменить на (Д — tr S-1)1/2 , где Д — оценка фактической погрешности редукции; Д = tr S-1 Д tr (Л*^-1 Л)-1 = Д. Обозначим
d = 5щ(52 +5ДЛ*5Г1Л)-15)-1/2,
5 = d^ + а*(А*Е“М)“1а)1/2||(А*Е“1А)“1а||“1 = 1 (см. (9.9),(9.10)),тц = (|-^(S-1/2^)-^-1/2^)^2 +а*(Л*£"1Л)"1а)"1/2,
(9.17)
Анализ задачи проверки гипотезы о параметре распределения. Отвлекаясь на время от основной линии изложения, рассмотрим задачу проверки гипотезы
Н = {^,|^| <5}(9.18)
о параметре ^ G (—ею, ею) нормального распределения Ы^дД^ при альтернативе
/С = {tf, |^| > 5}(9.19)
на основе наблюдения щ ~ JV^, 1).
Эта простая задача поучительна во многих отношениях. Мы покажем, что для решения задачи нельзя построить равномерно наиболее мощный критерий, или, иначе говоря, не существует критической функции ф*(Д, удовлетворяющей условиям
sup E^Oi) O^e^l;
E^.Oi) = 8ир{Е#Д?71)|Д-), SUP Е^Дт/т) Д $ е К,, (9.20) веге
ограничивающим вероятность ошибочно отвергнуть гипотезу И числом е при наибольшей для каждого т) Е KL вероятности отвергнуть И, когда она и на самом деле неверна. Но в классе так называемых несмещенных критериев равномерно наиболее мощный критерий существует, равно как и в классе инвариантных критериев, [41].
Чтобы показать , что задача (9.18) — (9.20) неразрешима, сравним ее с задачей, в которой гипотеза и альтернатива заданы соответственно как множества
Hf = ^<5Y 1С' = {^>6}(9.21)
и на критическую функцию наложено ограничение
зпрЕ^^^щ) < е.(9.22)
В данном случае в силу абсолютной непрерывности распределений щ как при д Е Н', так и при $ Е К/ речь идет об определении критического множества 77| ^Фд)-1 ’) из условий
supP,^//! еР1\(Фо)-1
веб
РЛт етглдщ1) = sup рм етгдф')"1) (9.23)
для каждого ^ > 5.
х) (Ф7)-1— обозначение для множества принятия гипотезы Н', введенное в гл. 4.
Пусть i^i — частная гипотеза, di ^5, 1^2 ~ частная альтернатива, ^2 > 5. Наиболее мощный критерий, с вероятностью е отвергающий ^l, когда T]i ^ЛДД, 1), определяется критическим множеством
7^1\Фо 1 = {^ /Д,^2Д1) = Ьз^ж,^)/^,'#!)] > с},
где
1(х^2^1)=^2-^1)^№-^2)/2.
— логарифм отношения правдоподобия, с определяется условием j l(x, d±)dx =
/(ж,1?2 А)>с
Поскольку 1(х, ^2,^1) ~ монотонно возрастающая функция ж, найденный критерий на самом деле является равномерно наиболее мощным относительно всех альтернатив ^2 > S, так как критическое множество можно задать в виде
{ж > с'},
где с' определяется условием Р^г (771 > с') = в и не зависит от d2 > 5. Нетрудно проверить, что
с' = Д + Ф-1(1 — в), ж
где, как обычно Ф(Д = J exp(—t2/2)dt/V27r. Выберем Д = б. Тогда
8прРДщ > 5 + Ф-1(1 - Д) = Рб(т)1 > 5 + Ф-1(1 - Д) = в
и, следовательно,
тгДФо1 ДжхнфДМ}
— равномерно наиболее мощное критическое множество в задаче (9.21), (9.23). Мощность найденного критерия
Зо^ = Р^тц > 6 + ФЦ - е))(9-24)
— монотонно возрастающая функция d G (—сю, сю), равная е при d = 5. Точно такое же решение имеет задача проверки гипотезы
К" = ^d = 5}
при альтернативе
К” = ^d > 5} = Р^
(см. §2 гл.4). На рис. 5.9 представлено дискриминантное множество Р1-е, множество принятия гипотезы Ф-1(ф 1 — в), оценивающее множество Ф(ж0, 1 — е) надежности 1 — е, минимального размера для 771 = жо. Отсюда немедленно следует, что задача (9.16), (9.19), (9.20) неразрешима. В самом деле, в противном случае для альтернатив d > 5 ее решение должно совпадать с найденным
для задачи (9.21), (9.22) Д, а для альтернатив 19 > 5 — с решением «симметричной» задачи, в которой гипотеза определена как {19 ^ — д}. а альтернатива как {19 < — 5} .
Удовлетворить этим условиям одновременно, очевидно, невозможно, поскольку задача (9.21), (9.22) имеет единственное решение.
Обратим теперь внимание на то, что задача (9.18) — (9.20) обладает естественной симметрией относительно преобразований отражения 7^1. Действительно, пусть б — группа отражений 7^1 (ортогональных преобразований): х —> дх = = ±ж, х Е Ну. Распределение ^(19,1), 19 6 7^1, ^^-инвариантно Р^тц Е дВ) = Рд
Рис. 5.9. Дискриминантное множество Pl-е, множество Ф-1(ф 1 — Д принятия гипотезы 19 = § при альтернативе 19 > д и оценивающее множество ФДо, 1 — в) надежности 1 — еРис. 5.9. Дискриминантное множество Pl-е, множество Ф-1(ф 1 — Д принятия гипотезы 19 = § при альтернативе 19 > д и оценивающее множество ФДо, 1 — в) надежности 1 — е-м(щ 6 В), В Фу, дЕб, и, очевидно, дН = В, glC = К^ д G б. Следовательно, критическое множество б--м(щ 6 В), В Фу, дЕб, и, очевидно, дН = В, glC = К^ д G б. Следовательно, критическое множество б-sup РД|щ| > с) = Е.^<5sup РД|щ| > с) = Е.^<5(9.25)(9.25)инвариантного критерия можно определить, исходя из максимального б-инварианта Дж) = |ж|, х G Bi. В данном случае очевидно, что В1\Ф-1 = {х Е Bi, |ж| > с}, где с — решение уравнения
Рис. 5.9. Дискриминантное множество Pl-е, множество Ф-1(ф 1 — Д принятия гипотезы 19 = § при альтернативе 19 > д и оценивающее множество ФДо, 1 — в) надежности 1 — е
Рис. 5.9. Дискриминантное множество Pl-е, множество Ф-1(ф 1 — Д принятия гипотезы 19 = § при альтернативе 19 > д и оценивающее множество ФДо, 1 — в) надежности 1 — е
-м(щ 6 В), В Фу, дЕб, и, очевидно, дН = В, glC = К^ д G б. Следовательно, критическое множество б-
-м(щ 6 В), В Фу, дЕб, и, очевидно, дН = В, glC = К^ д G б. Следовательно, критическое множество б-
sup РД|щ| > с) = Е.
^<5
sup РД|щ| > с) = Е.
^<5
(9.25)
(9.25)
Поскольку sup в (9.25) достигается при 19 = ±5, с = с(Д — решение уравнения
1 — [ ехр(——) _ = 1 — Ф(с — 5) + Ф(—с — 5) = е. (9.26) J 2 у2тг
-с-5
Найденный критерий равномерно наиболее мощный относительно альтернатив |19| > 5 в классе б-инвариантных критериев. График его функции мощности /7(19) = РД|щ| > с(Д) приведен на рис. 5.10 .
Другой принцип, позволяющий разумно сузить класс критериев — принцип несмещенности, — состоит в том, что априори исключаются критерии, допускающие альтернативы 19 Е KL, при которых вероятность принять Н больше, чем в случае, когда Н верна. Именно таким свойством обладает критерий, определенный критическим множеством (9.24), функция мощности которого приведена на рис. 5.10,
Д Иначе критическая функция р* не определяла бы наиболее мощный критерий для 19 > д.
Рис. 5.10. Функции мощности 1 — (3(-д) = Е^р', —сю < й < сю, 3(5) = е для задачи, в которой гипотеза и альтернатива определены равенствами (9.21); 2 — 3(й) = = Е^Д', —сю < й < сю, Р(—5) = = е , для «симметричной» задачи, в которой Л" = {17— 5}, Кн =
= {17 < — 5}. Пунктирной линией показана функция мощности равномерно наиболее мощного Q -инвариатного критерия задачи (9.18)-(9.20)
если его рассматривать применительно к задаче (9.18)—(9.20). Действительно, для альтернативы 17 < — 5 вероятность принять гипотезу (9.18) больше, чем в случае, когда гипотеза Л верна, т.е. |17| ^ 5.
Класс несмещенных критериев выделяется следующим условием на критическую функцию (р:
inf Е w(t]i) sup Е ^(т]1) = е,(9.27)
если речь идет о рандомизированных критериях. Если, как в рассматриваемом случае, критерий можно задать критическим множеством 7?,i\Ф-1, то условие (9.27) примет вид неравенства
inf РДщ е РДФ-1) > sup РДщ Е РДФ-1) = е,
или11
sup РДщ Е Ф ) < inf РДщ Е Ф ) = 1 - е, (9.28)
Буквальный смысл условия (9.28) состоит в том, что вероятность принять гипотезу Л, когда она верна , не меньше, чем вероятность принять Л ошибочно, когда верна любая из альтернатив $ Е Л.
В нашем случае в силу непрерывности вероятности РДщ Е Ф-1) как функции 17 Е (—сю, сю) условие (9.28) влечет равенство
Pg^i € ф-1) =€ ф-1) = 1 - £
(в граничных точках Л и Л). В противном случае, если, скажем,
Шег^рд^ег1),
то в силу непрерывности Р^(т]\ Е Ф-1) это неравенство выполнено и в близких к граничным точка Л и Л, что приведет к нарушению условия (9.28). Следовательно, несмещенное множество принятия гипотезы Л, равномерно наиболее мощное относительно 17 0 [—5,5], в нашем случае определяется условиями
РМ е Ф"1) = Р-5(т е ф-1) = I -
P-o^i G Ф ') ~ min для каждого 0 [—б,5]. Пусть = ^0 < — б фиксировано. Согласно лемме Неймана — Пирсона (см. §2 гл. 4) для этого i^o наиболее мощное Ф^1 следует искать в виде
фоХ =ехр(-1(ж-^0)2)
Ai ехр^—-(ж — 5)2^ + Аг ехр^— -(ж + 5)2^ }. (9.29)
где Ai и А2 должны быть определены из уравнений
Р^(т €Фо1)|й=±<5 = 1-е.(9.30)
Если в равенстве (9.29) Ai ^ 0, А2 ^ 0, то его можно записать в виде
Фо 1 = {ж, щ < х < с2};(9.31)
если Ai > 0, А2 < 0 или Ai < 0, А2 > 0, то соответственно как Ф^"1 = = {ж ^ щ} или как Ф^"1 = {ж ^ С2} . Однако в этих случаях невозможно удовлетворить условию (9.30). Поскольку случай Ai < 0, А2 < 0 невозможен, остается только представление (9.31) и условие (9.30)
С-2С2±дС-2С2±д
С-2С2±д
С-2С2±д
определяющее Ф^1 и не зависящее от $q.
Поскольку в (9.32) сдвиг области интегрирования [ci,C2] на ±5 приведет к равным интегралам, области [щ + 5, С2 + 5], [щ — ф С2 — 5] должны быть симметричны относительно х = 0, так что — щ = С2 = = с, где с = с(е) — корень уравнения
Ф(с — б) — ф( —С — б) = 1 — £, совпадающего с уравнением (9.26).
Итак, как среди Q — инвариантных, так и среди несмещенных критериев задачи (9.18) — (9.20) имеется равномерно наиболее мощный. Его критическое множество имеет вид
^i/^o1 = {|ж| > с(е)}, где с(е) — корень уравнения (9.26).
а (771) = inf sup /а (771) = inf sup /Верхняя и нижняя надежности редукции. Рассмотрим теперь вопрос о надежности гипотезы (9.18) при альтернативе (9.19). По определению, верхняя и нижняя надежности равны соответственно
а (771) = inf sup /
а (771) = inf sup /
ехр ( — 2 (ж — ^)2 у ^ж/^2тг,
1\
exp I — -(х — 191 )2 ) dx/V^ir
Р = {ж, ж(#2 - ^i)- ^i)}-
Поскольку
J exp ^— ^(х — i9i)2^ dxjV^K = J exp^—^z2^dz = I(D*)1
Т)Тц
где D* = {г, (г + i9i)(i92 - 19J > щ(192 - 19J}, то
х ГФ(щ+5), d2 <-5,
|Щ|^£1Ф(”^1+^)? ^2 > 5,
и, следовательно, а(щ) = Ф(5—li/il). С другой стороны, inf ЦТ)*) = |^2|>5
= Ф(—[щ — 1911) и соответственно
В данном случае верхняя и нижняя надежности не совпадают.
Если исходить из равномерно наиболее мощного несмещенного критерия, то надежность TL (9.18) при К, (9.19) равна
a*Oi) = inf{e||?7i| > с(е)} = 1 - Ф(Ы - 5)+
+ Ф(~Ы - 5) = (1 - Ф(Ы + 5) + Ф(~Ы + 5))-
Очевидно, что «(тут) ^ «(??1) ^ а*^). Рассмотрим распределение надежности
— |Т71|—5оо
/
/ 1 \Г/ 1 \
ехр ( — -t2 1 dtlV^K-V exp ( --t2 XdtlV^K. (9.33)
-OO1^11—5
Пусть 0 < z < 1. Определим функцию s(z) так, чтобы
Поскольку левая часть этого равенства непрерывна и монотонно убывает при 0 ^ s < оо от 1 до 0, то s(z)^ 0 < z < 1, — непрерывная монотонно убывающая функция. При этом для 0 < z < 1
Ро^а*^!) < z) = Дз(|??1| > s(^)),
и если г/1 ~Л/"(±5,1), то надежность «*(771) равномерно распределена
на [0,1]. Действительно, в этом случаена [0,1]. Действительно, в этом случае-ф)Т<5-ф)Т<5Z.Z.Для произвольного $Для произвольного $Р^а-Лт) < zР^а-Лт) < z— S^z)—^СЮ// 1 \Г/ 1 \exp I —-ж2 Mx/V2tt+ / exp I — -ж2 I dx/V^x\ ^/J \ ^ /— ОС8^—^— S^z)—^СЮ// 1 \Г/ 1 \exp I —-ж2 Mx/V2tt+ / exp I — -ж2 I dx/V^x\ ^/J \ ^ /— ОС8^—^ИИАР^аЛУ) < 4 _ ехр(-|(фуН^)2Н ехрС-|(ф^^АР^аЛУ) < 4 _ ехр(-|(фуН^)2Н ехрС-|(ф^^Azexp(-|(s(z) + J)2) + exp(-|(s(^) — J)2)Azexp(-|(s(z) + J)2) + exp(-|(s(^) — J)2)Поскольку s^ -4- 0 при <4 1 и 8^ -4- сю при z —> 0, то при г -4 1Поскольку s^ -4- 0 при <4 1 и 8^ -4- сю при z —> 0, то при г -4 1
на [0,1]. Действительно, в этом случае
на [0,1]. Действительно, в этом случае
-ф)Т<5
-ф)Т<5
Z.
Z.
Для произвольного $
Для произвольного $
Р^а-Лт) < z
Р^а-Лт) < z
— S^z)—^СЮ
// 1 \Г/ 1 \
exp I —-ж2 Mx/V2tt+ / exp I — -ж2 I dx/V^x
\ ^/J \ ^ /
— ОС8^—^
— S^z)—^СЮ
// 1 \Г/ 1 \
exp I —-ж2 Mx/V2tt+ / exp I — -ж2 I dx/V^x
\ ^/J \ ^ /
— ОС8^—^
И
И
АР^аЛУ) < 4 _ ехр(-|(фуН^)2Н ехрС-|(ф^^
АР^аЛУ) < 4 _ ехр(-|(фуН^)2Н ехрС-|(ф^^
Azexp(-|(s(z) + J)2) + exp(-|(s(^) — J)2)
Azexp(-|(s(z) + J)2) + exp(-|(s(^) — J)2)
Поскольку s^ -4- 0 при <4 1 и 8^ -4- сю при z —> 0, то при г -4 1
Поскольку s^ -4- 0 при <4 1 и 8^ -4- сю при z —> 0, то при г -4 1
и при г —> О
РаЛ^ ~exps(tf-5) ->РаЛ^ ~exps(tf-5) ->О < а < 8,О < а < 8,5 < 0 < сю.5 < 0 < сю.
РаЛ^ ~exps(tf-5) ->
РаЛ^ ~exps(tf-5) ->
О < а < 8,
О < а < 8,
5 < 0 < сю.
5 < 0 < сю.
Итак, если d = ±5, надежность аДщ) (9.33) распределена равномерно на [0, 1]; если верна гипотеза Н (9.18) и |^| < д. то надежность принимает значения, преимущественно близкие к единице, с тем большей вероятностью, чем меньше |^|; если верна альтернатива /С, то надежность будет принимать значения, преимущественно близкие к нулю, причем с тем большей вероятностью, чем больше |^|. Для любого d ^ [—5,5] плотность распределения надежности не ограничена в нуле, а для — 5 < О < 5 — равна нулю в нуле (рис. 5.11 ).
Распределения верхней «(щ) и нижней ^(щ) надежностей могут быть изучены вполне аналогично. Например, для функции распределения верхней надежности найдем: Р^(а(тр?) < z) = РД|?71| > 8(^^ где s(-) — неотрицательная функция, определенная и монотонно убывающая при 0 < г ^ Ф(5) согласно условию г = Ф(5 — ^(г)). Очевидно, s(z) -4- сю, если z —> 0; ДФ(5)) = 0 и Р^(а(т]1) < г) = 1, если Ф(5) < z ^ 1. Для плотности распределения «(771) получим
Рис. 5.11. а) Плотности распределений надежности (9.33) при различных значениях |#|/£; 6) функции распределений F^(-) надежности (9.33). ЕслиРис. 5.11. а) Плотности распределений надежности (9.33) при различных значениях |#|/£; 6) функции распределений F^(-) надежности (9.33). Если
Рис. 5.11. а) Плотности распределений надежности (9.33) при различных значениях |#|/£; 6) функции распределений F^(-) надежности (9.33). Если
Рис. 5.11. а) Плотности распределений надежности (9.33) при различных значениях |#|/£; 6) функции распределений F^(-) надежности (9.33). Если
§ = 1, то дополнительное измерение £, понимаемое как a* f + и. является
I jnf F$(a*)/F$/ (a*) = F(ou)/ou ^2;I jnf F$(a*)/F$/ (a*) = F(ou)/ou ^2;информацией, когда |^| ^ 1, и дезинформацией — в противном случае. Надежность а* ^ zi гипотезы |о/| ^ 1 можно считать высокой для альтер
I jnf F$(a*)/F$/ (a*) = F(ou)/ou ^2;
I jnf F$(a*)/F$/ (a*) = F(ou)/ou ^2;
натив 1 < |^| ^ 3, поскольку при этом
надежность а* ^ Xf^ гипотезы |^х | ^ 1 можно считать высокой для всех альтернатив, поскольку sup inf F&(a*)/F&i (а*) = F^(a*)/а* ^ 2; на- |^|>i 1^' I i
конец, надежность a* > ^2 можно считать высокой для любой частной гипотезы 0,5 ^ |^z| ^ 1 и любой частной альтернативы 1 < |^| ^ 3. Если § < 1, то речь идет о гарантированном уточнении редукции при учете измерения ^
выражение
рЩ) = dP» (a(pi) <z) /dz =
= exp= exptf2 -52\2 /tf2 -52\2 /[exp(—s^)^ + 5)) + exp(s(^)(^ — 5))],[exp(—s^)^ + 5)) + exp(s(^)(^ — 5))],
= exp
= exp
tf2 -52\
2 /
tf2 -52\
2 /
[exp(—s^)^ + 5)) + exp(s(^)(^ — 5))],
[exp(—s^)^ + 5)) + exp(s(^)(^ — 5))],
из которого следует, что при г —> 0 : р^(г) —> 0, если |^| < д: р^(г) —> сю, если |^| > г, а при d = ±5 Р*^^ 1- На рис. 5.12, а представлены зависимости р^(г), 0 < г < 1 при различных б Е (—сю, сю).
На рис. 5.12, б приведены графики соответствующих функций распределения. Здесь же представлены графики функций распределения нижней надежности а(771), испытывающие скачки при г = 1/2. Вернемся к уравнению (9.12), полученному в связи с построением / /Е-1//2Л\ \
ортонормированного базиса Pt^ ( ( у1/2^/ / ’ И РассмотРим слУчай, когда dim 7tn > dim 7tm. При этом для любого х оно будет иметь не единственное решение. Обозначим ж^,...,ж^ ортонормированную
Рис. 5.12. а) Плотности р^(') распределений a(j)i) при различных значениях параметра i^ G (—сю, сю); р'^(z) = 0 при Ф(5) ^ z ^ 1, — сю < б < сю; dp^{z)/dz -4- сю при z -4 0, |^| > д: б^ функции распределения F^(z) = = Р^(а(т]1) < z), 0 ^ z ^ 1, при различных значениях параметра б 6 (—сю, сю): а — при |^| > 5 3 — при |i^| = J, д — при |^| < 5. Для нижРис. 5.12. а) Плотности р^(') распределений a(j)i) при различных значениях параметра i^ G (—сю, сю); р'^(z) = 0 при Ф(5) ^ z ^ 1, — сю < б < сю; dp^{z)/dz -4- сю при z -4 0, |^| > д: б^ функции распределения F^(z) = = Р^(а(т]1) < z), 0 ^ z ^ 1, при различных значениях параметра б 6 (—сю, сю): а — при |^| > 5 3 — при |i^| = J, д — при |^| < 5. Для нижГР»(а(т71) < г), 0 ^ z ^ 1/2, 11,1/2 < г ^1ГР»(а(т71) < г), 0 ^ z ^ 1/2, 11,1/2 < г ^1ней надежности F^^ = РДо(щ) < z) =
Рис. 5.12. а) Плотности р^(') распределений a(j)i) при различных значениях параметра i^ G (—сю, сю); р'^(z) = 0 при Ф(5) ^ z ^ 1, — сю < б < сю; dp^{z)/dz -4- сю при z -4 0, |^| > д: б^ функции распределения F^(z) = = Р^(а(т]1) < z), 0 ^ z ^ 1, при различных значениях параметра б 6 (—сю, сю): а — при |^| > 5 3 — при |i^| = J, д — при |^| < 5. Для ниж
Рис. 5.12. а) Плотности р^(') распределений a(j)i) при различных значениях параметра i^ G (—сю, сю); р'^(z) = 0 при Ф(5) ^ z ^ 1, — сю < б < сю; dp^{z)/dz -4- сю при z -4 0, |^| > д: б^ функции распределения F^(z) = = Р^(а(т]1) < z), 0 ^ z ^ 1, при различных значениях параметра б 6 (—сю, сю): а — при |^| > 5 3 — при |i^| = J, д — при |^| < 5. Для ниж
ГР»(а(т71) < г), 0 ^ z ^ 1/2, 11,1/2 < г ^1
ГР»(а(т71) < г), 0 ^ z ^ 1/2, 11,1/2 < г ^1
систему решений уравнения
Л*5Г1/2ж = О, образующую базис
M^S"1^) = ^(S-1/2^), s = dimM^S-1^).
Тогда общее решение уравнения (9.12) при заданном х можно записать в виде
х = — а^х^Л^УТ^^-а + У^ CjXp(9.34)
где коэффициенты щ,..., cs следует подчинить условиям ортогональностип
(xj, х) = 0, ] = 1,..., s,
и нормировкио
ж*ж + ж2 = 1.(9.35)
Однако для любого вектора а векторЕ 'RtJL-1^2А) )
и, следовательно, ортогонален векторам х^...,х^ из 7^±(И-1/2Л).
Поэтому в равенстве (9.34) Cj = 0, j = 1,..., s,
ж = —a ^(А*^ 1//2) а,где согласно условию нормировки (9.35)
Таким образом, найден ортонормированный базис
е /-[p^-1^)-^!2 + s2]"1/2(a*s-v2)-5\
е'\ [iiGrs-v^-^ + s2]"1/2?)’
/~о\
е2 I Qер+1 \ 0 /
Но среди р + 1 координат статистики ту (9.11) только первая
£-[(A*S-V2)-5]*E-V2£
41 = (4,61) = -у =
[||(Л*Е-1/2)-й||2 + ?2]1/2
_ X- (^(S-VM)-^-1/2^ _ oq^r ? - (a, S-VM)-^-1/2^)
” [||(M*S-V2)-a||2 + 5F2]V2 -[||(^s-i/2)-a||2 + ^j1^
имеет распределение, зависящее от q. Это нормальное распределение с математическим ожиданием
к??! = ^(цл^-1/2)-^!2 + аД-1/2
и дисперсией, равной единице, т.е. статистика щ совпадает с найденной ранее статистикой (9.15)). Остальные координаты щ = (щ,ту), г = = 2,... ,р + 1, независимы в совокупности, нормальны Л/(0,1) (каждая) и не нужны для решения задачи проверки гипотезы. Следова
тельно, этот случай ничем не отличается от предыдущего.
го уточнения редукции измерения £ = Af + и. если моделью до-полнительного измерения £ является [А, Е], а моделью измеренияе 2о Его уточнения редукции измерения £ = Af + и. если моделью до-полнительного измерения £ является [А, Е], а моделью измеренияе 2о Е~ | — соответственно М~ | — соответственно МАЛАГАЛАГ. При выбранном в. При выбранном вявляется надежявляется надежПодводя итог, можно сказать, что вероятность «*(ту1) = = а ^^’ А, ^^ ошибочно отвергнуть гипотезу (9.9*), по существу, следует интерпретировать как надежность гарантированно
го уточнения редукции измерения £ = Af + и. если моделью до-полнительного измерения £ является [А, Е], а моделью измеренияе 2о Е
го уточнения редукции измерения £ = Af + и. если моделью до-полнительного измерения £ является [А, Е], а моделью измеренияе 2о Е
~ | — соответственно М
~ | — соответственно М
АЛ
АГ
АЛ
АГ
. При выбранном в
. При выбранном в
является надеж
является надеж
(9.9*) значении параметра А = А а
ностью того, что измерение £ можно считать информацией, приписав ему модель [А, Е]. Если величина А, определяющая оценку погрешности редукции Я(Мд~) , выбрана произвольно из интервала
[А, А], то a , A, Mj — надежность того, что погрешность редукции R(M) ^^ не превзойдет А, или, короче, — надежность редукции R(M) ^^ с гарантированной точностью, определенной параметром А.
Эти результаты составляют основу диалогового режима интер
претации измерений, аналогичного рассмотренному в заключении §8. Отличие в данном случае состоит в том, что исследователь, высказывая собственную версию, интересуется не тем, насколько она
согласуется с результатом измерения, а тем, позволит ли она уточнить значения параметров исследуемого объекта, с какой надежностью и насколько.
Случай произвольного дополнительного измерения. Рассмотрим в заключение общий случай произвольного дополнительного измерения в (9.5). Для решения задачи проверки гипотезы (9.9*) /Е —1/2Л\
построим ортонормированный базис ИЛ ( Е'^Л/
Для этого, исходя из решений уравнения
Л*Е"1/2ж +^*5-172^ = 0,(9.36)
найдем ортонормированные векторы т)
(9.37)
где k = сНтЛ’ДЛ’Е Г2), {ж} — специально выбранный ортогональный базис Af±(A*E-1/2). К ним добавим ортонормированные векто
рыры(9.38)(9.38)
ры
ры
(9.38)
(9.38)
где ж^+1, ..., ж^+р — ортонормированный базис АГ^А*^ т/2), р = = dim^(Л*E_1/2), k-Vp = n 2).
Наконец, добавим еще ортонормированную систему векторов
ок-\-р-\-зоок-\-р-\-зо(9.39)(9.39).о к-^-р-Н о
о
к-\-р-\-з
о
о
к-\-р-\-з
о
(9.39)
(9.39)
х) Это векторы, удовлетворяющие уравнению П* (-") = 0, г = 1,... Д.
ЛД(ЛЧГ1/2) = 7г(Е“1/2Л), ЛДЛ*Е-1/2) = ^(Е”1/2!), поэтому к + р = dim Rn = п.
где ж^+ +1,..., x^+j9+s образуют ортонормированный базис
ЛДГЕ"1/2) = Я-Щ-ГМ), 8 = айпАДТЕ-1/2) =
= dim77n — dim7^m = п — т.
Рассмотрим векторы (9.37). По условию
Xi = -(А*Е"1/2)-А*Е-1/2^ + ^ сух® (9.40)
J=A;+p+l
— общее решение уравнения (9.36), если ж = ж^, г = 1,..., к. Матрицу {о?} определим из условия ортогональности вектора (9.37) векторам (9.39):
(хух®) = -((А*Е"1/2)"х®) + cit = 0,t^k-Vp-VA-^.^k-Vp-Vs^ г = 1,... .к.
Поскольку
(А*Е"1/2)"А*5"1/2ж4 е ?г(Е“1/2А) = ^(А^-ГЗ),=
ах® б^А*^-1/2), f = fc+p+l, ...,&+p + s,
то в (9.40) с^- = 0 для г = 1,..., к, j = &+ р+1,...,А:+р + 5. Чтобы система векторов (9.37) была ортонормированной, должны быть выполнены условия
f Xq^\ / X 4 \~_Г 1, Z = 7,
\Хг) \XjJ г J г J J [0,
= ((Л*^-1^)-^^-1^^^ (Л^-1/2)"!^"1/2^) + ^х^х-у (9.41)
Выберем в качестве жх,..., ж^ систему ортогональных собственных векторов самосопряженного оператора
5-1/2A(A*S-1A)-A*5-1/2$i = д^ху 1 = 1,...,^.(9.42)
Чтобы удовлетворить условиям (9.41), следует положить
||ж4||2 = (1 + 52)"1, г = 1,...,к-
Ортонормированные системы (9.38) и (9.39) взаимно ортогональны и ортогональны системе (9.37). Следовательно, ортонормированный
/ /у _|/2 л\ \
базис ( ^-1/2^) ) постРоен-
х) Очевидно, JV(Q) = ^(Л*!!-1/2), поэтому Jf > 0, г = ^к = = dim^^E-1/2).
Рассмотрим координаты статистики
/у-1/2л\/у-1/2\
в этом базисе:
Pt = ($i, S"1/2I/) + (Xi, q + Е-1/2^, i = 1,..., k,
Pj = (x°,q + S-1^2^), j = k + l,...,k +p,
Pt = (ж°, Е-1/2Д t = k+ p+l,...,k+p + s.
Они независимы в совокупности, нормальны, но от q зависит распределение только статистик 771,..., Т]к^_р . С другой стороны, квадратичная форма ||S-1 Л*Е-1/2д]|2 , значения которой определяют включения q Е К и q Е %, зависит только от (a^q), г = 1,...Д. Действительно, вектор A*IL-1^2q определяется только составляющей q в .Vх(Л*Е-*/2). т.е. ортогональной проекцией q на Af±(A*E-1/2), равной
к52^(д,^)/||ж4||2,г=1
и соответственно
к
г=1 к
= ^ (1 + ^)(! + S^^A^^^Xi, i,j=l
к
ЛЛ ОлМо ЕЛЛ ОлМо ЕМ = 1
ЛЛ О
лМо Е
ЛЛ О
лМо Е
опреопреОтсюда следует, что надежность модели
опре
опре
деляется статистиками 771,..., щ+р , а надежность редукции, основан-
ной на той же модели, — статистиками 771,..., 77^ . Поэтому при опре
делении надежности редукции в нашем распоряжении информации меньше, чем при определении надежности модели. Заметим, что, по
скольку
Чь • ■ •, Рк+р ~ М(((д, Ж1),..., (q, жА+р))*, diag (1,..., 1)),
то инвариантный тест для проверки гипотезы q = 0 (модель верна) при альтернативе q ф 0 (модель неверна) должен быть основан на статистике т = 772 + ... + 77^+j9, аналогичной (8.3). Если модель верна (неверна), т имеет центральное (нецентральное) %-квадрат распределение с к + р степенями свободы.
Речь, таким образом, идет о задаче проверки гипотезы (9.9)
к
% = {д, 52 ьц^Лз Л}
М = 1
1 00 11 00 1по наблюдению статистики £ = (771,..., 77Д* , нормально распреде
1 0
0 1
1 0
0 1
ленной согласноленной согласноо оо о0\ о \ . Обозначим g ортого-
ленной согласно
ленной согласно
о о
о о
1/
нальную проекцию q на АГ^А*^ 1//2), тогда Н = {g,(Lg,g) ^ d2}, где L = Е-1/2AS-2Л*Е-1/2 , и £ ~Af(g, I). Рассмотрим кратко вопрос о нижней и верхней надежностях Н. Если go ЕН, gi ^ ^, то согласно равенству (4.17) гл. 4 надежность гипотезы д = до при альтернативе
9 = 91 равна
«90,91(0 = Ф(-«-90,91 -9о)/||91 -9о||).
Следовательно, для отыскания верхней и нижней надежностей требуется проанализировать функцию
^(9о,91) = ^ 90,9190\ д0 еН, gi ^ Я, (9.43)
1191 - 9о||
Очевидно, sup ^(д0,9i) = ПС - 9о|| и достигается при дх - д0 = = М(С - 9о), V > 0. Поэтому
inf sup t^g^gO = L’’(9.44)
причем, если £ E H, то sup достигается на go = С а в противном случае — на до = По С где П(Д проекция £ на границу Н.
Для отыскания По С рассмотрим выпуклую задачу на минимумinf{||C-9o||2|9o, Д9о,9о)с?2}-
Если (£ф £) > d2, то ее решение имеет вид до = (AL + /)-1£, где множитель Лангража А ^ О определяется как корень уравнения (L(XL + + /)-1ф (^ + /ДД) = d2. Это уравнение однозначно определяет А = Ао > 0, поскольку его левая часть при изменении А от 0 до ею принимает все значения в промежутке 0 4- ^L^ Д > d2 .
«(С) =«(С) =Итак, согласно равенствам (9.44) нижняя надежность дается ра-
«(С) =
«(С) =
Ф(0) = 1/2, С ЕН, ф(-|К-ПоС)||), U^t.
Чтобы отыскать верхнюю надежность, требуется найти inf t^(go,gi) = p(Ct9i) для функции (9.43). При этом проще goET-L
всего исходить из поверхностей уровня t^: {до, t^(go,gi) = = const}, рассмотренных в §3 гл.4. Речь идет о поверхностях
Рис. 5.13. а) (ЕН, до — точка минимума t^ (qo, gi), до ЕН; sup t^go^gi) 91 Wдостигается на любом gi, лежащем на нормали к границе И, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^НРис. 5.13. а) (ЕН, до — точка минимума t^ (qo, gi), до ЕН; sup t^go^gi) 91 Wдостигается на любом gi, лежащем на нормали к границе И, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^Н
Рис. 5.13. а) (ЕН, до — точка минимума t^ (qo, gi), до ЕН; sup t^go^gi) 91 W
достигается на любом gi, лежащем на нормали к границе И, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^Н
Рис. 5.13. а) (ЕН, до — точка минимума t^ (qo, gi), до ЕН; sup t^go^gi) 91 W
достигается на любом gi, лежащем на нормали к границе И, проходящей через £ и П0^; б) конфигурация, иллюстрирующая решение в случае С, ^Н
Г = НС - gill cosy? + const, где г = Ц91 - 90II, У — угол между векторами ^ — gi и gi — до - Если С ЕЯ, то inf t3go,gi) достигается доЕН
в ближайшей к gi точке касания границы Н и поверхности t^go^g^ = const. В этом случае sup р^д^ достигается, когда 91 W
gi лежит на нормали к границе И, проходящей через £ Е Н и ближайшую к £ точку поверхности И. Обозначим последнюю П0^, тогда sup inf t^go^gi) = —1|£ — П°£||. Чтобы найти П°£ рассмотрим д^НЗоЕН
задачу на минимум inf {11С — ^о 111^о 5 (Е#о5 Ро) ^ cP }. Ее решение дается равенством до = П0^ = (/ — АЕДД. где множитель Лангража А = А0 > 0 — корень уравнения (L(I — XL)^[ Q (I — АЕ)-Д) = d2, на котором минимально расстояние |Д — У — ^^) ^Н•
Пусть теперь £ ^LH. inf Д(дщд1) опять достигается в точке ка- доЕН
сания границы Н и поверхности t^go^gi) = const при минимальном значении const = Дщ, Д. В свою очередь
sup Цд-ьС) = lim Д(П0С,£1) = ||< — По<||,
где предел вычисляется при щ —>- £ вдоль прямой, соединяющей ( и По С со стороны По С- Отсюда следуют равенства, определяющие верхнюю надежность
«^ = |«^ = |ф(1К-п°(||),
«^ = |
«^ = |
ф(-1К-По<;||), ия.
На рис. 5.13 показаны конфигурации, поясняющие отыскание верхней надежности. Дальнейшие исследования проблемы надежности интерпретации выполнены в работах [64, 66-68]. См. также [46], где дана теоретико-возможностная интерпретация надежности.
Глава 6
Линейная редукция измерений при наличии дополнительной информации
Модель [А, Е], изученная в предыдущей главе, во многих случаях не отражает полностью все, что известно о законе формирования £ и, в частности, о сигнале /. В первом и втором параграфах этой главы будут рассмотрены задачи редукции при наличии дополнительной информации. В остальных параграфах рассмотрены задачи уточнения модели измерительной компоненты ИВ С. В третьем параграфе рассмотрены задача редукции измерения для случайной модели и задачи уточнения последней и показано, что при достаточно полной информации о вероятностных свойствах модели, входных сигналов и шума обе задачи могут быть решены в рамках единой процедуры статистического оценивания. В четвертом параграфе задачи редукции и уточнения модели рассмотрены при условии, когда вероятностные свойства представленны несколькими моментами. В последнем пятом параграфе рассмотрены задача уточнения параметов модели и связанная с ней задача прогноза измерения.
Редукция схемы измерения случайного вектора. Качество модели
Редукция для модели [A, F^ Е]. Предположим, что кроме операторов
А 6 (Ет —> Еп) и Ее (Еп —> Еп) относительно схемы измерения
^ = AI + v(1.1)
известно, что / — случайный вектор Ет с заданным математическим ожиданием Е / = 0 и корреляционным оператором F [4]. Речь идет о модели [A, Е Е] схемы измерения (1.1). Рассмотрим задачу редукции
схемы измерения (1.1) к виду
^^UfFVv,(1.2)
где
U 6 (Rm —> R^) и V Е (Rn —> R^)
— заданные операторы, первый определяет модель прибора, который требуется исследователю, второй должным образом трансформирует шум. Как обычно, ту можно интерпретировать как искаженный шумом Vv выходной сигнал U f прибора U, на вход которого поступил сигнал /. Аналогичная задача для модели [А, У] рассмотрена в §2 гл. 5, но теперь / — случайный вектор Rm с известными моментами 1-го и 2-го порядков.
В данном случае речь идет о задаче определения преобразования
R =RE (Rn —Rk)
из условия
Е II Л е - ч1|2 = tr [(Я А - U)F(R А - uy+
+ (R-УДО -У)*] = minE ||Де - 77Ц2, (1-3)
позволяющего считать R £ наиболее точной в среднем квадратичном версией ту в классе всех линейных функций £. Условие минимума (1.3)
R (AFA* + У) = UFA* + КУ(1.4)
разрешимо относительно R при любых операторах U и V. Действительно, если
Q = AFA* + У,
Т°
Эти включения гарантируют разрешимость уравнения (1.4), всякое его решение можно записать в виде [6]
R = (UFA* + V^Q- + Z(I - QQ-),(1.5)
где Z — некоторый оператор. Погрешность Е || R £ — ту||2, очевидно, от Z не зависит, и в дальнейшем будем считать, что Z = 0. Соответственно искомую редукцию измерения (1.1) запишем в виде
R^ = (UFA*(1.6)
Если V = 0, то задача (1.3) превращается в задачу редукции измерения (1.1) к прибору U. Эта задача для U = I рассмотрена в § 5 гл. 1 как задача уточнения / на основе измерения £. Обычно
U измеряет параметры объекта, причем до измерения, как известно, наиболее точная версия Пф равна U"E ф = 0, а после измерения1) —
Ru ^UFA*Q-^.(1.7)
В данном случае выигрыш в точности редукции определяется опера-
и равен tr USU*, поскольку погрешность редукции до измерения определяется оператором F и равна tr UFU* а после измерения погрешность определяется оператором F — S и равна соответственно tr U(F — S)U* . В §7 гл. 3 показано, что при некоторых условиях оператор F — S «оценивает» всю информацию о линейных функциях Пф при любом U. Если в задаче (1.3) положить U = 0, то оператор редукции R (1.6) превратится в Ry = AAlQ. а сигнал
Ry е = VW^(1.8)
будет наиболее точной в среднем квадратичном версией шума Vv в (1.2), на фоне которого представлен сигнал (1.7) в выражении для редукции (1.6). Если в (1.8) V = 7, то IlQ^ — версия шума и. уточненная на основании наблюдения £. Если до наблюдения самой точной версией шума v следовало считать Е v = 0 и такое предположение сопровождалось ошибкой, равной tr Е, то после наблюдения £ более точной версией шума следует считать EQ(- Сопутствующая погрешность равна
Е ||SQ4 - ИР = tr (S - EQ-S).
В общем случае редукции (1.6) погрешность дается выражением
У) = Е II R С - /?||2 = tr [(Г- R Ауи* + (У- Д)ЕУ*],
которое можно представить в виде
6y,v^=vyu,vy^,(1.9)
где,х
(f-fa*q-af -fa*q-^\, m
-^Q-AF E-EQ-Ey
О качестве модели [A, F, Е]. Если S(U, V) — обозначение для погрешности редукции для модели [А, Е, Е], то согласно равенству (1.9) для любых операторов U и V
5 (ДУ) ^§ДД),
если и только если~
Т^Т.(1.11)
х) Ru — частный случай выражения (1.5) при V = О, Z = 0.
Следовательно, оператор Т характеризует качество модели [A, F, Е]: чем меньше Т, тем (равномерно) выше качество модели [A, F, Е]. В частности, из неравенства (1.11) следует, что
F - S = F - FA*Q"AF ^F - FA*Q~AF = F - S, (1.12) и наоборот, неравенство (1.12) означает, что в тех задачах, в которых V = О, 5(U, 0)5(U, 0) для любого U, где
5^у^ = tr U(F — S)U*
— погрешность редукции к прибору U.
На самом деле неравенства (1.11) и (1.12) эквивалентны. Чтобы показать это, заметим, что
A(F - FA*Q~AF)A* = HQ" AFA* = Е - EQ"E, поскольку1)
QQ-AFA* = AFA*,QQ"E = E.
Теперь нетрудно проверить, что для любых операторов U и V
tr ([/. V)T ^^ = tr (U - VA)(F -S^u- VA)*.(1.13)
Отсюда и следует эквивалентность неравенств (1.11) и (1.12)
Возвращаясь к сравнению моделей, условимся говорить, что, если выполнено неравенство (1.12), то модель [A, F, Е] равномерно не хуже, чем модель [А, F, Е], и писать [A, F, Е] -< [A, F, Е]. Эта запись будет означать также, что модель [A, F, Е] не лучше, чем [A, F, Е]. Если F — S = F — S, то модели [A,F, Е] и [A, F, Е] естественно считать эквивалентными. В этом случае пишем [A, F, Е] ~ [A, F, Е]. Следующая лемма содержит дополнительные разъяснения, касающиеся свойств сравнения моделей.
Лемма 1.1.1) Для любого линейного оператора В модель
[ВA, F, ВИВ*] схемы измерения £ = В^ = BAf + Bv не лучше, чем [A, F, Е]. Иначе говоря, любое линейное преобразование измерения £ (1.1) не может улучшить его модель.
Если В — оператор редукции в (1.7) при U = I, V = 0. то [В A, F,BHB*] ~ [A, F, Е], т.е. редукция к у = f не ухудшает модели.
Доказательство. 1) Это утверждение следует из неравенства
Е | Аа € - Ч||2 = inf Е |Щ£ " Ч||2 inf Е\\R'B£ - Ч||2,
') Оператор QQ~ — ортогональный проектор на ВАС)), ft(Q) D R(AFA*), R(Q) э R(S).
выполненного в силу того, что inf справа вычисляется не по всем R. а лишь то таким, которые можно представить в виде К*В.
Если В = FA*Q (см.(1.7)), то речь идет об эквивалентности двух моделей
[A, F, Е] и Д F, Е] = [FA*Q~A, F, FA*Q~^(FA*Q~)*].
Для последней модели выполнено равенство
F - FA*Q”AF = F — FA*Q~AF, поскольку
Q = AFA*Fh = FA*Q-AFA*Q”AFFFA*Q-^Q”AF = FA*Q~AF
□
Если Rui (1.7) интерпретировать как выходной сигнал ИВ С [А, Е, E,L7], наиболее точно имитирующей измерительный прибор U согласно схеме измерения Rui = UFA*Q(Аф + v), то качество ИВС как прибора U определяется величиной погрешности
ЦП) = Е || Ru £ - Г/||2 = tr U^F - SU*- (1.14)
Но возможности ИВС [А, Е, Е, Ц"\ как измерительного прибора удобно представлять, не фиксируя прибор U, а рассматривая его как аргумент h(-) (1.14), который в данном случае может быть любым оператором. Согласно такой точке зрения ИВС [А, Е, Е, С7] как измерительный прибор определяется как пара функций оператора U: выходной сигнал Ru i и с.к. погрешность редукции h(U) (1.14), заданные на множестве всех приборов U, и все сказанное выше о сравнении моделей целиком относится и к сравнению соответствующих ИВС. Если интерес представляет синтез приборов только из множества Р. то, следуя определению 2.1 гл. 5 будем говорить, что на В ИВС [А, Е, Е] не хуже, чем ИВС [А, Е, Е], и писать [А, Е, Е] -< [А, Е, Е], если h(U) <ЦПф ПЕГ.
Сравнение модели [А, Е, Е] с моделью [А, Е]. Пусть F и Е — невырожденные операторы. Тогда
F-S = (А*Е“1А + Е-1)-1,
откуда немедленно следует, что
5(U, 0) = tr С(А*Е"1 А + Р^Ди* tr С(А*Е"1 А)"С* (1.16) для любого U, удовлетворяющего условию U(I — АА) = 0, необходимому и достаточному для разрешимости задачи несмещенной редукции к прибору U для модели [А, Е]. Неравенство (1.16) свидетельствует, что наличие априорной информации о / не может увеличить погрешность редукции1).
х) Справа в (1.16) погрешность несмещенной редукции к прибору U для модели [А, Е], см. гл. 5.
Эту априорную информацию формально можно представить как
результат дополнительного измерения /. Действительно, если счи
тать, что измерение (1.1) контролируется моделью [А, Е], но имеется
дополнительное независимое измерение ^ = / + ^ = О, где Е = F,дополнительное независимое измерение ^ = / + ^ = О, где Е = F,то фактически речь идет о моделито фактически речь идет о моделиАА7/ \°АА7/ \°в §2 и §5 гл. 5, для этой модели несмещеннаяв §2 и §5 гл. 5, для этой модели несмещенная0\ F)0\ F). Как показано. Как показаноредукция измеренияредукция измеренияААKn = Uf + Vv = Uf + (V,OH~\ (1.2)Kn = Uf + Vv = Uf + (V,OH~\ (1.2)имеет видимеет вид
дополнительное независимое измерение ^ = / + ^ = О, где Е = F,
дополнительное независимое измерение ^ = / + ^ = О, где Е = F,
то фактически речь идет о модели
то фактически речь идет о модели
АА
7/ \°
АА
7/ \°
в §2 и §5 гл. 5, для этой модели несмещенная
в §2 и §5 гл. 5, для этой модели несмещенная
0\ F)
0\ F)
. Как показано
. Как показано
редукция измерения
редукция измерения
А
А
Kn = Uf + Vv = Uf + (V,OH~\ (1.2)
Kn = Uf + Vv = Uf + (V,OH~\ (1.2)
имеет вид
имеет вид
=k’o)+(t7_(y,o)WuJ (о f) Vu) х
х^) (о f) ] (~) = [r + Cr-^M^-M+F-1)-1^*^-1]^ = (UFA* + V^AFA* + S)-1^
что совпадает с выражением (1.6). Соответственно энергия сопутствующего шума согласно выражению (2.8) гл. 5 равна
tr (U - УА^А^^А + F"1)"1^ - YA)*
и совпадает с погрешностью редукции для модели [A, F, Е], данной в равенстве (1.13) (см. также §3 гл. 1).
Для того чтобы проследить «обратный» переход к модели [А, Е], положим F = uo-YI и рассмотрим выражения (1.5) и (1.10) при w —> 0, т.е. в случае исчезающей априорной информации о /. Для простоты считаем, что Е — невырожденный оператор. Тогда для «матричных элементов» Т (1.10) при ио —> +0 найдем
Т12 = -(А^М + шГГ1А* (И"1/2Л)"Е1/2,(1.17)
Ты = F - S = ш"г(1 - А~А) + (А*Е-1А)-(/ + w^S-M)-)"1
и для U € Ца,чи для U € Ца,чUTu -> U(A*^"1A)-.UTu -> U(A*^"1A)-.
и для U € Ца,ч
и для U € Ца,ч
UTu -> U(A*^"1A)-.
UTu -> U(A*^"1A)-.
Кроме того, при ш —> 0
Н= (ш^ЦА* + VS)(AA*w“1 + Е)-1 н- Д5Г1/2А)"5Г1/2 +
+ TS1^^ _ Е-1/2^(£-1/2Л)-)Е-1/2,
и тем самым получены выражения, совпадающие с найденными в §2 гл. 5 для модели [А, Е]. Более того, если для любого U Е F^ ^ 5(77,0) ^ 5(77,0), то при условии, что F = F = со-1 У согласно вы-
ражению (1.17) для Тц
А-А^Ц - ^"^) + (А^-^-Ц + ДАЕ-ЫЦЩА-А ^
(Л*Е"1Я)Щ +Д^Е"1!)")"1, откуда при ш —> +0 следует, что
А" АА-АА" А = А~ А,А~ A(A*YI~1A')~ А~ А < (А*^-1!)-.
Иначе говоря, если Т ^ Г, то, как следствие, [А, Е] -< [А, Е].
Более общий случай равномерно «исчезающей» априорной информации рассмотрен в § 5 гл. 1.
Редукция для модели [А, /о, F^ Е]. В более общем случае, когда Е / = /о будем говорить, что задана модель [А, /о, F^ Е] схемы измерения (1Л)1). Результаты, полученные для модели [A, F^ Е], без труда распространяются на этот случай, если представить дело так, что измеряется
^о = ^ - М = A^f -фоН^
согласно модели [A, F, Е], и речь идет о редукции измерения (о к
По = и и - /о) + VV.
Можно, конечно, исходить из измерения (1.1) и определить редукцию измерения £ к ц (1-2) в виде R £+ г, где оператор R и вектор г подчинены условию
Е II R R Г -< = inf Е ||Я£ + г - Д2 = inf[E\\(RA - U^f " /о)||2 + R,rR,r
+ ||(ДА - U^o + r||2 + E WRv - V^ll2].
В любом случае будет получен один и тот же результат, а именно
г=Д ^-AbHUfo,
где оператор R такой же, как в равенстве (1.6), a r= U фо— R Афо. В частности, если V = 0, то речь идет о задаче редукции £ к прибору U и ее решение дается выражением
Ru Д ти= и\ГАЦАРА* + Е)"Д - Af^ + /о].(1-18)
Здесь , как мы видим, оператор Ru — тот же, что и в равенстве (1.7), а ти= Uf0- Ru Af0. Вектор
J = FA4AFA* +Е)-1(^-Л/о)+/о(1.19)
Оператор F в этом случае определяется так: для любого х Е R^ Fx = = Е (/ — /о)(ж, ф — /о), т.е. является ковариационным оператором ф.
является наилучшей в среднем квадратичном линейной оценкой J. Понятно, что все сказанное о модели [Л, F, Е] практически без изменений может быть повторено и для модели [А, /о, F, Е].
§ 2. Эффект дополнительного измерения. Рекуррентная редукция
Начнем с анализа эффекта дополнительного измерения в случае модели [А, /о, F, Е], для простоты предположив вначале, что операторы F и Е невырожденные. При таком предположении формула (1.18) редукции к прибору U может быть записана в виде
Ru €+ ru= U(R^ - AJV) + /о) = Up(2.1)
где
R = М^А*^"1, М = A^^Af F"1,(2.2)
/ = Ж-М)+/о(2.3)
— наилучшая в среднем квадратичном оценка / по измерению £, а
Л"1 =Е (/-/)(/-/)*Л"1 =Е (/-/)(/-/)*(2-4)(2-4)
Л"1 =Е (/-/)(/-/)*
Л"1 =Е (/-/)(/-/)*
(2-4)
(2-4)
согласно модели [А,/сь Г S], причем векторы и и v будем считать некоррелированными1) Объединяя измерения (1.1) и (2.5) и испольсогласно модели [А,/сь Г S], причем векторы и и v будем считать некоррелированными1) Объединяя измерения (1.1) и (2.5) и используя модельзуя модель,/о,Г,/о,ГЕОЕОприбору U найдем выражениеприбору U найдем выражение0\л0\л, для редукции измерения, для редукции измеренияииккR12 Q") + П2 — иR12 Q") + П2 — и/А\ * /Е"1W \ 0/А\ * /Е"1W \ 0S"V Ц - Af0) + /оS"V Ц - Af0) + /о= и= и(a^-U + А^-М + Г"1) 1 (А^-Д - А/о)+(a^-U + А^-М + Г"1) 1 (А^-Д - А/о)++ А*Е"1(^-А/о)) +/0+ А*Е"1(^-А/о)) +/0(2-6)(2-6)
согласно модели [А,/сь Г S], причем векторы и и v будем считать некоррелированными1) Объединяя измерения (1.1) и (2.5) и исполь
согласно модели [А,/сь Г S], причем векторы и и v будем считать некоррелированными1) Объединяя измерения (1.1) и (2.5) и исполь
зуя модель
зуя модель
,/о,Г
,/о,Г
Е
О
Е
О
прибору U найдем выражение
прибору U найдем выражение
0\л
0\л
, для редукции измерения
, для редукции измерения
и
и
к
к
R12 Q") + П2 — и
R12 Q") + П2 — и
/А\ * /Е"1
W \ 0
/А\ * /Е"1
W \ 0
S"V Ц - Af0) + /о
S"V Ц - Af0) + /о
= и
= и
(a^-U + А^-М + Г"1) 1 (А^-Д - А/о)+
(a^-U + А^-М + Г"1) 1 (А^-Д - А/о)+
+ А*Е"1(^-А/о)) +/0
+ А*Е"1(^-А/о)) +/0
(2-6)
(2-6)
— корреляционный оператор невязки оценивания / — / (см. §5 гл.1). Пусть кроме измерения (1.1) выполнено еще одно измерение
(2-5)(2-5)^ = AJFv
(2-5)
(2-5)
Д Далее это условие будем формулировать короче, говоря, что измерения (2.5) и (1.1) некоррелированны или независимы (при фиксированном f\
аналогичное (2.1). Этой редукции сопутствует погрешность
ЕЕЯ12Я12гг+ П2 -Uf+ П2 -Uf2_= tr и^А*^А + Л*^1 А + Е-^и*,2_= tr и^А*^А + Л*^1 А + Е-^и*,
Е
Е
Я12
Я12
г
г
+ П2 -Uf
+ П2 -Uf
2_
= tr и^А*^А + Л*^1 А + Е-^и*,
2_
= tr и^А*^А + Л*^1 А + Е-^и*,
не превосходящая как погрешности (1.16), так и погрешности tr U^A*^-1 А + F-1)-1U* редукции измерения £ к прибору U. Нетрудно видеть, что на самом деле
(я)’/о’^(о ё) ^VAJ0,F,^,
Пусть измерение (2.5) имеет вид
X=(aJ) + v-(2-7)
Тогда в равенстве (2.6) оператор 1)
(А’^А + F"1 + ДЕ"1!)”1 =
т. л-—1М~1аа*М~1
= (М + асг 2 а ) 1 = М - ——, (2.8)
v'оЧа*М"ха v '
где
£ = Af = a*f = (a,P,M = A^-M + F”1
и соответственно
° ДА , ° _
^12 \+ Г12 —
= и (М-1 -^) (А*^1 К_Д/о)+й5-2К-(А /о))+/о
= и [д^ - А/о) + /о + М-А ” (а1^;^ + /о =
(2-9)(2-9)= и [/ + м-^^Г-ААЕ. а2 + а*М-1а
(2-9)
(2-9)
в обозначениях (2.2), (2.3). Поскольку £ — (п, /) = ^ — (п, /) — (п, / — /), то согласно равенствам (2.4) и (2.7)
(|) + Г12 "Uf(|) + Г12 "Ufа2 + а*М^а = Е (|- (5, /))2.
(|) + Г12 "Uf
(|) + Г12 "Uf
х) Это корреляционный оператор невязки редукции R^ при U = I.
Следовательно, дополнительное измерение £ (2.7) приводит к следующему пересчету наилучшей в среднем квадратичном оценки
/^/ + Е [(/-/)(V-/)]—Mj^(2.10)
LJE(^ —(а,/))2
и к соответствующему пересчету редукции Иф измерения £ к редукции U ф* измерения ^^ . Согласно равенству (2.8) после пересчета корреляционный оператор «уточненной невязки» ф* — ф равен
Е(Л-/)(Л-/)* = м-1Е(Л-/)(Л-/)* = м-1М^аУМ"1а2 + а*М-1аМ^аУМ"1а2 + а*М-1а
Е(Л-/)(Л-/)* = м-1
Е(Л-/)(Л-/)* = м-1
М^аУМ"1
а2 + а*М-1а
М^аУМ"1
а2 + а*М-1а
и погрешность редукции
tr UM^U*tr UM^U*а*М-Ти*иМ-Таа2 + а*М-1аа*М-Ти*иМ-Таа2 + а*М-1а
tr UM^U*
tr UM^U*
а*М-Ти*иМ-Таа2 + а*М-1а
а*М-Ти*иМ-Таа2 + а*М-1а
уменьшается на
по сравнению с ее первоначальным значением (1.16),
Пусть а = (0 ... 01 0 ... 0)* и Пф = (а, Ф), где а = (0 ... 010 ... 0), гj
т.е. пусть дополнительно измерена г-я координата ф и рассматривается редукция измерения ^^ к значению j -й координаты ф. Речь идет об уточнении наилучшей в среднем квадратичном оценки значения J-й координаты ф после дополнительного измерения г-й координаты. Согласно формулам (2.9) и (2.10) уточненное значение j -й координаты дается оценкой
+(2Л1>
где фз — наилучшая в среднем квадратичном оценка значения J-й координаты /, основанная на измерении £ (2.1),
(М“Щ = (а, М-1а)
оценки равнаоценки равнаhjt — (М )jjhjt — (М )jj— матричный элемент М-1, i,j = l,...,m; второе слагаемое в выражении (2.11) описывает уточнение оценки, последовавшее в связи с дополнительным измерением г-й координаты. В итоге погрешность
оценки равна
оценки равна
hjt — (М )jj
hjt — (М )jj
^М T)jj(M T)jjа2 + (М"1)^
и если ст = 0, то
(2.12)(2.12)(М Х)^ — hjj _ (М Х)^(М ^j _ (М Х)гг — hjj
(2.12)
(2.12)
Поскольку (M-1)jj — погрешность оценки J-й координаты /, основанной на измерении £ (1-1), равенства (2.12) означают, что точное измерение г-й координаты / вызывает относительное уточнение оценки у -й координаты /, равное относительному уточнению оценки г -й координаты / после точного измерения j -й координаты. Этот принцип взаимности отмечен в §5 гл. 5 в связи с дополнительными измерениями в случае модели [АД], и в общем случае получен в гл. 1 (см. теоремы взаимности (3.12) и (5.5) в гл. 1).
Эти результаты можно получить и в более общем случае, не предполагая, что оператор F невырожден ') Для этого будем исходить из формулы для редукции (1.18), записанной для модели
LbML s) "
о А/ U-w
Предположим, что, как в (1.18), Q = AFA* + Е — невырожденный оператор, а £ дается равенством (2.7). Тогда
+ А = (Q Р
\а) \а) \о д/ Щ q) ’
где q = a* Fa + S2, р = AFa, р* =a*FA* и соответственно
(Q р\ 1 _ (Q-1 - ^егМегМ* -d^Q^pX z914x
Щ q) Д -d"1p*Q"1d"1) •(2Л4)
Здесь 2)
d = S2 + a* Fa - p*Q~1p = <г2+а*(Р — FA*Q"1AF^.
Теперь, если воспользуемся равенством (2.13), (2.14), то найдем
R I у + г= UR I у + г= UFA*Q-4^-АРоНЫFA*Q-4^-АРоНЫ
R I у + г= U
R I у + г= U
FA*Q-4^-АРоНЫ
FA*Q-4^-АРоНЫ
(2-15)(2-15)+ (Г - FA*Q"xAfA—^FA^—АМ + /о)
(2-15)
(2-15)
Это выражение точно соответствует выражению (2.9), поскольку, если не предполагать невырожденность F, то в выражении (2.15)
х) Вырожденность Т, как известно, означает, что ортогональная проекция / на M(F) точно известна априори и равна ортогональной проекции /о на JV(F).
Если F — невырожденный оператор, то d = а2 -\-а* М-1а.
FA*Q х(£ — А /о) + /о = / — наилучшая в среднем квадратичном оценка /, основанная на измерении £, и Fi = F — FA*Q^ AF — корреляционный оператор невязки ф — ф. Следовательно, в квадратных скобках в (2.15) — уточненная оценка ф.
а2 + a* F^a
а корреляционный оператор «уточненной невязки» ф* — ф. как нетрудно проверить, равен
Еуа№Уа2 + а* Ру а
Соответственно погрешность редукции (2.15)
tr UF^U* = tr UFATtr UF^U* = tr UFATa*FAJ4JFia52 + a*Fiaa*FAJ4JFia52 + a*Fia
tr UF^U* = tr UFAT
tr UF^U* = tr UFAT
a*FAJ4JFia
52 + a*Fia
a*FAJ4JFia
52 + a*Fia
нанар^еД-фхК-ФУ = F0-р^еД-фхК-ФУ = F0-Ер Q1 (Ер щ)* а^ + a^FoaiЕр Q1 (Ер щ)* а^ + a^Foai
на
на
р^еД-фхК-ФУ = F0-
р^еД-фхК-ФУ = F0-
Ер Q1 (Ер щ)* а^ + a^Foai
Ер Q1 (Ер щ)* а^ + a^Foai
a*FiU*UFiaа2 + a*Fia
меньше, чем погрешность
tr UFTU
редукции (1.18), основанной на измерении £ (1-1).
Эти результаты аналогичны полученным в связи с дополнительными измерениями для модели [А, Е] в §5 гл. 5, а также результатам, полученным в §3, 5 гл. 1. Их можно сформулировать безотносительно к моделям следующим образом. Пусть /р ~ оценка /, такая, что Е (/о - /) = 0 и Е (/о - фХФо ~ Л\ = Ер, причем неважно, из каких соображений получена оценка /р • Если проведено независимое измерениео о
£1 = («!,/) + El/1 = 0, El/, = сД
то уточненная оценка
/1 — /о + Е0П1/1 — /о + Е0П16 - (^ь 7)
/1 — /о + Е0П1
/1 — /о + Е0П1
о-2 + а^ Fq Qi
и корреляционный оператор невязки фг — ф
образуют тот материал, который позволит уточнить Д, если проведено еще одно независимое измерение
& =Ez/2 =0, Ez/j = а%.(2.16)
Действительно, с учетом измерения (2.16)
/2 — /1 + Fia2/2 — /1 + Fia2& - (02, /1)(Т2 + a^F^a^
/2 — /1 + Fia2
/2 — /1 + Fia2
Еуа^Еуа^У(Т2 + а^Е^а^
Теперь мы готовы сформулировать алгоритм рекуррентной редукции для модели [Д/сь^Д]- Для этого запишем схему измерения (1.1) в виде
ДА/М)\(Vl\
• =+ ••• ,(2.17)
\£п/\(ап, /)/Х^п/
/(«ь/)\
где1) Л/ = I ..., S = diag (сД..., Д). Тогда оценка /, осно-
Чо-пЛи
ванная на измерении £i = (ai, /) + щ, определится равенством (1.19)
АА— /о + Fay— /о + Fay6 - (Qi До) оф + аДщ6 - (Qi До) оф + аДщ
А
А
— /о + Fay
— /о + Fay
6 - (Qi До) оф + аДщ
6 - (Qi До) оф + аДщ
и соответственно
1 а^ + aJFai'
Добавим еще одно измерение из (2.17) ^2 = (^Д) + ^2- Это даст уточненную оценку
и для нееи для нее2 _ Г _ F^ay^ - У^ЛхУ(72 + a^Fias
и для нее
и для нее
Fi (22(^1(22)*(72 + СуЕ\ (22
Следовательно, алгоритм рекуррентной редукции можно задать равенствами
J i Ji 1 +2 1* Tri’
ai + a^Fi-iOi
p p Fi—iai^Fj-iaiy
z = l,2,./o = /o, Fo = F,
задающими последовательность оценок /о Д1, • • • Дп и сопутствующих корреляционных операторов Fq , Fi,..., Fn , и последовательностью U фо, U fi,... ,U фп, образующей то, что называется рекурентной редукцией. Слагаемое
U Fi—1 cl^U Fi—1 cl^£,г ^ii fi—У^i + ai Fi-lCLi
U Fi—1 cl^
U Fi—1 cl^
x) Если A — матрица, векторы а*, г = 1,... ,n, можно представлять себе как ее строки.
показывает, как эволюционирует редукция в связи с г-м измерением, соответственно значение
(2-18)(2-18)UFi-ia^UFi-iaty _ a*Fi_1U*UFi_1ai а\ + a* Fi_ 1 а»а? + а*
(2-18)
(2-18)
показывает, насколько при этом уменьшается погрешность редукции, г = 1,2,...,п, см. [63, 64, 70].
§ 3. Методы редукции для случайных моделей
Рассмотрим модель схемы измерения
(3-1)(3-1)£ = Af + v,
(3-1)
(3-1)
в которой А, У и v — независимые случайные элементы с известными распределениями. Для определенности считаем, что распределение А дискретно, причем Р(А = Аа) = Рд(Аа) = Ра, at = 1, 2,..., а У 6 Рт и v G Р^ распределены соответственно с плотностями Pf(-) и pv(-).
Как правило, речь будет идти о случайной модели схемы измерения (3.1), согласно которой с вероятностью Ра
= Aaf^v, а = 1,2,...,(3.2)
где / и v контролируется распределениями с плотностями pj(-) и Рт/0 а измерение (3.1) выполняется одним из способов (3.2), не меняющимся в процессе измерения. Можно сказать, что прибор А в (3.1), на котором будет выполнено измерение «разыгрывается» заранее, и, если «выпадает» А = Аа, то измерение выполняется на приборе Аа. Типичный пример такой случайной модели доставляет обычная практика измерений на различных приборах одного назначения, характеристики которых имеют естественный разброс, обусловленный особенностями производства и другими случайными факторами.
Если прибор А может меняться в процессе измерения, как, напри
мер, в схемемер, в схеме(3.3)(3.3)
мер, в схеме
мер, в схеме
(3.3)
(3.3)
измерения одной и той же реализации У на случайно выбранных приборах Ааг,..., Аак, то можно говорить о нестабильном приборе, мультипликативном шуме или несколько раз повторенных измерениях (3.2). Формально схема измерения (3.3) и соответствующая модель могут быть получены путем объединения нескольких измерений У, выполненных по схеме (3.2).
Рассмотрим задачу редукции измерения £ (3.1) к виду Uf (где U — заданный оператор), в которой требуется найти преобразование R, минимизирующее погрешность редукции:
Е||Д£ —Г/||2 =1шпЕ||Д'е-Г/||2. (3.4)
Здесь Е — символ математического ожидания по совместному рас-
пределению А, ф и v. В отличие от рассмотренных ранее задач редукции в данном случае априори неизвестно, на каком приборе получено измерение £, известно лишь, что с вероятностью Ра £ может быть результатом измерения / на Аа^ а = 1,2,...
Поскольку (см. §6 гл. 3) наилучшим в среднем квадратичном приближением U f в классе всех функций измерения £ является условное математическое ожидание Е (?7/|£), то минимум по R* в (3.4) достигается при R£, = Е (£7/|£). Для того чтобы получить выражение для Я, заметим, что
Е(Г/Д = ж) = j Uypf^(y\x)dy =
= ^E(Uf^ = x,A = Aa)pA^Aa\x), (3.5) а=1
где
P^W) = ^Р/|м№Ма)-РлДЛД)а=1
— плотность, условного распределения / при условии £ = ж. Соответственно Ру|^д(^/|ж, Аа) — плотность условного распределения / при условии £ = ж, А = Ла; Рд^(Аа|ж) — условное распределение А при условии £ = ж, а = 1, 2,... Для случая схемы (3.2)
РМ,/(жМа,У) = рЦх- Аау)РарДу),р5,л(жМа) = j Pi,A,f(x,Aa,y)dy,
РЩ) = 52 / Р$,ЩжМа,!/Цу.
Для интерпретации выражения (3.5) обратимся к понятию надежности модели, контролирующей измерение £ в (3.1), где, как было сказано, прибор А выбирается случайно, а затем измерение проводится на выбранном приборе, например на Аа. Обозначим соответствующую модель Ма. Назовем надежностью модели Ма в задаче выбора модели в схеме (3.2) вероятность ошибочно отвергнуть Ма в пользу какой-либо из альтернативных моделей М^Р ^ а. В нашем случае априорная (до измерения) надежность Ма равна Ра а апостериорная (после измерения) при £ = ж равна Д4|^(Ла|ж), ибо с этой вероятностью мы будем ошибаться, отвергая модель Ма, если измерение дало £ = ж.
Согласно равенству (3.5) Е (L7/|£ = ж) есть взвешенное среднее Е(Г< = ж, А = Аа) (условного среднего Uф при £ = ж и Л = = Аа,) с весом Рд^(Ла|ж), равным надежности Ма, а = 1,2,..., при условии, что измерено £ = ж.
Если для некоторого а надежность Р4|^(Ла|ж) « 1, то
Е (Ufy = ж) « Е (Щ£ = х, А = ЛД
В этом случае для приближенного вычисления редукции можно действовать так, как будто модель схемы измерения (3.1) фиксирована на наиболее надежном значении (если последнее близко к единице).
Этот результат важен в случае измерения многих объектов на одном приборе. Рассмотрим схему измерения
£j = Mi +^3, J = Г • • • , 8,(3.6)
з объектов на выбранном случайно, но в дальнейшем фиксированном приборе А. Обозначим Maj модель схемы измерения (3.6) при А = = Аа , в которой fj , uj — независимые случайные элементы с плотностями Pf(y\ у Е Fm, Pvj^\ z Е ИП) и более того, независимые при различных j = 1, 2,..., s. Редукция измерения ^ = (^i,...,^s)* к прибору Uj, измеряющему /j, вполне аналогично (3.5) записывается в виде
Е(ЦЛД = ж) = Е f UjyjPf\^A(y\xMa)dyPA\^(Aa\x) =
= Е Е (UjfMi = ^ А =(3.7)
где на сей раз у = (уь ... ,уву е фтУ, х = (жь... ,х8)* е {11пу, f ММ-.-ЛзУ ММЛУ 14К».
Обратим внимание на то, что в этом выражении условное математическое ожидание Е (Ujfj\^j = х^ А = Аа) определяется значением только измерения ^ = Xj , а условное распределение Р4|^(Ла|ж) определяется значениями всех измерений
П J dyjPvi^j - АсхУУРа^А^ДуУ
-РаДЪ|ж) = — -,
Е П JdytpMxi - АрууРдЛМРьЫ
/3=1 г=1
а = 1, 2,...
При достаточно общих предположениях относительно моделей Maj, а = 1,2,..., j = l,...,s, можно показать, что при s —> ею Р4|^(Аа|ж) —> Фщ, а = 1,2,..., если измерения контролируются моделями Mpj (т.е. если ^ = A^fj + v^ 3 = 1,2,...,s.
Остановимся подробнее на важном частном случае, когда распределения fj и Vj гауссовы: Pf^yj) = n(yj\yoj-Fj), Ри5^й = = n(zj|0; Ej), 3 = 1, 2,..., s (после вертикальной черточки записаны математическое ожидание и корреляционный оператор распределе-
ния). В таком случае
П J dyjn^Xj - Аау^0;^^п^\у^-Р^Ра
Рд^А» ==
Е П f dytn^xt - АзуД^^уДу^Р^Рр /3=1 г=1
Ц ^(^| ^a^/Oj AaFj Аа + Yj^Pa
= ^, (3.8)
Е п Цх\А3у^ ApFiA* + ^Рр /3=1 г=1
и если Uj — линейный оператор , то
Е (Uj^ = х,А = Аа) = UjFjA*a(AaFjA*a-V-
+ Е) (ж Aayoj) + Ujy^j, (3.9)
А = Аа, причем условное распределение Ujfj при условии £ = ж — нормальное
K^A^F^ + ЕГ'Хж - Аау^ + И^-
Гз - ГзА^АаГзА*а^^АаГз\
Пусть в схеме измерения (3.6) А = А7. Тогда в (3.8)
ехР(Е C«7j)^гДзК-г,
Рл^АаЮ = _j=\= ^^(3.10)
Е ехр( 52 Сз^з)Рр52 (С/37)^
/3=1 j=i/3=1
где
Cot^j = —2^а3 ^У^З + V3 — Aayoj), А7Фз + V3 — Aayoj)-\-
+ 2^73 ^у^з + vj — ^-7^0j), А7fj + Vj — A7yoj)-\-
+ Indet^D”1),
Con = 52 Daj = AaFjAa +
Далее будут использованы некоторые свойства статистик (a7j , а^ = = 1,2,..., у = 1,..., s, для описания которых обозначим
Qa.3 = ^^^^7^ ^73 = ^2(А(Л " №) + ^) -Я^Д\
=/ (^7 Аа^у^з^
так что
Селз — "^V^Q3 ^Ф3 + ayj} ■> Фу j “Ь ^а^ф ФФ^З^Ф^Ф In det Q C17J ] • Поскольку для любых самосопряженных операторов Q.T и нормального случайного вектора ту ~ JV(O, I)
Е ^Qn. ту) = tr Q, Е ^Qn. l)(Tip т) = (QI, Тт),
Е (QtL ^(T'Hi'n) = 2П QT + tr Qtr T,
TO
E ^ = 5 f> (J - Q^ + In det Qj - Н^/Д ||2],(3.11)
= E (<«)2 - (E<«)2 = | £[tr (/ - Qjf + 2||Qa7jZa7j||2].
3 = 1
В силу центральной предельной теоремы при s —> ею
А8) _ F А8^S«7Set 7ФСДД2А8) _ F А8^S«7Set 7ФСДД2е <2/2^ = Ф(ж)е <2/2^ = Ф(ж)
А8) _ F А8^
S«7Set 7
ФСДД2
А8) _ F А8^
S«7Set 7
ФСДД2
е <2/2^ = Ф(ж)
е <2/2^ = Ф(ж)
равномерно по ж, — оо < ж < оо. Поэтому для любого z > О
р(ехр ^ < ^) - Фр(ехр ^ < ^) - ФIn г - Е (ДдсДД/зIn г - Е (ДдсДД/з-> 0(3.12)-> 0(3.12)
р(ехр ^ < ^) - Ф
р(ехр ^ < ^) - Ф
In г - Е (ДдсДД/з
In г - Е (ДдсДД/з
-> 0(3.12)
-> 0(3.12)
при s —> сю, и если
(3.13)(3.13)-Е сД/дДД/2
(3.13)
(3.13)
то согласно (3.12), Р(ехр Д7 < г) 1 и, как следствие, в (3.10)
Гд|5(Аа|е —> §а^ — ^’Гд|5(Аа|е —> §а^ — ^’а = у, а т^ 7-а = у, а т^ 7-(3-14)(3-14)
Гд|5(Аа|е —> §а^ — ^’
Гд|5(Аа|е —> §а^ — ^’
а = у, а т^ 7-
а = у, а т^ 7-
(3-14)
(3-14)
Если эта сходимость равномерна по а^ т.е. если sup |Рл|$(АаЮ - 5а7| -> 0, то из выражения (3.7) следует, 1Да<ос
что при s —> ОО
Е(ЦЛ^)4е(ЦД|7 А = Аа) =
= и^АЦАчЕ^ + Д)-J(е - A7W) + ujyoj. (3.15)
Возвращаясь к условию (3.13), заметим прежде всего , что для любого А > 0 In А < А — 1, а если сверх того |А — 1| > е, то In А < А — 1 — 5, 5 = 5(e) > 0. Отсюда следует, что если при а^^
(3.16)(3.16)0 < а < ||Qa7J- - 1\\ < Ь,
(3.16)
(3.16)
то
3=1: н- ОО (3.17)
2 D (пп^ + 2||^а^||д^а^)
при s —> сю. Здесь pj^ = |Ю^-^а7||, п = rank! в (3.11), причем сходимость в (3.17) равномерна относительно а^ ибо в силу (3.16) нормы ||Qa7j|| ограничены в совокупности.
Для доказательства введем спектр {А^} самосопряженного оператора Q. Пусть го = arg max |А^ — 1|. Тогда
tr (Q — 7) — In det <9 = У2[(Л<° - 1) -lnAw] ^ (А^°) - 1) -lnA(io) ^6, 2—1
так как по условию (3.16)
0 < а |А^°) - 1| ^ Ъ
Кроме того, при получении неравенства (3.17) использовано соотношение, /о , /о, /о
н<ш2= надн^Ан2,
tr (Qj - J)2 ^ n^Qj - I\\2 ^ no2
(индексы a,7 в обозначениях Qj,lj, для краткости опущены).
Подведем итоги. Главный результат состоит в том, что для получения редукции к прибору Uj не следует ограничиваться только измерением £у. Хотя остальные измерения формально не имеют отношения к сигналу Ujfj, тем не менее они служат источником информации о приборе А = Аа , на котором фактически выполняются все измерения. Можно сказать, что схема измерений (3.6) совмещает измерения сигналов Д,..., fs с тестированием прибора А, причем тестирующими являются как раз те же измеряемые сигналы Д,..., fs . Важно также, что при s —> ею такое тестирование позволяет точно определить прибор, на котором выполняются измерения, хотя тестирующие сигналы даже после измерений остаются в известном смысле неопределенными (см. (3.14), (3.15)).
Редукция измерения и тестирование при ограниченной информации о случайной модели
Вначале остановимся на задачах редукции, в которых информация о случайной модели ограничена моментами первого и второго порядков. Пусть заданы математические ожидания /о = Е /, Ло = = Е Л, 0 = Ez/, ковариационные операторы Х^ = X, Ху- = F, а также корреляционные операторы Т- = Е/(•,/) = F • +/о(з/о)
и J = Е (А — Ао)Т(А — Ао)* случайных векторов / и (А — Ао)/ соответственно. Переписав схему измерения £ = А/ + v (1.1) в виде
(о = £ — Aofo = Ао(/ — /о) + ^, v = (А — Ао)/ + v,
найдем, что решение задачи редукции к прибору U
Е ||Мо - UU - /о)II2 = mmE № - MJ - /о)||2
дается равенством
Ro = UFA*0(A0FA*0 + ^-\
где Е = Е + J. редукция равна
Ro^o + и Jo(4.1)
и ей сопутствует погрешность
Е Wo + UJo - UJ\\2 = tr U^F - FA*(A0FA* + ^AoFJU*.
В конечном счете дело обстоит так, что £ интерпретируется как измерение на приборе Aq = Е А, а сигнал (А — Ао)/ играет роль дополнительного шума измерения.
В ряде случаев , когда Ао оказывается слишком грубым приближением А 1), для редукции предварительно целесообразно уточнить модель прибора, на котором фактически выполнено измерение £. (Такое тестирование А рассмотрено в предыдущем параграфе и будет еще обсуждаться в дальнейшем).
При тех же предположениях схему измерения (1.1) можно использовать и для уточнения оператора А. Действительно, пусть
Рассмотрим задачу редукции измерения £ к прибору, выходной сигнал которого равен Aej. Иначе говоря, речь идет о задаче линейного оценивания j -го столбца матрицы А, в которой требуется определить оператор Rj так, чтобы
Е ПДСо - (А - Л0)е,||2 = minE ||Я£0 - (А - Л0)е,||2.(4.2)
Нетрудно проверить, что
Rj = SjS"1,
где
Sj=E(A-A0)ejJ^A-A0y, j = l,...,m, S = A0FA* + 5.
х) Например, когда E ||(Л — Ло)/||2 = tr J > tr S = E ||^||2 .
Следовательно, искомая оценка j-ro столбца А равна
Aej = Rj^Q + A^Cj
и ей сопутствует погрешность *)
5j = Е ПД^о + Aoej - Mej II2 = tr (Dj - SjS^Sp,
где Dj = E (A - A0)e,e*(A - Ao)*, j = 1,... ,m.
Если x = (яд,..., хту 6 Rm , то
Ax = ^ AejXj = ^ ^Rj^o + AoCj^Xj(4.3)
j=i 3=1
— оценка вектора Ax а поскольку x — произвольный вектор Rm, то тем самым получена оценка оператора А.
В ряде случаев удобнее пользоваться оценками матричных элементов А. Их можно представить в виде А^ = (n,Aej), где Тг = = (0 ... 01 0 ... 0)* — вектор из Rn, г = 1,... ,п, j = 1,..., m.
Эти результаты дают решение простейшей задачи прогноза, состоящей в том, что на основе данных измерения £ требуется «предсказать» значение Ах в ситуации, когда сигнал ж, в отличие от сигнала / G Rm реально не может быть подан на вход А (например, слишком высокая температура, давление и т.п.) Вектор (4.3) обеспечивает наилучший линейный прогноз для значения Ах по данным измерения £, поскольку, как нетрудно проверить,
гшпЕ ||^о — (А — Л0)ж||2 = Е ||Лж — Аж||2.
Вопросы, связанные с темой этой главы, рассмотрены в работах [5, 71, 72, 55, 56, 101].
Уточнение параметров модели линейного измерительного прибора. Прогноз измерения
Рассмотрим задачу уточнения модели линейного измерительного прибора, в которой оператор А априори задан как элемент параметрического класса операторов в виде
N
A = y^aMi-(5.1)
г=1
сли не учитывать измерение £ (1.1), то наилучшая с.к. оценка j-ro столбца А — столбец Aoej . В этом случае погрешность Е ЦА0Щ — Aej^2 = = tr Dj dj, j = 1,... ,т.
В (5.1) линейные операторы Ay^.^An известны, а вектор а =
=... G Hn параметров подлежит уточнению. «Детальность»
\aN/
представления (5.1) может быть различной, начиная со случая «полностью уточняемого» оператора, когда Ау,..., An — линейно независимые операторы, А Е (Ет —> П^ и N = п * т. Например,
Л — ^2 агзЕг^
где Eij — матрица, у которой матричный элемент, расположенный на пересечении г-й строки и J-го столбца, равен единице, а все остальные — нулю, a^,j — матричный элемент Л, подлежащий уточнению, г = = 1,..., п, з = 1,..., т. В другом крайнем случае требуется уточнить только «коэффициент усиления» Л, А = ауАу , N = 1
Постановка задачи уточнения модели измерительного прибора в значительной степени определяется тем, как в дальнейшем будет использован прибор, поскольку критерий качества 'уточнения должен быть связан с критерием качества «функционирования» прибора. Например, в задаче прогноза измерения, в которой требуется получить отклик А на входной сигнал /, который реально не может быть подан на вход прибора1) Л, значение Л/ рассчитывается на основе модели Л, предварительно уточненной путем измерений известных (тестовых) сигналов ду ,..., д8 . В этой задаче на основании измерений
Ci = Agt-EM^ z = l,...,s. (5.2)
и априорной информации о приборе требуется получить наиболее точную версию Л/, что и определяет критерий качества уточнения А.
Запишем измерения (5.2), в которых оператор А представлен равенством (5.1), в виде схемы измерения вектора а
(5-3)(5-3)Ст\ (Ауду ... ANgy\ ( аг\ ( цу• • • 1 = I1I I I • • •
(5-3)
(5-3)
Cs / V^i^s • • • ANgs/ \^nJ VPs
или, короче,или, короче,С — Та 4- р,С — Та 4- р,(5.3*)(5.3*)Ауду ... ANgyАуду ... ANgyАудs ... ANgsАудs ... ANgsСоответственноСоответственно(5.4)(5.4)
или, короче,
или, короче,
С — Та 4- р,
С — Та 4- р,
(5.3*)
(5.3*)
Ауду ... ANgy
Ауду ... ANgy
Аудs ... ANgs
Аудs ... ANgs
Соответственно
Соответственно
(5.4)
(5.4)
N(а1\
Af = ^ atAd = Mi/, • - -, ANp ... = Ufa, (5.5)
г=1v^N /
x) Например, в ситуации, когда натурный эксперимент либо слишком дорог, либо практически не выполним.
где
и если а — случайный вектор с известными средним ао = Еа и ковариационным оператором Sa, ц — случайный вектор, Ец = О, Ем — корреляционный оператор ц, то задача оказывается идентичной решенной в §1 задаче оценивания вектора Uf по наблюдению £ = = Аф + v. Согласно полученным там выражениям наиболее точной (в среднем квадратичном) линейной версией Аф будет
Л = Ufa0 + UfSaT*(TSaT* + ДОЖ - Та0),(5.6)
и прогнозу Аф будет сопутствовать погрешность, среднеквадратичное значение которой
Е\W - Aj^ = tr Uf(Sa - 8аТЦТ8аТ* + ^уТЗо^ (5.7)
В этой задаче прогноза использована модель со случайным оператором А. В каждом конкретном случае исследователь имеет дело с определенной реализацией А, вообще говоря, отличной от модели Ар = Е А «паспортного прибора». Тестированием уточняется прогноз, определяемый той реализацией А, на которой работает исследователь1). Заметим, что до уточнения А наиболее точный в среднем квадратичном прогноз Аф дается значением А^ф = Е А/, где
/ «01 \
Ар = ЕА = «огА^, I ... I = пр,(5.8)
г=1x^ON /
И
N
Е \\Af - Л/||2 = trUfSaU} = 52 Saij(Aif, А,р E ||Я7 - Л/Ц2
Вполне аналогично можно получить решение задачи уточнения модели А (5.1), если заметить, что
N
А = ^2«Мг = Ua^i(5.9)
г=1
где Uа = (Ai,..., An). Самая точная в среднем квадратичном линейная оценка А оператора А с учетом измерения (5.3) дается равен-
х) В общем случае наиболее точный в среднем квадратичном прогноз дается условным математическим ожиданием Аф при условии, что измерен вектор £ : Аф = Е (А/|£). Если вектор а имеет нормальное распределение jV(ao^ Sa) а ц в (5.3) не зависит от а и имеет нормальное распределение ^(0,5^), то Аф в (5.6) совпадает с Е (А/|£) (см. §6 гл. 3).
ством (5.6), в котором U^ следует заменить на Па • Соответственно1)
Е||А- A||l °=pEtr (А - А)(А - А)*
получается из (5.7) заменой U^ на Па - Если измерения (5.3) не учитывать, то наилучшая линейная оценка А дается равенством (5.8). В этом случае
Е 11Л - А0||2 = tr (А,... АД5а(А!... ANy =
N
= tr 52 AiSaijA* E IIЛ - A||2.
На самом деле, как нетрудно заметить, наилучшая в среднем квадратичном линейная оценка любой линейной функции Uа вектора а имеет вид Ua, где
а = «о + SaT*(TSaT* + ^Т^ - Та0)(5.10)
— наилучшая в среднем квадратичном линейная оценка вектора а. Среднеквадратичная оценка погрешности а — а дается равенством (5.7), в котором U^ следует заменить на U, а
(5.11)(5.11)Sa-a = sa- SaT*(TSaT* + S^TSa
(5.11)
(5.11)
— ковариационный оператор ошибки оценивания а — а. Пусть, например, U = Z,
и измерен один вектор д^ = д. Тогдаи измерен один вектор д^ = д. ТогдаN = п,(5-12)N = п,(5-12)
и измерен один вектор д^ = д. Тогда
и измерен один вектор д^ = д. Тогда
N = п,
(5-12)
N = п,
(5-12)
/(Ж1,д) 0 ...0\
Т = =diag ((ж1, д),..., (жп, 5)),
\ 00 ... (хп,д)}
где xt = (ац,_.. ,aim)*, г = 1,... ,п, и если
Sa = diag (а2,..., а2), S^ = diag (у2,..., <т2),
ТО
8 \а1(ж1,9)2 + A’", аКхп,дУ
(С - diag ((ж1,д),..., (жп,д))ао),
') ЦЛЦ2 — обозначение для нормы Гильберта-Шмидта оператора А. По определению НСЛф!2 = tr Плавила)* = tr АА* = ЦЛЦ2.
и
N /
Е||а-а0||2 = 52 I Л
а^взУ А а^ж^эУ + °7 /а^взУ А а^ж^эУ + °7 /аЦхвдУ + <г2аЦхвдУ + <г23 = 1 \
а^взУ А а^ж^эУ + °7 /
а^взУ А а^ж^эУ + °7 /
аЦхвдУ + <г2
аЦхвдУ + <г2
при очень точном измерении д.
Приведем еще один пример задачи уточнения модели измерения, типичный для экспериментальных исследований. Речь пойдет об уточнении оператора, заданного матрицей п * (п + к — 1)
(ах ...
ак 0... .
0\
А =
0 «1
ак 0.
0
(5.13)
(о ...
00 щ .
• • ак/
определяющей дискретный аналог интегрального преобразования типа свертки
/з
(Л/)(ж) = ( аЦ - y)f(y)dy, а + Д^ж^-Д, Д > 0. (5.14)
В выражении (5.14) функцию п(г),—сю < г < сю, принято называть аппаратной функцией прибора А. Обозначим
/10...00...0\
в = Р1•••оо•••о=(/ 0),
\001о...о/
с =с =/0 1 о ... 0\0 0 1 ... о/0 1 о ... 0\0 0 1 ... о 1\1 о о ... о/ 1\1 о о ... о/о Л1 °)о Л1 °)(5.15)(5.15)
с =
с =
/0 1 о ... 0\
0 0 1 ... о
/0 1 о ... 0\
0 0 1 ... о
1
\1 о о ... о/
1
\1 о о ... о/
о Л
1 °)
о Л
1 °)
(5.15)
(5.15)
матрицы п * (п + к — 1) и (п + к — 1) * (п + к — 1) соответственно. Матрицу (5.13) можно представить в виде (5.1)
к
А = а1ВС° + а^ВС1 + ... + акВСк-1 = B^a^-1,(5.16)
3 = 1
где С° = 7. и если выполнено одно измерение (5.2), то в (5.4)
Т = (Вд ВСд ВС2д... ВС^д), д = 91.(5.17)
Следовательно, искомая оценка а = (ai ... а^)*
а = «о + SaT*(TSaT* + ДЩК - Та0) =
= (Т^Т + З^ГЧТ^Ч + З^аоУ (5.18) В ряде случаев при измерениях в выходном сигнале прибора присутствует так называемая постоянная составляющая, приводящая к «смещению» отклика на входной сигнал. При этом
£ = Аф + с + V, где вектор «смещения» с как и оператор А характеризует измерительную систему и подлежит уточнению. Поэтому вместо равенства (5.2) в этом случае следует писать
Ct = Agi + с + Цй z = l,...,s.(5.19)
Но поскольку
Ад + с = (Л с) ^,(5.20)
то запись (5.19) фактически не отличается от (5.2) и, следовательно, уточнение постоянной составляющей не приводит к дополнительным трудностям: уточняемый оператор определяется расширенной матрицей (Ас), а новые тестовые сигналы (^ 1)*,% = 1...S, определя
ются заданием д^ г = 1... s.
Рассмотрим подробнее вариант измерительной системы с «постоянным смещением» с = (a^i ... a&+i)* . Матрица (5.13) в этом случае заменяется на расширенную
/(1\ . . . &к^ • • • 0 ^А?+1 АМ с) =
\0 ... «1 ... Qk
и в разложении (5.16) появляется дополнительное слагаемое: к
(Ас)=В^2 ajC^1 + ak+1D.
Здесь В и С — матрицы п*(т1-\-к) и (т1-^к)*(т1-^к) соответственно, а в остальном такие же как (5.15), а
— матрица п * (п + к). Наконец, оценка а = (щ ... ак o^+i)* будет иметь вид (5.18) с очевидными уточнениями. В частности, теперь
Т=(Вд ВСд ВС^д...ВС^д Dg^ д = {д1У,
где д — тестовый сигнал, в (5.17) заданный (п + к — 1)-мерным вектором.
В заключение остановимся на задаче уточнения модели измерения, ( аА
в которой вектор параметров а =... в (5.1) будем считать не
\aN/
случайным, а произвольным элементом Bn • Фактически речь пойдет о задаче определения, а не уточнения модели, поскольку ее выбор априори никак не ограничен. При этом класс моделей оказывается настолько обширным, что некоторые задачи уточнения будут неразрешимыми. Например, задача прогноза измерения, в которой по данным измерения (5.3) тестовых сигналов щ,... ,gs требуется получить наиболее точную версию отклика Аф на известный входной сигнал ф, теперь может и не иметь решения. В этой задаче необходимое и достаточное условие возможности линейного прогноза, или иными словами — возможности оценить погрешность прогноза, имеет вид равенства (7.5) гл. 1 Uf(I — Т Т) = 0, в котором операторы Т и Uf определены выражениями (5.4) и (5.5) соответственно. То же самое можно выразить в форме включения N\T) C^(Uf), буквально означающего, что для любых щ,..., qn удовлетворяющих условию
N
^^ajAjgk = 0, & = l,...,s,(5.21)
j=i
должно выполняться равенство
N
(5.22)
Можно, наконец, сказать, что задача прогноза разрешима тогда и только тогда, когда существуют линейные операторы Ву^... ^В8 такие что1) (см. [5]) 52^=1 BkAjgk = Ajф, j = 1,... ,N. Понятно, что если Uf(I — ТТ) = 0, то искомая оценка отклика Аф
Af = Ufa = Uf(TQ~1T')~T*Q~1(,
где Q = ТТ*-^1^ , но, вообще говоря, Uf(I—Т Т) ^ 0, если должным образом не организовано тестирование.
Обратимся к примеру, в котором операторы Ai,..., An заданы равенствами (5.12), N = п, и при тестировании измерен один вектор gi = g. Поскольку в этом случае векторы
/ 0 \
А19 = I I , - - -, Ang = I q I ,
\0/Х^п^Н
xt =i = l,...,n,(5.23)
О Например, прогноз возможен, если ф — линейная комбинация
линейно независимы, если
(xt.g) ^ О, г = 1,... ,п,
то условие (5.2) влечет равенства а; = 0, г = 1,...,п и, как следствие, — равенство (5.22). Следовательно, если вектор g для тестирования выбран так, что выполняется условие (5.21), прогноз возможен для любого вектора /; в этом случае ТТ = I. Если же, например, (xi,^)=0,(жг,^)^0, г = 2,... ,п, то
Т"Т = diag (0 1 ... 1)
и прогноз возможен лишь при условии, что
П^ = (А^...АпЛ = (0 A2f...Anf\
или, иначе говоря, если (яд,/) = 0.
При условии (5.21) разрешима задача уточнения (определения) модели А (5.9), впрочем как и любая другая задача линейного оценивания Uа .
Глава 7
Нелинейные методы редукции измерений
Введение
Нелинейными называются такие измерительно-вычислительные системы (ИВС), у которых хотя бы одна компонента, измерительная или вычислительная, нелинейна. Основным элементом измерительной компоненты ИВС является измерительный преобразователь (ИП, датчик, [6]), преобразущий воздействие от исследуемого объекта и среды (электромагнитное излучение, давление, ускорение и т.п.) в электрический сигнал, поступающий далее в вычислительную компоненту. В практике измерений находят применения как линейные, так и нелинейные ИП, причем линейные — значительно чаще.
Типичная схема измерений в системе «измеряемй объект-среда- измерительный прибор», имеет вид равенства
£ = AJ + v,(0.1)
в котором £ интерпретируется как искаженный шумом v выходной сигнал ИП Л, на вход которого поступил сигнал / от измеряемого объекта и среды, взаимодействующих в процессе измерения между собой и с ИП. Обычно в равенстве (0.1) А — оператор, моделирующий ИП, взаимодействующий с измеряемым объектом и средой, входной сигнал / — элемент должным образом выбранного функционального пространства, v — элемент другого функционального пространства, моделирующий измерительную погрешность, элементом этого же пространства является результат измерения £ .
В большинстве случаев схема (0.1) записывается в виде
Щ) = I a(x,y)f(y)dy + Щ), х^Х,(0.2)
согласно которому в равенстве (0.1) А — линейный интегральный оператор с ядром а(-, •),/(•), например, измеримая, интегрируемая с квадратом на Y функция, моделирующая входной сигнал, v(-) — случайная функция на X с (частично) известными вероятностными
свойствами, моделирующая погрешность измерений. Однако линейность ИП в (0.2) указывает лишь на линейную зависимость его выходного сигнала от входного, а поскольку последний зависит от параметра измеряемого объекта, как правило, нелинейно, измерительная компонента ИВС, состоящая из ИП, измеряемого объекта и среды, взаимодействующих между собой в процессе измерения, обычно оказывается нелинейной.
Проблема интерпретации измерения (0.1) состоит в том, чтобы извлечь из £ как можно более точные значения параметров объекта, причем, как правило, не те, которые он имеет, будучи искаженным в процессе измерения, а другие, свойственные системе «исследуемый объект-среда», не возмущенной измерением, характеризующие исследуемый объект (и среду) в естественном состоянии. Поскольку с математической точки зрения неважно, зачем исследователю понадобились те или иные параметры объекта, будем считать, что задача интерпретации решена, если значения параметров исследуемого объекта получены и указана сопутствующая погрешность).
Формально задача интерпретации измерения может быть описана следующим образом. Обозначим U оператор, моделирующий гипотетический измерительный прибор, взаимодействующий с измеряемым объектом и средой точно также, как А, но воспроизводящий на выходе значения параметров измеряемого объекта в принципиально ненаблюдаемой системе «исследумый объект-среда». Поскольку в таком случае на вход U поступит тот же сигнал от измеряемого объекта и среды, что и на вход Л, то U f — значения параметров исследуемого объекта в системе «исследумый объект-среда». Оператор U, моделирующий то, что в экспериментальных исследованиях называют идеальным измерительным прибором, как правило нелинейный. Задача интерпретации измерения £ (0.1) состоит в определении оператора R, вообще говоря, нелинейного, такого, что R^ — наилучшее (в известном смысле) приближение Uf. В других терминах можно сказать, что задача интерпретации измерения (0.1) понимается как задача редукции сигнала £ к виду, свойственному измерению на идеальном приборе U). Понятно, что эта задача решается вычислительной частью иве.
Заметим, что измерительный прибор U, как правило, не может быть реализован в «железе» в силу действующих технологических ограничений и физических запретов - квантовых, термодинамических, волновых и т.д.
Для решения задачи интерпретации необходима «сквозная» модель, включающая математическую модель формирования сигнала У в системе «объект-среда-прибор», математическую модель схемы измерения (0.1), связывающую / с результатом измерения £, и математические модели систем «объект-среда». При этом операторы А и U определяются как составные части моделей систем «измеряемый объект-среда-измерительный прибор» и «исследуемый объект- среда». В то время как модель системы «измеряемый объект-среда- прибор» призвана описывать реальные измерения, модель системы «исследуемый объект-среда» должна описывать процессы, которые интересуют исследователя, но недоступны для непосредственного наблюдения.
Нелинейные уточнения редукции измерений
Начнем с задачи редукции измерения, в которой входной сигнал У ИП линейно связан с его выходным сигналом Лу, А — линейный оператор, моделирующий ИП в системе «измеряемый объект—среда— прибор», и аналогично — параметры исследуемого объекта в системе «исследуемый объект—среда» определяются в виде UУ, где U — линейный оператор, моделирующий идеальный измерительный прибор. В задаче редукции по данным измерения £ (0.1) требуется получить на выходе ИВ С как можно более точную версию U f. При этом, как правило, v — случайный элемент, моделирующий погрешность измерения Лу, и известно множество Т, априори содержащее входной сигнал У ИП. Определяется Т свойствами изучаемого объекта и среды, динамическим диапазоном ИП, вне которого последний не описывается принятой моделью.
Следующие факты показывают, что линейные решения задач интерпретации измерений, полученные в главах 5, 6, могут быть улучшены.
Лемма 1.1. Пусть Т — ограниченное, выпуклое и замкнутое множество в евклидовом пространстве И, U — линейный непрерывный оператор, действующий из Tt в евклидово пространство ’) U. Тогда множество UH ограничено, выпукло и замкнуто в U.
Доказательство. Ограниченность и выпуклость UТ очевидны. Пусть {гп} CUН - последовательность, сходящаяся к г* G ТЦП) Покажем, что г* G UН. Определим последовательность {жп} С Г такую, что Uxn = гп, п = 1, 2,... Поскольку в силу условий леммы Т слабо компактно, существует слабо сходящаяся подпоследовательность {жп(^)} С {жп}, причем ее предел ж* G Т, так как согласно теореме С.Мазура Т слабо замкнуто. А так как для любого t G П
х) В этой главе евклидовы пространства, в частности, Н и U. бесконечномерны (если не оговорено противное).
имеет место (JJx^^ = <xn^U*t^ -э (ж*, U*t) = (Ux*,t), то zn^ = = Uxn^ Ux*, т.е. г* = Ux* Е UТ. □
претациипретацииПусть £=£(£) — случайный элемент Z7, оценивающий значение U f параметров исследуемого объекта на основе результата измерения ^ короче говоря, пусть £=£(£) — какое-либо решение задачи интерпретации измерения £. Качество интерпретации £ определим посредством максимальной средне-квадратичной (с.к.) ошибки интер
претации
претации
8(0 = sup Е |К - Г/||2.fE^
Чем меньше 5(C), тем лучше £ оценивает Uf и соответственно тем лучше решает задачу интерпретации измерения. Следующая теорема показывает, что проекция U f случайного элемента £ на U И оценивает U f не хуже, чем £ [74].
Теорема 1.1. Пусть £ — случайный элемент Ц, оценивающий U f Е UТ. Если UИ — выпуклое замкнутое мноснсество в Ц, то
sup(E |К - UfW2 - Е || Uf - UfW2) sup Е ||С - Uf\?-
ferfer
(1.1)(1.1)- sup Е\\Uf - Г/||2 ^ Е ||С - Г/||2 ^ 0.
(1.1)
(1.1)
fer
Доказательство. Напомним, что проекция Uf ( на UТ определяется как решение задачи на минимум
\\С-ил?= ы ПС-<.(1.2)
qeuf
Поскольку |К~ д||2 — сильно выпуклая функция g EUH, а выпуклое множество UТ замкнуто, задача (1.2) имеет единственное решение
UfEUH (см., например, [75]), причем для любого g EUH
(Uf -(,д-ил^о.(1.3)
Для доказательства теоремы заметим, что
sup Е ПС - Uf\? = sup(E ПС - Uf\? — E\\Uf — Uf\?+
+ E\\Uf - [//||2) < sup(E ||C - [//||2 - E\\Uf - [//||2) +
+ supE||[T/-[//||2.
Отсюда следует первое неравенство в (1.1). Далее, учитывая неравенство (1.3), найдем
IK - ил? = ПС - СГл? ^х-щ^щ- up + ПО - г/||2 ^IK-Ol2 + llO-r/||2.
Поэтому sup Е НС-[//II2 > supE||[//-[//||2 + E||C-[//||2. □
/е/7/е/7/е^
/е/7
/е/7
Подчеркнем, что в теореме 1.1 ограниченность множества UH не требуется.
Пусть, например, Т = {/, ||/ — /о|| ^ d^ и выполнены условия леммы 1.1. В таком случае выполнены и условия теоремы 1.1. Чтобы решить задачу (1.2), следует найти минимум лагранжиана
ь = 1К-г/||2 + Д/-/0||2
на П и определить множитель Лагранжа си ^ 0 из условий
Д||/-/о||2-^2) = о,II/- /о||
В конечном счете найдем
Щ = ПЩ*и + сЛГЧиЧ + cufo),
если ( £ Щи) ®-Rl(U), либо если ( е Щи) Ф ТЩГ), но ||Г"«-— [//о)|| > 7: со — корень уравнения ||U*(UU* + col)-1 (£ — ^/о)|| = d*,^7 = ии-с,
если СеН(и)ф^(и) и \\U-«-Uf0)\\ < d.
В частности, если £ = сР(Е-1/2Л)_Е-1/2£(сР+tr (Л*Е-1 Л)-)-1 — линейное решение задачи редукции измерения
е = АПн fen,(1.4)
в котором v — случайный элемент R, моделирующий измерительную погрешность, Е и = О, Е — ковариационный оператор v, U = I, fo = = О, [5], то
? IX/HCH, если IKII > ^
Ц, если 11(11 d,
— улучшенная нелинейная редукция (оценка f е П).
В ряде случаев хороший результат может быть получен путем комбинирования результатов теоремы 1.1 и теоремы 5.1 гл. 5. Пусть выполнены условия теоремы 1.1, П проектор на П*. inf{||5f—h\\ | h еП^ = ||р — Пр||, g е R, Rf = f — несмещенная редукция £ (0.1) к U = = I, найденная по формуле (0.5) гл. 5 для модели [Л, Е]. Согласно теореме 1 /1 = П/ — уточнение оценки /. Если /1 рассматривать формально как результат «дополнительного измерения» f е П, а £1 = (?) — как результат измерения / по схеме £i = г / +
\Л/V )
Л\ /Е 0\J7 \° ^7Л\ /Е 0\J7 \° ^7+ ^~^ , где If = f = П/, / е Т, то R^i — уточнение оценки /1 (при любом шуме Г ), если R оператор редукции к U = I для мо
Л\ /Е 0\
J7 \° ^7
Л\ /Е 0\
J7 \° ^7
делиделиОбъединив этот и предыдущий результаты,
дели
дели
Рис. 7.1. Нелинейное уточнение редукции измерения, а) Входной (измеряемый) сигнал /(ж), х Е X, в (0.1). б) Аппаратная функция: ядро к^ = = а(ж, у^ z = х — у. x^z ЕХ, интегрального оператора А в (0.2), зависящее от разности аргументов, в) Результат измерения ^ (0.2). г) Несмещенная редукция Кб, к прибору U = I (см. формулу (0.5) гл. 5), надежность модели [А, Е]: а^ « 1. д) Ортогональная проекция ЩзоЯ^ редукции R^ на линейную оболочку векторов щ,..., ехзо базиса модели [А, Е] (редукция ограниченного ранга), е) Результат /б = ПД^б уточнения R^ полученный на шестой итерации при учете неотрицательности измеряемого сигнала /(ж)0, ж Е X
найдем следующее уточнение оценки Н£д : /2 = ПЯ^х. Таким образом определен рекуррентный процесс уточнения:
А+1=П^,(Л, г = 1,2,...
На рис. 7.1 представлен результат уточнения несмещенной редук- /л\
ции в случае Т = {/ = ... Е Нт, ft 0, г = 1,..., т^т = 200. \fm/
Для сравнения на рис. 7.1, д приведена оценка ЩзоЯ^ 130-мерной 130
составляющей /хзо = 52 ej(/? еД входного сигнала /, искаженная j=i
шумом в меньшей степени по сравнению с оценкой любой другой 130- мерной ортогональной составляющей /, см. гл. 5.
Другие возможности нелинейных уточнений интерпретации измерений связаны с более полной информацией о погрешности измерения v. Например, если в (1.1) оператор А плотно определен и замкнут,
Т = D(A) '). измерение £ позволяет «частично» определить фактическую погрешность, поскольку ортогональная проекция £ на Н^(А)
т = (1 - АА^ = (I - ЙУр>
не зависит от /. Вследствие этого задачу редукции можно рассматривать как задачу на минимум для «условной с.к. погрешности»
supE (||Д^ - s - С/|| | т) ~min.(1.5)
/R’s
Здесь минимум вычисляется на множестве всех векторов s Е U и на классе линейных операторов R = R^ определенном в теореме 1.1, при условии, что в последней оператор математического ожидания Е заменен на оператор условного математического ожидания Е (*|т). Если R = R*T, s = з*т — решение задачи (1.5), то редукция R*T^- з*т будет самой точной в с.к. условно-линейной оценкой U f 2). В терминах теоремы 1.1 искомая редукция запишется следующим образом
ШСЦЗ"1^ - Е (S”1^ | (7 _ kF^-v = т)),
где К = S-1/2A, S = AA*^Y,.
Соответствующая с.к. погрешность
H^^^V2^1^^ _ Е цЕ (yK^S^v | т)||2
меньше на Е ||Е ^R^v | т)||2, чем с.к. погрешность редукции, определяемая оператором R* = UK S-1^ [5]; R* — решение задачи
sup Е \\R£ — С7/112 ~ min .
/R
Однако, если v имеет нормальное распределение, этот метод не даст выигрыша в точности. В этом случае можно использовать оценку типа Стейна-Джеймса [см. §3 гл. 3]. Если U = 7. tr (Л*Е-1Л)-2 < сю и v имеет нормальное распределение, то нелинейная редукция типа Стейна-Джеймса измерения £ к /
Я£ = Л*{ЛЛ* + 2Д (Е-ГМЩ-1/2^!-2!:)-1^
обеспечит меньшую с.к. погрешность, чем наиболее точная в с.к. редукция ) (А*Е-1А)-1А*Е-1/2^, если
О < ^ ^ (tr (ТГЕ^А)-2 - 2||(Л*Е-1Л)-2||)/||(Л*Е-1Л)-2||.(1.6)
х) Р(Л) — область определения оператора А, А — замыкание А.
Нелинейная минимаксная редукция измерения
Если про погрешность v в (1.4) известно лишь, что v еЫгде Ы — заданное ограниченное множество в R и Т-’сТДА), то будем говорить, что задана модель [А,^,^ схемы измерения (1.4). В этом случае задачу редукции измерения (1.4) можно поставить, как следующую задачу на минимакс:
h^,U) = sup{||r - Г/||2 | / € Т, v е АГ, £ = Af + Д ~ min, (2.1)
в которой требуется минимизировать условную оценку h^r, U) погрешности редукции (при условии, что £ — результат измерения (1.4)). Ее решение г* = Я*(£) является искомой наиболее точной версией 77/, / Е Т основанной на априорных данных и результате измерения £.
Дело в том, что при оговоренных условиях задачу редукции измерения (1.4) естественно поставить как задачу минимизации на множестве всех решающих функций (стратегий) К^ максимальной на множестве всех возможных / и £ погрешности ||Я(£) — U f ||2 интерпретации R(^) как Uf:
Н№,щ = sup{||/?(0 - г/н21 (/, о € U (Г cf^ ~ ™Ц (2-2)
где
Cf = ^ = Af + v,
А решение R*(-) задачи (2.2) дается функцией Я*(£), £ Е С = {£ = = Af + v, f Е Т, v Е Nf, определенной выше в связи с решением задачи (2.1) для каждого £ Е С. Действительно, для любой решающей функции НУУ
U) = sup sup{||^K) - Uf)\\2 | f : f E T, VEK,
^ = Af + v} = sup h^ (R^, U) > sup h^ (R* ^yu) = hyR*yyuy
Следовательно, функция R*yy £ E С, минимизирует погрешность интерпретации h(RyyU) (2.2).
Что же касается задачи (2.2), то ее решение имеет довольно простую геометрическую интерпретацию. Пусть
^ = Ш /е^, ^ = AJ + v, УеЦ
и Sc шар минимального радиуса, содержащий Ы^. Тогда, как известно [75], решение Н*У) задачи (2.2) есть центр S^ и h(R*y)^U) = = (сНат8Д2/4. В свою очередь, оценка погрешности интерпретации равна:
Г) = sup{(diamSe)2/4 Ц G С}.
Рассмотрим важный для практики случай, когда U и UА — линейные непрерывные операторы, причем U(J — АА) = 0, т.е.
Я(П) D JV(A) *) и Т = Т>(А). При таких предположениях равенство £ = Af + v влечет два соотношения, а именно, равенство
Uf = UA^ - UA^v,(2.3)
связывающее возможные значения U f и v, и равенство
П£ = т = Пр,(2.4)
выделяющее значения v еЫвозможные при фиксированном результате измерения £. В (2.4) П = I — А А — ортогональный проектор на 'НЛ(А), поэтому т не зависит от неизвестного / Е Т)(А). С учетом условий (2.3) и (2.4) задачу (2.1) можно представить в виде классической задачи отыскания центра замкнутого шара ST CU наименьшего радиуса, содержащего множество Мт = {AAja v Е М-}:
sup{||r — UA^ + UA^vf | v Е X} ~ min .(2.5)
Здесь NT = ^v Е Я, Пт/ = т} — сечение множества JV плоскостью ^v Е Я Пт/ = т}). Если ж* (г) — центр ST, то искомая редукция измерения (решение задачи (2.1))
H^^UA^-x^(2.6)
и
= ЦН^У^ = (diamST)2/4(2.7)
— условная оценка погрешности редукции, равная квадрату радиуса ST (в энергетической шкале) при условии, что £ — результат измерения (1.4). Соответственно оценка погрешности редукции h(U) = = sup h^ (U) = ЦН, (-yuy
С
Заметим, что если множество Ят симметрично относительно vT ), то согласно лемме 1.1 ж*(т) = U A vT. В этом случае вместо (2.6) R^ = U^^-VTY
Например, если Я = ^v Е Я ||z/|| ^ J}, то Ят = {^ Е Л. Пт/ = т} и Мт = ^UAv = UAAAv. v Е М-}. Пусть 5Т — радиус шара АА"ЯТ в XAY Тогда в (2.7)
h^U) = 5^T\\UA^\\2(2.8)
') Я (А) = {ж Е Т>^А\ Ах = 0} — ядро Л; оператор UА- предполагается ограниченным на области определения Р(Л-) = 7^(Л) ф 7^±(Л) оператора А- псевдообратного в Л, [5].
— квадрат наибольшей полуоси эллипсоида1) Мт и в (2.6) ж* (г) = О, ибо шар Ыт симметричен относительно центра vT и ААит = 0.
Практически таким же путем можно продвинуться в решении задачи редукции измерения (1.4), в которой оператор Л, моделирующий измерительный прибор, на котором фактически выполнено измерение, неизвестен, но известно множество Л, содержащее А. Речь пойдет о задаче редукции
sup {||г - L7/||2|/е Р(Л), А Е Л, veK, £ = Л/+ z/} ~ min,
в которой, как и в задаче (2.1) будем считать, что операторы U и UА- непрерывны и U(I — АА) = 0 при любом А Е А.
Вместо (2.5) получим задачу
sup {||r + UA~(v — £)||2 |щ А : v Е JVT(A), А Е л} ~ min, (2.9)
в которой Х(Л) = ^v Е ^, (I — АА~)и = т}, А Е Л, причем при фиксированном £ теперь т = (I — АА)^ = т(Л) 2).
Пусть х*^) — центр шара S^CU наименьшего радиуса, содержащего множество -М(£) = ^UAA~(v — £), v Е JVT(A), Л Е Л}, которое будем считать ограниченным при любом £ Е R. Тогда искомая редукция (решение задачи (2.9)) R*^) = —ж*(£), а квадрат радиуса S^ дает условную оценку погрешности редукции (рис. 7.2).
Замечание 2.1. Аналогичные задачи можно решить методами, разработанными для решения некорректных задач, в частности, — методом регуляризации А.Н.Тихонова, [3]. Для сравнения ограничимся простым случаем, когда в модели измерения (1.4) А = А* — точно известный (самосопряженный) положительно определенный (невырожденный) оператор, действующий из Rn в Rn, Т = Rn и, как в рассмотренном примере, JV = ^v Е Rn, ||z/|| ^ й}. Метод регуляризации решения уравнения (1.4) относительно / Е Rn основан на решении fa = (А*А + аГ^А*^ задачи ||Л/ — £||2 + сф/||2 ~ min, в которой параметр регуляризации л ^ 0 определяется по невязке, т.е. как корень уравнения
6 = p^PPallMM+aZrW + PI = Да,/, Д, А = А*. (2.10) Сопутствующая погрешность
Wf-^W^^A + airXA^-aPW2 = ЦаЛ,^, А = А*. (2.11)
Здесь параметр а = а (5, /, z/) считается определенным согласно усло-
х) Поскольку АА — ортогональный проектор на R(A) и UA АА = = UА- нормы ||Е7Л—1| и ||ПЛ_||^^у равны.
евую часть в (2.9) можно записать в виде sup{||r+t/A_ (и —£)||2 |z/, А : v Е N ^ — v Е R(A), А Е Л} , ибо АЛ = {z/ Е М, ^ — v Е АА- (^ — z/)} .
Е-ЯТ^
Рис. 7.2. Иллюстрация решения задачи (2.9) в случае, когда в измерении (1.4)= af + v^ f Е Hi, v Е Н2, а = ^2) = А Е Л С Н2, где А —
кривая, замыкающая угол, образованный векторами ai и (Z2; А- = а*/||а||2 ,т = т(А) = (1-аа*/\\а\\2^
вию (2.10), поэтому погрешность (2.11) оценивается значением h(6) = sup{/j(a, f,v)\f,v : v e Tln,
IMI^,(2.12)
Оценим h(5) (2.12) снизу. Для этого в (2.10) и (2.11) выберем и = = —pA^f. р = 5/||Л-1/||, а / — собственным вектором А : Af = = Xf. При этом а в (2.10) определится как корень уравнения 5 = = И1/Н — £|/(А2/а + 1), что даст следующее значение для правой части (2.11):
(Х5 + с||/||)2/(А2 + а)2 = (J/A)2(l + sign(A||f11 - J))2.(2.13)
Пусть в (2.13) А — минимальное собственное значение А. Выбирая f Е Нп так, чтобы А||/|| — 5 > 0, найдем h(5) ^ (25/X)2 = (2J||A-1||)2 , что в энергетической шкале вчетверо хуже, чем оценка погрешности решения (2.6) при U = 7. А = А-1, поскольку в (2.8) при любом т 5Т <5 и sup^(Z) = ^у-1!!2.
€
Замечание 2.2. В рассмотренных задачах ключевым моментом является построение множества 2/^ возможных значений параметров исследуемого объекта. Множество Ц^ в свою очередь определяет шар S^, а вместе с ним и решение задачи интерпретации измерения £ с условной оценкой погрешности, и при этом предположения о линейности операторов А и U не играют никакой роли. Однако, в то время как 1^ содержит всю информацию о возможных значениях параметров объекта, переход к S^ влечет частичную потерю информации, а его результат существенно зависит от топологии задачи.
Пусть, например, dim 7^ = п и схема измерения (1.4) записана в виде п скалярных измерений ^ = (aj, f) + v^ 3 = 1,... .п, так что в равенстве (1.4)
ДА/М)\ДА
е= ... , Щ =..., V = ... .(2.14)
\£п/х^пЛУх^п)
Пусть кроме того априори / 6 Тъ и |щ| ^ 5г, г = 1,.. .п, где множество 6Р^ и 5t ^ 0, г = 1,... ,п известны. Определим в К плоский слой Jj = {/ е 7£, \^j — (а^ /)|5j^ толщины 25^7||п^||, j = 1,..., тг.
Тогда множество возможных сигналов f E1Z, выделенное измерени- к
ями ^1,..., ^ , есть J^ = Q J), и, чтобы учесть очередное измере- 7=1
ние ^+i, достаточно знать Т7^) и 7д+1, ибо JF^) = fW Q 77+1. Тем самым определен рекуррентный процесс построения множества 7^ = у ^^ Af G^_^,^ = ^ е^ |Д ^§ьг = 1,. ,.,п}. Далее может быть построено множество1) Д^ = иА1"*) и соответствующий шар S^. Здесь u(/),/ 6 Тъ, — функция, определяющая значения
параметров исследуемого объекта, соответствующие входному сигналу ИП. Шар S^ , очевидно, не может быть построен с помощью шаров S^t, соответствующих ^д, г = 1,..., п.
Случай нелинейного измерительного преобразователя и идеального измерительного прибора
В этом более общем случае схема измерений может быть опреде
лена равенствомлена равенством£ = Ш>), (У;ОеР,£ = Ш>), (У;ОеР,
лена равенством
лена равенством
£ = Ш>), (У;ОеР,
£ = Ш>), (У;ОеР,
в котором D — заданное множество в 7^x7^, априори содержащее входной сигнал ИВ С и измерительную погрешность, ^(-<) — функция, определенная на Р. принимающая значения в М ) и моделиру-
Рис. 7.3. Иллюстрация решения задачи h(r^ и(-)) ~ min. a) D = = W,v\ f2 + ^ ^1}, £ = / + V, «(/) = /2; б) D =
= W^, f ^ л, о ^ / ^ 1}, С = Л, ^п = /; 6) v = = {(Л VY 1/1 ^ci, И ^сз} > € = f+v, ^(/) = / • На рис. а) и б) приведены решения г* (£), соответсвующие конкретным результатам измерения ^, на рис. в) приведен график r*(^), |£| ^ ci + С2
ющая выходной сигнал ИП. В задаче редукции требуется по измерению £ Е М получить наиболее точное значение параметров объекта u(/) С U. / Е Т где Т — проекция D на П. Условную оценку
погрешности редукции г = т(^) определим величиной
= supV\\r - u(f)\\^CU^^Y (3-1)
Ясно, что при таких условиях решение г* = г*(^) задачи h(r, n(-)) ~ min — центр шара S^CU наименьшего радиуса, содержащего множество Щ = {u = n(/),/ 6 7д}, где Т^ — проекция на
71 множества D^ = {(/;^) Е D, ^(f*^) = €}• Квадрат радиуса S^ оценивает погрешность редукции, см. рис. 7.3.
Пример 3.1. Рассмотрим в качестве иллюстрации задачу измерения ЭДС источника постоянного напряжения. Если р = щ — внутреннее сопротивление источника, г = 1 — внутреннее сопротивление вольтметра, то схему измерения ЭДС / источника можно определить равенством £ = //(l + z/i) + i/2, ЦЛ = Л задав для (/;Д’
множество D С 7^1 х 7^2 условиями 0 ^ v_Y ^ v-v ^ 771? \v^\ ^ 172, — оо < / < оо. В таком случае, если, например, £ — 172 > 0, то
•^ = {/ : С1 + Е1)(€ - ^2) < / ^ (1 + ^i)^ + v^Yт^ = Д1 + (z7x + щ)/2) + z72(z7x - щ)/2
и ошибка интерпретации равна
(£(^1 — Ei) + ^2(2 + гц + z/i))/4.
Случай неединственной и многозначной функции, определяющей модель интерпретации
На практике зависимость параметров объекта от сигнала / в ряде случаев может быть выражена многими функциями u(/),/ Е Т.
Множество U, всех таких функций, очевидно, выпукло, и при определении параметров объекта следует указать ту функцию и^ Е U. значение которой и(/) может быть точнее всего оценено как решение задачи на минимум. Поскольку отыскание и^ и описание класса Z7, как правило, задачи непростые, покажем на характерном примере, каким образом можно решать задачу наилучшего оценивания параметров объекта, не используя явный вид функции и(-) и множества U..
Пример 4.1. Пусть требуется восстановить прямую £C/R^ по результатам измерений £ = (£х .. .£т) точек, лежащих на £. Предположим, что результаты измерений имеют вид равенств ^ = ^г + ^ь ^ = = 1,...,ш, в которых xt Е £. щ — сопутствующая погрешность, причем Vi Е М, г = 1,..., т, где ЛГ — ограниченное множество в 7^2- Пусть £ = {х Е Тг2, (п,х) = |H|2}, где (п,х) = ||п||2, ж 6 7^2, — уравнение искомой прямой, п — вектор нормали к £, ||п|| — расстояние от £ до начала координат. В этой задаче п = и(/) — вектор «параметров исследуемого объекта», / = (жх ..., жт) Е Y^^m ~ измеряемый «входной сигнал» и при m > 2 можно указать сколько угодно u(/),/ Е (7^2)т, определяющих зависимость п = и(/). В
следующей постановке задачи определения наилучшего приближения £^ прямой £ не используется явный вид и(-) и множества U. Пусть
= sup{||r - n||| ne ft2, (п,ж^ = ||n||2,
Xi + b'i = ^t, v,EAL г = 1,
и r^ — решение задачи на минимум: h^r^) = min h^r), т.е. пусть r^ — центр шара минимального радиуса, содержащего множество
^ = {п€7?.2,(п,Ж») = ||п||2,
Жг + Пг=^, Vi 6 АГ, i = l,...,m}.
Тогда искомое наилучшее приближение £^ прямой £ будет определено уравнением (т^,ж) = Нг^Ц2, ж G 7^2, если расстояние между прямыми £ и £ определить как ||п —п||. Этот пример является типичным представителем широкого класса задач интерпретации измерений, в которых число измерений больше, чем требуется для однозначного определения значения функции и(-).
Вернемся к задаче интерпретации измерений, рассмотренной в §2. Если в ситуации когда JV(A) ^ {0} отказаться от условия UJV(A) = = {0}, использованного в этом параграфе, то, с одной стороны, множество Щ = {Uf, / G Т, £ = Af + zx, v G JV^ при Т = D(A) окажется неограниченным, а, с другой, — функция Uf f ЕТ, станет многозначной. Действительно, если UJV(A) ^ {0}, то, в отличие от равенства (2.3), теперь при Т CD(A)
Uf = UA"^ -vH U^(Al veMt. (4.1) т. e. каждому v E Ыт функция U ставит в соответствие множество (4.1). В общем случае, если априори / Е Т С ^(А), то U/ = = И^Лг^ — и) + Af(A)) А И), v Е Ыт. Здесь правая часть, будучи определенной на плотном в Ыт множестве Ыт А Т)(А-), считается доопределенной по непрерывности на все множество Ыт. В этом же смысле следует понимать множество U^ = U ^А- ^-Мт^-\-М^А^ГН^, на основе которого решается задача интерпретации измерения £. При этом тот факт, что U — многозначная функция, не вносит ничего принципиально нового, поскольку в конечном счете для решения задачи интерпретации должна быть построена опять-таки многозначная функция £ —> Щ .
Пример 4.2. В прикладных задачах многозначные функции встречаются часто. Например, при точном взвешивании показание весов £ = f-Vv. Здесь / = g(m—pov), g — ускорение свободного падения, m — масса, ж — объем взвешиваемого объекта, ро — плотность воздуха. Решение задачи интерпретации измерения £ состоит в определении «параметров исследуемого объекта» — т, ж, множество которых РР = {(т,Ц / = д(тп-рор, 0 <m ^pmv, 0 < -и ^vm, ^ Еро ^р0} определяется многозначной функцией м(-), заданной на множестве Г = {/ = д(т - Pop, 0 < m ^ pmv, pQ^ Ро ^ PoY Значениями «(•)
являются множества на плоскости т, г; рт, vm — максимальные значения плотности и объема взвешиваемого объекта, интервал [pQ, р0] задает неопределенность значения плотности воздуха в момент взвешивания.
Методы нелинейной редукции в интегральной метрике
Рассмотрим класс задач нелинейной редукции измерений, типичный представитель которого определяется схемой измерений
£ = / + ^ (5-1)
вектора / G Т С Лт и функцией п(/), / G У. принимающей значения в Tt^ и определяющей параметры исследуемого объекта. Задача редукции измерения (5.1) сводится к проблеме вычисления значения и(/) (известной) функции и(-), аргумент / которой неизвестен, но известно его приближенное значение £ (5.1), а также то, что априори / Е У. Если измеряется не /, как в схеме (5.1), а значение а(/) известной функции а(-), определенной на У [76],
£ = <П + V, (5.2) то в этом случае мы ограничимся только такими задачами редукции, в которых и^ можно определить как (единственную) функцию а(-): и(/) = г(п(/)), / Е У. Понятно, что эти задачи попадают в рассматриваемый класс, поскольку в них речь идет о вычислении значения функции у (а), а Е ф.77), аргумент которой задан приближенно равенством (5.2).
Предположим, что ошибка измерения (5.1) v — случайный вектор 7tm , Е v = 0, известен его ковариационный оператор ') ст2/ и задана ограниченная область Ы С Кт ^ такая, что v Е N с вероятностью единица. Кроме того, будем считать, что функция и^ принадлежит классу С (У) непрерывно дифференцируемых функций, У — ограниченная область Kmi и на У задана весовая функция д(/) > О, / Е У\дУ определяющая с.к. метрику в С?\У\ В частности, д(-) задается исследователем с таким расчетом, чтобы вклад в расстояние
Г Г А1/2
(у дижмп - +72нд/) -
между и(-) и й(-) в каждой подобласти У и соответственно — значения q(-) в этой подобласти были тем больше, чем «интереснее» эта подобласть для исследователя. Однако, поскольку такая точка зрения
на q(-) не приводит к каким-либо формальным отличиям по сравнению с теоретико-вероятностной, далее функцию q(-) будем считать нормированной и обращаться с ней как с плотностью вероятности1). Интегрирование J q(f)df будем отмечать символом математического г
ожидания Е .
В задаче редукции требуется определить функцию т(-) = т*(-) такую, что
SUpE (||Г*(^) -и(/)||2 +72|Д(^) -u'(/)llmn) =
= minsupE ГЦг^) - u(/)||2 + 72|k'(0 -w'(/)||^J, (5.3) r(.)x/
где sup вычисляется на классе всех распределений v G JV с ранее оговоренными характеристиками и отражает факт неполного знания свойств ошибки измерения, 7 — постоянная, задаваемая исследователем. Здесь и далее || • ||п обозначает норму в Нп (где принимают значения т(-) и и(-)). Если, в частности,
/duVd/A
где гц(-) =..., г = 1,..., т,
\dun/dfj
то
\W< = ^>ЧЛГ
г=1
ii^wiil = Е ikwh» = Е Е (^F) ’ /G
Ниже будет построен параметрический класс функций т(-,си), О и < 00, предназначенный для исследования задачи на минимум (5.3). Предположим, что т(-) — функция класса2) C2(D), где D = = {г = / + tx. f Е Т, хе Я, t е [0,1]} . Тогда для £ (5.1)
т1т
АЛ = У/) + Ег^)^ + Л~Л Е гуЛ -Vtv^ViVjdt, ^£D, (5.4) 4=1о= 1
х) Эти условия позволяют указать наилучшие в с.к. априорные оценки u(f) и u(J), а именно J u(f)q(f)df и J и (f)q(f)df соответственно.
2) С2(Р) — класс дважды непрерывно дифференцируемых функций на Т>\дТ>.
ии
и
и
»Ю = п(/) + [ У^^ + tv>jdt, ^eD. (5.5)
3=
Здесь гД/) = ——-О JiЗдесь гД/) = ——-О JiпАЛ =пАЛ =эул9h,9fjэул9h,9fji,j = 1..., m. Используя раi,j = 1..., m. Используя равенство (5.4), получим следующую оценку для первого слагаемого в (5.3)венство (5.4), получим следующую оценку для первого слагаемого в (5.3)
Здесь гД/) = ——-
О Ji
Здесь гД/) = ——-
О Ji
пАЛ =
пАЛ =
эул9h,9fj
эул9h,9fj
i,j = 1..., m. Используя ра
i,j = 1..., m. Используя ра
венство (5.4), получим следующую оценку для первого слагаемого в (5.3)
венство (5.4), получим следующую оценку для первого слагаемого в (5.3)
т1/2
•т1/2
- / р(жМ/)||ж||^ Е ||гу(/ + tx')\\^dxdfdt\ . (5.6)
^МЛ3 = 1J
Здесь р(-) плотность распределения v. интеграл во втором слагаемом (5.6) вычисляется по множеству М = JV х JFx [0,1].
Оценку для второго слагаемого в (5.3) найдем, используя равенства (5.5),
1 1/221 1/221 1/2
1 1/2
2
1 1/2
2
- 1/2;. (5.7)- 1/2;. (5.7)2
- 1/2
;. (5.7)
- 1/2
;. (5.7)
т
P^MDINIm ^ WijU + tx)\\2ndxdjdt
^м^=1■
Естественная постановка задачи редукции, «мажорирующей» согласно оценкам (5.6) и (5.7) задачу (5.3), сводится к отысканию функции т(-) из условия минимума выражения
д^и) = jд(Л^Ш - м(/)11^+
+уу^ш3 = 1+уу^ш3 = 1«jmwn+^wrjuoyj (5.8)«jmwn+^wrjuoyj (5.8)
+уу^ш
3 = 1
+уу^ш
3 = 1
«jmwn+^wrjuoyj (5.8)
«jmwn+^wrjuoyj (5.8)
при условии
/i(r) = sup у р(Щ(/)(д||ж||т+ ?2|И1т) У WijU + tx^dxdfdt Е, М
(5.9)
в котором е — заданное положительное число. Значение g(r, и) (5.8) определяет «часть с.к. погрешности» редукции, которую можно назвать «систематической с.к. погрешностью». Она обусловлена отличиями т(-) от и(-), т^-) от и'(-) и влиянием шума измерения; h(r) не зависит от и и оценивает влияние на редукцию только случайной составляющей измерения £ — измерительной погрешности v.
Ограничение (5.9) задается неквадратичным функционалом и это обстоятельство усложняет задачу. Поэтому вместо h будем использовать квадратичный функционал h^ мажорирующий h. Записав h в виДет
h(k = sup f К^ ^ 11пД)||2с^,
PM = 1
гдеx
= j p(x)q(z-tx) (^IHI™+72|Nlm) dxdt, M(.z)
M(z) = {(ж,t) : г — tx E J, x eK, t 6 [0,1]}, z ED, определим мажорирующий функционал h(-) равенством
/
т
в котором К^ = supA'(^), где sup вычисляется на множестве всех распределений v с нулевым математическим ожиданием и ковариационным оператором а21. При естественных ограничениях на качество q(-) функция К^ определена, неотрицательна, непрерывна на D и обращается в ноль на границе D.
Задачу на минимум д^ и) (5.8) при ограничении (5.9) теперь естественно заменить более простой, записав ограничение в виде h(r) ^ е . В свою очередь эта задача сводится к минимизации лагранжиана
l(r) = g(r,u)-Е изИ(г) тт, и > 0,(5.10)
причем множитель Лагранжа из должен быть определен так, чтобы из(Н(г) — е) = 0, h(r) ^ в, из ^ 0. Однако, поскольку h(r) (а, следовательно, и величина в) довольно грубо оценивает влияние измерительной погрешности и. такой способ определения из на практике оказывается неэффективным. Поэтому далее мы будем иметь дело с параметрическим классом решений г^циз), и ^ 0, задачи (5.10) и выбирать из ^ исходя из тех или иных требований к качеству редукции, например, минимизируя по из с.к. погрешность редукции
Е (|к(6Д -«(/)Ц2+72^1к/€,Д -Ч/СЛНп) ~™п(5.11)
X/ш>0
3 = 1
для некоторого «типичного» распределения измерительной погреш-
ности и. либо минимизируя эмпирическую погрешность, оценивающую значение (5.11) ( при неизвестном распределении v) и т. д.
§ 6. Существование и свойства редукции в интегральной метрике
Пусть С2(Р) — класс дважды непрерывно дифференцируемых на D\8D функций, принимающих значения в 7tni К^ — непрерывная на Р, положительная во внутренних точках D и равная нулю на границе 8D функция, q(-) непрерывна и положительна на F\8F. Тогда
1/21/2
1/2
1/2
— норма на С2(Р),— норма на С2(Р),. Обозначим. Обозначим
— норма на С2(Р),
— норма на С2(Р),
. Обозначим
. Обозначим
Wf пополнение С2(Р) по норме || • Цур; Wf — гильбертово простран
ство относительно скалярного произведения
(u,v)w = / Щ)((Щ),Щ))+ ^(иЩ),гД/))Ц/+
73=1
Для элементов Wf сохраним те же обозначения, но теперь щ(-), Uij (•), г, j = 1,..., m, — обобщенные производные. Кроме этого введем еще одно гильбертово пространство И,, элементами которого являются вектор-функции1)
тп\плVUVтп\плVUVПЛ =ПЛ =\¥т(п) ’\¥т(п) ’
тп\пл
VUV
тп\пл
VUV
ПЛ =
ПЛ =
\¥т(п) ’
\¥т(п) ’
Э Функции Хф, ПП, ZiU), fex, Ti^Z), ZeV, i, j = 1,2,... принимают значения в 7^n .
ГМЛХ
Z(/)=, т^ =
\Ттт^^ /\Ттт^^ /\ZmUH
\Ттт^^ /
\Ттт^^ /
/ Е Т, z Е D, определив скалярное произведение в Н следующим равенством
(g,gh = / дШ^ШЛЛШН^ЧхЖХАЛН Г3=1
.2
R =R =Поскольку для г(-) е Wf ,
R =
R =
ЕН,
то Wf можно рассматривать как (замкнутое) линейное подпространство И, а задачу (5.10) — как задачу определения в Wj элемента, ближайшего к
U(.) =U(.) =о М’о М’
U(.) =
U(.) =
о М’
о М’
поскольку
\\R-i< = I Щ)(1Н/)-Щ)||2 +
+ 72||гД)-Д/)||^ + (72||гЧ/)^
(6.1)(6.1)Как известно, эта задача имеет единственное решение и может быть сформулирована в следующей эквивалентной форме: определить т(-) Е W^ так, чтобы *)
(6.1)
(6.1)
х) Исходная задача в этих обозначениях звучит так: найти г(-) = = г*(-) Е W2 , для которого b(r*,r*) — 2Z(r*) ^ b(r,r) — 2Z(r) при любом г Е Wj •
где
b(r,u) = j q(f)((r(f),v(f)) + (у2 + a2')(r'(f'),v'(f))df+
IW = I qUWU^PHWUYu'UWf. (6-2)
Если области T и D позволяют применить теорему Гаусса- Остроградского, то при естественных требованиях к качеству r(-), q(-) и К^ можно получить дифференциальную форму задачи (6.1):
qUMP-C^^ Е ял (qFi=l °^гqUMP-C^^ Е ял (qFi=l °^г82 Qfidfj82 Qfidfj= qUMP -72Ег=1= qUMP -72Ег=1(к(л(к(л8ЩЛ\dfidfj8ЩЛ\dfidfj8 ft \^Л8 ft \^Л9и(р\ 8f% J9и(р\ 8f% J
qUMP-C^^ Е ял (qF
i=l °^г
qUMP-C^^ Е ял (qF
i=l °^г
82 Qfidfj
82 Qfidfj
= qUMP -72Е
г=1
= qUMP -72Е
г=1
(к(л
(к(л
8ЩЛ\dfidfj
8ЩЛ\dfidfj
8 ft \^Л
8 ft \^Л
9и(р\ 8f% J
9и(р\ 8f% J
во внутренних точках Т,
^+^)Ё«<л^^+^)Ё«<л^д2НЛ\ + dfidfj^д2НЛ\ + dfidfj^82НЛ\Qfjdh)82НЛ\Qfjdh)МЛ8ftМЛ8ftri^-Vri^-V+ U)+ U)EwiEwi8ЩЛ8fj8h8ЩЛ8fj8hnt + wnt + wE W)E W)dfidfj гdfidfj г
^+^)Ё«<л^
^+^)Ё«<л^
д2НЛ\ + dfidfj^
д2НЛ\ + dfidfj^
82НЛ\Qfjdh)
82НЛ\Qfjdh)
МЛ8ft
МЛ8ft
ri^-V
ri^-V
+ U)
+ U)
Ewi
Ewi
8ЩЛ
8fj8h
8ЩЛ
8fj8h
nt + w
nt + w
E W)
E W)
dfidfj г
dfidfj г
на границе 8Т, ni , п^ , г = 1,..., m, — координаты внутренней и внешней нормалей к 8J соответственно,
U)U)Е к^Е к^Э^Т^ dzidzjЭ^Т^ dzidzjnt = о,nt = о,к<Лк<Л82тЛ^ \ dzidzj /82тЛ^ \ dzidzj /п+ = 0п+ = 0
U)
U)
Е к^
Е к^
Э^Т^ dzidzj
Э^Т^ dzidzj
nt = о,
nt = о,
к<Л
к<Л
82тЛ^ \ dzidzj /
82тЛ^ \ dzidzj /
п+ = 0
п+ = 0
на внешней границе 8D области D,
V' 92 (к( \^WV\ _ пШ Е/ QZiQz. ( ^dzidzj) °’
во внутренних точках области Т)\Т.
В том случае, когда и^ Е С°(^), оценка с.к. погрешности задается выражением supE ||т(^) — Ц/)||2 , и задача редукции выглядит
несколько проще [76, 4]. Как показано в работе [73], задача может быть сформулирована в виде условия (6.1), в котором
b(r,v) = J' g(/)(r(/), Щ)Ц/ + ш j КЦ)(г'Ц), O^dz,FT)
M = /qU^WY 4DW, r,ve Щ(Р),(б.з)
или в виде (5.10), где
9^^ = j дЩМП -uUWndf = Ik-ulll^),
/
m
K^^Wj^W^dz,
V 3=1
= sup J p(x)q(z — tx^WxW^dxdt,
M(.z)
M(z) = {(ж,t), z — tx e T, x eM, 0 < t < 1},
z E D = {г = / + tx,xEJ\f, O^^l}.(6.4)
Поскольку эти выражения проще их аналогов в (6.2), завершим анализ задачи редукции, ориентируясь на этот случай.
Как и выше, будем считать, что q(-) и К^ таковы, что д(ц 0)+/&(•) — норма на С1 (7)), W2 (7)) — пополнение С1^) по этой норме. При этих условиях задача (5.10), (6.4) и эквивалентная ей (6.1), (6.3) однозначно разрешимы в W2 (7)) при любом со > 0.
Лемма 6.1. Пусть т*ш Е W^T)^ — решение упомянутых задач и 1Ш = 1(г*ш), дш = д(т*ш,и), Нш = Цт*со), со > 0. Тогда:
функции 1Ш, дш и Кш при со > 0 непрерывны и монотонны, причем 1Ш и дш возрастают, Кш убывает и для со ^сд
(со — ш)Иш(со — сд^Иш^(6.5)
(Эш ~(g^ ~ 9ш)/^(6.6)
lim дш = 0, lim Иш = h, причем h < сю, если существу- ш—>0ш—>0
ет функция и Е W^H), сужение которой на Т совпадает с и, h < inf h(u); в противном случае h = сю;
lim Кш = 0, lim дш < inf д(г, и), где Мо = {г Е W2 ;
Ш^ОСШ^ОСrEJVo
h(r) = 0} .
Доказательство. 1) Согласно условиям (6.1), (6.3)
Ьш(гш, гш - т^) = 1(тш - r^), Ь^(г^, т^-гш) = 1(т^-гш).
Складывая эти равенства, найдем
У ?1К - T^ndf + У МК - r^W^dz = (ш-ш) У 1%,г^ - r'^dz. ТDD
Поскольку обе части этого равенства стремятся к нулю при со —> сщ то
\дш - 9йД ^ (У з||гш - r^df У д(||гш - и||„ + П^ - и||пЦ/) '
|/1Ш - М (У «1К -^Нтп^У ^(IKIImn + Ik^llmn)^ 70
при со —> со. Тем самым доказана непрерывность названных функций. Далее, поскольку
L = ^ + шКш < д^ + coh^(6.7)
и 1ш = 9ш + шНш, то 1Ш - 1ш < (со - co)h^ И 1^ - 1Ш < (со - ио^Кш . Отсюда следуют неравенства (6.5). Кроме того согласно неравенству (6.7) ди- дш^ ^{hu -hy) и д^- дш ^(Ьш - hy), если в предыдущем неравенстве поменять местами со и со. Следовательно, выполнены неравенства (6.6). Монотонность 1Ш, дш и Кш следует из неравенств (6.5) и (6.6).
Поскольку W^T)) плотно в £2(^), inf д(г, и) = 0. Пусть
{rn} С^УД, lim g(rn)u) = 0. Воспользуемся неравенствами
0 < дш < 1Ш < д(гп, и) + шЦтп)(6.8)
и выберем со = соп так, чтобы conh(rn) —> 0 при п —> сю. Тогда согласно неравенствам (6.8) lim дШтг = 0, т.е. последовательность {r*^;} — минимизирующая для g(-,u). Если существует й Е W^T)), сужение которой на Т равно и, то выбрав в (6,8) гп = й, найдем: ^(й,и) = 0 и /Д й(й). В этом случае lim Нш ^ inf й(й). Если же множество {й} >эсЩ}
пусто, то lim Иш = сю.
ш—>0
Для любого со ^ 0 и г Е W2
дш < L < д(т, и) + шЦт) = д(т, Д,
если г Е A/о = {г Е W^ h(r) = 0}. Отсюда следуют утверждения, приведенные в пункте 3.
Сравнение нелинейной редукции с линейной и с методм наименьших квадратов дано в работах [78, 79, 4, 86]. Другой подход к исследованию рассмотренной задачи, позволяющий уточнить некоторые ее свойства, представлен в монографии [77].
§ 7. Нелинейная минимаксная редукция измерения при наличии априорной информации
Пусть известна «сквозная» математическая модель системы «измеряемый объект - среда - прибор» и модель системы «исследуемый объект - среда». В частности, пусть известны операторы А и U. действующие в должным образом определенных евклидовых пространствах: А G ^R —> П\ U Е (R —У Lf). Шум v определим как случайный элемент евклидова пространства R,^ причем будем считать, что известны его ковариационный оператор Е и математическое ожидание Ev = 0.
Как правило, «сквозная» модель измерений обязывает нас считать, что входной сигнал / в равенстве (0.1) априори содержится в известном множестве Т (ER. Последнее определяется либо физическими свойствами / и соответствующими ограничениями на энергию, диапазон частот и т.п., либо динамическим диапазоном измерительной аппаратуры, вне которого ее модель не верна. В этом случае качество редукции Rz^ будем характеризовать величиной sup Е \\R£ — U f\\ . В
рассматриваемом ниже линейном случае R^ = R^ — 8, где R — линейный оператор1), действующий из R в U, 8 — элемент Z7. Задачу редукции рассмотрим в следующей постановке [81]
ЦП, в, U) = sup Е\\R£ - s - [//||2 =
= sup ||(ЯЛ — U^f — s112 + Е ||Я?/||2 ~ min . (7.1) fEF
Поскольку далее рассматриваются множества Т. симметричные относительно /о Е Е2), следующий факт полезен при решении задачи (7.1).
Лемма 7.1. Пусть Т — ограниченное и симметричное относительно foEE мноснсество в R. Тогда для любого линейного ограниченного оператора В. действующего из Т в U,
inf sup \\Bf - s|| = sup \\B(J - /o)||.
Доказательство. Так как \\Bf — s||2 = \\Bf — si||2 + ||s21|2, где si G 1ЦВ) (и поэтому si = limBg) и S2 € B^^B), to
inf sup \\BJ - s|| = inf sup \\Bf - Si|| = inf sup \\B(J - g)||.
sEUs^EF^^j:gEF ^ej:
x) Область определения R содержит R(A) и /^(E1/2) — пространства значений операторов А и Е1/2 соответственно.
§ 7. Нелинейная редукция при наличии априорной информации 305
Функция ф^ = sup ||В(/ — р)|| g ETt^ обладает следующими свойствами:
В силу ограниченности Т : 0 < ф{д) < сю, д G R.
ф^ — выпуклая функция, ибо
<адт + (1 - a)g2) ^ sup{a||B(/ - pi)|| + (1 - а)||В(/ - Р2)||}
^ a sup \\B(f - 5i)|| + (1 - a) sup \\B(f - 52)|| = feFfeF
= ау?^) + (1 - ap(g2), 51, дг ER, ф a 1.
Для любого / e 7 2/o - / e Д, Дд) = sup \\B(J - 5)|| = feF
= sup |Щ(2/о - / - 5)|| = Д2/Ь - gY
feF
Поэтому для любого g G R:
Д/о) = ^((1/2)5 + (l/2)(2/o - 5)) ^ (l/2>(5) +
+ (i/2)y’(2/o - g) = <gY
т.е. miny?(g) = Д/Ь)
geTt
Эта лемма упрощает постановку задачи (7.1), показывая, что для ее решения достаточно определить R = R* из условия
inf[sup || (ДЛ - иш - /о) 112 + tr ДЕД*] =
R feF
= 8ир||(ДМ- Д(/-/о)||2+1гД*ЕД* = h(R„UY (7.2) feF
Обозначим ДЕ/2 = У, Е-1/2А = К. Всюду в дальнейшем оператор К предполагается плотно определенным (и замкнутым), поэтому RA = УК, где черта над оператором означает замыкание1). В новых обозначениях согласно задаче (7.2) требуется определить оператор У* из условия
min sup||(yX-Д(/-/о)||2+1гУУ* =
= sup||(CT-Д(/-/о)||2+1гКУ;. (7.3)
Лемма 7.2. Пусть У* — решение задачи (7.3), П/< и Пр — ортогональные проекторы на R(K) и R(U) соответственно. Тогда У*П/< и ПрУ* — таксисе решения задачи (7.3).
Доказательство. Поскольку
Ь(У) = sup ||(У1М - иш - /о)||2+
+ trYHKY* +trY(.I -HkW* ^НУПк), то Ь(У) =ЫЬ(У) ^МУЛМ ^Ы^УПк).
С другой стороны,
W) ^ inf Ь(УПК) = у=Ык b^Y) ^ inf Ь(У) = Ь(Щ.
Следовательно, b(Y*) = Ь(У*Пк). Далее,
Щ) = дир^ПДУК - U^f - /о)||2 +
+ ||(Z - ПЛ(У^ - U^f - /о)112} + tr П^УУ* + tr (/ - П^УУ* sup ||П/7(УХ — (7)(/—/0)||2 + tr П[/УУ* = &(П[/У),
откуда точно так же получим, что b(У*) = ЫДиУ*). □
Замечание 7.1. Если R* — решение задачи (7.2), то HuR* — также решение задачи (7.2), причем этот результат не связан с ограничением на качество оператора К = Y^A.
Редукция типа Кукса—Олмана
Для «одномерных» U леммы 7.1 и 7.2 позволяют получить решение задачи (7.1).
Пусть, например, U — линейный непрерывный оператор, причем rank U ^ 1. Всякий такой оператор имеет вид
Щ = Цч),П, ftX(8.1)
где и и г — заданные элементы U и R соответственно. Согласно замечанию к лемме 7.2, решение задачи (7.2) следует искать в виде
Rx = u^t,xY xER,(8.2)
где элемент t должен удовлетворять условию (7.2). Так как tr R^R* = = ||M||2||SV2^||2, ^RA-UKf-foW = Н2(АТ-и,/-у0)2,тодля определения t G R получаем следующую задачу
sup (АТ --с,/-/о)2 + ||s1/2f||2 ~min.(8.3)
Если, в частности,
(8-4)(8-4)^ = {/етг, ||с(/-/о)||2^1},
(8-4)
(8-4)
где G — линейный плотно определенный замкнутый оператор, такой, что оператор D = (С*СУ^2 имеет ограниченный обратный D^, то 1)
sup(H*f — щ/ —/0)2 = sup (A*t — ^^В^хУ = ||Z)-1(A*t — г)||2. (8.5) /е^iNl^i
Следовательно, решение t = t* задачи (8.3), (8.4) удовлетворяет уравнениюоо
(AD2A* + ^)G = АВ2и.
Пусть оператор S = AD2 А* + Е имеет обратный S-1. Тогда S-V2^1^ и s-V2^-1 — ограниченные операторы (равно как и соответствующие сопряженные EV2S-1/2 и D[A*S~rG) [5], поэтому элемент ST^2t* = S-1^2 AD-2v, а следовательно, и элементы Е1/2^* и ВА А*С, фигурирующие в выражениях (8.3) и (8.5), определены при любом v Е R. Из сказанного согласно равенствам (8.1) и (8.2) следует, что искомый в (7.2) оператор редукции
R = R,= UD^^S^S"1!2,(8.6)
редукция измерения £, отвечающая решению задачи (7.1), дается выражением
R^Uf0-R*Ab(8.7)
и сопутствующая погрешность
цв^и) = р-^п2 - i\s-1/2ad-2^2 =
= trap"2 - d-^a*s-yi2s-y,2ad"2vj*.
В конечномерном случае выражение (8.7) известно как оценка Кукса- Олмана [27].
Нелинейная минимаксная редукция в случае оператора модели интерпретации конечного ранга [81]
Продолжим изучение задачи (7.3), (8.4). Если
№^\ D^-f^gER.
RY1/2 = Y, Y^AD"1 = В, UD"1 = V,(9.1)
то задача (7.3) запишется следующим образом
h(Y,V) = \\YB - У||2 + 1гУУ* ~ min.(9.2)
Положим
X = V - YB.(9.3)
Поскольку оператор В плотно определен и замкнут, решив уравнение (9.3) относительно У, найдем
У = (V -Х)В- + zy - "BB^Y(9.4)
х) l|G(f-fo)|| = ||S(/-/o)||, feB.
где Z — любой оператор, действующий аналогично Y .В оператор, псевдообратный к В [16]. Однако, поскольку ||УВ —У|| от Z не зависит, а
1гУУ* = tr (V - X)Q(V - X)* + tr Zy - BB^Z*
>tr (V -X)QV -X)\
где Q = фВ*у. то при решении задачи (9.2) можно считать, что в (9.4) Z = 0. Относительно оператора X получаем следующую задачу:
s(X) = UMI2 + tr (V - X)Q(V - Ху ~ min ,(9.5)
X:(X-V)(/-BB-)=0
в которой условие (X — У)(1 — ВВ) = 0 обеспечивает разрешимость уравнения (9.3) относительно Y.
Как известно, любой ограниченный линейный оператор У можно представить в виде так называемого полярного разложения
V = 1у | V |,(9.6)
в котором |У| = (У*У)г/2 — положительный квадратный корень из У*У, называемый модулем оператора У, а Ту — частично изометрический оператор1), у которого N\Iy) = АДУ) = АЛ(|У|), НДу) = = ТЦУУ При этом lyly — ортогональный проектор на ТЦУ) (т.е. lyly = Пу) Ду Ту — ортогональный проектор на 7ДУ*) = 7^(|У|) = = .V (У) и |У | = 1уУ. Воспользуемся этими фактами, чтобы упростить задачу (9.5).
Лемма 9.1. Пусть Z* — решение задачи на минимум
l№ = ||z||= +1г((хЧОЖЧПГ ~ г , v™«„ (9-7)
—\у1 —1515
Тогда X* = TyZ* — решение задачи (9.5); оператор Ту определен в равенстве (9.6).
Доказательство. Согласно лемме 7.2, в задаче (9.5) оператор X можно считать удовлетворяющим условию TylyX = X. поэтому
з(МЩ = ||вдхц2 +tr (Ivl*vx - V^Q^IylyX - vy =
= ||z||2 + mz -\v\Y = Yzy
Здесь Z = IyX X = IyZ (коль скоро 7ЦХ) СТ^УУ как следует из леммы 7.2 ), а также использован тот факт, что ПДуХ) С ТДУ*) и ||1уж|| = ||ж||, если ж 6 ТЦУ*)
Рассмотрим вначале важный частный случай задачи (9.7), в котором В*В — компактный невырожденный оператор), |Р| — оператор конечного ранга, причем — функция В*В. Пусть {еД — ортонорми- рованный базис Н, состоящий из собственных векторов оператора В В"B*Bej=^ehj = l,2,...(9.8)
Тогдао
Qej=Qjej, Qj = Pj j = 1,2,...,(9.9)
\V\ej=Vjej, ^0, j = l,2,...,m,.,
Vi = 0, г = m + 1,..., rank\V\ <m.V • )
Лемма 9.2. Пусть
/Л) = тм(9.11)
k=l
где z = (^i,..., zm) и z* — точка минимума p^z) на мноснсестве z ^ 0 ). Тогда оператор Z* , определенный равенствами
Z*ej = z*jep j = 1,2,... ,m,(9.12)
является решением задачи (9.7).
Доказательство. Поскольку, очевидно, minp(z) = min p(z), гУ0d^z^q
где и = (щ,..., vm)* и неравенство и ^z означает, что ut—zt ^0, г = = 1,... ,771, то задача p(z) ~ min имеет решение, ибо р(-) — (выпук
лая) непрерывная функция на Нт , а 0 ^ г ^ г — (выпуклый) компакт в Нт. Для Z(Z) (9.7) найдем
l(Z) ^sup||Zefe||2 + y ||(Z- T|)Q1/2efe||2 ^ max ||Zefe||2 + l<k<m
+ У^^Н^-^е^П2 max ||Zefc||2 + ^ ^(||Zefc|| - wfe)2. (9.13) k=lk=l
Следовательно, (см. (9.11)),
inf l(Z) ^ пйпр(г) = p(z*).(9.14)
Определим оператор Z* равенствами (9.12). Поскольку при Z = Z* неравенства в (9.13) превращаются в равенства, infZ(Z) l(Z*) = = p(z*). Отсюда и из (9.14) следует, что minZ(Z) = l(Z^) = = p^z^. Для завершения доказательства осталось заметить, что в
рассматриваемом случае невырожденного оператора В*В условие (Z — |У|)(/ — IIq) = 0 в задаче (9.7) удовлетворяется тождественно, так как IIq = I
В свою очередь решение задачи на минимум р^ ^ min дается следующей теоремой.
Теорема 9.1. Упорядочим базис {еД в П так, чтобы в (9.10) собственные значения vi,... ,vm оператора |У| удовлетворяли условию
0 = г0 < vm < rm_i < ... < щ. (9.15)
Тогда единственное решение задачи р^ ^ min будет иметь вид
— (г*1,...,|)(9.16)
где функция
(X + ZX)(9.17)
г=1\г=1/
определена для t, удовлетворяющих условию w(t) < щ, t = = 1,..., т, и
t* = пнп{£,щ+1 X w(t) < щ} = minargmax{w(t),
Vt > w(0} (9.18)Vt > w(0} (9.18)1 ^ t X т,
Vt > w(0} (9.18)
Vt > w(0} (9.18)
(9.19)(9.19)— минимальное значение аргумента w(-), при котором w(t) ~ max:
(9.19)
(9.19)
minp(z) = р(^) = V дД2
г>0^-^
г=1
Доказательство. Как известно [82], для того чтобы функция р(-) (9.4) достигала минимума в точке г* множества 2^0 необходимо и достаточно, чтобы нашелся вектор (Ai,..., Am, Ц1,..., рт), такой, что
1)1)тт П(-7j=lг=1тт П(-7j=lг=1
1)
1)
тт П(-7
j=lг=1
тт П(-7
j=lг=1
2) 20, г2) 20, г= 1,...,ш, 52 А^ = 1, причем А^ = 0, если = 1,..., т; 3) р3 ^ 0, PjZ^j = 0, j = 1,..., т.
2) 20, г
2) 20, г
Согласно условию 1)
(9.20)(9.20)XkZ*k + 9fe[^A: - va] - № = о, к = 1,..., т,
(9.20)
(9.20)
откуда следует, что
z*k = —x—:—= ,к = 1,2,... ,т.(9.
Если в (9.21) г^ = 0, то г*^ = //^/[А^ + q^\ и, согласно условию 3), /Лк = 0. Если в (9.21) Vk > 0, то z*k > 0 и согласно 3) опять /Лк = 0. Следовательно,
z*k =к = 1,2,... ,т.
Хк + Чк
Учитывая порядок собственных значений, принятый в (9.15), согласно условиям 2) надлежит исследовать условия
о = «О «т ^ ■ ■ ■ ^ Vt+1 ^ СС 2 = • • • = Л qC 2 = WY (9-22) At + %Al + qx
Так как в (9.22)
|^/H0-g=. t = L.;.i.(g23)
3(0,з = t + 1,..., m,
и £ A< = 1, то 2=1
2=12=1
причем должны быть выполнены условия
Vi > w(t), г = 1,2,..., С t = 1, 2,..., т,
эквивалентные неравенствам
nt > w(t), t = 1, 2,..., m,
обеспечивающим положительность А^, г = 1,...,2, (9.23) и определяющим область задания w(-) (9). Заметим, что
w(t + 1) — w(t) =w(t + 1) — w(t) =ЯщКн=Д^1Г w 11+Е?2_ 2=1 _ЯщКн=Д^1Г w 11+Е?2_ 2=1 _оДхКн - w(t + 1)]оДхКн - w(t + 1)](9.24)(9.24)
w(t + 1) — w(t) =
w(t + 1) — w(t) =
ЯщКн=Д^1
Г w 11+Е?2_ 2=1 _
ЯщКн=Д^1
Г w 11+Е?2_ 2=1 _
оДхКн - w(t + 1)]
оДхКн - w(t + 1)]
(9.24)
(9.24)
Определим w(0) = 0. Очевидно, w(l) < щ и, если w(l) ^ Г2, то t* = 1 — искомое значение t*, удовлетворяющее условию (9.22). В случае равенства w(l) = ш согласно соотношению (9.24) будет выполнено равенство w(2) = w(l) = Г2, но t* = 2 исключается условием А2 > 0 в (9.23), которое должно выполняться в таком случае. Если w(l) < Г2 , то следует «добавить массу q^ в точке Г2 », после чего найдем, что w(2) > w(l), так как Г2 > w(l), и w(2) < Г2, ибо А2 = = q^ [^2 — w(2)]/w(2) . Если w(2) ^гз,то t* = 2 — искомое значение t* , удовлетворяющее условию (9.22). Это рассуждение показывает, что
искомое Е = min{t,w(t) ~ max}. Доказательство равенства (9.19) сводится к проверке того, что [w(t*)]2 + £ QtVn — ^(^*)2] совпадает с г=1
правой частью в (9.19).
Замечание 9.1. Равенство (9.17) допускает механическую аналогию, поясняющую суть дела. Пусть в точках с координатами 0 = = го ^ гт ^ ... ^ ri на прямой расположены соответственно массы 1 = Qq, ... 9m? • • • ? 9i • Тогда w(t) (9.17) — координата центра масс
г=0 4=0 J
Замечание 9.2. При низком уровне шума, при ЦЕ1/2!! -4- 0 : w(t) -4 ОД = 1,2,...; С m; — w(t*) -4 0, j = 1,...,т. При высоком уровне шума, при |Д~'/2|| -4 0, если щ = щ = ... = щ = = ||У||, то t* -4- k, z*j -4- щ = ||У||; j = 1,... ,m.
. Случай компактного оператора модели интерпретации
Поскольку w(t) монотонно не убывает при w(t) < щ Д = 1, 2,..., то теорема 9.1 верна и в случае компактного оператора У, когда в (9.10) угг = ею и Vj —> 0; j —> оо. При этом t* < оо.
Что касается задачи (9.2), то, как нетрудно убедиться, имеет место следующий результат, дублирующий теорему 9.1.
Теорем а 10.1. Если В uV вполне непрерывные операторы, причем У*У — функция В*В и последний оператор невырожден, то решение задачи (9.2) имеет вид
У* = [У - w(E)MQMB*,(10.1)
где
^^Ч^’ ЧтЧ, w(0 = trCQWIHDEi + trQCO]-1, (10.2) t* — минимальное значение t, при котором w(t) = rqaxw(t); ly — частично изометрический оператор, определенный в (9.6). При этом m(V) = шш{||УВ — У ||2 + tr УУ*} =
= tr (VQ(E)V*) - [w(t*)]2[l + tr Q(t^. (10.3)
Следствие 10.1. Если У*У = Щ — ортогональный проектор на линейную оболочку £(ei,..., еД, то
= VQWB"=
11 + 1гОЩ' 1 ' l + trQ(l)"
§ 11. Редукция в случае вироснсденного оператора модели измерения 313
. Нелинейная редукция в случае вырожденного оператора модели измерения
Если оператор В*В вырожден, решение задачи (9.5) несколько усложняется. В этом случае некоторые № в (9.8) и соответствующие Qi в (9.9) равны нулю. Пусть J = {J, q^ = О, j = 1,2,...}, w = = maxrj . Если учесть соглашение (9.15), то w = rj0, где jo = min j. jEJjEJ
Поскольку в задаче (9.5) условие (Z — |У|)(/ — Hq) = 0 означает, что
Zk = щ, если q^ = О, А: = 1,2,..., (И-1) то в случае вырожденного В*В вместо задачи p(z) ~ min, решение которой дано в теореме 9.1, получим задачу
P(z) = max[w2, max ^] + ^ ^з - «з? ~ min(11.2)
гС V -|-Z j U ) J ^ и -|-
3EJ^
условийусловийЗдесь J+ = {V, Qj > 0, j = 1, 2,...} . При решении задачи (11.2) кроме
условий
условий
^-к^*к "Е Qk\p*k ^k\ р^ — 0, k £ J_|_,
аналогичных условиям (9.20), должно быть добавлено еще одно: Aj0 • 0 — pj0 = 0, означающее фактически, что в рассматриваемом случае 52 ^к С 1, поскольку априори 0 ^ AJO ^ 1 и 52 ^к + AJO = 1.
keJ+ keJ+
Пусть в равенстве (9.18) t* < jo, т.е. w(A*) ^ w. Тогда z* (9.16) удовлетворяет условиям (11.1) и является решением задачи (11.2). Если же t* ^ jo, то w(A*) < w и z* не будет решением задачи (11.2). В этом случае Ai,..., Aj0_i должны быть определены из условий
0 ^ ... ^ uJo+i ^ vjo =0 ^ ... ^ uJo+i ^ vjo =qj0-iUj0-i^jo-l + 9^0-1qj0-iUj0-i^jo-l + 9^0-1gbiAi + q^gbiAi + q^
0 ^ ... ^ uJo+i ^ vjo =
0 ^ ... ^ uJo+i ^ vjo =
qj0-iUj0-i^jo-l + 9^0-1
qj0-iUj0-i^jo-l + 9^0-1
gbiAi + q^
gbiAi + q^
Ato+l - Д+2 - ■ • - - 0,
согласно которым
Jo —1
(11.3)(11.3)Е^ = Е^Е-1]=1-^<1-
(11.3)
(11.3)
kEJ-\- k=X
Итак, в случае вырожденного оператора В*В теорема 9.1 модифицируется следующим образом.
Теорема 11.1. Пусть jo = min{J, q? = 0, j = 1, 2,...} или jo = = 0, если qJ > 0, V = 1? 2,... Если в (9.14) t* < jo то z* (9.16) — решение задачи (11.2). В противном случае, когда t* ^ jo, решение задачи (11.2) дается равенствами
z^=(w = vjo, j =
*3 Ej, j = jo + i,---
При этом
Jo-1
•\2 X л 2 г12
, >^% 7= ^о + / > qi•
^зи ’ 31J +.
Аналогично расширяется теорема 10.1.
Замечание 11.1. Если ^ (В) cJV(V), т.е. если V(I — ВВ) = 0, то w = max тц = 0, ибо равенство q, = 0 в этом случае влечет тц =
= 0, у = 1,2,... Следовательно, если V(I — ВВ) = 0, то решение задачи (11.2) дается теоремой 9.1.
§12. Нелинейная редукция в случае измерительных преобразователей первого порядка1)Важный класс измерительных систем образуют так называемые измерительные преобразователи (ИП) или датчики (температуры, давления, ускорения и т.д.), [6]. Простейшим примером может служить ИП первого порядка, выходной сигнал которого и^ в любой момент времени t Е [0,Т] определяется как решение задачи Кошиai)(t) + 3^^ = /(f), 0 < t < Г, г(0) = 0, и = dv/dt. (12.1)Здесь [0, Г] — промежуток времени, в течение которого измеряется входное воздействие /(•), например, температута, влажность среды, разность потенциалов (см. рис. 7.4), и по результату измерения £ = = u^-Ev^ty 0 ^ £ ^ Г, требуется как можно более точно восстановить известную функцию U^ входного воздействия, т.е. U/(t), 0 ^ t ^ Т.Решение задачи (12.1) при 3 = 1 описывает закон формирования сигнала на выходе гс-цепи (ИП первого порядка), г(-) — напряжение на емкости величины с, а = тс = d — постоянная времени ИП, /(•) — входной сигнал ИП — разность потенциалов между точками «1» и «2» (при отключенном ИП равная ЭД С генератора), р — внутреннее сопротивление генератора. Исследовате- но измерение разности потенциалов§12. Нелинейная редукция в случае измерительных преобразователей первого порядка1)Важный класс измерительных систем образуют так называемые измерительные преобразователи (ИП) или датчики (температуры, давления, ускорения и т.д.), [6]. Простейшим примером может служить ИП первого порядка, выходной сигнал которого и^ в любой момент времени t Е [0,Т] определяется как решение задачи Кошиai)(t) + 3^^ = /(f), 0 < t < Г, г(0) = 0, и = dv/dt. (12.1)Здесь [0, Г] — промежуток времени, в течение которого измеряется входное воздействие /(•), например, температута, влажность среды, разность потенциалов (см. рис. 7.4), и по результату измерения £ = = u^-Ev^ty 0 ^ £ ^ Г, требуется как можно более точно восстановить известную функцию U^ входного воздействия, т.е. U/(t), 0 ^ t ^ Т.Решение задачи (12.1) при 3 = 1 описывает закон формирования сигнала на выходе гс-цепи (ИП первого порядка), г(-) — напряжение на емкости величины с, а = тс = d — постоянная времени ИП, /(•) — входной сигнал ИП — разность потенциалов между точками «1» и «2» (при отключенном ИП равная ЭД С генератора), р — внутреннее сопротивление генератора. Исследовате- но измерение разности потенциаловР 1 гР 1 г; им я-); им я-)ддоо■о■оРис. 7.4. Схема измерения ЭДСРис. 7.4. Схема измерения ЭДСлялягенераторасует ЭДС генератора,генераторасует ЭДС генератора,
§12. Нелинейная редукция в случае измерительных преобразователей первого порядка1)
Важный класс измерительных систем образуют так называемые измерительные преобразователи (ИП) или датчики (температуры, давления, ускорения и т.д.), [6]. Простейшим примером может служить ИП первого порядка, выходной сигнал которого и^ в любой момент времени t Е [0,Т] определяется как решение задачи Коши
ai)(t) + 3^^ = /(f), 0 < t < Г, г(0) = 0, и = dv/dt. (12.1)
Здесь [0, Г] — промежуток времени, в течение которого измеряется входное воздействие /(•), например, температута, влажность среды, разность потенциалов (см. рис. 7.4), и по результату измерения £ = = u^-Ev^ty 0 ^ £ ^ Г, требуется как можно более точно восстановить известную функцию U^ входного воздействия, т.е. U/(t), 0 ^ t ^ Т.
Решение задачи (12.1) при 3 = 1 описывает закон формирования сигнала на выходе гс-цепи (ИП первого порядка), г(-) — напряжение на емкости величины с, а = тс = d — постоянная времени ИП, /(•) — входной сигнал ИП — разность потенциалов между точками «1» и «2» (при отключенном ИП равная ЭД С генератора), р — внутреннее сопротивление генератора. Исследовате- но измерение разности потенциалов
§12. Нелинейная редукция в случае измерительных преобразователей первого порядка1)
Важный класс измерительных систем образуют так называемые измерительные преобразователи (ИП) или датчики (температуры, давления, ускорения и т.д.), [6]. Простейшим примером может служить ИП первого порядка, выходной сигнал которого и^ в любой момент времени t Е [0,Т] определяется как решение задачи Коши
ai)(t) + 3^^ = /(f), 0 < t < Г, г(0) = 0, и = dv/dt. (12.1)
Здесь [0, Г] — промежуток времени, в течение которого измеряется входное воздействие /(•), например, температута, влажность среды, разность потенциалов (см. рис. 7.4), и по результату измерения £ = = u^-Ev^ty 0 ^ £ ^ Г, требуется как можно более точно восстановить известную функцию U^ входного воздействия, т.е. U/(t), 0 ^ t ^ Т.
Решение задачи (12.1) при 3 = 1 описывает закон формирования сигнала на выходе гс-цепи (ИП первого порядка), г(-) — напряжение на емкости величины с, а = тс = d — постоянная времени ИП, /(•) — входной сигнал ИП — разность потенциалов между точками «1» и «2» (при отключенном ИП равная ЭД С генератора), р — внутреннее сопротивление генератора. Исследовате- но измерение разности потенциалов
Р 1 г
Р 1 г
; им я-)
; им я-)
д
д
о
о
■о
■о
Рис. 7.4. Схема измерения ЭДС
Рис. 7.4. Схема измерения ЭДС
ля
ля
генератора
сует ЭДС генератора,
генератора
сует ЭДС генератора,
между точками «1» и «2» дает искаженное значение ЭДС, равное £ = = Af + v , где Af определено равенством
t
= гГ1 У ехр(—1ГД - т))У(тЦт. (12.2) о
х) Линейные методы редукции для измерительных преобразователей первого и второго порядков рассмотрены в гл. 10.
§ 12. Нелинейная редукция в случае преобразователей 1-го порядка 315
Поскольку согласно рис. 7.4, ЭДС генератора в каждый момент времени t Е [О, Г] равна с(р + r)r(t) + Д£), равенство
U/(t) = u(t) = с(р + r)r(t) + n(ty 0 < t < Т, (12.3)
совместно с выражением (12.2) определяет оператор U моделирующий идеальный вольтметр для измерения ЭДС генератора, взаимодействующий с генератором так же, как ИП, т.е вызывающий такое же падение напряжения на р, но дающий на выходе значение U f (12.3) ЭДС генератора. Решение начальной задачи (12.1) дается равенством
t
v(t) = Af^ = а-1 У ехр(-(Да)(£ - т))/(т)</т, 0 < t Т. (12.4) О
В задаче (12.1) естественно считать, что Д-) Е М, где М — класс абсолютно непрерывных на [О, Г] функций, равных 0 в нуле и имеющих интегрируемую с квадратом на этом интервале производную, /(•) — интегрируемая с квадратом на О, Г функция, то есть /(•) Е £2[0Д]х). При таком соглашении интегральный оператор в (12.2) является оператором Гильберта-Шмидта, действующим из £2[0,Т] в М, обратный к дифференциальному оператору в задаче (12.1).
Обозначим D оператор d(d/dt) + 1, определенный на классе абсолютно непрерывных на [0,1] функций Д-), таких, что ДО) = 0 и производная Д-) б£2[0,Т]. Сопряженный с D оператор D* = —did/dt) + + 1 оперделен на таком же классе функций с тем лишь отличием, что они обращаются в ноль при t = Г, а не при t = 0. Множество Т (8.4) входных сигналов /(•) вольтметра определим, задав априорное ограничение на возможные значения ЭДС U/(•) генератра:
^ ={/(■)€ £2[0,Т], |Щ/(-)П А},
где, согласно (12.2) и (12.3),
= [(1 +- 7-Р"ШТ D”1 = Л 7 = РЦ.
Тогда в (9.1)
D = ДЩУТ)1/2, У = t/(t/*t/)"1/2, В = ДЕ-^СЩУТ)"!/2
(12-5) Определим базис модели [5] как полный набор собственных функций оператора DD* — решений задачи на собственные значения
DD*e^ = -1?2еД + е^ = <Г2еД, 0 ^ t ^ Т,D*eM = _^) + e(t)|(=Oi е(Т) = 0.
Это
Cj (t) = qj sin aj (T — t), 0 < t < T, 5^ = Да2 + 1, J = 1,2,...,
где aj — положительное решение уравнения idcij cos ajT + sin ajT = T
= 0, Qj — нормировочная постоянная, qj2 = J sin2 dj(t — T)dt = (T +
+ ^2)/2, J = 1,2,...~~°~
Заметим, что D*ej = d1 су, Dej = d1 су, 7 = 1,2,..., где ej(-) = = (—l)j+1 8ш(п^ •), j = 1,2,...; {ey} и {ey} — ортонормированные базисы £2[0,Т].
Что касается модели измерительной погрешности, то будем считать, что
VW = 52 ^j^' 0 ^ ^ Т,(12.6)
где Vj, j = 1,2,... — случайные величины такие, что
Ei^ =0, Ерц^ = К’ М = 1,2,...,33(0,’
и равенство (12.6) понимается в смысле с.к. сходимости:
"12
lim Еlim Еоо^Д - 52 ^еД) dt = 0.
lim Е
lim Е
о
о
При этом Ееу(-) = (12е^-\ у = 1,2,..., где Е — корреляционный оператор v (12.6).
Поскольку, согласно (12.5) V*V = А2/, рассматриваемый пример не удовлетворяет условиям теоремы 10.1. Однако требуемый нам результат может быть получен практически без дополнительных усилий.
Дополнение к теореме 10.1. Выражения (10.1)—(10.3) дают решение задачи (9.2), если VB — оператор Гильберта- Шмидта (Г.-Ш.), в частности, если V — непрерывный оператор, (В*В)-1Ч — оператор Г.-Ш.
Так как V*V = А2/, то согласно условию 10.1
_ V(B*B)-TB*A2tr(B*B)-1
* “ l + tr^B)-1’ m( ' “ l+tr^B)"1’
причем в данном случае, как нетрудно убедиться, (В*В)-1 — оператор Г.-Ш., если и только если ^(o-t/St)2 < сю. Тогда
UK”1
* “ 1 + A"2tr U(K*KVU* ’ 1П “ A2 + tr U(K*KVU* ’ где К = S-VM.
§13. Дополнения
Предложение 13.1. Пусть з(Х) определено выражением (9.5) и s(X,H) = trVXHX* + (X - V)Q(X - V)*]. Тогда s(X) = = sup{s(X, Я) | Я > 0, tr Я < 1}.
Доказательство. Для любых операторов X и Н ^ 0,tr Н Д 1: trXHX* = ||ХЯ1/2||| |Щ|2||Я1/2||| ||Х||2. С другой стороны, пусть е — собственный вектор Х*Х , отвечающий наибольшему собственному значению: Х*Хе = Ле, ||е|| = 1, А = ||Х*Х|| = ||Х||2. Положив Н = ее*, найдем trXHX* = trХ*Хее* = ||X||2tree* = = IIMI2-
Предложение 13.2. Пусть s(Xh^ Н) = mins(X, Н) и для некоторого оператора Н О, tr Н 1, s^X^, Н) = s(X^). Тогда ДХ?Д = min s(X) = min max s(X.HV
н X X Я^ОДгЯ^Х
Доказательство. Воспользуемся результатом, приведенным в предложении 13.1, согласно которому для любого оператора X s(X) ^ s(X, Н). Предположим, что для некоторого X s(X) < s(X^ . Тогда s(X) < s(X^ = s(Xy, Н) ^ s(X, Н). что невозможно. Итак, если s(X^) = s^X^, Н) = mins^, Я), то s^Xp^ = mins(X) = = min max s(X.H).
X ЯДДЯД
Как известно [82], если функции Д (г) = ^ + 52 qK^j — Ч?)2 ? ^ = 3 = 1
= 1,...,т, в лемме 9.2 непрерывно дифференцируемы в некоторой окрестности точки го G Пт, то функция p(z) = тахх^^^тД(г) дифференцируема в точке го по любому направлению g. ||р|| = 1 /dp(z0)p(z0 + ag) - p(Z0)
(т. e. существует предел —-— = lim ), причем
ag а^+оа
1рД1 = max (grad А (г), 5). Здесь р^ = {fe : fk^ = p(z)^ и dg kep(z0)
a f \(dlk dfk\*
grad/fc(z) =—— градиент )kV) в точке z £ Km,
у dzidzm J
k = 1,... ,m.
В терминах производной по направлению может быть сформулирован более общий вариант теоремы 9.1, а именно,
Теорема 13.1. Пусть Q — выпуклое замкнутое множество в Нт) функции fk(z), к = 1,...,т, непрерывно дифференцируемы на некотором открытом множестве 0Z D Q. При этих условиях, для того чтобы точка г* 6 Q была точкой минимума функции p(z) = = max Д(г) на Q, необходимо, а в случае выпуклости р^ на 9, и l^k^m
достаточно, чтобы m£dp(z*)/dg = О, где inf вычисляется на мно- 9
жестве всех g = г — г*, г 6 О.
Докажем теорему 9.1, используя теорему 13.1.
Доказательство. В рассматриваемом случае
ЭМ^Эхг = 25kiZi + 2q^(zi - щ), i,k = l,...,m;
г = 1,... Д*,% = t* + 1,..., т.г = 1,... Д*,% = t* + 1,..., т.
г = 1,... Д*,
% = t* + 1,..., т.
г = 1,... Д*,
% = t* + 1,..., т.
Поэтому
Si = (grad/ДгД,?/ - гД =
Г
= 2z*i^yi £*Д + 2 ^ ^ g- ^^j Wj)(yj z*j) =
Г
= 2w(fJ(^ - w(^)) + 2^д]^^*) - u^Qyj - w(U)).
3=1
Так как согласно равенствам (9.23)
X^w^t*) + Qt(w(t*) - vt) = о, t = 1,... Д*,
то
Si = ^w^gt -S^Xjwtt^gj,
3 = 1
где Qi = gi — w(t*), г = l,...,m. Поскольку w(t*) > 0, A* > 0, г = = 1,... Д* и 52 A* = 1, отсюда следует, что
max Si = 2w(t*)max Si = 2w(t*)max g, -V\*gi 1<г<т.г=1.max g, -V\*gi 1<г<т.г=1.^0,^0,
max Si = 2w(t*)
max Si = 2w(t*)
max g, -V\*gi 1<г<т
.г=1.
max g, -V\*gi 1<г<т
.г=1.
^0,
^0,
и далее, очевидно, min max Si = 0, где gEw* l^i^m
г = 1,... ,m} .г = 1,... ,m} .to* = [g = У - Z*, у = (gi,...,gmy, Уг^О,
г = 1,... ,m} .
г = 1,... ,m} .
Предложение 13.3. Пусть
tt
ед = 52q^ - w д 52
г=1г=1
- правая часть выражения (9.19) для t = 1, 2,..., удовлетворяющих условию w(t) ^ щ. Тогда условие s(t + 1) < s(t) (убывания «погрешности») влечет условие w(t + 1) > u)(t).
Действительно, 0 > s(t + 1) — s(t) = ^+iwf+1 — (w(t + 1) — w(t))x t
x E Q^i - «Д + 1)%+1У<+1, откуда
г=1
(w(i + 1) - w^i^qi-Vi > gEiyt+i(wt+i - «(i + 1)) > 0.
г=1
Найти ошибку. (Неравенство щ+1 — w(t + 1) > 0 верно, но отсюда не следует, что v(t + 1) — w(£) > 0, см. следующее предложение).
П р е д л о ж е и и е 13.4.1) Справедливы равенства
Е1+11—3£l =+ 1) - w(i))(ai+i - w(f),
s(t + 1) — sCC ,_ z x zz _
—= гД = 1) - гД)(Дц - v(t + 1).
i+Es,2
Глава 8
Эффективный ранг линейной модели измерений с ошибкой
Введение
Как известно, ранг линейного оператора А, действующего из 7^т в Rni определяется как dimT^(A) = dimA/^A), где 'ЖА) — пространство значений оператора А, А/'±(А) — ортогональное дополнение к нуль-пространству ЛГ(А) оператора А. Ранг равен размерности той «части» У Е Rm, которая фактически контролируется значениями А/ Е R(A); с другой стороны, ранг равен размерности той «части» А/, которая определяет упомянутую «часть» /. Сужение А на А/'±(А) определяет взаимно однозначное соответствие между линейными подпространствами А/'±(А) С 7^т и R(A) СЯП.
Существенно иначе дело обстоит при линейном оценивании линейной функции У Е Rm, основанном на измерении А У с ошибкой (см. гл. 1, 5). Пусть
^ = AJ + v (0.1)
есть схема измерения У Е Rm , v — случайный вектор R^ с известным математическим ожиданием Ez/ = 0 и ковариационным оператором Е; v моделирует ошибку, с которой измеряется А У. Если У — априори произвольный вектор Rm ^ то в задаче линейного оценивания UУ, где U Е (Rm —> Rk) — заданный линейный оператор, требуется определить линейный оператор R Е (Rn -э 7\д) такой, что
h(R,U) = sup Е||^-[/у||2 -min.(0.2)
/етгтR
Так определенный оператор R = R(U) даст максимально точную в среднем квадратичном (с.к.) оценку R(U)^ вектора Uf.
Предположим, что задача (0.2) разрешима при U = I, и требуется, чтобы с.к. ошибка оценивания У не превосходила е. Если h(R(I),I) > в, то У невозможно оценить с требуемой точностью, и возникает вопрос о «части» У, имеющей максимальную размерность, которая допускает оценивание с требуемой точностью, и о части £, имеющей минимальную размерность, которая обеспечит такое оце-
нивание. Максимальную размерность естественно назвать эффективным рангом, но теперь он будет зависеть от требуемой точности и модели схемы измерения (0.1), т.е. от пары операторов А, Е и е.
В ряде случаев / G Rm в равенстве (0.1) естественно считать случайным вектором с известными математическим ожиданием Е/ = = /о и ковариационным оператором F. При этом в задаче линейного оценивания требуется определить линейный оператор R Е (Rn —> Rk) и вектор г Е Rk так, чтобы (см. гл. 6)
ЦК, г, U) = Е||Д£ + г - t//||2 ~ min. (0.3) IL г
Пусть R = R(U), г = r(U) — решение задачи (0.3) и задана верхняя граница е с.к. погрешности оценивания. Если h(R(Ifr(If Г) > е, то опять возникает вопрос о максимальной размерности той «части» /, которая может быть оценена с с.к. погрешностью, не превосходящей е. Если же Л(Я(1), r(Z), Z) < в, то естественно спросить, нельзя ли сохранить приемлемую точность, используя лишь часть измерений (0.1), и какова минимально возможная размерность такой «части»? В общем случае эффективный ранг для каждой заданной точности оценивания оказывается связанным с парой размерностей — «максимальной части /» и «минимальной части £».
Рассмотрим схему измерения (0.1), в которой / Е Rm — измеряемый сигнал, А Е (Rm —> Rn) — линейный оператор, действующий из евклидова пространства Rm (сигналов) в евклидово пространство Rn (измерений) и моделирующий измерительный прибор, v — случайный вектор R^ с заданным математическим ожиданием Ez/ = 0 и ковариационным оператором Е, моделирующий погрешность измерения. Кроме того будем считать, что / — случайный вектор Rm, Е/ = 0, и задан его ковариационный оператор F. Короче говоря, предположим, что задана модель [А, Е, Е] схемы измерения (0.1), см. гл. 6.
В задаче линейного оценивания задан линейный оператор U Е (Rm —> Rk) ^ определяющий представляющие интерес параметры Uf сигнала /, и требуется определить линейный оператор R Е (Rn —> Rk) как решение задачи (0.3). В главе 6 показано, что решение задачи (0.3) существует для любого U единственно и имеет вид: R(U) = UFA* (AFA* + Е)-, r(U) = 0, и соответствующая с.к. ошибка оценивания Uf такова: h(R(Uf 0, U) = h*(U) = = tr U(F - FA*(AFA* + Е)"AF)U*.
Если, в частности, F и E обратимы, то соответственно
ЯД) = U^A*^"1 А + Я"1)"1 А*^"1 (0.4)
И = tr U(.A*A+ U*. (0.5)
Предельным случаем модели [А, Е, Е] является модель [А, Е], в которой сигнал / в равенстве (0.1) априори считается произвольным вектором Rm. Линейная задача интерпретации измерения (0.1) для этой модели сводится к задаче (0.2). Согласно результатам, приведенным в главе 5, последняя разрешима, если и только если U(I—АА) =
= 0, причем при невырожденном операторе Е решение задачи (0.2) единственно и дается равенством
R(U) = t/(A*S“1A)“A*S“1.(0.6)
При этом с.к. погрешность интерпретации h(R(U),U) = h*(U) = = sup E\\R(U^ - Uf\\2 =trL7(A*S-1A)-L7*.
Собственные базисы моделей [A, F, E] и [A, E]
Как известно [5], каждой модели [A, F. Е] соответствует специфическая расширяющаяся последовательность линейных подпространств пространства Fm входных сигналов, каждое из которых характеризуется минимальным (среди всех линейных подпространств такой же размерности) значением с.к. погрешности оценивания содержащихся в нем сигналов. Каждое из таких «экстремальных» линейных подпространств С8 есть линейная оболочка первых з собственных векторов оператора А*Е-1 А + F-1, упорядоченных по убыванию собственных значений:
£1 С ... С Ст = ^т, С8 = Цв^. . . ,es), S = 1,2, . . . ,771,
(А^А + Г-Щ = j =5^...^5гт.(1.1)
Ортонормированный базис е^ , 3 = 1, 2, ..,ш, евклидова пространства Fm называется собственным базисом модели [A, F^ Е].
Если П5 — ортогональный проектор на С8 то, согласно выражению (0.5) и равенствам (1.1), с.к.-погрешность оценки Я(Щ)£ сигнала П5/ удовлетворяет неравенству: К*(П8) = ^2 ^/2 ^ h*(Us), где j=i
U8 — ортогональный проектор на любое линейное подпространство входных сигналов размерности s, s = 1, 2,..., т.
Что касается модели [А, Е], то ее базис определяется как решение задачи на собственные значения (см. гл. 5, [5])
А*Е-1Ае7 = б7е7, 3 = 1, 2,..., т, s7>...>s^,(1.2)
и обладает следующим экстремальным свойством: ортогональный проектор Пу , удовлетворяющий условию
Мп$) = ыщг) = уД;2,u
где inf вычисляется на множестве всех ортогональных пректоров ранга s, проецирует на С8 = £(ei ..., es). Иначе говоря, если / = Ду) + + /^ , где /(у) G С8, ф^(§) Е Cj-, то ортогональная составляющая Ду) вектора / допускает самую точную в с.к. линейную оценку среди всех ортогональных составляющих / той же (или большей) размерности; см. гл. 1, 5 и [5].
Запишем равенство (0.1) в виде последовательности измерений
6 = Дц,/) + 1-4, г = 1,2,...,п,6 = Дц,/) + 1-4, г = 1,2,...,п,(1-4)(1-5)(1-4)(1-5)(1-3)
6 = Дц,/) + 1-4, г = 1,2,...,п,
6 = Дц,/) + 1-4, г = 1,2,...,п,
(1-4)
(1-5)
(1-4)
(1-5)
Здесь з^ — столбец длины г — 1, г = 2, 3,..., п.
Рассмотрим задачу реккурентного оценивания / по результатам измерений (1.3) в случае модели [A, F, У] (см. гл. 6). Учет каждого следующего измерения приводит к реккурентному пересчету ковариационной матрицы погрешности оценивания:
М^=М^- (г) (^() У г = 0,1,..., п — 1,(1.6)
где11111
До) = с ду = (Д) Д)Д) + г-1)-1,
Д) = <тД Д0)Д-Д(0),
Д) = °i+l S(i+1) ^1(гУ(г+1) + Д) Дг)Д(4)>
^(о) = —ф1))^(г) = А*^ У ^ б^+д — П(г+1), г = 1, 2,..., п — 1;
А^ — часть матрицы А из (1.4), состоящая из первых г строк, У^ — часть матрицы У (1-5), состоящая из первых г строк и г столбцов, г = 1, 2,..., п; см. [63, 83].
Формулам (1.6) соответствуют формулы пересчета с.к. погрешности оценивания
h^=hW- W °, г = 0,1,..., п — 1,(1.7)
где h^ = Е||Д - /||2 = (гДД J^ = М^А^У,^^ — оценка вектора /, основанная на измерении £(р = (^i,...,^/)* (М^ — ковариационная матрица f^ ~ f)- Наконец,
ДДД)Д)А ? уДДДДпДАм
_ М"Х ^(г)^^!4 = 12 П - 1
^4+18(г+1Д(г) s(z+l)
Г) = ^Г) = -^м^0).
Равенства (1.7) определяют уменьшение с.к. погрешности оценивания У с увеличением числа измерений, которое в реальных экспериментах оказывается практически равномерным. Это приводит к тому, что для получения приемлемой точности приходится использовать достаточно много измерений. Более того, во многих случаях приемлемая точность не может быть достигнута и при использовании всех измерений. Тогда возникает проблема оценивания составляющей /, причем желательно, чтобы при требуемой точности оценивания последняя имела максимально возможную размерность. Если известен базис модели, эта проблема может быть эффективно решена.
Рассмотрим базис (1.1), в котором каждая одномерная составляющая щ(У, щ) вектора / согласно равенствам (0.4), (0.5) оценивается посредством П^ф = e^R^^e^ с с.к. погрешностью Е||1Ц)(/ —/)||2 = Д2, г = 1,2,..., m; здесь и далее / = R\T^, n(i), — ортогональный проектор на £(щ), г = 1, 2,..., т. А:-мерная составляющая ЩУ (ортогональная проекция У на £(ei,..., е^)) оценивается посредством ЩУ с с.к. погрешностью
Е||Щ(/-/)||2 = У2Д2,
наименьшей среди с.к. погрешностей линейного оценивания любой другой А:-мерной (ортогональной) составляющей. Поскольку
s = l,2,...,m,(1.8)
и Птф = У при s = т, то с помощью базиса модели последовательность п измерений (1.3) может быть заменена без ущерба для качества оценивания на последовательность
Ij = («!,/) + vb j = 1,2, ...,m,(1.9)
где a,j = A*E-1Aej, i/j = (ej, A*T;-1p), j = 1,2,... ,m.
Последовательность m измерений (1.9) позволяет оценить У с такой же точностью, как и исходная последовательность (1.3), причем при любом А:, 1 ^ к ^ т, часть измерений £i,...,^ из (1.9) позволяет оценить А:-мерную составляющую ЩУ с минимальной среди всех А:-мерных ортогональных проекций У с.к. погрешностью (рис. 8.1).
На рис. 8.1, а представлена зависимость с.к. погрешности оценивания вектора f(m = 40) от номера измерения: 1 — для последовательности измерений (1.3); 2 — для последовательности измерений (1.9), на рис. 8.1, 5 зависимость с.к. погрешности оценивания s-мерной со- ставлящей П5У, определяемой формулой (1.8), (s = 10) вектора У от
число изм.число изм.число изм.число изм.аабб
число изм.
число изм.
число изм.
число изм.
а
а
б
б
Рис. 8.1. Среднеквадратичные погрешности оценивания составляющихвектора /
номера измерения: 1 — для последовательности измерений (1.3); 2 — для последовательности измерений (1.9).
Что касается модели [А, Е], то ее базис (1.2) порождает в 7^п ор- тонормированную систему
Sj = ез 15 1/2 Лел 3 = 1Л,---,Р, Е^.-.^Е^ Ер+1 = • • • = Е2т = О,
и для оценивания ортогональной проекции Щ/, к ^ р. в этом случае достаточно знать ^ = (sj, ^-АД). j = 1,2,..., к, так как согласно (0.6), (1.2)
к
ПЦА’^А'ГА’^-Ц = ^E-^Sj,^-^2^, к = 1Л,.-.,р.
3 = 1
Задача интерпретации линейной функции измерений
Как следует из предыдущего параграфа для каждой наперед заданной точности с.к. оценивания может быть указана ортогональная составляющая / Е Т^т максимальной размерности, допускающая линейное оценивание с неменьшей точностью. В том случае, когда точность оценивания / Е 7tm достаточно высока, возникает задача определения «самой экономной» линейной функции измерений, использование которой обеспечит требуемую точность. Наконец, в ряде случаев представляет интерес задача, в которой требуется выделить составляющую /, размерность которой не меньше заданного к ^ т, и не более q линейных комбинаций измерений, обеспечивающих максимальную точность оценивания упомянутой составляющей /. Далее приведены факты, уточняющие результаты полученные в гл. 5 и 6, позволяющие решать названные задачи.
Модель [A,F, £]. Пусть 8 Е (Rn -^ Rq) — линейный оператор, причем q ^ n, rankS = q. и задана модель [Л, F, Е] схемы измерения (0.1). В задаче интерпретации линейной функции 8^ измерения £ задан линейный оператор U Е (Rm —> Rk) и требуется определить линейный оператор R из условия
Е||Д5/— (//||2 ~ min.(2.1)
Решение задачи (2.1) дается в следующей лемме.
Лемма 2.1. Для любого линейного оператора U Е (Rm —> Rk)
inf Е||R'S^ - [//Ip = tr U^F - Fv!‘2B*PBFv,^U*
и достигается на R = R(U) = UF1^B*(SG1^2)-; здесь P = = (SG1/2)-SG1/2 = G1/2S*(SGS*)~SG1/2 — ортогональный проектор на МЩС1/2), В = G^G-AF1/2, G = AFA* + S.
Доказательство. Согласно результатам, приведенным в главе 6,
mf E||F'S/—[7/||2 = tr U(F-FA*S*(S(AFA*+ Y)S*)~SAF)U*, (2.2)
причем оператор R, на котором inf достигается, имеет вид
R(U) = UFA*S*(S(AFA* + S)S*)“.(2.3)
Заметим, что задача (2.1) разрешима для любого U, поскольку Ы^АРА* + 5) с MIUfF), А = SA,Y = SYS*. Пусть G = AFA* + + Y. Тогда правую часть равенства (2.2) можно записать в виде
trF(F - FA*G"GS*(SGS*y SGG" AF)U*,
поскольку GG-AF1/2 = AF1/2, т.к. JV^AFA* + S) С ЛГ(АРА*) = = ^(F1/2^*) и, следовательно, R^AFА* + S) = M^AF А* + + S)dA/'±(F1/2A*)= F(AFV2). Обозначим В = G^GMF1/2. Тогда
tr U(F - F1^B*G1/2S*(SGS*)~SG1/2BF1/2)U* =
= tr U(F - F1/2B*PBF1/2)U*,
где P — ортогональный проектор на F(G1/25*). Выражение (2.2) в новых обозначениях можно записать следующим образом:
R(U) = UF1/2B*(SG1/2)". □
Пусть в (2.1) U = П5, где П5 — ортогональный проектор в Rm^ определяющий ортогональную проекцию Пу/ вектора / на s-мерное подпространство Rs С Rm (rank Пу = s). Рассмотрим следующую вариационную задачу:
inf {ЕПЯ^^-Пу/П2 | R', Пу, Р, rank Пу > k, rankP < t} ,
где точная нижняя грань вычисляется на множестве всех операторов R* , всех ортогональных проекторов П5, rank П5 > к, и ортогональных проекторов Р, определенных в лемме 2.1, rankP < t, к ^т, t ^п.
В этой задаче требуется определить ортогональный проектор Щ, к ^ s ^ т, на подпространство Р8 С Ят, наименее пораженное шумом среди всех подпространств Rm размерности s, а также ортогональный проектор Р, rankF ^ t ^ п, на котором достигается минимум. Согласно лемме 2.1:
inf Е|| Д'5£ - П/||2 = tr П(Г - F1/2B*PBF1/2)W = tr П(Е - С*РС)П*,
где С = BF1!2.
Теорема 2.1. Пусть t ^ к, тогда
к
min trn(F - С*РС)П = VS; = e(k,t) (2.4) П:гапкП^/г
F:rank P^t
достигается на ортогональном проекторе Щ (rank Щ = к), проецирующем на линейную облочку £У,..., е^ , где е^, г = 1, 2,... , к. — собственные векторы задачи на собственные значения
(F -С* СУt = 5^ е{, г = 1, 2,..., m, ^<...<С,(2-5)
и на любом ортогональном проекторе Pq (rankP9 = q), проецирующем на £(si,... ^Sq), k < q < t, где st = Get, i = 1,2,... ,m, a если t ^ m. sm+i,... ,st — любые линейно независимые векторы из ортогонального дополнения £(si,..., sm) в Рп .
Доказательство. Согласно [5]
к
min trn(F-C*(7)n = tr ПЦР - C*C)nA = Vd2;
П:гапкП>&
г=1
здесь Щ — ортогональный проектор на £(е^,..., е^, где et, г = = 1, 2,..., к, — собственные векторы задачи (2.5).
Поскольку для любых ортогональных проекторов Р и П
tr П(Р - С*С)П < tr П(Р - С*РС^(2.6)
то, выбрав Р = Pq, q ^ t, где Pq — ортогональный проектор на £(si,..., sq), st = С Ci, г = 1,2,..., m, и если q т, sm+i,..., sq , — любые линейно независимые векторы из ортогонального дополнения £(si,..., sm) в Рп при П = Щ, получим в (2.6) равенство, если q ^ к. □
Следствие 2.1. Минимальный ортогональный проектор Р, на котором достигается минимум (2.4), имеет ранг к и дается равенством Рк = СП^(СП^)- .
Модель [А, Е]. В этом случае в задаче интерпретации линейной функции S^ измерения £ требуется определить линейный оператор R из условия
sup Epse -112 - min .(2.7)
R
Решение задачи (2.7) дает
Лемма 2.2. Пусть S Е (Rn —> RqV rankS = q, оператор Е — невырожден и выполнено условие
U(I-(SA)-SA) = 0*(2.8)
тогдао
inf sup EWR'SE.-Uf^^HU^PByU* R'
и достигается на R = R(U) =U(B* PB)~ В* (SU1/2)~, где Р = = (SE1/2)-SE1/2 — ортогональный проектор на ЛГ-^ЗУ^2), В = = ЕХ/2А. Если условие (2.8) не выполнено, задача (2.7) неразрешима [5].
Доказательство. По условию теоремы оператор Е, а следовательно, и S^S* невырождены. Тогда
inf sup EWR'S^-UJW2 =
R*
= tr U(A*S*(SES*)-SA)-U* = tr U(B*PB)"U\ причем оператор R = R(U), на котором достигается inf, имеет вид
R(U) = U(A*S*(S^S*y1SA)-A*S*(S^S*y1 =
= U(B*PB)-B*(S^1/2y.
Если условие (2.8) не выполнено, левая часть в (2.7) равна бесконечности. □
Пусть U = П5, где П5 — ортогональный проектор в Rm, определяющий ортогональную проекцию Пу/ вектора / на s— мерное подпространство Rs CRm (rank Пу = s). Согласно (2.8), ортогональная проекция Пу/ вектора / может быть оценена лишь при условии
Пу < (SA)-SA.(2.9)
Рассмотрим следующую вариационную задачу:
infsup E||B'Se-nj||2,
, _ R>
П5:П5^(5А)“SA,rank YIs^k,
F:rank F^t
где P — ортогональный проектор, определенный в лемме 2.2. В этой задаче требуется определить ортогональный проектор Пу, k ^ s ^ т, на подпространство Rs Фт , наименее пораженное шумом
среди всех подпространств Нт размерности s, а также ортогональный проектор Р = Pt, t ^ n, t = rank Pt, на котором достигается минимум.
Следующие результаты имеют непосредственное отношение к рассматриваемой задаче.
Лемма 2.3. Пусть П — ортогональный проектор на £(ei,... ... ,е^ , где ct, г = 1,2,... .k < т, — ортонормированные собственные векторы задачи на собственные значения
B*Bei = ^ei, г = 1,2,...,т,<.(2.10)
Тогда
tr П(В*В)-П = tr (ПВ^ВПр = tr П(ПВ*ВП)"П.
Доказательство. По условию,
min(k,r)
где г = rank (В*В),где г = rank (В*В),1гП(В*В)"П = ^ А"2’
где г = rank (В*В),
где г = rank (В*В),
г=1
пв*впа =пв*впа =% = 1,2,... Д,г = k + 1,..., т.% = 1,2,... Д,г = k + 1,..., т.
пв*впа =
пв*впа =
% = 1,2,... Д,
г = k + 1,..., т.
% = 1,2,... Д,
г = k + 1,..., т.
Следовательно,Следовательно,
Следовательно,
Следовательно,
min(fc,r)
1г(ПВ*ВП)“ = Д ^f2-П
г=1
Лемма 2.4. Пусть R Е (Пп I —^п); П и Р — ортогональные проекторы в Пт и Вп соответственно, причем П ^ ^В*РВ^х хВ*РВ . Тогда П(В*РВ)-П ^ П(В*В)-П.
Доказательство. Поскольку для любого ортогонального проектора Р выполнено неравенство В*РВ ^ В*В, то согласно [5]
(в*рву ^ (в*рву(в*рвхв*вГ(в*рвГ(в*рв)
и, следовательно,
п(в*рвуп
П(В*РВ)-(В*РВ)(В*В)”(В*РВ)-(В*РВ)П = П(В*В)”П, поскольку ортогональный проектор П является частью ортогонального проектора (В* РВ) (В*РВ). □
Заметим, что условие (2.9) эквивалентно условию П5 ^ [РВ) РВ, где Р = (SS1/2)-(SX)i/2; поскольку М(5А) = A/TST1/2B)C cM((SS1/2)-5Si/2B) сМ(5Е1/2рв)= A<(SS1/2b)=jv'(S^).
Теорема 2.2. Пусть П и Р — ортогональные проекторы, k ^т, t ^ п, к ^ t. Тогда
к
mintr П(В*РВ)"П = V В“2
П:гапкП^^,^ г
п^рвурвг-1
P:rank P^t
достигается на ортогональном проекторе Щ (rank П = к), проецирующем на £(et,..., 6]^ , где ei, г = 1, 2,..., к (к ^ г = rank (В* В)), — ортонормированные собственные векторы задачи (2.10)л и на любом ортогональном проекторе Pq (rank Pq = q), проецирующем на £(si,... ,sq), k ^q ^t, где Si = Р^^ег > 2 = 1, 2,..., r, — ортонорми- рованная система в Пп, sr+i,..., sn — любые линейно независимые векторы из ортогонального дополнения £(si,... ,sr) в Пп .
Доказательство. Согласно [51 min 1гП(В*В)-П = П:гапкП^^, п^р-р
к
= ^Щ(В*В)Щ = 52 А”2’ П^ — ортогональный проектор г=1
(гапкЩ = к) на £(ei,..., еД. Как известно, (см. гл. 2), ортонормиро- ванный базис {еД (2.10) порождает в Пп ортонормированную систему st = P^Bei, г = 1, 2,..., г. Пусть s^+i,..., sn — любые линейно независимые векторы из ортогонального дополнения £(si,..., зТ) в Пп. Тогда, выбрав Р = Pq, где Pq — ортогональный проектор на £(si,... ,sq), к ^ q ^ t, получим согласно лемме 2.4,
пк(в*вупк < Пк(в*рвупк = пк(в*вупк.
При этом для любого ортогонального проектора Р
min tr П(В*РВГП ^ min tr П(В*ВГП
П:гапкП^^,П:гапк П^^,
П^(РР)" РВП^(РР)~РР
к
min 1гП(В*В)"П = 1гЩ(В*В)"Щ = V/3f2, (2.11) п^р-рi=1
а при Р = Pq в (2.11) выполняются равенства. □
Следствие 2.2. Минимальный проектор Р, на котором достигается минимум (2.10), имеет ранг к и дается равенством Р = = ВПк(ВПк)- .
Эффективный ранг модели измерения
На основании изложенных в предыдущих параграфах результатов введем понятие эффективного ранга модели схемы измерения (0.1). Начнем с модели [Д, Е]. Минимальная с.к. погрешность, сопутствующая оцениванию к-мерной ортогональной составляющей /, дает-
ся формулой h*(Hk) = 52 sz 2 ’ где е?, г = 1,2,..., г = rank А, — г=1
собственные значения задачи (1.2), Щ — ортогональный проектор на £(ех,. ..,ек).
Определение 3.1. Эффективным рангом модели1) [А, Е] назовем функцию
Р[л,е](е) - <Р[л,е](е) - <maxmax10,10,/к\Р : Е Е?2 ^ е Ь\г=1//к\Р : Е Е?2 ^ е Ь\г=1/Е12ерЕ12ер> Е, с 6> Е, с 6
Р[л,е](е) - <
Р[л,е](е) - <
max
max
10,
10,
/к\
Р : Е Е?2 ^ е Ь
\г=1/
/к\
Р : Е Е?2 ^ е Ь
\г=1/
Е12
ер
Е12
ер
> Е, с 6
> Е, с 6
определенную на полупрямой Е,^ = [0, +оо) и принимающую значения 0,1,..., г = rank А.
Величина Р[дщ](Д — максимальная размерность ортогональной составляющей j Е Ет, которую можно оценить с с.к. погрешностью не превосходящей s Е Е^. Если точность оценивания, определяемая значением е, считается приемлемой, то любая линейная комбинация первых Р[дщ](Д собственных векторов задачи (1.2) может быть оценена с такой точностью, соответственно первые Р[дщ] (Д собственных векторов задачи (1.2) показывают, какие детали сигнала / Е Ет допускают оценивание с приемлемой точностью. Для оценивания ортогональной составляющей / размерности Р[дщ](Д с с.к. погрешностью, не превосходящей s Е 7\Д, требуется Р[дщ] (Д линейных комбинаций измерений (1.3). Сформулируем основные свойства функции PVA^(e)i ееЕ^.
Лемма 3.1.1) Функция р[А,^]^) - является неубывающей
функцией е Е Е^, причем lim Р[дщ](Д = г = rank А.
Если модель [А, Е] равномерно не хуже модели [А, Е], ([А, Е] -<
-< [Я, 5]), то р[А^]Е) ^ Рущ^У
Если Е > 0 и ||Е||2 —> 0, то для любого е > 0 Р[дщ](Д —> г = = rank А, т.е.
„Ит Р[л,е](Я = г.
Доказательство. 1) Первое утверждение леммы следует непосредственно из определения 3.1.
Пусть Щ и Щ — ортогональные проекторы на линейные оболочки первых к векторов базисов моделей [А, Е] и [А, Е] соответственно, причем к ^ min(r, Д. Согласно результатам главы 5 модель [А, Е] равномерно не хуже модели [А, Е], если АА ^ АА и АА[(А*Е~* А)- (А*Е-*А)ДА-А 0. Так как модель [А, Е] равномерно не хуже модели [А, Е], а также в силу экстремальных свойств
Д Точнее, речь идет об эффективном ранге линейной ИВС [А, Е]. Эффективный ранг нелинейной ИВС рассмотрен в §4, см. также гл. 7.
базиса модели имеем
trnAM^-M)-^ ^trnAM*s-M)-nfc
^^ЩЦ^-1!)"^ tr UkiA*^-1 А)~Uk, где Uk — ортогональный проектор на любое линейное подпространство размерности к, удовлетворяющий условию Uk С АА. Из написанных неравенств следует, что
кк
УеГ2^УД2 v^^r, г=1г=1
где в2, % = 1,2,..., г = rank Л, и в?, % = 1,2,..., г = rank Л, — собственные значения задачи (1.2) для моделей [Л, У] и [Л, У] соответственно, причем г ^ г, поскольку [Л, У] -< [Л, У]. Следовательно, Р1А,^(е)Р[а£](£>> Для любого е EF^.
Обозначим сг^ . и оАминимальное и максимальное собствен/111111HlcLX
ные значения оператора У. Пусть У > 0. Тогда сг^х1 ^ У1 ^ j^J и для любого е Е Fm
^х||Ле||2 < (A*^Ae,e)<a-2in\\Ae\\2.(3.1)
Пусть е = ег — собственный вектор задачи (1.2), отвечающий минимальному отличному от нуля собственному значению е2. В этом случае неравенства (3.1) можно переписать в виде
Условие ЦУЦ2 —> 0 эквивалентно условию сг^ах —> 0. Следовательно, к
е2 —> оо и 52 €?2 "^ 0 У к ^ г. Отсюда получаем, что для любого е > 0 г=1
Чтобы ввести понятие эффективного ранга модели [Л, F, У] рассмотрим решение e(kU) задачи (2.4), к = l,...,m, t = 1,...,п. На рис. 8.2,а представлена зависимость с.к. погрешности оценивания е(з •) от размерности к оцениваемой ортогональной составляющей сигнала и числа t линейных комбинаций измерений (1.3) для модели [Л, F, У] при m = 40 и п = 40.
В работе [83] исследован эффективный ранг модели восстановления вертикального распределения озона по измерениям спектра ультрафиолетовой радиации солнца, рассмотренной в работе [84].
О пре де л ение 3.2. Эффективным рангом модели [Л, F, У] назо-
Рис. 8.2. Среднеквадратичные погрешности оценивания
вем многозначное отображение
PVA,F,^ = {(/>1(е),/>2(£))} =
4(0,0)}
ЦТ) >Е,
{(М)}:<
0) <_
ts(A: + l,O) >е,’’
{(т,0)}:
Е^т^ 0) < е.
= <
м-.<
f Е^к^ t) ^ Е^
Е^к + 1Д) > е. к = 1, 2,..., т — 1, КЕ(к^— 1) > £, t = 1, 2,..., п,
{(т^)} :
i^EXe,t = 12...n
(e(m, t — 1) > e,’ ’’ ’
определенное на Е,^ = [0, сю]. Его значениями являются подмножества S = {(0,0), (1,0), (1,1), (2,0), (2,1), (2, 2),, (m, min(m, п))} .
Согласно определению, множество ^Р1^е\ р^^ состоит из пар (&,£), t ^ к, для которых, во-первых, для каждого к = 0,1,...,т условие s^k^t) ^ е выполняется при наибольшем к ^ t. Здесь к - максимальная размерность ортогональной составляющей / Е Ет , которую можно оценить с с.к. погрешностью, не превосходящей е Е Е^ . Причем для получения такой оценки достаточно не более t линейных комбинаций измерений (1.3). Некоторым значениям е Е 7^+ с.к. погрешности может соответствовать несколько пар (k,t).
Ранг модели [Л, Е] в этих терминах можно определить следующим образом.
О пре де л ение 3.3. Эффективным рангом модели [Л, Е] назовем
отображение
Р[а,е](е) = {(Pi(e),№(e))} = {0>[ад(е),/’[лд(е))},
определенное на ГД = (0, сю) и принимающее значения {(О, 0), (1,1), (2,2),..., (min(m, n), min(m, n))} С S.
Это определение поясняется рис. 8.2, б, где представлена зависимость зависимость с.к.-погрешности оценивания Д-, •) от размерности к оцениваемой ортогональной составляющей сигнала и числа t линейных комбинаций измерний (1.3) для модели [А, Е] в виде поверхности аналогичной изображенной на рис. 8.2, а для модели [A, F, Е]. Поверхность (см. рис. 8.2, б) при к ^ t состоит из прямых линий, параллельных друг другу, а при к > t не определена.
В следующей лемме сформулированы основные свойства Р^А^Е^У^ £ С ^+ •
Лемма 3.2. Для любого £ Е ГД :
£l^/HF,s](e)={(m,0)};
если модель [Л, F, S] равномерно не хуже модели [A, F, S], то Pi (б Pi(e) при р^^ = №(е) и рг^ /Де) при /Де) =pi(e) (P[a,f^]E) ^ргЩр.ДеУ), р^р^е^^ЕУр^е^-,
при невырожденном F для к ^ t
= PVA^.
Доказательство. 1) Первое утверждение леммы следует непосредственно из определения 3.2.
Пусть Щ и Pt — решения задачи (2.4) для модели [A, F, Е], Щ и Pt — решения задачи (2.4) для модели [A, F. Е], причем к = = 1,2,...,rn, t = 1,2,...,п. Согласно результатам гл. 6, модель [A, F, Е] не хуже модели [A, F, Е], если
F - FA*(AFA* F^~AF^F- FA* (AFA* + ^"AF.
Так как модель [A, F^ Е] равномерно не хуже модели [A, F. Е], а также в силу экстремальных свойств базиса модели имеем
tr Hk(F - C*PtCW ^ tr Hk(F - С*РД>к < tr Hk(F - С*№,
т.е. e(kA) ^ £(k,t)- Отсюда следует, что Pi(e) ^ Р1(У для любых е Е ГД при фиксированном числе измерений t = 1,2,...,п и рУУ ^ Р^У) для любых £ Е ГД при фиксированном к = 1, 2,..., т.
Пусть U — линейный оператор, определяющий параметры Uf сигнала / и U(I — А-А) = 0. Покажем, что при ||F_1||20
оценка вектора Пф, полученная в модели [A, F, Е], и сопутствующая с.к. погрешность, сходятся к оценке вектора Uф, полученной в
модели [А, У], и к сопутствующей с.к. погрешности соответственно, см. §5 гл. 1.
Пусть У > 0. Обозначим с^ах и ^min максимальное и минимальное собственные значения оператора F. Тогда
И
и^АЧГ1 А + ^J^U* ^U(A*’S~1A + F-1)-^*
Согласно [5] для любых Т > 0 и w > 0
(Т + col)"1 = иУу - Т-Т) FT~{lF иоТ-)-1.
Используя это тождество и условие U{I — АА) = 0, получим
U^^Ayy + у^А^-УууУ*
< иуУАЕ f-1)-1^
< Uy*^1 Ay (I + уУ^Т-УууУА
Условие ||F-1||2 —> 0 эквивалентно условию ^in "^ 00 • Поэтому
lim tr ША^У + F-1)-1^ = tr ША^-УуГГ.
Аналогично можно показать, что
lim и(А*^"У + р-УУ*^"1 = ША*ТУУуА*Тг\
см. §5 гл. 1, §1 и §3 гл. 6. □
Нетрудно заметить (см. рис. 8.2), что некоторые ортогональные составляющие / Е Fm можно оценить с с.к.-погрешностью не превосходящей требуемую, используя только априорную информацию о сигнале, не используя измерений (1.3) при (t = 0). Введем понятие эффективного ранга априорной информации модели [A, У У].
Определение 3.4. Эффективным рангом априорной информации модели [A, У У] назовем отображение
PoVAFF^£) = {Р01(^),Р02(^))} =
П&,0)}:<если £(1,0)0,
= \(0 + 1,0) > е,v 7’
Л(0,0)},если р(1,0) > е,
е Е ФУ, определенное на F^ = [0, сю) и принимающее значения {(0,0), (1,0), (2,0),(т,0)}с5.
Здесь к — максимальная размерность ортогональной составляющей / Е 11т которую можно оценить с с.к. погрешностью не превосходящей е Е ТУ, не используя измерений (1.3).
Эффективный ранг модели и эффективная размерность множества измерений [18, 19]
Пусть Т R — евклидовы пространства, задан линейный оператор А: Т —> R, и известно, что в (0.1) ||z/|| ^ф б > 0, т.е. пусть задана модель [Л, 5] схемы измерения (эксперимента) (0.1).Эффективный ранг модели [Л, 5] определим как функцию р(-) : [0, сю) -4 {0, 1, 2,...}, значение р^) которой для каждого с ^ 0 равно максимальной размерности ортогональной составляющей П/ сигнала / G Т , которая может быть оценена на основе измерения £ (0.1) с ошибкой, не превосходящей Е.
Пусть U : Т —> U — линейный непрерывный оператор, Иф — значения параметров исследуемого объекта, которые надлежит оценить на основе измерения (0.1), см. гл. 7, [74], и R*^ — наиболее точная версия значения Иф определяемая на основе измерения (0.1), R* : R —> U. Функцию R*^-) определим как решение задачи на минимум для погрешности оценивания значения Иф посредством R^V
h(R) = sup||.R(£) - Uf\\ ~ min,(4.1)
С,/д(')
которое можно найти, решив более простую задачу на минимум
d(r) = sup {||r - Uf\\ | / € T, v Eli, ||z/||5, £ = Af + v^ ~ nun .
(4-2) Ее решение г = r(£) будет решением и задачи (4.1), R*(£) = = О, ^eR [74].
Лемма 4.1. Пусть 1ф А и U А- — непрерывные операторы1), причем 1Ц1 — А Л) = 0, т.е. JV(U)dJV(A) . Тогда задача (4.1) имеет единственное решение
R^) = UA"^
и сопутствующая погрешность
HR*) = 5||ЁТЛ^||.
Доказательство. В силу условия леммы из (0.1) следует, что [5]
Пф = ПА~^ -И = U А-С - ПА-щ
и поэтому
НН = sup | ||г — UА-^ — Е7Л— лу|| | v 6 R, IMI ^ ^} .
Пусть S^ CU шар минимального радиуса, содержащий множество {[/ЛД — v), не R, |ф|| < й}. Тогда его центр г* = R*(H = UA^
х) А- — оператор, псевдообратный к Л, черта над оператором символизирует замыкание; А- плотно определен, Т>(А-) = R^A) ©R^^A), и замкнут [5, 16], R(A) = {Л/, ф е 7Y Я(А) = {/ е Г, Аф = 0}.
есть решение задачи d(r) ~ min, а ег0 РаДиУс ^Ц^^. || = h(R*). □
Замечание 4.1. Если не выполнено условие АГф) DAf(A), то в (4.2) d(r) = сю, г Е U , и задача (4.1) не разрешима. Если в (4.2) U = I , т.е. речь идет о тех значениях / Е Т , которые до некоторой степени контролируются измерением (0.1), то в (4.2) следует ограничиться / еЛГ^А), т.е. считать, что
d(O = sup { ||г - /III / е Л/ДЛ), V е тг, ||z/|| ^5, £ = А/ + Д,
или, иначе говоря, ограничиться невырожденным оператором А : Т 7г.
Пусть А : Т —> ?г — вполне непрерывный оператор, тогда в Т существует ортонормированный базис {е^}, состоящий из собственных элементов оператора А* А, А* Ае^ = о^вг, г = 1, 2,..., упорядоченных согласно условию о^ ^ ос^ ^ .... В этом базисе (А*А)-вг = ф2вг, если а^ > 0, и (A*A)-et = 0, если а? = 0, г = 1,2,... Поэтому, если Щ — ортогональный проектор на к— мерную линейную оболочку Це-v,. ..,ек) С МДА), и Р — любой ортогональный проектор, rank Р = к, то
min { дЦТТТ^Ц | Р-. У ТЦРЩЛЩА)} = 6||ЩАД =^\и, следовательно, бау!1 — минимальная погрешность, с которой мо-жет быть оценена к— мерная ортогональная составляющая / Е Тна основе данных (0.1), причем эта ортогональная проекция / нак
Це^. ..,ек) есть nkf = ^ДеД; •
г=1
Следовательно, в рассматриваемом случае справедлива
Лемма 4.2. Пусть А*А : Т —> Т — вполне непрерывный оператор, {щ} — ортонормированный базис Т, состоящий из собственных элементов A* A, A*Aei = а^е^, г = 1,2,..., о^ ^ а^ ^ ... Тогда эффективный ранг модели [А, 5]
рф = шах ^к | бос^1 С s}, ^ ^ 0;
ортогональная составляющая / максимальной размерности рф, оцениваемая с погрешностью, не превосходящей е,
= E^’ei)ei-1=1
Замечание 4.2. При определении Пр^ф равенство (0.1) эквивалентно р(е)-мерной (конечномерной) линейной задаче оценивания координат (/,е4), г = 1, 2,...,р(е), из условий (А*£,е?) = a^Le^ + + (А*щ ej, % = 1,2,...,р(е) . Поскольку (Л*£, щ) = (^, Ае^), г = = 1,2,... , и элементы Ае^ % = 1,2,..., р^ , образуют ортогональную
систему в ?г , ее линейная оболочка С(Ав\, ..., Аер^) = Tt^ С 7ЦА) образует то, что можно назвать эффективным пространством значений А (размерности р(е)). Это линейное подпространство имеет минимальную размерность среди всех линейных подпространств Н , обладающих тем свойством, что принадлежащие им ортогональные составляющие £ определяют Пр^ф .
Рассмотрим множество
Д = {У е ^(Л), £ = Af + V, V е и, |И ^ Д (4.3)
возможных значений сигнала / G Т, до некоторой степени контролируемых результатом измерения £ (0.1). Его ортогональная проекция
ЩД = {Щ/ = ЩАД - ЩА-1/, v ||z/|| 5}
на £(ei,..., е^) яляется сдвигом на ПкА ( части линейного подпространства {ЩА~г v б7^} , принадлежащей шару {z/ ЕН, ||z/|| ^5} , и содержит ортогональные составляющие Щ/ сигнала /, возможные при результате измерения £ и оцениваемые значением Щ А( с ошибкой, не превосходящей £||ЩА_|| . Если £ G Т)(А-) = Н(А) ^^^(А) , то и v G Т)(А-) и
Д = {/ = ач - A"v, г/ е Д ЦЦ ^ 5} .
В этом случае П(/ — А_£) = П/ — А-^ где П = А-А — ортогональный проектор на Л/'±(А), приближается его ортогональной составляющей (П — Щ)(/ — А-£) с ошибкой, не превосходящей £||ЩА_||, ибо П(/ - А"() - (П - Щ)(/ - А"() = Щ(/ - А"() = ПкА-н. А поскольку ортогональная проекция П/ — А £ на любое линейное подпространство Т7, коразмерность которого не меньше к , приближает П/ —А£ с погрешностью, не меньшей й||ЩА-||, то отсюда следует
Теорема 4.1. Пусть выполнены условия леммы 4.2. Тогда функция
((e) = min {rank (П — Щ) | к, £||ЩА_ || < е}, е ^ 0,
является эффективной размерностью мноснсества Т^ (4.3). Если, в частности, dim ДА1 (A) = q < сю, т.е. если оА^ ^ ... ^ Qg > 0 = = O?qvV = * * * т0
((e) = min ^q - k, | к, 5||ЩА-1| s| =
= min |g — k, | k, Зар ^ e|, e 0.
В этом частном случае р(е) + ((e) = п, ср. с гл. 2. □
Глава 9
Методы синтеза линейных измерительных приборов на измерительно-вычислительных системах
Проблема несмещенной редукции, как было отмечено, выглядит в известной степени идеализированной по той причине, что точный синтез на ИВС [Л, Е] заданного прибора U имеет смысл лишь при условии, что точно известна модель [Л, Е] схемы измерения. Действительно, условие точного синтеза RA = U является, как известно, следствием требования supE \\R£ — UfW2 < ос, позволяющего в конечном счете оценить и минимизировать погрешность. В то же время на практике модель [Л, Е] непременно отличается от модели [Л, Е], контролирующей реальное измерение £ (т.е. на самом деле £ = Л/ + i7, а не £ = Л/ + v). Но в таком случае и при условии RA = U
supE ||Я£ - &/||2 = 8пр{||(ЯЛ - &)/||2 + Е ||^||2} = ОС, //
если RA ^U и, следовательно, «точный синтез» U теряет смысл.
Эта ситуация характерна для задач, в которых отсутствует априорная информация о /. Даже при анализе погрешности исходного измерения~~
£ = Af + v = Af + (Л - АН + v
мы сталкиваемся с той же проблемой: если А ^ Л, то supE||£— /
—Л/||2 = оо (не говоря уже о погрешности редукции).
Разумеется, в реальных задачах сигнал /, как правило, не может быть произвольным элементом Rm , и вопрос о том, как должна быть учтена та или иная априорная информация при постановке задачи редукции, рассмотрен в гл.6 и 7. А сейчас в рамках модели [А, Е] рассмотрим задачи синтеза измерительных приборов на ИВ С. Тесно связанные с материалом этой главы задачи оптимального синтеза ИВС рассмотрены в работе [5].
Синтез измерительного прибора при ограничении на уровень шума
Пусть U — прибор, который требуется синтезировать на ИВС [А, Е]. Независимо от того может быть синтезирован выходной сигнал U или нет, рассмотрим задачу
min{|\U - Г||2 Д е Р£} = \\UE - Г||2,(1.1)
где Т)£ — множество тех приборов, которые допускают точный синтез их выходных сигналов на ИВС [А, Е] (несмещенную редукцию) при уровне шума, не превосходящем заданного значения с ^ 0 (см. гл.5):
Р£ = {[/, и(1 - Л" Л) = О, tr и (А* У,"1 А)" и* ^ е}.(1.2)
Если Ue — решение задачи (1.1) и R, —оператор несмещенной редукции к Ue , то
RM = UJ + R£v (U£ - UM + R£v
— искаженный шумом R£v выходной сигнал прибора U£, самого близкого к U при условии, что энергия шума редукции не превосходит е. Подчеркнем, что речь идет об инструментальной интерпретации редукции, согласно которой RM — выходной сигнал синтезированного прибора U£ с заданным уровнем шума, причем критерием качества в данном случае является не величина с.к. погрешности Е ||Яе£ — ?7/||2 интерпретации редукции RM как выходного сигнала U£f прибора Ue , а величина погрешности синтеза \\Ue — U\\2 прибора U. Более того, supE||/?£^ — Uf\\2 = сю, если Ue ^ U (см. также /
обсуждение этого вопроса в §3 гл. 5).
Рассмотрим подробнее задачу (1.1). Поскольку любой прибор из ^[ДЩ] можно представить в виде ZArА, выбрав соответствующий оператор Z, задачу (1.1) можно представить в виде
ЦТ - ХЛ-ЛЩ = ||Щ - Л"Л)||2 + ||(Г - Z)A"<2 ~ min, (1.3)
где Z подчиняется условию *) tvZ^^Ayz* ^е.(1.4)
Задача (1.3), (1.4) является задачей выпуклого программирования, поэтому ее решение определяется условиями (см., например [26, 5]):
-(U - Z)A~ A + ujZ^^AY = 0; uj^Z^^AyZ^-s^^ и > 0;(1.5)
ti Z(А* УГ1 Ay Z* <s, среди которых первое уравнение является необходимым и достаточным условиям минимума по Z лагранжиана задачи
tr У - Z)A-A(U - Zy + wtr Z^^Ayz*.
Учитывая, что (А* У-1 А)(/ — АА) = 0, решение можно записать в виде
Z = Z^ = U(I + ЦА^^Ауу1,где ио определяется остальными условиями (1). Поскольку
Кш = trZ„(A*S-M)-Z:
— строго монотонно убывающая функция и ^ 0 2), то оо *
max Кш = lim кш = ti U(A* УГ1 AyU = Л+о,
inf Кш = lim Кш = 0 = h^.
Следовательно, неравенство (1.4) действительно является ограничением на уровень шума редукции, лишь если
0 < £ < Л+о,
и для таких £ уравнение Нш = £
имеет единственный корень ш = ш£. Для е ^ /г+о ^е = 0. Заметив, наконец, что
lim Zw = U, lim Z^ = Uy - А" А), ш —>+0ш—>ос
получим решение задачи (1.1), (1.2).
г) Заметим, что А А(А*Е ХА) А А = (А*Е ХА) .
2) dh^/doj = -2tr zyy^^Ay^Z^ < 0, ш ^ 0.
Теорема 1.1. Задача (1.1), (1.2) синтеза прибора U при ограничении на 'уровень шума имеет единственное решение
(о,(о,Ue =Ue =ио +ио +UA~A,UA~A,е = 0;0 < е < Л+о;£ ^ ^+о;е = 0;0 < е < Л+о;£ ^ ^+о;
(о,
(о,
Ue =
Ue =
ио +
ио +
UA~A,
UA~A,
е = 0;
0 < е < Л+о;
£ ^ ^+о;
е = 0;
0 < е < Л+о;
£ ^ ^+о;
невязка синтеза
'№ е = 0;
11^112 = <11^112 = <\MI-A-A)\\IWstrU(I+
11^112 = <
11^112 = <
+w£(A*S-A)-)-[(A*S"1A)-]2L7 ; 0 < е < /г+0;
AMI-А-АЖ e>h+0.
Определение 1.1. Зависимость
де = |Д - ЦЖ 0 ^е < оо,
называется оперативной характеристикой (О.Х) задачи (1.2) синтеза прибора U на ЛВС [Л, X]х).
связывает разрешающую силу Ue и уровень шума в. Невязку синтеза и уровень шума удобно определять параметрически:связывает разрешающую силу Ue и уровень шума в. Невязку синтеза и уровень шума удобно определять параметрически:Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), n = |MlL b=\\U(I— -а-а)^Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), n = |MlL b=\\U(I— -а-а)^дМ = \\и - ГМ|Ц, км =дМ = \\и - ГМ|Ц, км =Если, как обычно, считать U идеальным прибором, а разрешающую силу прибора U определить значением \U — UW^ (квадратом расстояния от U до U, как это было сделано в §3 гл. 5), то. О.Х.
связывает разрешающую силу Ue и уровень шума в. Невязку синтеза и уровень шума удобно определять параметрически:
связывает разрешающую силу Ue и уровень шума в. Невязку синтеза и уровень шума удобно определять параметрически:
Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), n = |MlL b=\\U(I— -а-а)^
Рис. 9.1. Оперативная характеристика задачи (1.1), (1.2), n = |MlL b=\\U(I— -а-а)^
дМ = \\и - ГМ|Ц, км =
дМ = \\и - ГМ|Ц, км =
0 ^ и < 00,
(1-6)
где U(со) = Z^AA. При изменении параметра со от 0 до оо точка (h(co); д(со)) на О.Х. переместится из точки а в точку ^, причем для 0 < со < оо выполняется закон сохранения (рис. 9.1):
dg(co) + codh(co) = 0,(1.7)
означающий, в частности, что при стремлении к точке а dg ! dh^^^^ —> 0, а при стремлении к точке 3 dg ! dh^^^ —> —00. Следовательно, О.Х. в точке а имеет горизонтальную касательную,
а это означает, что малому увеличению невязки синтеза 5д отвечает значительное уменьшение уровня шума —5h.
Понятно, что чем ниже лежит график О.Х., тем лучше синтез. Если [Л, X] -< [Л, X], то D£ CD£ и, следовательно, для ИВ С [Л, X] график О.Х. лежит не выше, чем для ИВС [Л, X]. Действительно, если U Е De, то U Е Т)уд^ и h(U) в. Следовательно, тем более U Е Т^а 5] и М^О £ и тем самым U ED£ . Сравнивая теперь задачу (1.1), (1.2) с такой же задачей для ИВС [Л, X], нетрудно заметить, что \\U — ?7£||2 ^ \\U — Ue\\2, поскольку во второй задаче область Т)е , на которой ищется минимум, не менее обширна, чем в первой.
Равенство
R^ = Uf^(RA-U)f^Rv
подсказывает другой подход к проблеме синтеза прибора U на ИВС [Л, X]. Речь идет о задаче на минимум
Ы{||ЯА - Г||2|Д, Е ЦМ2 ^} = ЦДЛ - Д||2 = р£,(1.8)
решение Re которой определит сигнал RA как искаженный шумом R£v выходной сигнал прибора R£Л, самого близкого к U при действующем ограничении на уровень шума Е ||Я£?/||2 ^ в. В монографии [5] показано, что задачи (1.1), (1.2) и (1.8) эквивалентны. Если ЛЛ* + Е — невырожденный оператор, то
и£ = r£a, r£ = UeA-U - ^^^p^^yY
где Р = I — ЛЛ , причем для любого U
|Д-Щ2 = \\и - r£a\\2 = р£.
Если, в частности, X — невырожденный оператор, то для О <е <trU(A*^-1A)-U
Re = R(^) |ш—у
где
R(co) = UA^AA* + cjX)-1(1.9)
и uoe — корень уравнения tr Я(си)ЕЯ*(си) = е.
На практике удобно иметь дело с параметрическим семейством 1)
R(co), h(co) = tr R^co^R* (со), д(со) = ||Я(си)Л — Т/Ц^, 0 ^ со < сю,
х) В теории линейного оценивания семейство операторов R(uo), 0 ^ со < оо, (1.9) определяет класс так называемых гребневых оценок [85]; см. также [37, 87, 29].
определяющим семейство решений задачи синтеза U, в которых R(uj)^ — искаженный шумом R(co)v интенсивности h(co) выходной сигнал прибора R(w)A, самого близкого к U при уровне шума h(w). Аналогично (1.6) функции h(w) и д(и?г 0 ^ ст < сю, определяют О.Х. задачи (1.8).
Следует заметить, что, хотя при и > 0 supE ||Д(сД£ — ?7/||2 =
= сю, тем не менее, если U Е R[a,^] (т-е- U допускает несмещенную редукцию), то для любого фиксированного сигнала / Е Rm можно указать значение и > 0, при котором
Е ||ЯМе - Uf\\2 < ^+о(^) = tr U^^A^U , (1.10) где h_^o(U) — погрешность несмещенной редукции. Действительно, 5М = Е цдне - г/п2 = ||№)А - UW + trR№R*H <
< sMll/ll2 + hH = - 5(+0))||/||2 + №) - Ц+0» + Щ0), где как, нетрудно проверить, Л(+0) = tr U(A*YM[ A)~U = h+o(U), и в силу условия U € Ри si g(+0) = lim g(w) = 0. Поэтому 5(+0) = = Ц-ЕО) и
<ЧД - J(+Q) < дСЩЩ±£) ||у-||2 + ЩДЦ+о) =
U) U) U)
= д'(Д||/||2 + /1'(Д = (-^||/||2 + Щ'(Д
где 0 < cj ^ w. Следовательно, в силу закона сохранения (1.7), 5(сД < 5(+0), как только си < ||/||-2 ибо h'(щ) < 0.
Итак, выбирая достаточно малое и > 0, можно получить неравенство (1.10), означающее, что для фиксированного сигнала / погрешность интерпретации R(uj)^ как выходного сигнала U f меньше, чем при несмещенной редукции измерения £ к прибору U. Однако до тех пор, пока сигнал /, как это принято в случае модели [А, X], произволен, этой рекомендацией воспользоваться невозможно.
Выражение для R(w) (1.9) совпадает с оператором редукции к U для модели [A, F, X], если F = имА. Это означает, что сигнал RA можно считать наиболее точным (в с.к.) приближением сигнала U если сигнал / определен как случайный вектор с Е / = 0 и корреляционным оператором w~rI.
Перепишем выражение (1.9) для Д(сД в виде L7(A*X-1A + + cjZ)-1 А*Х-1, удобном для анализа сигнала Я(си)^ в сравнении с
сигналом Яо^ = и(А*^ гА) А*^ ’(. определяющим несмещенную редукцию £ к U. Обращаясь к результатам §4 гл. 5, в котором проанализирована роль шума при несмещенной редукции, заметим, что, в отличие от равенств ((4.6) гл. 5) определяющих результат несмещенной редукции к U = I в базисе модели [А, Е], теперь
w = (ei, wo = 3^- + 5А^_АА1, (i.ii)
где {ej — ортонормированный базис модели [А, Е], A^Yr^Aei = £2щ, fi = (/, щ), Si = 571E-1/2Ae^, г = 1,... ,ш. Если собственные значения упорядочены так, что 5^ ^ 5^ ^ ---^т > О, то, в отличие от равенств ((4.6) гл. 5), согласно которым при 5т —> 0 неограниченно возрастает шум редукции, теперь при w > 0 и бт —> О №)Щ^о.
Как правило, этот факт свидетельствует о «сглаживании» сигнала R(w)£ по сравнению с Rq£A поскольку обычно с увеличением г возрастает «изрезанность» собственных векторов щ, г = 1,..., т, а наличие в равенствах (1.11) w > 0 уменьшает относительный вклад «изрезанных» составляющих в сигнал R(uj)^ (рис. 9.2). Обратим внимание на следующий на первый взгляд парадоксальный факт: «сглаживание» можно понимать как эффект, вызванный учетом информации о сигнале / как о «белом шуме» (с параметрами Е / = О, Е//* = = иоА). хотя «белый шум» вовсе не гладкий в обычном понимании. В данном случае все дело в том, что в «белом шуме» ф^ корреляционный оператор которого равен сО А I. «энергетический» вклад каждой составляющей (ф^е^е^ г = 1,..., ттг, одинаков и равен си-1, в то время как в сигнале RxA аналогичный вклад каждой составляющей (Ro^e^ei равен б^2 = 1,...,ттг, а в (1.11) относительно подавлены составляющие (R(lj)^ e^Ci, у которых отношение 5^! ^-1 велико.
В заключение этого параграфа заметим, что хотя, как было отмечено, для и > 0 sup Е ||Я(си)£ — L7/||2 = сю, тем не менее в том случае, когда известно распределение v, например v ~Л'(0. Е), для оценивания погрешности Е ||Я(си)£ — L7/||2 интерпретации Rk^^ как сигнала U f можно воспользоваться следующими соображениями, аналогичными рассмотренным в §10 гл.5.
Так как при невырожденном корреляционном операторе Е R(co) = = US^A*^-1, где 8Ш = А*Е-1А + сЯ, то
R(^A -U = -ooUS^1 и, следовательно,
Е\\R(c< - &/||2 = u^US^2 + tr US^^AS^LF.
100 '
60
о -
-200
Тоб 20(Г
100
60
о
-20
д
V*M W W**f
0100200
100
60
О -20
100
60
О -20
О100200
Рис. 9.2. а) Оперативная характеристика задачи (1.8): In7z(c<j) (по вертикали), g(w) = ||K(lj)A — [/Ц^ (по горизонтали), 0 < lj < оо, U = 1^ в точке а : ш = 5 • 10—4, (Л(0)/5 • 10-4))1/2 = 1.52. В точке /3 : ш = 8 • 10—3, (Л(0)/Л(8-10”3))1/2 = 2.29. В точке 7 : w = 6.5-10”2 , (Л(0)/Л(6.5 -10” 2))1/2 = = 4.00. б) Входной сигнал / и измеренный сигнал ^ = А/ + ?/. в) Выходной сигнал ИВС R(0)^ v / 0. г) Выходные сигналы ИВС K(w)^, v = 0, сверху вниз: ш = 5 • 10—4, 8 • 10—3,6.5 • 10-2 . д) Выходные сигналы ИВС Н(ш)^ v = 0, сверху вниз: ш = 5 • 10—4, 8 • 10—3,6.5 • 10-2
Зададим е > 0, 5 > О, определим и = сщ так, чтобы tr U х х S31 А*^-1 AS^U* = е и рассмотрим задачу проверки гипотезы против альтернативы
Ks,e = {/ е Rmi ДЦГ5Д/Ц2 > Л
на основе наблюдения £ Если Л*Е! Л — невырожденный оператор, то рассматриваемая задача проверки гипотезы точно эквивалентна рассмотренной в заключение §10 гл.5. Там, в частности, определены верхняя и нижняя надежности гипотезы; пусть в данном случае это будут a§i£^ и а§ ДО соответственно. Тогда погрешность
Е ||Я(сщ)£ — Uf\\^ ^ е + 5 с такими надежностями.
Если оператор Л*Е! Л вырожден, то знание параметра Л/ распределения £ не фиксирует / и не позволяет различать гипотезу и альтернативу.
Общий метод синтеза измерительного прибора на измерительно-вычислительной системе
Как было отмечено, стремление к точному синтезу на ИВС [Л, Е] идеального прибора 77. за редкими исключениями, не может быть признано вполне оправданным. Прежде всего в силу возможных неточностей модели [Л, Е] условие точного синтеза RA = U фактически не может гарантировать, что supE \\R£ — Uf ||2 < сю. Кроме /
того, точный синтез U на ИВС [Л, Е] может быть принципиально невозможен.
В предыдущем параграфе рассмотрена задача синтеза прибора, наиближайшего к U при заданном ограничении на уровень шума, сопровождающего «измерение» на синтезированном приборе. Однако в тех случаях, когда, с одной стороны, при заданном ограничении на уровень шума невязка синтеза \\U — ЬЦ^ оказывается слишком большой, а с другой — исследователь может априори указать класс U приборов приемлемого качества, задачу синтеза следует поставить как задачу отыскания прибора U£ Е U и наиближайшего к нему прибора ReA, таких что
||Г£ - ЯеА||| = inf {|Щ - ЯЛ|||Д е и, R, Е ЦД1/Ц2 ^ Д. (2.1) Эта задача отличается тем, что в ней окрестность Л идеального прибора U, состоящая из приборов приемлемого качества, указана априори. Например, класс U = U$ может состоять из приборов, позволяющих измерять не менее чем заданное число 5 параметров объекта
среди общего из числа 6^ ^ 6. последние к тому же могут быть упорядочены исследователем по степени важности.
Этот пример имеет непосредственное отношение к спектроизмерительным приборам, у которых 5 может обозначать ширину спектра измеряемых частот, или разрешающую способность. Рассмотрим такую интерпретацию подробнее.
Пусть Ыз — класс матриц п х п вида
у которых матричные элементы (Пз)^ = 0 для \г — j\ > б. Lj =
= 1,..., п. Этот класс содержит идеальный прибор U = Uq = I и все те приборы, у которых аппаратная функция «не шире», чем 2J + 1. Используя оптическую терминологию, можно сказать, что класс Ыз моделирует приборы, разрешение которых не хуже 2J + 1. Ограничившись симметричными матрицами, каждый прибор из Ыз можно задать в виде линейной комбинации
д
Us = ^aAEA
А=0
матриц Eq, Ei,..., Ез, матричные элементы которых
U^X^j 5|2—j|—A, Z,^, ...,7l,
по = 1, а слагаемые щВх, a^E^ ... ,азЕзпо = 1, а слагаемые щВх, a^E^ ... ,азЕз£ fl, к = 0, ™e = \o, к * 0
по = 1, а слагаемые щВх, a^E^ ... ,азЕз
по = 1, а слагаемые щВх, a^E^ ... ,азЕз
приводят к расширению «аппаратной функции» и соответственно — к уменьшению разрешения Пз с увеличением 5. В данном случае параметр б характеризует качество приборов из Ыз, причем качество последних тем выше, чем меньше 5^0. Семейству задач (2.1), в которых 0^£<оо,Ы = Ыз, 0 ^ б < сю, сопоставим оперативную
характеристику
9s,5 = \\ие,з ~ К£1зА\\Х,9s,5 = \\ие,з ~ К£1зА\\Х,0 ^ £ < ОО, 0 б < сю,0 ^ £ < ОО, 0 б < сю,
9s,5 = \\ие,з ~ К£1зА\\Х,
9s,5 = \\ие,з ~ К£1зА\\Х,
0 ^ £ < ОО, 0 б < сю,
0 ^ £ < ОО, 0 б < сю,
где U£^3, R£i5 — решение задачи (2.1) при U = Ыз.
На рис. 9.3 приведены примеры оперативных характеристик для двух моделей, отмеченных номерами 1 и 2. На рис. 9.3, а О.Х., отвечающая модели 1, свидетельствует о более высоком качестве синтеза при любых е ^ 0, 5^0. На рис. 9.3, б модель 1 предпочтительнее, чем модель 2, лишь при синтезе для значений параметров е ^ 0, б ^ 0, лежащих в заштрихованной области. Более подробно свойства О.Х. рассмотрены в книге [5], где, в частности, показано, что, чем лучше модель (в смысле сравнения ^), тем ниже лежит график ее оперативной характеристики.
Рис. 9.3. Примеры оперативных характеристик
Возвращаясь к задаче (2.1), в которой
5
U =ХЕ\, —ж<а\<ж, А = 1,...,5},
рассмотрим пример синтеза на ИВС [А, X] прибора U, обладающего повышенным разрешением по сравнению с прибором А [88].
Пусть / е А е (Rn Rn) и
(ад = гЛт Е 8 = 19, п = 128,
j=-s
и будем считать, что приемлема любая из трех возможностей синтеза U EU^ 5 = 0,1,2,3, причем при 5 = 0 речь идет о синтезе прибора U = I с разрешением в 39 раз более высоким, чем у А, а при 5 = 1, 2,3 — соответственно в 39/3 и 39/7 раз. Входной сигнал / и результат измерения £ = A/ + zx представлен на рис. 9.4, а. На рис. 9.4, б показаны «сечения» О.Х., соответствующие 5 = 0,1,2,3, на которых отмечены точки, определяющие условия синтеза. При фиксированном уровне шума в, одинаковом в каждом из трех случаев, решения задачи (2.1) представлены на рис. 9.4, в, а те же решения при «выключенном» шуме (и = 0) — на рис. 9.4, г, где отчетливо видны ложные сигналы (U£i5 — R£i5A)f при 5 = 0,1,2,3, обусловленные соотвественно невязками синтеза U£i§ — R^A. 5 = 0,1,2,3. Как видно, чем больше 9е,5 = Н^еД — Я£дА||2, 5 = 0,1,2,3, тем больше ложный сигнал. В данном случае редукция Re^ не только сопровождается самым интенсивным ложным сигналом, но фактически реализует более низкое разрешение, чем Re^^ хотя формально R^oE, — редукция к прибору
Рис. 9.4. а) Входной сигнал и результат измерения ^ = Af + v. 6} Сечения оперативной характеристики: Е ||Д£д1/||2 как функция ||К£дЛ — Ц"£д Ц2 для б = 0,1, 2, 3. Точки отмечают условия синтеза приборов Re^A^ НедА^ Н£дА и Н£дА при одном и том же уровне шума, б) Выходные сигналы (сверху вниз) ИВС Недб^ 5 = 0,1, 2, 3. г) Выходные сигналы (сверху вниз) ИВС Недб^ 5 = 0,1,2,3, при v = 0, иллюстрирующие уровень ложных сигналов
Uq = I, обладающему самым высоким разрешением1).
Это происходит потому, что при 5 = 0 синтезированный прибор R£iqA гораздо дальше «отстоит» от идеального Uq = Z, чем прибор Re^A, синтезированный при 5 = 2, «отстоит» от соответствующего прибора UEi2 Е % • И хотя разрешение Uq = I выше, чем у UEl2 прибор Р£дА не наследует это качество в силу значительного «удаления» от Uq . Как видно из рис. 9.4, в при наличии шума ложный сигнал в редукции Re^^ Re^E, практически не заметен, в то время как в редукции R£iqE^ которая фактически является решением задачи (1.8) при U = I, ложный сигнал отчетливо виден и на фоне шума. Это обстоятельство может серьезно осложнять решение задачи интерпретации.
В заключение приведем теорему, описывающую решение рассмотренной задачи [5].
б
Теорема 2.1. Пусть Е > 0 и Ud(co) = Eq + ^ ах(ш)Е\ — реше- А=1
ние системы уравнений
оах
где S(co) = А*ТГУ А -V col Решение задачи (2.1) имеет вид
Re,б = U6(W1/2A)W,Re,б = U6(W1/2A)W,ш = ш(8,5),ш = ш(8,5),О < е < е(д),8 е(5),8 = 0:О < е < е(д),8 е(5),8 = 0:
Re,б = U6(W1/2A)W,
Re,б = U6(W1/2A)W,
ш = ш(8,5),
ш = ш(8,5),
О < е < е(д),
8 е(5),
8 = 0:
О < е < е(д),
8 е(5),
8 = 0:
'Ud(co), и = w(s,5),'Ud(co), и = w(s,5),Rs,б = U5«Rs,б = U5«^(+00),^(+00),0 < 8 < 8(5),8 ^ 8(5),8 = 0,0 < 8 < 8(5),8 ^ 8(5),8 = 0,
'Ud(co), и = w(s,5),
'Ud(co), и = w(s,5),
Rs,б = U5«
Rs,б = U5«
^(+00),
^(+00),
0 < 8 < 8(5),
8 ^ 8(5),
8 = 0,
0 < 8 < 8(5),
8 ^ 8(5),
8 = 0,
где
^(+0) = Hn^^^), [^(-Hoo) = Jim^ Ud(co),e(5) = trUW(A*W"W)
и co(e,5) — единственный корень уравнения tTU6(co)A*WAS-\co)u6(co) =8.
Оперативная характеристика определяется зависимостями
' со2 tr Uб (со) S~2(co)U^ (со), со = со(е,5), 0 < 8 < 8(5),
tr U6(Eoo)U§(E(X)),tr U6(Eoo)U§(E(X)),8 = 0,8 = 0,9s,б = tr U6(E0)(I ~ А-А)Щ(+0),8 > 8(5),
tr U6(Eoo)U§(E(X)),
tr U6(Eoo)U§(E(X)),
8 = 0,
8 = 0,
т) Амплитуда «пика» в Re^E, в 1,15 раза больше, чем в R£jqU
причем, если множество ^U Е U§, U(I — АА) = 0} не пусто, то g£i§ = 0 для е ^ (5). В этом случае возможно полное подавление ложного сигнала. Для и > 0 0 = иоЭИДДД Эио + ЭдДоДД Эио, где Цш,5) = Е ||Я5(шМ|2, д^,6^ = |№М^ ~ ^МН1, КбИ = = UsHS^HA*^-1. □
Заметим,что возможны постановки задачи синтеза, отличные от (2.1). Например, в ряде случаев предпочтителен несмещенный синтез
inf{E ||Лр||2|Л, U е U П Р} = inf{tr U<A*Y.-YAyu*\U е U Q Р}.
Здесь D — множество всех приборов U, допускающих несмещенный синтез, D = ДА, U(I — АА) = 0}. Эту задачу можно интерпретировать как задачу несмещенного синтеза прибора приемлемого качества с минимальным уровнем шума. Возможны и другие постановки, как правило многокритериальные, см. также [5, 97, 98, 100].
Глава 10
Измерительно-вычислительные преобразователи
В этой главе методами теории измерительно-вычислительных систем (ИВС) изучаются измерительно-вычислительные преобразователи (ИВП) первого и второго порядков. Согласно теории ИВ С измерительный преобразователь (ИП) и вычислительный преобразователь (ВП) рассматриваются как единый прибор, ИВП, выполняющий функцию средства измерения.
Измерительным преобразователем (датчиком) называется прибор, преобразующий внешнее воздействие той или иной физической природы в электрический сигнал. На практике широко используются ИП, математические модели которых описываются дифференциальными уравнениями [6]. Порядком ИВП будем называть порядок датчика, который используется в качестве измерительной компоненты ИВП, в свою очередь порядок датчика определяется порядком описывающего его дифференциального уравнения.
Качество ИП как измерительной компоненты ИВП и качество ИВП как средства измерения в теории ИВ С определяется точностью измерения, выполняемого на ИВП, то есть точностью оценивания измеряемого сигнала или некоторых его параметров. Поэтому ниже, изучая свойства ИВП как средства измерения, мы будем считать, что в ВП реализован алгоритм редукции, минимизирующий погрешность интерпретации измерения в классе линейных преобразований выходного сигнала ИП, см. гл. 5, 6, ср. с §12 гл. 7.
Типичная схема измерения сигнала, зависящего от времени, с помощью ИП имеет вид [5]
+ О^^Т, (0.1)
где £(•) Е 7£ — искаженный шумом и(-) Е 7£ выходной сигнал ИП, рассматриваемый как отклик на входной сигнал /(•) Е 7£, полученный в процессе взаимодействия ИП с измеряемим объектом и средой, А Е (Jt —> 7£) — линейный ограниченный оператор (обычно инте-
тральный), моделирующий ИП, П^П — евклидовы пространства, как правило), £[0,Т] , t Е [О, Г] — время. Задача интерпретации измерения (0.1) заключается в извлечении из £(•) наиболее полной информации о параметрах исследуемого объекта. Определим эти параметры как выходной сигнал Uf(-) прибора U причем в данном случае U Е (£2[0,Т] —> U) — линейный ограниченный оператор, моделирующий «идеальный» измерительный прибор, который взаимодействует с измеряемым объектом и средой так же, как и А, но на выходе дает параметры исследуемого объекта, не возмущенного измерением. Речь идет о преобразовании (редукции) Я£(-) результата измерения £(•) к виду, свойственному измерению на приборе U т.е. к виду Uf(-), см. гл. 5, 6 и [5] .
Если в схеме (0.1) известен оператор А и шум zx(-) — случайный элемент £2[0,Т] с нулевым математическим ожиданием, Е v(-) = 0, и известным корреляционным оператором НЕ (R —> R), то задана модель [А, Е] схемы измерения (0.1).
Математически задача редукции для модели [А, Е] формулируется как задача на минимум максимальной среднеквадратичной ошибки интерпретации Я£(-) как Uf(-) [5]:
h(R,U) = sup ЕЦЛД)-T/OII^-min. (0.2) /(•)е£2[о,т]L J R
Здесь min вычисляется на множестве всех линейных операторов R Е (£2[0,Т] —> Z/). В рассматриваемых далее моделях оператор А обратим, А-1 = D. и для простоты принято Е = a^I^ где I — единичный оператор.
Тогда, как показано в [5], задача (0.2) разрешима в том и только в том случае, когда UА-1 = UD — оператор Гильберта-Шмидта (Г. -Ш.), ее решением является оператор Г.-Ш.2) R* = UD, и среднеквадратичная погрешность редукции R*£(-) измерения £(•) к Uf(-) равнао о о
=E\\Rn< = <r\\UD\\^
где || • Ц2 — символ нормы Г.-Ш.; по определению
ижи = Enjoin,
где {е7-(-)} — некоторый ортонормированный базис £2[0,Т] [5].
Поскольку в этой главе рассматривается только задача синтеза на ИВП значения Uf(-), т.е. выходного сигнала прибора U, то, говоря для краткости о синтезе на ИВП измерительного прибора U, мы имеем в виду синтез его выходного сигнала. Такая вольность не должна смущать читателя (см. гл. 9).
§ 1. Редукция измерения, выполняемого на ИП первого порядка 355
§ 1. Редукция измерения, выполняемого на ИП первого порядка
Рассмотрим измерительно-вычислительную систему, измерительная компонента которой является ИП первого порядка. Как известно [6], выходной сигнал u(t) ИП первого порядка в любой момент времени t Е [О, Г] определяется как решение следующей задачи Коши
au(t) + Зи^ = /(f), 0 < t < Т, и(0) = О, u(t) = du(f)/dt.
Здесь [О, Г] — промежуток времени, в течение которого производится измерение, f(t) — воздействие измеряемого объекта на ИП (температура, влажность и т.п.) в момент времени t. а и 3 — параметры датчика, в данном случае не зависящие от времени. В начальный момент t = 0 значение и(0) считается равным нулю.
Пример 1.1. ИВП первого порядка используются для определения ЭДС источника напряжения. В схеме, изображенной на рис. 10.1, Е^ — ЭДС источника, зависящая от времени t Е [0,Т], р — его внутреннее сопротивление, тис— входные сопротивление и емкость измерительного устройства (вольтметра), u(t) — измеряемое напряжение в момент времени t Е [0,Т] (ср. с рис. 7.4). Если включение вольтметра происходит в момент t = 0, то и0 определяется решением задачи Коши [73]:
cpu(t) + (1 + p/r)u(t) = 8(t3 0 < t <Т, и^ = 0.
Заменой в (1.1) х = t/T, а = а/Т, й(х) = u(t), f(x) = f(t) приведем интервал [0, Г] к единичному, убрав параметр Т. В дальнейшем для упрощения обозначений опустим знак волны над а, и и /.
С учетом этого соотношения (1.1), определяющие математическую модель измерительной компоненты ИВП, взаимодействующей с измеряемым объектом, запишем в операторном виде
источникаисточникаРис. 10.1. Схема измерения ЭДС
источника
источника
где Di — формальный дифферен-
циальный оператор ad/dx + 3, определенный на плотном в £2[0, 1] множестве АД абсолютно непрерывных функций и(-), таких, что и'^ е Що, 1] и и(0) = 0. Di — замкнутый, плотно определенный (неограниченный) линейный оператор, действующий из АД в £2[0,1]. Его областью значений является £2[0,1] и в (1.2) Л)е£2[0,1].
Обратный к Di оператор Ai = D{ 1, определяющий решение за-
дачи Коши (1.1), дается равенством
AiPx) = ~ [ехр(—— (ж - у))/(у) dy, 0 ^ у ^ 1,(1.3)
о
в котором /(•) Е £2[0,1]. Лх, очевидно, — оператор Гильберта- Шмидта 1).
Нетрудно заметить также, что сопряженный с Dy дифференциальный оператор Щ = —a(d/dx)+P, определен на плотном в £2[0,1] множестве Мд абсолютно непрерывных функций vt-V таких что v'^ е£2[0,1] И 17(1) = 0.
Замечание 1.1. Оператор UDi каки Dy определен на плотном в £2[0,1] множестве Mi. Если {^(*)} — ортонормированный базис £2[0,1], содержащийся в .Мх, то, согласно условию разрешимости задачи (0.2),
1№Н1 = £\\ТЖдА< = Е\\UD19j(< < сю. (1.4) 7=17=1
Естественный способ продолжения UDi до оператора Г.-Ш. UDi, определенного на £2[0,1], состоит в следующем. Пусть ж(-) 6 £2[0,1] и
ж(-) = Еч91О(1.5)
7 = 1
1
— разложение ж(-), где Xj = (х^д^-)) = J x(x)gj(x) dx, j = о
= 1,2,... — координаты x^ в базисе {^(*)}. Определим оператор
UDi равенством UDix(-) = ^2 з UDig^ = lim £ x j U D x gj (*), 7 = 17 = 1
W^(-) е£2[0,1], ибо ||W^(-)||2 < |H.)||2||W||2 < 00.
Предел справа (в £2[0,1]) существует, ибо в силу (1.4), (1.5) для п > т
птп
W^xjUDxgj^ -^XjUDigj^W ^ ПЖД1)1%(.)||
1=11=1j=m
" п п1 1/2
т, п —> сю. □т, п —> сю. □f>2 Е I№9i(-)||2
т, п —> сю. □
т, п —> сю. □
Базис и эффективный ранг модели [Л1,Е]
Речь пойдет об ортонормированном базисе £2[0,1], состоящем из собственных функций оператора DyDX ^ являющихся решениями следующей краевой задачи [5]:
Г DiDX^(x) = —at2/'(ж) + 32z(x) = £2г(ж), 0 < х < 1, /9
| -az'^ + /Гф) = 0, г(1) = 0.
В (2Л) равенство г(1) = 0 следует из условия г(-) G MX, соответственно включение D^z^ Е Mi влечет краевое условие —аг(0)' + + /NQ) = о.
Обозначим ej(x), 0 ^ х ^ 1, j = 1,2,..., ортонормированный базис £2[0,1], состоящий из решений задачи (2.1), упорядоченных согласно неравенствам 0 < Ji ^ J2 ^ • • • для соответствующих собственных значений. В данном случае [81]
е^х) = qj sin(aj(l — ж)), 0 < ж < 1, 52 = ^2 + ct2n2, j = 1,2,..., (2.2) где ai < а2 < — положительные корни уравнения аа cos а + -h^sinn = 0 и qj = ^ + ^^ 2 , j = 1,2,..., — нормировочные постоянные. 3
Заметим, что
DXej(x) = 5jej(x), где ej(x) = (—1)j+1qj 8ш(п^ж),
DiCj(x) = 5jCj(x), 0 < ж < 1, j = 1,2,..., (2.3) причем система {е^-)} ортонормирована и, как и {е^(-)}, образует ортонормированный базис £2[0,1]. С помощью этих базисов, определяющих так называемые сингулярные разложения операторов Di и соответственно DX. легко записать условие (1.4) на оператор 77. необходимое и достаточное для разрешимости задачи редукции (0.2). А именно, руководствуясь замечанием 1.1, а также тем фактом, что {е.7'(*)} С All, найдем:
ИТОН! = £ №ёД)||2 = Е^||Ге/.)1|2 < 00. (2.4) j=l 7=1
Условие (2.4) необходимо и достаточно для разрешимости задачи редукции измерения £(•) (0.1) при Л = Лх к выходному сигналу Uf(-). Поскольку при з —> ею 5^ —> ею, отсюда следует, в частности, что U — непременно оператор Г.-Ш., но это характерно лишь для случая «белого» шума с корреляционным оператором, кратным единичному.
Замечание 2.1. Если оператор Е не кратен единичному, то R* = UDi — решение задачи редукции (0.2), которая разрешима, если и только если UDi^M2 — оператор Г.-Ш., и в этом случае с.к. погрешность редукции h(R^U) = 11Г727>15D1/211|. Если сверх того ^Cj(-) = ^вз(-), 3 = 1,2,..., то базис модели [ЛХ,Е] есть система
собственных функций задачи (2.1), упорядоченных согласно неравенствам 51СГ1 ^ §2^2 ^ . . .
Условие разрешимости Ilt/Diy1/2!^ = 52 ^cr^Uej^ < оо в дан- 3 = 1
ном случае показывает, что U может и не быть оператором Г.-Ш., если, например, 52 ^сг^ < сю. □
3 = 1
Условие (2.4), определяющее класс приборов U, выходные сигналы U/(•) которых могут быть синтезированы на ИВП первого порядка, указывает на то, что этот класс может зависеть от параметров а и 3 дифференциального уравнения (1.1), моделирующего ИП. Но на самом деле класс приборов, допускающих синтез на ИВП первого порядка, не зависит от параметров конкретного ИП.
Обозначим Лх = {Лх(а,^), а ^ 0} — класс операторов (приборов) (1.3).
Лемма 2.1. Пусть DOi = Di(a0, ^о); Dx = Di(a,3) — операторы (1Л), соответствующие ЛОх = Лх(ао,^о), Лх = = Лх(сц ЗУ Лх(ощ ЗоУ Л1(а, 3) Е Лх. Тогда из условия ||£7Doi||2 < + Тею следует ||L7Dx||2 < Too.
Доказательство. Пусть1) HLZDoiHi = 52 Н^Л^от^оаЛ2 < Тею.
к=1
Так как
WUD^2 = 52 l№e0fc||2 = 52 WUDxAoxDoxeokW2 =
к=1к=1
2
ТО
ГАпи
У^ 5о^||^ео^||||?7ео^||Т
к=1
+ (/?_^)2£||№||2_(25)
Первый ряд в (2.5) сходится по условию леммы, третий (и, следовательно, второй) — в силу того, что U — оператор Г.-Ш. Отметим
о D^eoj^x) = 5OjeOj(x), ПОге^(х) = 50щ0Дж), 0 ^ ж ^ 1, см. (2.3).
особый случай, когда пространство значений оператора U — линейная оболочка конечного набора из {ео^}, и первый ряд превращается в конечную сумму. В этом случае сходимость третьего ряда следует из условия (comieok) = О(|), которое можно проверить непосредственным вычислением, используя равенства (2.2), (2.3). □
Характеристическое свойство базиса {еД-)} модели [Ai,cr2Z], выделяющее его среди других базисов £2[0,1], состоит в следующем, см. [5] и гл. 5. Пусть Щ ортогонально проецирует в £2[0,1] на к- мерное линейное подпространство £^ = £(ei(-),..., еД-)), натянутое на первые к базисных векторов (2.2). Тогда для любого к = 1,2,... n^Di — оператор Г.-Ш., так как согласно равенствам (2.3), (2.4)
||1№||2 = Е НП^^хе/-)!^ = Е Следовательно, задача редук- j=ij=i
к1
ции измерения Д-) (0.2) к Щ/(-) = ^2 ез(*) f f(x)ej(x) dx для к = 3=1О
= 1,2,... однозначно разрешима, редукция
к
к
а с.к. погрешность редукции h(R*, Щ) = ст2 ^ не превосходит с.к.
3 = 1
погрешность h(R^TVk) редукции Д-) к любой другой А:-мерной ортогональной составляющей П^/(«) сигнала У(-) [5].
Образно говоря, £^ при любом к = 1,2,... поражено шумом редукции не больше, чем любое другое А:-мерное линейное подпространство £2[0,1].
Замечание 2.2. Для определения оценки проекции Щ/(-) достаточно знать ортогональную проекцию ЩД-) измерения Д-), где Щ — ортогональный проектор на £^ = £(ei(-),..., еД-)) (см. (2.3)),
_к1
ЩД-) = У^ ej(-)sj, Sj = / s(x)ej(x)dx, 7 = 1,2,...
о
Действительно, так как
кк
^Ц) = ХеД)(еД№О = Х<^0^
3=13=1
5д,еД)(еД)ЛД)) =
3=13=1
то для получения оценки Щ7?1^(-) ортогональной проекции Щ/(-) достаточна А:-мерная ортогональная проекция Щ£(-) измерения £(•) [83].
О пре де л ение 2.1. Эффективным рангом модели [Л1,сг2/] ИП первого порядка (и соответствующего ИВП^ называется функция р(-) : [0, сю) н {0,1,...}; значение р^ которой равно максимальной размерности ортогональной составляющей в £2[0,1] сигнала /(•), которая оценивается с с.к. погрешностью, не превосходящей е 0, см. гл. 8, [18, 19, 83].
Лемма 2.2. Пусть 6^ = ^2 + а^а^, j = 1,2,..., — собственные значения оператора D^D^ (2.1), где ау < а^ < ... — полоснсительные корни уравнения аа cos а + 3 sin а = 0. Для ИВП первого порядка, имеющего модель [А^сДЦ, эффективный ранг
р(е) = шах{А:,р(е) = шах{А:,ст2 У^ 5^ ^ е}, £ ^ 0. 3=1
р(е) = шах{А:,
р(е) = шах{А:,
Для каждого с ^ 0 значение р^Д характеризует разрешающую способность ИВП первого порядка, определяя максимальное число «степеней свободы» сигнала Пр(£)/(«), доступных для интерпретации
Рис. 10.2. Эффективный ранг модели [Д1,сг2/] ИВП первого порядка. При постоянном /3 с увеличением значения а эффективный ранг уменьшаетсяРис. 10.2. Эффективный ранг модели [Д1,сг2/] ИВП первого порядка. При постоянном /3 с увеличением значения а эффективный ранг уменьшаетсясо с.к. погрешностью, не превосходящей S.
Рис. 10.2. Эффективный ранг модели [Д1,сг2/] ИВП первого порядка. При постоянном /3 с увеличением значения а эффективный ранг уменьшается
Рис. 10.2. Эффективный ранг модели [Д1,сг2/] ИВП первого порядка. При постоянном /3 с увеличением значения а эффективный ранг уменьшается
Функции рх^А Для двух знает2
чений параметра а изображены на рис. 10.2.
Исходя из выражения (2.2), нетрудно получить, что зависимость 5^ от номера j для датчиков первого порядка квадратичная, поэтому согласно лемме 2.2 с добавлением каждой следующей степени свободы погрешность оценивания сигнала Uf(3 значительно увеличивается и на практике с реально заданной
точностью, как правило, может быть оценена ортогональная составляющая U/(•) лишь сравнительно небольшой размерности.
Как показано на рис. 10.2, эффективный ранг ИВП1 с параметром а = 1.0 больше, чем ИВП2 с а = 2.0, поэтому, задавая, например, значение £ = 0.3 при ст2 = 0.001, мы получаем размерность ортогональной составляющей оцениваемого с погрешностью ^ 0.3 сигнала ^го.^о.з = ^1 = 20 для ИВПх и р|а=1.о,е=о.з = ^ = 13 для ИВП2.
Это означает, что существует достаточно широкий класс сигналов, которые могут быть измерены с с.к. погрешностью, не превосходящей 0.3, лишь с помощью ИВП1.
Пример такого сигнала приведен на рис. 10.3, г, д, е (пунктир), где показано, что он хорошо восстанавливается с помощью ИВПх
0.010.010.8 ж0.8 ж0.010.010.8 ж0.8 ж0.010.01-0.01-0.01Рис. 10.3. а, б, в — выходные сигналы £(•) ИП1 (а), ИП2 ^б, в,), отвечающие одному и тому же входному сигналу ИП i и ИП 2, изображенному пунктиром на г, д, е^ г, д, е, (сплошные кривые) — оценки ортогональных составляющих /(•): г — на выходе ИВП1 при размерности ki = 20 (с.к. ошибка оценивания е = 0.3), д —на выходе ИВП 2 при размерности &2 = 13 (с.к. ошибка оценивания е = 0.3), е —на выходе ИВП 2 при размерности Ал = 20, которой сопутствует с.к. ошибка е = 1.3Рис. 10.3. а, б, в — выходные сигналы £(•) ИП1 (а), ИП2 ^б, в,), отвечающие одному и тому же входному сигналу ИП i и ИП 2, изображенному пунктиром на г, д, е^ г, д, е, (сплошные кривые) — оценки ортогональных составляющих /(•): г — на выходе ИВП1 при размерности ki = 20 (с.к. ошибка оценивания е = 0.3), д —на выходе ИВП 2 при размерности &2 = 13 (с.к. ошибка оценивания е = 0.3), е —на выходе ИВП 2 при размерности Ал = 20, которой сопутствует с.к. ошибка е = 1.3
0.01
0.01
0.8 ж
0.8 ж
0.01
0.01
0.8 ж
0.8 ж
0.01
0.01
-0.01
-0.01
Рис. 10.3. а, б, в — выходные сигналы £(•) ИП1 (а), ИП2 ^б, в,), отвечающие одному и тому же входному сигналу ИП i и ИП 2, изображенному пунктиром на г, д, е^ г, д, е, (сплошные кривые) — оценки ортогональных составляющих /(•): г — на выходе ИВП1 при размерности ki = 20 (с.к. ошибка оценивания е = 0.3), д —на выходе ИВП 2 при размерности &2 = 13 (с.к. ошибка оценивания е = 0.3), е —на выходе ИВП 2 при размерности Ал = 20, которой сопутствует с.к. ошибка е = 1.3
Рис. 10.3. а, б, в — выходные сигналы £(•) ИП1 (а), ИП2 ^б, в,), отвечающие одному и тому же входному сигналу ИП i и ИП 2, изображенному пунктиром на г, д, е^ г, д, е, (сплошные кривые) — оценки ортогональных составляющих /(•): г — на выходе ИВП1 при размерности ki = 20 (с.к. ошибка оценивания е = 0.3), д —на выходе ИВП 2 при размерности &2 = 13 (с.к. ошибка оценивания е = 0.3), е —на выходе ИВП 2 при размерности Ал = 20, которой сопутствует с.к. ошибка е = 1.3
(рис. 10.3, г) и плохо с помощью ИВП2 (рис. 10.3, д, е\
Чтобы такой сигнал можно было измерить на ИВП 2, необходимо увеличить е в три с половиной раза, при котором значение эффективного ранга также будет равно 20. На рис. 10.3, в показано, что при таком условии сигнал может быть измерен и на ИВП 2, но с существенно худшим качеством.
Подчеркнем, что поскольку для модели [Лх, ст2/] размерность оцениваемой ортогональной составляющей сигнала /(•) с с.к. погрешностью, не превосходящей в, конечна при любом е ^ 0, то согласно замечанию 2.2, задача интерпретации измерения £(•) с погрешностью, не превосходящей £, эквивалентна конечномерной задаче.
Качество ИВП первого порядка как измерительного прибора
При сравнении ИВП как средств измерений естественно отдавать предпочтение тем из них, модели которых обеспечивают синтез более широкого класса приборов U и меньшую погрешность редукции, см. гл. 5 [5]. Поскольку согласно лемме 2.1 множество прибо-
ров U, выходные сигналы которых могут быть синтезированы на ИВП первого порядка, не зависит от параметров ИВП, качество ИВП [Лх, Е], Ai = В^, Е = сг/, как конкретного измерительного прибора U определяется только величиной с.к. погрешности редукции (0.2) cr2^UDi^2 а именно, чем меньше a2\\UBi Ц2, тем лучше ИВП [ЛХ,Е] как прибор U. В частности, как прибор U ИВП [ЛХ,Е] лучше, чем ИВП [Лх,Е],если a2\\UB"x\l < ^WlIB^.
Рассмотрим условия, при которых ИВП [Лх,сг2/] равномерно не хуже ИВП [Лх,52/], т.е. [Лх,сг2/] -< [Лх,52/]. Речь идет об условиях, обеспечивающих выполнение неравенства а211 UB± 112 ^ 5211 UB± 112 для любого прибора U, выходной сигнал которого можно синтезировать на ИВП [Лх, а21\, т.е. для любого U, удовлетворяющего условию ЦИМ2 <00. ~
В монографии [5] показано, что [Лх,сг2/] -< [Лх,52/] если и только если1) а2ВуВу а2ВуВ^.
Возвращаясь к понятию качества ИВП как прибора U заметим, что нередко с.к. погрешность оценивания Uf(/A /(•) G £2[0,1], оказывается неприемлемо большой. В случае модели [Лх,сг2/] о сигнале /(•) априори ничего не известно, и исследователь готов ограничиться составляющей U/(•), которую можно оценить с устраивающей его точностью. Поскольку при этом естественно выбрать составляющую Uf(-) максимальной размерности, допускающую такую оценку, то возникает задача построения оценки конечномерной ортогональной составляющей U/(•) максимальной размерности, допускающей оценивание с априори заданной точностью (ср. с понятием эффективного ранга модели, §2). Эта задача решается с помощью базиса модели2) [Лх,сг2/, 1Г\ ИВП, на котором синтезируется фиксированный прибор U Е (£2[0,Т] —> Z/); оценка вышеуказанной составляющей U/(•) дается в виде частичной суммы ряда Фурье U f по этому базису.
Базис {^Д-)} модели [Лх,сг2/, ?7] аналогично базису {еД-)} (2.1) модели [Лх,сг2/] определяется как ортонормированная система собственных функций самосопряженного оператора UByByU* упорядоченных по возрастанию собственных значений: UB^ByU^Sj = 7JS7, j = 1, 2,... , у2 < у2 < ...
Для любого £ ^ 0, определяющего верхнюю границу допустимой с.к. погрешности оценивания, частичная сумма разложения оценки Uf по базису Sj(-) (сравнительно с другими ортонормированными базисами евклидова пространства U) будет иметь наибольшее число к, зависящее от в, слагаемых, удовлетворяющих ограничению на
погрешность. Зависимость к = р^е\ 0 ^ в ^ оо, называемая эффективным рангом модели A^a^U^ может служить для оценки качества (ИВП) как прибора U: чем выше расположен график эффективного
ранга, тем выше качество.
При этом вид базисных функций, по которым разлагается составляющая Uf(p, позволяет исследователю судить о том, какие детали этой составляющей сигнала U f(p могут быть оценены и с какой
точностью.На рис. 10.4 изображены эффективные ранги модели \Ay,a2ipU"\ при а = 1 и а = 2, где в качестве оператора U выбран ортогональный проектор на линейное подпространство £2[0,1], натянутое на элемент sin ^(1 — ж), же [0,1]х).Рассмотрим произвольный, допускающий редукцию оператор U. Согласно лемме 2.1 задача редукции разрешима для произвольных параметров аД а ^ 0, ИП.точностью.На рис. 10.4 изображены эффективные ранги модели \Ay,a2ipU"\ при а = 1 и а = 2, где в качестве оператора U выбран ортогональный проектор на линейное подпространство £2[0,1], натянутое на элемент sin ^(1 — ж), же [0,1]х).Рассмотрим произвольный, допускающий редукцию оператор U. Согласно лемме 2.1 задача редукции разрешима для произвольных параметров аД а ^ 0, ИП.88^Р о = 1^Р о = 1О4080 б/(Т2О4080 б/(Т2Рис. 10.4. Эффективный рангмодели [Л1,сг2/,1/] ИВП первогопорядка при о = 1ио = 2иодном и том же /3Рис. 10.4. Эффективный рангмодели [Л1,сг2/,1/] ИВП первогопорядка при о = 1ио = 2иодном и том же /3
точностью.
На рис. 10.4 изображены эффективные ранги модели \Ay,a2ipU"\ при а = 1 и а = 2, где в качестве оператора U выбран ортогональный проектор на линейное подпространство £2[0,1], натянутое на элемент sin ^(1 — ж), же [0,1]х).
Рассмотрим произвольный, допускающий редукцию оператор U. Согласно лемме 2.1 задача редукции разрешима для произвольных параметров аД а ^ 0, ИП.
точностью.
На рис. 10.4 изображены эффективные ранги модели \Ay,a2ipU"\ при а = 1 и а = 2, где в качестве оператора U выбран ортогональный проектор на линейное подпространство £2[0,1], натянутое на элемент sin ^(1 — ж), же [0,1]х).
Рассмотрим произвольный, допускающий редукцию оператор U. Согласно лемме 2.1 задача редукции разрешима для произвольных параметров аД а ^ 0, ИП.
8
8
^Р о = 1
^Р о = 1
О4080 б/(Т2
О4080 б/(Т2
Рис. 10.4. Эффективный рангмодели [Л1,сг2/,1/] ИВП первогопорядка при о = 1ио = 2иодном и том же /3
Рис. 10.4. Эффективный рангмодели [Л1,сг2/,1/] ИВП первогопорядка при о = 1ио = 2иодном и том же /3
Теорема 3.1. Пусть h = h(a, P^U) — с.к. погрешность редукции для модели [Лх (а, Р\ cr2I, Ц"\. Тогда график погрешности h = = б(рц P^U) ИВП [Лх (о, Р\ cr2I^ U"\ как функция а/р, а ^ 0 представляет собой эллиптический параболоид с точной нижней гранью в точке (а = О, Р = 0), равной нулю. Линиями уровня h(aD Рл^и) = = const на плоскости (аоцсгР) являются подобные эллипсы с обицим центром в точке (0, 0).
Доказательство. Пусть U*Uuj = XjUj, Uuj = y/XjUj, j = = 1,2,... , где Uj — собственная функция оператора UU*: UU*Uj = = Xjttj. Поскольку оператор Dy плотно определен, a U ограничен, что следует из условия (1.4) разрешимости задачи (0.2), то2)
h = а^уип^ = ^iimrii2 = <72|дщц2 = ^ £ №ч<
~(3.1)
при условии, что К(и*) С D(D^) = Му, т.е. иД1) = ОД = 1, 2,...
Продолжая формулу (3.1), получаем
(3-2)(3-2)h = <т2£АЛа2||и'||2 + а^(0) + ЛКНТ к=1
(3-2)
(3-2)
') Эта функция является решением вариационной задачи \\у' ||2 ~ min с условиями у(1) = 0, ||т/||2 = 1.
2) В общем случае (UDy)* D DyU*, но если U — непрерывный оператор то (UDiY = DyU*.
где [|п2(0)Г = (u'^uA2 ^ ПпСрЦт/уЦ2, откуда и следует утверждение теоремы. □
Следствия.
Для повышения качества ИВП (уменьшения погрешности) достаточно пропорционально уменьшать абсолютные значения параметров, ибо
k^WUDx^a,^^ < ^HC/ACa,/?)!!!(3-3)
при |fcifc2| < 1. 2) Поскольку большая ось эллипса расположена во второй и четвертой четвертях плоскости (ста, <7^), в случае оф > 0 до
статочным условием уменьшения погрешности является уменьшение по крайней мере одной из величин Д| или |^|. Эти условия справедливы при любых U. 3) Для конкретного оператора U, допускающего
редукцию, необходимым и достаточным условием того, что при изменении параметров а, 3d а качество ИВП [Ai (а, 33 ст2/] не ухудшается, является такое изменение параметров ст, а, 3d ПРИ котором точка (аа, аЗ) остается внутри или на границе эллипса h(a, З^Ри} = const.
На рис. 10.5 изображены линии уровней (для двух значений Л) с.к. погрешности для датчиков первого порядка. В качестве оператора U выбран тот же ортогональный про
ектор, что использовался в моде-
Рис. 10.5. Линии уровней пог- ли, эффективный ранг для которой решности ИВП первого порядка изображен на рис. 10.4.
Подчеркнем, что каждая из двух отмеченных на рисунке точек а ~ (а = 0.01, 3 = 0.19) и b ~ (а = 0.1, 3 = 0.06) отвечает одному и тому же значению погрешности редукции ^hja2 = 0.04), в то время как значения
X/п—оX/п—о2n+1 (п + 2)!2n+1 (п + 2)!квадрата нормы Гильберта-Шмидта оператора Лх
X/п—о
X/п—о
2n+1 (п + 2)!
2n+1 (п + 2)!
для этих двух случаев существенно разные (соответственно 256 и 35). Судя по формуле (0.1), квадрат нормы Г.-Ш. характеризует «вклад» в £ сигнала / по отношению к шуму v (в энергетической шкале), поэтому чем больше /, тем больше сигнал Af при неизменном шуме и. и, соответственно, меньше погрешность восстановления сигнала /. Таким образом, грубая оценка качества редукции измерения £ к сигналу / на основании отношения сигнал/шум без учета конкретного прибора U может оказаться неверной.
На рис. 10.6 изображены результаты измерений (а, б) сигнала, представленного штриховой кривой на рис. в и г, а также результаты
Рис. 10.6. Результаты £(•) измерений (а, б) и редукции измерений R6X*) (в, г — сплошные кривые) одного и того же сигнала /(•) (в, г — штриховые кривые) для ИВП [Hi, ст2/, [/], отвечающих точкам а (кривые а, в) и b (кривые б, г) на рис 10.5. U — ортогональный проектор на линейное подпространство £2[0,1] функций, пропорциональных sin (7(1 — ж)) , ж 6 [О,1]
редукции (в, г — сплошные кривые) для двух датчиков первого порядка, соответствующих точкам а (а ,в — сплошные кривые) и b (б, г — сплошные кривые), отмеченным на рис. 10.5. Все значения параметров ИП (а а, аР^ образующие эллипс, содержащий точки a, b (см. рис 10.5), отвечают одному и тому же качеству ИВП [Hi (ci, ^), a^I^ U"\ как прибора U. Вычислительный эксперимент, результаты которого представлены на рис. 10.6, наглядно подтверждают этот факт1).
§ 4. ИВП второго порядка
Рассмотрим ИВП второго порядка, в котором измерительная компонента описывается решением начальной задачи для дифференциального уравнения второго порядка
Jliv"{x) + 2<W(x) + Рп^ = /(ж), 0 < х < 1, , .
1^(0) = 0, г'(0) =0 ( }
(здесь аналогично случаю датчика первого порядка, сделана замена х = t/T с соответствующими переобозначениями параметров). Обозначим Z)2 формальный дифференциальный оператор ppd? jdx^ +
х) Следует обратить внимание на существенно различные результаты измерений ^ одного и того же сигнала f^ (рис. 10.6, в,г — штрих), представленные на рис. 10.6, а, б, выполненных на ИП, отвечающих соответственно точкам а и b на рис. 10.5, в то время как результаты редукции R^ для этих ИП практически совпадают (б, г) — сплошные кривые, и близки к /(•)) (б, г — штрих).
+ 2a{d/dx) + 3 с нулевыми начальными условиями. Область определения 1?2 есть плотное в £2[0,1] множество Al2 функций г(-), имеющих на [0,1] абсолютно непрерывную первую производную и почти всюду на [О,1] определенную вторую производную, квадрат которой интегрируем, удовлетворяющих условиям г(0) = 0, г^О) = = 0. Сопряженный с D^ оператор Щ = р(у12 jdx2^ — 2a{d/dx) + 3 определен на плотном в £2[0,1] множестве М 2 таких же функций с тем лишь отличием, что нулевые значения эти функции и их первые производные принимают при х = 1: г(1) = 0, ^(1) = 0. Поэтому базис модели {е^(-)} теперь определяется как ортонормированная система собственных функций задачи
t Ai ,(4"2)
или, в подробной записи,
Д ^4 J + W3 - 2а ) ^ + 3 ej№ = Ajej(z), 0 < ж < 1, е/1) = 0, е'(1) = 0;*
' ^е"(0) - 2ае'(0) + ЗеМ = 0,
/Д"(0) - 2ае"(0) + Зе'М = 0, Ы<ЛК<
_(4.3)
и, аналогично (2.3), базис {еД-)} определяется условиями
{
d2eAxA _ deAx) z х к ~.
dr2 ^а dx Рез^ = ^зез^ 0 < х < 1,(4 4)
е/0) = 0, ^.(0) = 0, J = 1,2,...
Схема измерения на ИВП второго порядка имеет вид (0.1), где А = = А 2:
А2/(ж) = — [_ у)/(у) dy, 0 ж 1,
о
7 = ajр, из = у/рЗ ~ о?!р^ рЗ — о? > 0.(4.5)
Квадрат нормы Г.-Ш. оператора А^ в этих обозначениях равен
IЛ2Ц2 = о 2 2 2/2 . г^^2^2 + w2 - 2?3 - 2ш27)+ 8р2ш2^2^2 + из2)2
+ е-2^^2^2 — cj2) cos 2cj — 273cj sin 2cj — у4 — 2у2ш2 — w4)}.
В случае модели [А2,сг2/] задача редукции (0.2) (аналогично ИВП первого порядка) разрешима, если и только если UD^ — оператор Г.-Ш., ее решение R* ^UD^^ с.к. погрешность редукции h(R*^U) = = h(a, р^оц 3,U) = бт211 C7Z?2111 - Необходимое и достаточное условие разрешимости задачи редукции к прибору U можно представить в
виде \\UD< = £ А,2Ре/-)112 < оо.
3 = 1
Все свойства ИВП второго порядка в базисах (4.2), (4.4) могут быть получены в полной аналогии с рассмотренными свойствами ИВП
первого порядка.
В случае датчиков второго порядка влияние параметров ИП на характеристики ИВП более сложное, чем для ИВП первого порядка. Характерно, однако, что для датчиков второго порядка А2 с увеличением номера з = 1,2,... увеличивается как 34 то есть значительно быстрее, чем для ИВП первого по
рядка, поэтому практическое «насыщение» размерности восстанавливаемой составляющей измеряемого сигнала происходит быстрее (рис. 10.7): при увеличении погрешности s/ст2 от 300 до 1000 эффективный ранг увеличивается с 9 до 12, то есть в 1.33 раза, тогда как для ИВП первого порядка с 20 до 29, то есть в 1.45 раза.В случае, когда оператор U допускает редукцию, для ИВП второ-рядка, поэтому практическое «насыщение» размерности восстанавливаемой составляющей измеряемого сигнала происходит быстрее (рис. 10.7): при увеличении погрешности s/ст2 от 300 до 1000 эффективный ранг увеличивается с 9 до 12, то есть в 1.33 раза, тогда как для ИВП первого порядка с 20 до 29, то есть в 1.45 раза.В случае, когда оператор U допускает редукцию, для ИВП второ-0 = 1 .0 = 1 .65001000 6*265001000 6*2Рис. 10.7. Эффективные рангимоделей [А2,сг21] ИВП второгопорядка для о = 1 и о = 2Рис. 10.7. Эффективные рангимоделей [А2,сг21] ИВП второгопорядка для о = 1 и о = 2го порядка так же, как и для первого, может быть сформулированаго порядка так же, как и для первого, может быть сформулированатеорема, аналогичная теореме 3.1.теорема, аналогичная теореме 3.1.
рядка, поэтому практическое «насыщение» размерности восстанавливаемой составляющей измеряемого сигнала происходит быстрее (рис. 10.7): при увеличении погрешности s/ст2 от 300 до 1000 эффективный ранг увеличивается с 9 до 12, то есть в 1.33 раза, тогда как для ИВП первого порядка с 20 до 29, то есть в 1.45 раза.
В случае, когда оператор U допускает редукцию, для ИВП второ-
рядка, поэтому практическое «насыщение» размерности восстанавливаемой составляющей измеряемого сигнала происходит быстрее (рис. 10.7): при увеличении погрешности s/ст2 от 300 до 1000 эффективный ранг увеличивается с 9 до 12, то есть в 1.33 раза, тогда как для ИВП первого порядка с 20 до 29, то есть в 1.45 раза.
В случае, когда оператор U допускает редукцию, для ИВП второ-
0 = 1 .
0 = 1 .
65001000 6*2
65001000 6*2
Рис. 10.7. Эффективные рангимоделей [А2,сг21] ИВП второгопорядка для о = 1 и о = 2
Рис. 10.7. Эффективные рангимоделей [А2,сг21] ИВП второгопорядка для о = 1 и о = 2
го порядка так же, как и для первого, может быть сформулирована
го порядка так же, как и для первого, может быть сформулирована
теорема, аналогичная теореме 3.1.
теорема, аналогичная теореме 3.1.
Теорема 4.1. Поверхности уровня с.к. погрешности h = = Урсц щоц P^U^ = const ИВП уА^рщоц Р^а2I,77] представляют собой подобные эллипсоиды в пространстве переменных (сгщсго^сгР) с общим центром в точке (0,0,0), причем погрешность h = = h^a^ щ о, Р, U) увеличивается по мере удаления точки (сгщ аа^ сгР) вдоль луча от начала координат.
Доказательство. Пусть U*Uuj = XjUj, Uuj = у/XjUj, где ttj удовлетворяет уравнению UU*u,j = XjUj, 3 = 1,... . Поскольку U — непрерывный оператор, то
h = ^WUD"^ = ^MUD^rwl = ^Н^ТЩ = a2 £\\D*U42
3 = 1
(4-6) при условии, что Н(и*) CD(D^ = М^, т.е. иД1) = ^ (1) = 0.
Продолжая формулу(4.6), получаем
h = а2 У^ АДц2||и"|| - ^а^и'-.и1^ + 2цР(и",ир) + 4ci2||u^||2- k=l
-4аР(и^из) Р2\\ир\2у (4.7)
Это выражение представляет собой положительно определенную
квадратичную форму относительно переменных ар , аа и аР , откуда и следует утверждение теоремы. □
Следствия.
Рис. 10.8. Поверхность уровня погрешности ИВП второго порядкаРис. 10.8. Поверхность уровня погрешности ИВП второго порядкаДля повышения качества ИВП (уменьшения погрешности) достаточно пропорционально уменьшать абсолютные значения параметров ст//, аа, аР, т.е.
Рис. 10.8. Поверхность уровня погрешности ИВП второго порядка
Рис. 10.8. Поверхность уровня погрешности ИВП второго порядка
<^\\иПМ№ (4-8)
при |fcifc2| < 1. Это условие справедливо при любом U.
Для конкретного оператора U, допускающего редукцию, необходимым и достаточным условием того, что при изменении параметров а, ц, а и Р качество ИВП не ухуд
шается, является такое их изменение, при котором точка (ар, а а, аР) остается внутри или на границе эллипсоида h(a, ц, а, Р, U) = const (см. рис. 10.8).
При этих условиях на ИВП с новыми параметрами ИП может быть
синтезирован выходной сигнал любого прибора U, выходной сигнал
которого может быть синтезирован на ИВП с исходными параметрами ИП, причем с не меньшей точностью.
§ 5. ИВП второго порядка как измеритель перемещения, скорости и ускорения
Рассмотрим пример, в котором исследуемым объектом в среде является механическая колебательная система второго порядка, движение которой описывается решением следующей задачи Коши
' ту^ + 2ay(f) + by(t) = д^\
(5-1)(5-1)< 0 < t < Т,
(5-1)
(5-1)
. У(О) = у(0) = 0.
Здесь y(t) — смещение в момент времени t, т — масса подвижной части системы, b — коэффициент упругости пружины, 2а — коэффициент вязкого трения, g(t) — сила, действующая на систему в момент t, причем в начальный момент времени t = 0 система покоится.
Для наблюдения за этой системой к ней жестко прикрепляется ИП, который также является механической колебательной системой второго порядка, у которой ц — масса подвижной части, 2а и Р — коэффициенты вязкого трения и упругости соответственно (рис. 10.9). При измерении ИП «закреплен» на объекте, и у последнего вследствие
Рис. 10.9. ИВП на основе механической колебательной системы. Штриховой линией обведен датчик второго порядка
этого увеличена масса т -4- т + т, где т — масса «корпуса» ИП. Динамика полученной таким образом системы описывается решением задачи Коши (5.2), (5.3)
(т + m)s(t) + 2as(t) + bs^ =
< = 9^ + P^W — 8W) + 2<x(u(t) — s^, ^ <t <T,(5.2)
^(0) = s(0) = 0,
p/u(t) + 2au^ + 0u(t) = (3s^ + 2as(t) = /(t), 0 < t < T, / r(0) = r(0) = 0,
где s(t), n(t) — смещения измеряемого объекта и соответственно подвижной части измерительной компоненты ИВП (относительно общего основания Q) в момент времени t. второе и третье слагаемые в правой части и слагаемое ms(t) в левой части (5.2) описывают ис- каэюающее влияние измерительной компоненты на динамику измеряемого объекта (по сравнению с динамикой исследуемого объекта (5.1)), слагаемые в правой части (5.3) описывают силы, действующие со стороны измеряемого объекта на измерительную компоненту и инициирующие ее движение, их сумма является входным сигналом измерительной компоненты.
Обычно в таких системах регистрируется сигнал, пропорциональный скорости движения подвижной части измерительной компоненты относительно ее корпуса:
Д^) = k(u(t) — s(t)) + v(t), 0 < t <Т,(5.4)
здесь слагаемое v^ описывает ошибку регистрации (шум) в момент времени t G [0, Г].
Решая задачу Коши (5.2), (5.3), получим выражения
tt
sip = j P^t- TMTWi у Д = J q(t — T^g^dr, 0 ^t ^T, (5.5)
00
где p(-) и q(-) — известные функции. Отсюда следует, что в (5.4)
t
k^W - s(t)) = к j(q(t - г) - p(t - T^gp^dr = Bg<t\ (5.6) 0
ибо p(0) = q(0) = 0, и
fP = j^aq^t-p + 3q(t-T^g^pdr = Cg(t) (5.7) 0
— входной сигнал измерительной компоненты, в данном случае — сила, с которой измеряемый объект действует на измерительную компоненту в момент времени t Е [0,Т]; В и С — известные линейные операторы, причем С имеет обратный С-1. Если известна математическая модель погрешности v(-) в (5.4), д^ (а следовательно и /(•)) — произвольная сила, то равенства (5.4), (5.6) и (5.7) определяют модель измерения (0.1), где А = ВСА — известный линейный оператор.
Если представляющей интерес характеристикой исследуемого объекта является его смещение у(-) относительно Q, то выходной сигнал идеального прибора U, измеряющего это смещение,
t
уР = ЩР = иСдР = Ц- / exp(-7(i - г)) sin(Q(t - т))д(т)с?т
о
(5-8) является решением задачи Коши (5.1) 7= а/m, Q2 =
= (mb — а2)/т2 > 0, 0 t Т.
Равенство (5.8) определяет математическую модель интерпретации входного сигнала измерительной компоненты, равенства (0.1) и (5.8) определяют математическую модель интерпретации измерения £(•), наконец, математическая модель эксперимента определяется соотношениями (5.1)-(5.8).
На рис. 10.10. приведены результаты вычислительного эксперимента, в котором реализованы модели исследуемого объекта (5.1), измеряемого объекта и измерительного преобразователя (5.2), (5.3), схемы измерения (5.4) и редукции измерения к идеальному прибору (5.8), выходной сигнал которого является наиболее точной версией решения задачи (5.1), описывающей динамику исследуемого объекта. Как видно из рисунка, качество редукции (10.10, а) можно повысить либо за счет резонанса датчика (10.10, б), либо за счет более сильной связи (10.10, в). По сравнению со случаем (10.10, г) резонанс и
Рис. 10.10. а, б, в — редукция измерения (5.4) к сигналу (5.8) (сплошная линия), динамика исследуемого объекта (решение задачи (5.1)), (штриховая линия), г, д, е — динамика измеряемого объекта (решение s(t), 0 < t < Т, задачи (5.2), (5.3), пунктирная линия), динамика датчика (решение u(t), О < t < Т, задачи (5.2), (5.3), штрихпунктирная линия)
сильная связь существенно исказили динамику измеряемого объекта (10.10, д, е).
а ЛЛЛЛЛЛЛла^- 'VWVWVW'- |\^^^л^^^|v.
66Рис. 10.11. а, б, в — графики первых трех функций базиса модели (5.2)(5.4), (5.8) (значения параметров те же, которым отвечают рис. 10.10, а, б, в); г) график д(-)Рис. 10.11. а, б, в — графики первых трех функций базиса модели (5.2)(5.4), (5.8) (значения параметров те же, которым отвечают рис. 10.10, а, б, в); г) график д(-)
6
6
Рис. 10.11. а, б, в — графики первых трех функций базиса модели (5.2)(5.4), (5.8) (значения параметров те же, которым отвечают рис. 10.10, а, б, в); г) график д(-)
Рис. 10.11. а, б, в — графики первых трех функций базиса модели (5.2)(5.4), (5.8) (значения параметров те же, которым отвечают рис. 10.10, а, б, в); г) график д(-)
На рис. 10.11 а, б, в приведены графики функций, образующих первые три вектора базиса модели (5.2)-(5.4) и (5.8), отвечающих наибольшим собственным значениям. Сравнивая с ними график 10.11, г силы д(-), определяющей динамику системы (5.1), нетрудно заметить, что точность воспроизведения этой динамики на выходе ИВП, определенного моделью (5.2)-(5.4), (5.8), должна возрастать при изменении параметров модели ИВП от значения, соответствующего рис. 10.10 а до значения, соответствующего рис. 10.10 в. Это соотвествует повышенной точности редукции, представленной на рис. 10.10, а, б, в.
Список обозначений
|| • || — норма (вектора, оператора).
|| • Ц2 — норма Гильберта-Шмидта оператора.
А Е (Rm —> Rn) — оператор, действующий из Rm в Rn.
АА — оператор, обратный к А.
А — оператор, псевдообратный к А.
А* — оператор, сопряженный с А.
[ДЕ], [Л, ДЕ], [ДДДЕ] - модели.
Ск^ - множество функций, непрерывных вместе с производными вплоть до А:-го порядка на D.
dim R — размерность (линейного пространства) R.
Рд = {Д U(I- А” А) = 0}.
Е — символ математического ожидания.
h(R,U) — погрешность интерпретации (R^ как Uf).
I - единичный (тождественный) оператор.
£(si,..., s^) — линейное подпространство, натянутое на векторы si,..., s^ (линейная оболочка si,...,s&).
£2 (X) — евклидово пространство функций f^-.X-^Ry^ р- измеримых, квадрат которых ц-интегрируем: J f2(x)dp(x) < сю.
п(-|/, S), п(-|/, Е) — плотность нормального распределения с параметрами: / — математическое ожидание, S, Е —ковариационный оператор, матрица.
N(f, S), N(f, Е) — нормальное распределение, / — математическое ожидание, S,E — ковариационный оператор, матрица.
N\A) — нуль-пространство (ядро) оператора А.
р(-) - плотность вероятности.
Р(-) - вероятность.
Q1/2 — квадратный корень из оператора Q.
Кп — n-мерное евклидово пространство, п = dim7^n.
7ЦА) — пространство значений оператора А.
7^ (Л), ЛГ^(А) - ортогональные дополнения 7^(Л), JV(A) соответ
ственно.
Sv — как правило, ковариационный оператор, ковариационная мат
рица случайного вектора и.
S-,/(*) — оператор, функция; Sx, f(x) — их значения «в точке х».
tr — след (матрицы, оператора).
W2 - Соболевский класс, получаемый пополнением Ck(D) по норме
«(•) - надежность.
5tj —5tj —1, i = ГЬО, г 7,1, i = ГЬО, г 7,7,7 = 1,... — символ Кронекера.7,7 = 1,... — символ Кронекера.
5tj —
5tj —
1, i = ГЬ
О, г 7,
1, i = ГЬ
О, г 7,
7,7 = 1,... — символ Кронекера.
7,7 = 1,... — символ Кронекера.
5(U, V) — погрешность редукции схемы измерения £ = Af -Vv к схеме т) = Uf + Vv.
—> — сходимость £& при к —> сю по вероятности к £: Vs > О
Р(\^к - €1 > £)0 при к ОО.
^v — как правило, корреляционный оператор случайного вектора v.
Ф 1(-, •) - множество принятия гипотезы.
Ф(з •) - оценивающее множество.
-^Фд _ символ сходимости в среднем квадратичном: при п —> сю £п ° К > ^ если Е ||£п — £||2 -4- 0; иначе: ^ = l.i.m. ^n, l.i.m — limit in mean.
Список литературы
Самарский Л. Л., Михайлов А.П. Математическое моделирование. - М.: Наука, 1997. - 316 с.
Волкова Е.А.^ Попов А.М.^ Рахимов А.Т. Квантовая механика на персональном компьютере. - М., 1991. - 180 с.
Тихонов А.Н.^ Арсенин В.Я. Методы решения некорректных задач. - М.: Наука, 1979. - 286 с.
Питъев Ю.П. Методы анализа и интерпретации эксперимента. - М.: Изд-во Моск, ун-та, 1990. - 286 с.
Питъев Ю.П. Математические методы интерпретации эксперимента. - М.: Высшая школа, 1989. - 352 с.
Азизов А.М.^ Гордов А.П. Точность измерительных преобразователей. - Л.: Энергия, 1967. - 300 с.
Кронберг П. Дистанционное изучение Земли. - М.: Мир, 1988. - 352 с.
Кнуренко А.Б., Чавро А.И.^ Питъев Ю.П. Метод редукции измерений в задаче определения температуры океана при дистанционном зондировании в ИК-области спектра // Исследование Земли из Космоса. - 1990. - М- 6. - С. 26-34.
Питъев Ю.П., Сухорукова Г. В., Чуличков А.П. Задачи дистанционного зондирования: математическое моделирование, анализ и интерпретация результатов // Мат. моделирование. - 1994. - Т. 6, №- 11. - С. 113-127.
Теребит, В.Ю. Восстановление изобржений при минимальной априорной информации // Успехи физических наук. - Т. 165, Af- 2.
Гончарский А. В., Романов С.Ю., Черепащук А.П. Конечнопараметрические обратные задачи астрофизики. - М.: Изд-во Моск, ун-та, 1991. - 192 с.
Голубцов П.Е., Питъев Ю.П., Чуличков А.П. Задачи оптимального измерения гауссовского сигнала // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1985. - Т. 26, JV- 6. - С. 17-21.
Голубцов П.Е.^ Питъев Ю.П., Чуличков А.П. Задачи оптимальной редукции измерений в физическом эксперименте // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1986. - Т. 27, Ы- 2. - С. 17-21.
Питъев Ю.П., Голубцов П.В. Распределение ресурса времени измерений в эксперименте // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1983. - Т. 24, JV- 5. - С. 46-50.
Алъберт А. Регрессия, псевдоинверсия и рекуррентное оценивание. - М.: Наука, 1977. - 224 с.
Питъев Ю.П. Псевдообратный оператор. Свойства и применения // Матем. сборник. - 1983. - Т. 118(160), №- 1(5). - С. 19-49.
Питъев Ю.П., Сердоболъская М.Л. О задачах редукции в случае известного корреляционного оператора // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1988. - Т. 29, JV- 6. - С. 78-79.
Pyt’ev Yu.P^ Pyt’ev A.Yu. Effective Dimensionality and Data Compression // Pattern Recognition and Image Analysis. - 1997. - V. 7, JV- 4. - P. 393-406.
Питъев А.Ю., Питъев Ю.П. Об эффективной размерности множества измерений // ЖВМиМФ. - 1998. - Т. 38, JV- 4. - С. 682-697.
Леман Э. Теория точечного оценивания. - М.: Наука, 1991. - 448 с.
Боровков А.А. Математическая статистика. Оценка параметров. Проверка гипотез. - М.: Наука, 1984. - 472 с.
Вальд А. Статистические решающие функции. Позиционные игры. - М.: Наука, 1967. - С. 300-522.
Питъев Ю.П., Шишмарев И.А. Курс теории вероятностей и математической статистики для физиков. - М.: Изд-во Моск, ун-та, 1983. - 254 с.
Хорн Р.. Дснсонсон Ч. Матричный анализ. - М.: Мир, 1989. - 656 с.
Питъев Ю.П. Методы редукции измерений в гильбертовых прострвн- ствах // Матем. сборник, 1985. - Т. 126(168), JV- 4. - С. 543-565.
Васильев Ф.П. Численные методы решения экстремальных задач. - М.: Наука, 1980. - 512 с.
Кукс Я., Олман В. Минимаксная линейная оценка коэффициентов регрессии // Изв. АН ЭССР. - 1972. - Т. 21. - С. 323-331.
Blaugiewicz М. Podstawowe problemy estymacji modeli liniowych z bl§dami w zmiennych // Prz. statyst. - 1983 (1984). - V. 30, JV- 3-4. - P. 189-199.
Bunke O. Minimax, Linear, Rigge and Shrunken Estimators for Linear Parameter // Math. Operat. und Statist. - 1975. - V. 6, JV- 5. - P. 697701.
Hocking R. R. Developments in linear regression methodology: 1959-1982 // Technometrics. - 1983. - V. 25, JV- 3. - P. 219-230; Discuss. - P. 230249.
Hocking R. R., Speed F.M., Lynn MJ. A Class of Biased Estimators in Linear Regression // Technometrics. - 1970. - V. 18, JV- 4. - P. 425-437.
Kraft O. A maximin linear estimator for linear parameters under restrictions in form of inequalities // Statistics. - 1986. - V. 17, JV- 1. - P. 3-8.
Lduter H. A minimax linear estimatior for linear parameters under restriction in form of inequalities // Math. Operations and Statist. - 1975. - V. 6, JV- 5. - P. 680-685.
James W., Stein C. Estimation with quadratic loss // Proc. Fourth Berkley Symp. Math. Statist. I. Prob. - 1960. - V. 2. - P. 361-379.
Ибрагимов И. А., Хасъминский Р.З. Асимптотическая теория оценивания. - М.: Наука, 1979. - С. 38-41.
Casella G.. Hwang G.T. Limit expressions for the risk of James-Stein estimators // Can. J. Statist. - 1983. - V. 10, JV- 4. - P. 305-309.
Marquardt D. W. Generalized Inverse, Ridge Regression, Biased Linear Estimation and Nonlinear Estimation // Technometrics. - 1970. - V. 12, JV- 3. - P. 591-612.
Tautenhahn U. Verbesserungen vom Kleiniste-Quadrate-Schatzung durch Schatzungen vom Didge-Typ und vom Stein-Тур // Math. Operationsforsch. und Statist. Ser. Statist. - 1984. - V. 12, JV- 3. - P. 337354.
Vinad H.D. Simulation and Extension of a Minimum Mean Squared Error Estimator in Comparison with Stein’s // Technometrics - 1976. - V. 12, JV- 4. - P. 491-496.
Pao С.Р. Линейные статистические методы и их применения. - М.: Наука, 1968. - 548 с.
Леман Э.Л. Проверка статистических гипотез. - М.: Наука, 1979. - 408 с.
Закс Ш. Теория статистических выводов. - М.: Наука, 1975. - 776 с.
Гихман И.И., Скороход А.В. Теория случайных процессов. Т. 1. - М.: Наука, 1971. - 664 с.
Уилкс С. Математическая статистика. - М.: Наука, 1967. - 632 с.
Hwang J. Т.^ Chcu J. Improved confidence sets for the coefficients of a linear model with spherically symmetric errors // Ann. Statistist. - 1986. - V. 14, JV- 2. - P. 444-460.
Пиптьев Ю.П. Возможность. Элементы теории и применения. - М.: УРСС, 2000.
Ландсберг Г.С. Оптика. - М.: ГИТТЛ, 1954. - 728 с.
Пиптьев Ю.П. Методы синтеза измерительных приборов на измерительно - вычислительном комплексе // Вопросы кибернетики (Проблемы комплексирования бортовых кибернетических систем). - М.: Наука, 1986. - С. 147-162.
McMillan В. The Basic Theorems of Information Theory // Ann. Math. Stat. - 1953. - JV- 24. - P. 196-219.
Мамедов М.И. Статистический критерий проверки гипотезы о несмещенности структуры модели // Автоматика. - 1986. - JV- 4. - С. 63-65.
Durgaryan I.S.^ Pashchenko F.F. Information methods in identification // Trans. 9th Prag. Conf. Inf. Theory, Statist. Dicis. Funct. Random Process. Prague, June 28-July 2, 1982. - V.A., Prague, 1983. - P. 207-214.
Ellefon R.R.W. Is the Regression Equation Adequate? A Generalization // Technometrics. - 1978. - V. 20, JV- 3. - P. 313-315.
Giles D.E.A. Preliminary - test estimation in mis-specified regressions // Econ. Lett. - 1986. - V. 21, JV- 4.- P. 325-328.
Hocking R.R. Developments in linear regression methodology: 1959 - 1982 // Technometrics. - 1983. - V. 25, JV- 3. - P. 219-230; Discuss. P. 230249.
Kapteyn A., Wansbeek T. Errors in variables: consistent adjusted least squares (CALS) estimation // Commun. Statist. : Theory and Meth. - 1984. - V. 13, JV- 5. - P. 1811-1837.
Kubacek L. Regression model with estimated covariance matrix // Math. Slov. - 1983. - V. 33, JV- 4. - P. 395-408.
Scariano S.M., Neill J. W., Davenport J. M. Testing regression Function adequacy with correlation and without replication // Commun. Statist.’ Theory and Meth. - 1984. - V. 13, AT- 10. - P. 1227-1237.
Питъев Ю.П. О точности и надежности интерпретации совокупности измерений // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1986. - Т. 27, АГ- 5. - С. 3-7.
Питъев Ю.П. Точность и надежность интерпретации косвенных измерений // ДАН СССР. - 1987. - Т. 295, АГ- 3. - С. 543, 545.
Бойченко В.Л., Зенин Г.П.. Питъев Ю.П. Восстановление микрофи- зических параметров атмосферного аэрозоля методом редукции результатов четырехволнового зондирования // Тезисы докл. конф, по когерентной и нелинейной оптике. - Минск, 1988.
Зенин Г.П., Макагонов А.В.^ Питъев Ю.П., Шевцов П.В. Метод редукции в задаче обработки и интерпретации данных многошарового спектрометра Боннера. Препринт 87-177, Инет. Физики высоких энергий. - Серпухов, 1987.
Чуличков А. И., Чуличкова Н. М.^ Фетисов Г.В. Моделирование профиля интенсивности брегговского рефлекса, измеренного на дифрактометре // Кристаллография. - 1987. - Т. 32, вып. 5. - С. 1107-1147.
Чуличков А. И., Питъев Ю.П. Рекуррентные методы редукции измерений // Мат. моделирование. - 1989. - Т. 1, АГ- 8.
Chulichkov АЛ.^ Pyt’ev Yu.P. Measurement Computer Systems: Modeling, Reliability, Algorithms // Pattern Recognition and Image Analysis. - 1991. - V. 1, AT- 2.
Chulichkov A. I., Pyt’ev Yu.P. Super-High Resolution Computer-Aided Measuring System // Programming and Mathematical Techniques in Physics / Eds. Yu.Lobanov, E.Zhidkov. - World Scientific, 1994.
Чуличков А.И.^ Питъев Ю.П. Проблема аппроксимации модели в задачах интерпретации измерений // Мат. моделирование. - 1995. - Т. 7, Ж 3.
Чуличков А.И.^ Питъев Ю.П. Надежность интерпретации измерения, описываемого линейной моделью с априорной информацией статистического характера // Мат. моделирование. - 1995. - Т. 7, АГ- 3.
Митин И. В. и др. Метод максимальной надежности в задаче анализа и интерпретации спектрометрических измерений // Математическое моделирование. - 1991. - Т. 3, N 12. - С. 31-37.
Бойченко В. Л. и др. Эксперимент пр четырехчастотному лазерному зондированию атмосферного аэрозоля и анализ качества моделей при его интерпретации // Оптика атмосферы. - 1989. - Т. 2, N 1. - С. 85-93.
Жуковский Е.Л., Липцер Р.Ш. О рекуррентном способе вычисления нормальных решений алгебраических уравнений // ЖВМиМФ. - 1987. - Т. 27, АГ- 6. - С. 935-940.
Белов Ю.А.^ Касъянюк В.С. К задаче интерпретации данных, полученных конечным множеством рецепторов с нестабильными характеристиками // ЖВМиМФ. - 1987. - Т. 27, АГ- 2. - С. 291-295.
Питъев Ю.П. Надежность интерпретации эксперимента, основанной на приближенной модели // Мат. моделирование. - 1989. - Т. 1, Ж 2. - С. 49-64.
Pyt’ev Yu.P. Measurement Computer Systems of Super High Resolution // Pattern Recognition and Image Analysis. - 1994. - V. 1, Af- 1. - P. 54-76.
Пытъев Ю.П. К теории нелинейных измерительно-вычислительных систем // Мат. моделирование. - 1992. - Т. 4, АГ- 2. - С. 76-94.
Пшеничный Б.Н. Выпуклый анализ и экстремальные задачи. - М.: Наука, 1980. - 400 с.
Пытъев Ю.П. Нелинейная редукция измерения // Мат. моделирование - 1989. - Т. 1, М- 5. - С. 44-59.
Морозов В.А. Методы регуляризации неустойчивых задач. - М.: Изд- во Моск, ун-та, 1987. - 216 с.
Матвеева Т.В.. Пытъев Ю.П. Метод Ритца в задаче интерпретации нелинейных измерений // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1991. - Т. 32, АГ- 3. - С. 90-93.
Матвеева Т.В.. Пытъев Ю.П. Линейные и нелинейные методы интерпретации измерений. Вычислительный эксперимент // Мат. моделирование. - 1994. - Т. 6, АГ- 9. - С. 85-98.
Lauter Н. A minimax linear estimatior for linear parameters under restriction in form of inequalities // Math. Operations and Statist. - 1975. -6. - P. 769-774.
Пытъев Ю.П. К теории измерительно-вычислительных систем минимаксного типа // Мат. моделирование. - 1991. - Т.3, АГ- 10. - С. 65-94.
Демьянов В.Ф., Малоземов В.П. Введение в минимакс. - М.: Наука, 1972. - 368 с.
Бондаренко С.П., Пытъев Ю.П. Об эффективном ранге моделили- нейных измерений с ошибкой // ЖВМиМФ. - 1995. - Т. 35, АГ- 1. - С. 6-23.
Pyt’ev Yu.P., Sukhorukova G.V. The restoration of a vertical ozone distribution via UV-radiation measurement // Ann. Geophys. Spec. Issue: XVII Gen. Assembly EGS. - 1992.
Hoerl A.T., Kennard R.W. Ridge Regression Biased Estimation for Nonlinear Problems // Technometrics. - 1970. - V. 12, AT- 1. - P. 55-71.
Матвеева T.B., Пытъев Ю.П. Нелинейная редукция измерения в задачах дистанционного зондирования атмосферы // Вестник Моск, унта. Серия Физика, Астрономия. - 1991. - Т. 32, АГ- 4. - С. 100-103.
Математическая теория планирования эксперимента. - М.: Наука, 1983.
Пытъев Ю.П. Подавление ложных сигналов в задаче повышения разрешения // ДАН СССР. - 1980. - Т. 255, АГ- 3. - С. 540-544.
Андерсон Т. Введение в многомерный статистический анализ. - М.: Физматгиз, 1963.
Шеффе Г. Дисперсионный анализ. - М.: Физматгиз, 1963.
Митин И. В., Чуличков А.И. О надежности параметрически заданной модели // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1989. - Т. 30, АГ- 4. - С. 8-14.
Pyt’ev Yu.P. The Reliability of Interpretation of Experimental Results on the Basis of Approximate Models // IMMCE. - 1983. - Vol. 1, AT- 4. - P. 319-332.
Вит/ьев Ю.В., Чуличков А.И. Основы теории измерительновычислительных систем сверхвысокого разрешения // Измерительная техника. - 1998, февраль. - С. 3-10.
Чуличков А.И. Основы теории измерительно-вычислительных систем. Линейные стохастические иизмерительно-вычислительные системы. - Тамбов: Изд-во Тамбовского гос. техн, ун-та, 2000. - 140 с.
Волков Б.И. и др. Возможности диалога при редукции измерений // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1987. - Т. 28, АГ- 1. - С. 3-8.
Козлов А.А. и др. О диалоговом подходе к решению задачи анализа и интерпретации мессбауэровского спектра // Вестник Моск, ун-та. Серия Физика, Астрономия. - 1989. - Т. 30, АГ- 6. - С. 30-35.
Козлов А.А., Вит/ьев Ю.В. Об эффективности редукции измерений и некоторых задачах синтеза измерительно-вычислительного комплекса // ЖВМиМФ. - 1987. - Т. 27, АГ- 3. - С. 323-331.
Жохов В. В., Козлов А. А., Вит/ьев Ю.В. О предельных возможностях параметрических измерительных преобразователей 2-го порядка с сосредоточенными параметрами // Мат. моделирование. - 1991. - Т. 3, АГ- 7. - С. 57-70.
Митин В.В., Вит/ьев Ю.В., Шодмонкулов Т.Д. Метод максимальной надежности в задаче синтеза и интерпретации спектрометрических измерений // Мат. моделирование. - 1991. - Т. 3, АГ- 12. - С. 31-37.
Бондаренко С.В., Вит/ьев Ю.П., Сердобольская М.Л. О предельных возможностях измерительно-вычислительной системы как измерительного прибора // Мат. моделирование. - 1993. - Т. 3, АГ- 9. - С. 43-54.
Weerahandi S. On the use of complete and incomplete information in regression analysis // J. Nat. Sci. Counc. Sri Lanca. - 1982. - V. 10, АГ- 1. - P. 1-11.
Волков Б.В., Вит/ьев Ю.В. Измерительно-вычислительные преобразователи // Датчики и Системы. - 2000. - АГ- 6. - С. 17-23.
Золотухин В.Г., Усиков Д.А., Грушин В.А. Учет рассеяния света в атмосфере при обработке космических снимков земной поверхности // Исследование Земли из космоса. - 1980. - АГ- 3. - С. 58-67.
Соболев К.С., Чуличков А.В., Вит/ьев Ю.В. Многоапертурный телескоп. Сравнительный анализ алгоритмов сверхразрешения// Pattern Recognition and Image Analysis, в печати.
Вугачев В.С., Синицин В.В. Теория стохастических систем
Оглавление
Введение 3
ГЛАВА 1
Элементы теории линейного статистического оценивания
Ковариационный и корреляционный операторы случайного век- 16 тора. Базис Крунена-Лоэва
Наилучшее в среднем квадратичном линейное оценивание 20 2.1. Оценивание случайного вектора (20). 2.2. Оценивание линейной функции случайного вектора (22). 2.3. Минимизация относительной средне-квадратичной ошибки оценивания (23). 2.4. Оценивание в сингулярных базисах (23). 2.5. Экстремальные свойства сингулярных базисов (26). 2.6. Экстремальное свойство базиса Карунена-Лоэва (28). 2.7. О корреляционных связях случайных векторов (28).
Уточнение случайного вектора по данным линейных измерений . 29 § 4. Оптимизация измерений 32
Уточнение случайного вектора по данным линейных измерений с 34 ошибками
Общие результаты. Теорема взаимности (34). 5.2. Асимптотика оценивания при равномерно исчезающей априорной информации (37).
Линейное оценивание неслучайного вектора 40
Оптимальное линейное оценивание при неизвестном корреляцион- 45 ном операторе ошибки измерения
О «гладкости» случайного вектора 48
ГЛАВА 2
Эффективная линейная размерность данных измерений
Эффективная размерность множества точных данных 53
Эффективная размерность множества классов эквивалентности 58 измерений
Эквивалентность, заданная группой «вертикальных» сдвигов (59). 2.2. Эквивалентность, заданная группой «горизонтальных» сдвигов (61). 2.3. Эквивалентность, заданная группой «вертикальных» и «горизонтальных» сдвигов (62). 2.4. Эквивалентность, заданная группой преобразований масштаба (62).
Об эффективной размерности классов эквивалентности изображе- 63 НИЙ
Эффективная размерность множества измеренных с ошибками 67 сигналов
Об эффективной размерности измерений на линейном приборе . 72
ГЛАВА 3
Оценивание параметров распределения вероятностей
Неравенство Крамера-Рао. Эффективные оценки 76
Задачи с априорной информацией. Линейные минимаксные оцен- 82 КН
Оценки типа Стейна-Джеймса 89
Достаточные статистики 95
Инвариантные методы оценивания 97
Байесовское оценивание104
Информационные матрицы111
ГЛАВА 4
Случайные множества как оценки параметровраспределения. Проверка статистических гипотезо параметрах распределения
Оценивающее множество116
Множество принятия гипотез 120
Оценивающие множества минимального размера127
Надежность гипотезы132
Простая гипотеза, простая альтернатива (133). 4.2. Сложные гипотеза и альтернатива (138).
Рандомизированные правила решения146
Оценивающие множества и семейство рандомизированных крите- 152 риев
Инвариантные методы проверки гипотез153
Эквивариантное оценивание и проверка гипотез159
ГЛАВА 5
Линейная редукция измерения
Измерительно-вычислительная система (ИВС) как измеритель- 163 ный прибор
Линейная минимаксная редукция схемы измерения168
Критерии качества измерительного прибора и соответствующей 170 ИВС
Роль шума измерения183
Эффект дополнительного измерения187
Типичные реализации сигнала. Структура «коридора ошибок» . 194
Проблема устойчивости редукции203
Проблемы надежности. Надежность модели измерения214
Надежность модели [Л, Е] и ее свойства (219). 8.2. О методе максимальной надежности (выбора модели) (224).
Надежность редукции измерения229
Надежность редукции с учетом дополнительных измерений (231). 9.2. Случай одномерного дополнительного измерения (235). 9.3. Анализ задачи проверки гипотезы о параметре распределения (237). 9.4. Верхняя и нижняя надежности редукции (241). 9.5. Случай произвольного дополнительного измерения (247).
ГЛАВА 6
Линейная редукция измерений при наличиидополнительной информации
[A, S] (256). 1.4. Редукция для модели [A, fo,F, S] (258).Эффект дополнительного измерения. Рекуррентная редукция . . 259Методы редукции для случайных моделей265[A, S] (256). 1.4. Редукция для модели [A, fo,F, S] (258).Эффект дополнительного измерения. Рекуррентная редукция . . 259Методы редукции для случайных моделей265Редукция схемы измерения случайного вектора. Качество модели 252 1.1. Редукция для модели [A, F, У] (252). 1.2. О качестве модели [A, F, У] (254). 1.3. Сравнение модели [A, F, У] с моделью
[A, S] (256). 1.4. Редукция для модели [A, fo,F, S] (258).
Эффект дополнительного измерения. Рекуррентная редукция . . 259
Методы редукции для случайных моделей265
[A, S] (256). 1.4. Редукция для модели [A, fo,F, S] (258).
Эффект дополнительного измерения. Рекуррентная редукция . . 259
Методы редукции для случайных моделей265
Редукция измерения и тестирование при ограниченной информа- 270 ции о случайной модели
Уточнение параметров модели линейного измерительного прибо- 272 ра. Прогноз измерения
ГЛАВА 7
Нелинейные методы редукции измерений
Введение280
Нелинейные уточнения редукции измерений282
Нелинейная минимаксная редукция измерения 287
Случай нелинейного измерительного преобразователя и идеаль- 291 ного измерительного прибора
Случай неединственной и многозначной функции, определяющей 293 модель интерпретации
Методы нелинейной редукции в интегральной метрике 295
Существование и свойства редукции в интегральной метрике . . . 299
Нелинейная минимаксная редукция измерения при наличии апри- 304 орной информации
Редукция типа Кукса-Олмана306
Нелинейная минимаксная редукция в случае оператора модели 307 интерпретации конечного ранга
Случай компактного оператора модели интерпретации312
Нелинейная редукция в случае вырожденного оператора модели 313 измерения
Нелинейная редукция в случае измерительных преобразователей 314 первого порядка
Дополнения317
ГЛАВА 8
Эффективный ранг линейной модели измерений с ошибкой
Введение320
Собственные базисы моделей [A, F, Е] и [А, Е]322
Задача интерпретации линейной функции измерений325
Модель [А,Г,Ч (326). 2.2. Модель [A, S] (328).
Эффективный ранг модели измерения330
Эффективный ранг модели и эффективная размерность множе- 336
ства измерений
ГЛАВА 9
Методы синтеза линейных измерительных приборовна измерительно-вычислительных системах
Синтез измерительного прибора при ограничении на уровень шу- 340 ма
Общий метод синтеза измерительного прибора на измерительно- 347 вычислительной системе
ГЛАВА 10
Измерительно-вычислительные преобразователи
Редукция измерения, выполняемого на ИП первого порядка. . . . 355
Базис и эффективный ранг модели [Ai,E] 357
Качество ИВП первого порядка как измерительного прибора . . . 361
ИВП второго порядка365
ИВП второго порядка как измеритель перемещения, скорости и 368 ускорения
Список обозначений372
Список литературы374
Научное издание
ПЫТЬЕВ Юрий Петрович
МЕТОДЫ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯИЗМЕРИТЕЛЬНО-ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ
Компьютерный набор В.В. Шишаков, ИИ Фаломкин, Н.А. ЯкубовскаяКомпьютерная верстка ГС. Животникова, О.В. ЖучкоИллюстрации Д.М. Новицкого
Оформление обложки А.Ю. Алехиной
ЛР № 071930 от 06.07.99. Подписано в печать 21.02.02.
Формат 60x90/16. Бумага офсетная. Печать офсетная.
Усл. печ. л. 24. Уч.-изд. л. 25. Тираж 300 экз. Заказ №
Издательская фирма «Физико-математическая литература»
МАИК «Наука/Интерпериодика»
117864 Москва, ул. Профсоюзная, 90
Отпечатано с диапозитивовв РГУП «Чебоксарская типография № 1»428019 Чебоксары, пр. И. Яковлева, 15
1) В этом контексте регулярность, предсказуемость — альтернативы случайности поведения.
единственная пара векторов /Д —/°, удовлетворяющих условию (дуально
сти) (Е-У2/^/-7) = ^i = (1 г Д’ При этом Жо = (/°,ч), Ж1 = (У1,??).
[0, г+з-
синтезируется выходной сигнал прибора U, когда на его вход поступает
лучше. Например, если Е = Ei + АЕ2, А 0, то
^■пЩАТАги* = trt^TS-M^TS^SaS-^TS-M)-1^* 0,
если Е2 ^ 0.
х) Необходимо помнить, что, по существу, речь идет о логарифме числа типичных реализаций £ при условии у = у и о среднем значении этого логарифма.
иценная редукция линейна.
+ 1) — s(t) > 0 когда u(t + 1) — u(t) ^ 0. Не противоречит ли это
теореме 9.1, в которой утверждается, что минимум (9.19) дости
УДК 519.7ББК 22.18П94УДК 519.7ББК 22.18П94Издание осуществлено при поддержке Российского фонда фундаментальных исследований по проекту 01-01-14062
УДК 519.7
ББК 22.18
П94
УДК 519.7
ББК 22.18
П94
И ы т ь е в Ю. И. Методы математического моделирования измерительно-вычислительных систем. — М.: ФИЗМАТЛИТ, 2002. — 3 84 с. — ISBN 5-9221-0234-6.
В монографии рассмотрены элементы математической теории измерительновычислительных систем (ИВС) как средств измерений, основанной на математическом формализме редукции измерений, позволяющем по результатам измерений в системе «измеряемый объект-среда-измерительный прибор» получать наиболее точное описание ненаблюдаемой системы «исследуемый объект-среда», нс искаженной измерениями. Теория ИВС позволяет формулировать требования к измерительной компоненте ИВС, обеспечивающие наивысшее качество ИВС как средства измерений, оценивать адекватность математической модели измерений на ИВС, состоятельность получаемых на се выходе значений параметров исследуемого объекта, оценок погрешностей и т.д.
Для научных работников и инженеров физико-математических специальностей. Библиогр. 105 назв. Табл. 2. Илл. 51.
Научное издание
ПЫРЬЕВ Юрий Петрович
МЕТОДЫ МАТЕМАТИЧЕСКОГО МОДЕЛИРОВАНИЯИЗМЕРИТЕЛЬНО-ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ
Компьютерный набор: В.В. Шишаков, И.И. Фаломкин, Н.А. ЯкубовскаяКомпьютерная верстка: ЕС. Животников, О.В. ЖучкоИллюстрации Д.М. Новицкого
Оформление обложки А.Ю. Алехиной
ЛР № 071930 от 06.07.99. Подписано в печать 28.02.02.
Формат 60x90/16. Бумага офсетная. Печать офсетная.
Усл. псч. л. 24. Уч.-изд. л. 25. Тираж 400 экз. Заказ №
Издательская фирма
«Физико-математическая литература»
МАИК «Наука/Интерпериодика»
117864 Москва, ул. Профсоюзная, 90
Отпечатано с готовых диапозитивов в Московской типографии № 6 Министерства РФ по делам печати, телерадиовещания и средств массовых коммуникаций 109088 Москва, Южнопортовая ул., 24
© ФИЗМАТЛИТ, 2002
ISBN 5-9221-0234-6ISBN 5-9221-0234-6© Ю.П. Пытьев, 2002
ISBN 5-9221-0234-6
ISBN 5-9221-0234-6
YU.P. PYT’EV
METHODS OF MATHEMATICAL MODELINGOF MEASURING-COMPUTER-AIDED SYSTEMS
PHYSICS AND MATHEMATICS PUBLISHERS
International Academic Publishing Company «Nauka»Russian Academy of Sciences
Moscow, 2002, 3 84 pages
Professor Pytyev Yurii P. is graduated from the Faculty of Physics, Lomonosov Moscow State University, where he is currently at the head of Computer Methods in Physics Department. He is author of more than 300 publications on mathematics, mathematical physics, image analysis, information science, possibility theory, including several monographs. Yu. P. Pytyev is maker of several new scientific schools. One of them is called Mathematical Theory of Measuring-Computing Systems (MCS) as super-high resolution devices for measurements.
MCS consists of two transformers: a Measuring Converter (MC) and a Computing Transformer (CT). MC converts the effects of Object and Environment (O-E) that come disturbed, to the electrical signal by using which the CT models the O-E pair in its ideal, non-disturbed by measurement, state. In addition the CT computes the most accurate values of the undisturbed Object parameters it would have, if been not measured, concomitant errors, and estimates the adequacy of used model of O-E-MC.
It’s important, that the theory of MCS includes a new perfomance criterion of an MC, which essentially differs from the traditional one. To obtain measurements of the highest quality the MC, by itself and as a part of MCS, should have essentially different features. The new criteria of the quality of MCS as a gauge should alter considerably the principles and the technology of the scientific and industrial device production.
In this monograph the mathematical methods for analysis and optimal synthesis of measuring-computing systems as super-high (beyond physical limit) resolution gauges are considered.
In particular, the methods just as for synthesis of measuring part of MCS and also for mathematical programming of it’s computer part, providing the highest quality of MCS as a gauge, are given. The methods of analysis both of an adequacy of a mathematical model of measurements and of a reliability just as of MCS-produced values of parameters of the object under investigation, and also of estimations of their errors are given.