ИДЕНТИФИКАЦИЯ СИСТЕМ

ТЕОРИЯ ДЛЯ ПОЛЬЗОВАТЕЛЯ

Заведующий редакцией Т.В. Шаровйтова

Редактор Т.Н. Пташник

Художественный редактор Г.М. Коровина

Технические редакторы О.Б. Черник, ВЛ. Никитина

Корректоры Т.С. Вайсберг» Н.П. Круглова, Т.А. Печко

Набор осуществлен в издательстве на наб орно-печатающих автоматах

ИБ№ 30995

Сдано в набор 10.07.90. Подписано к печати 19.11.90 Формат 70 X 100/16. Бумага книжно-журнальная Гарнитура Пресс-Роман. Печать офсетная.Усл.печ.л. 35,10 Усл.кр.-отт. 35,10. Уч.-изд.л. 34,54.Тцраж 9 2 00 экз.

Тип. зак.320- Цена 5р. 60 к.

Ордена Трудового Красного Знамени издательство ’’Наука” Главная редакция физико-математической литературы 1 17071 Москва В-71. Ленинский проспект, 15

„ 1402050000-026Л 053(02)^91- П7-91ISBN 5-02-014511-4„ 1402050000-026Л 053(02)^91- П7-91ISBN 5-02-014511-4© 1987 by Prentice-Hall, Inc..©’’Наука”. Физматзит, перевод на русский язык, 1991© 1987 by Prentice-Hall, Inc..©’’Наука”. Физматзит, перевод на русский язык, 1991Четвертая типография издательства ’’Наука” 630077 г. Новосибирск-77, ул. Станиславского, 25

„ 1402050000-026

Л 053(02)^91- П7-91

ISBN 5-02-014511-4

„ 1402050000-026

Л 053(02)^91- П7-91

ISBN 5-02-014511-4

© 1987 by Prentice-Hall, Inc..

©’’Наука”. Физматзит, перевод на русский язык, 1991

© 1987 by Prentice-Hall, Inc..

©’’Наука”. Физматзит, перевод на русский язык, 1991

ОГЛАВЛЕНИЕ

Предисловие редактора перевода 7

Предисловие к русскому изданию 8

Предисловие автора 9

Основные обозначения и сокращения 12

Глава I. Введение 15

Динамические системы 15

Модели. Типы моделей и их использование 18

Процедура идентификации системы. Три основных компонента 20

Организация материала книги 21

Комментарии к библиографии 23

Часть I.Системы и модели 25

Глава 2. Стационарные линейные системы 25

Импульсные реакции, помехи и передаточные функции 25

Частотные формулы 32

Спектры сигналов 37

Поведение отдельных реализаций и эргодические результаты 43

Многомерные системы 44

Заключение 45

Комментарии к библиографии 46

Задачи 46

Приложение 2А. Доказательство теоремы 2.2 50

Приложение 2В. Доказательство теоремы 2.3 52

Приложение 2С. Ковариационные формулы 56

Глава 3.Моделирование, прогнозирование и управление 57

Моделирование 57

Прогнозирование 57

Наблюдатели 63

Управление 66

Заключение 68

Комментарии к библиографии 68

Задачи 69

Гаава 4.Модели линейных стационарных систем 71

Линейные модели и множества линейных моделей 71

Семейство моделей передаточных функций 72

11Модели в пространстве состояний 81

1

1

3

Модели с распределенными параметрами 89

Множества моделей, структурымоделейиидентифицируемость: некоторые

формальные положения 91

Идентифицируемость некоторыхмодельныхструктур 98

Заключение 102

Комментарии к библиографии 103

Задачи 104

Приложение 4А. Идентификация многомерных модельных структур типа черного ящика НО

Глава 5. Модели нестационарных и нелинейных систем 119

Линейные нестационарные модели’ 119

Нелинейные модели как линейные регрессии 121

Нелинейные модели в пространствесостояний 124

формальная характеризация моделей.* 125

Заключение 128

Комментарии к библиографии 129

Задачи 129

Часть II. Методы. 131

Глава 6.Непараметрические временные и частотные методы 131

Анализ переходных процессов и корреляционный анализ 131

Частотный анализ 133

Гармонический анализ Фурье 135

Спектральный анализ 139

Оценивание спектра шума 147

Заключение 149

Комментарии к библиографии 149

Задачи 150

Приложение 6А. Вывод асимптотических свойств оценки спектрального анализа 153

Глава 7.Методы параметрического оценивания 155

Основные принципы формирования методов параметрического оценивания. . . .155

Минимизация ошибок предсказания 156

Линейные регрессии и метод наименьших квадратов 160

Статистическая трактовка параметрического оценивания и метод максимального правдоподобия 164

Корреляция ошибок предсказания с прошлыми данными 172

Методы инструментальных переменных 174

Заключение 177

Комментарии к библиографии 177

Задачи: 178

Приложение 7 А. Доказательство неравенства Крамера - Рао 185

Глава 8.Сходимость и состоятельность 187

Введение 187

Условия на последовательность данных 188

Подход ошибки предсказания 191

Состоятельность и идентифицируемость 195

Линейные стационарные модели: частотное описание предельной модели200

Корреляционный подход 203

Заключение 206

Комментарии к библиографии 207

Задачи 207

Глава 9.Асимптотическое распределение оценок параметров 210

Введение 210

Подход, о снов энный на ошибке предсказания: основная теорема 211

Выражения асимптотической дисперсии 213

218223226230230231233237218223226230230231233237239239Выражения асимптотической дисперсии в частотной области

218

223

226

230

230

231

233

237

218

223

226

230

230

231

233

237

239

239

Корреляционный подход

Использование выражений асимптотической дисперсии

Заключение

Комментарии к библиографии

Задачи

Приложение 9А. Доказательство теоремы 9.1

Приложение 9В. Асимптотическая дисперсия оценки параметра

Глава 10. Методы вычисления оценок

Линейные регрессии и наименьшие квадраты 240

Численное решение с помощью итеративных методов поиска 246

Вычисление градиента 249

Двухэтапные и многоэтапные методы 251

Локальные решения и начальные значения: 254

Заключение 257

Комментарии к библиографии 257

t0.8.Задачи 258

Глава 11. Методы рекуррентного оценивания

Введение 263

Рекуррентный алгоритм наименьших квадратов 265

Рекуррентный метод инструментальных переменных 270

Рекуррентные методы ошибки предсказания 270

Рекуррентные псевдолинеЙные регрессии 274

Выбор схемы пересчета шага 276

Реализация алгоритмов 279

Заключение 282

Комментарии к библиенрафии 283

Задачи 284

Приложение ПА. Техника исследования асимптотики рекуррентных алгоритмов285

Часть III. Пользовательский выбор 293

Глава 12. Варианты выбора и цели 293

Варианты выбора 293

Цели идентификации 294

Смещение и дисперсия 298

Заключение 299

Комментарии к библиографии 300

Задачи 300

Глава 13. Влияние распределения величины смещения на оценки передаточной функции 300

Некоторые основные соотношения 301

Эвристическое рассмотрение метода настройкиоценокпередаточной функции в

разомкнутом контуре 301

Некоторые решения формальных задач проектирования 304

Заключение 306

Комментарии к библиографии 307

Задачи 307

308308Глава 14. Планирование эксперимента

308

308

Несколько общих вопросов 308

Информативные эксперименты 310

Оптимальное планирование входных сигналов 317

Оптимальное планирование эксперимента для моделей черного ящика высокого порядка 322

Выбор интервала дискретизации предварительного фильтра 325

Предварительная обработка данных 332

Заключение 335

Комментарии к библиографии 335

Задачи 336

Глава /5. Выбор критерия идентификации 338

Общие вопросы 338

Выбор нормы: робастность 339

Дисперсионно оптимальный метод инструментальных переменных 344

Заключение 347

Комментарии к библиографии 348

Задачи 348

Глава /б. Выбор структуры модели и подтверждение модели 349

Общие вопросы выбора структуры модели 349

Априорные соображения 351

Выбор структуры модели на основе предварительного анализа данных 353

Сравнение модельных структур 355

Подтверждение модели 363

Заключеиис 368

Комментарии к библио1рафии 368

Задачи 369

Глава 1 7. Идентификация систем иа практике 370

Инструмент идентификации: интерактивное программное обеспечение 371

Применение к лабораторной системе 375

Идентификация рулевой динамики корабля 383

Что же может дать идентификация систем? 388

Комментарии к библиографии 389

Приложение I. Некоторые понятия теории вероятностей 389

Приложение II. Некоторые статистические методы линейной регрессии 392

Список литературы 410

Список литературы на русском языке 429

Предметный указатель 430

Проблеме идентификации систем посвящено большое число книг, как отечественных, так и зарубежных. Они охватывают различные аспекты проблемы идентификации. Однако к настоящему времени отсутствовали книги, которые содержали бы изложение вопросов теории и техники идентификации, наиболее существенные для практических применений, и могли бы служить путеводителем для пользователя. Этот пробел в значительной мере устраняется монографией профессора Линчеппинг- ского университета (Швеция) Л. Льюнга, известного специалиста, активно работающего в области идентификации и адаптивного управления.

Книга охватывает широкий круг вопросов. В первой части, главы 2-5, описаны типовые системы с постоянными и переменными параметрами, а также нелинейные системы, и обсуждаются их модели. Разнообразным методам идентификации (параметрическим, ненараметрическим, рекуррентным) посвящена вторая часть, главы 6-11. Наконец, третья часть, главы 12 - 17, содержит изложение вопросов выбора пользователем моделей, критериев, алгоритмов для решения разнообразных задач идентификации. В основном в тексте опущены многие математические доказательства ряда утверждений. Заинтересованный читатель может найти их в приложениях и ссылках к главам. Часто приводится физическая трактовка ряда вопросов, указаны возможности приложения основных результатов теории. Большое внимание уделено применению компьютеров для решения разнообразных конкретных задач идентификации динамических систем.

Книга завершается обширной библиографией (более 450 названий). Каждая глава книги сопровождается краткими выводами и комментированными ссылками на литературу, формулировками задач. Задачи весьма разнообразны. Они касаются общих вопросов, упражнений, дальнейшего развития теории, деталей основного текста, математического обеспечения, использования компьютеров. Помимо систематического изложения известных методов идентификации книга содержит и оригинальные результаты, которые ранее не излагались в монографиях. Она не только знакомит читателя с современным состоянием проблемы идентификации, но и формулирует новые задачи. Методика изложения очень продумана. Материал, не обязательный для пользователя, но полезный для исследователя, выделен в отдельные отмеченные знаком (*) параграфы.

Охватывая широкий круг вопросов, интересных с теоретической точки зрения и важных для практических приложений, не перегруженная в основном тексте математическими подробностями, ориентированная на использование компьютера - эта книга представит большой интерес для очень широкого круга специалистов, занимающихся различными аспектами проблемы идентификации динамических систем.

Я.З. Цыпкин

ПРЕДИСЛОВИЕ К РУССКОМУ ИЗДАНИЮ

Идентификация систем представляет собой ту часть теории автоматического управления и анализа временных рядов, в разработку которой советские исследователи внесли очень большой вклад. В бытность мою аспирантом я имел полезную возможность находиться в контакте с советской научной общественностью на протяжении шести месяцев моего пребывания в Москве в Институте проблем управления. Я черпал вдохновение в общении с многими советскими учеными, которые проявили по отношению ко мне огромное гостеприимство. И прежде всего мне хотелось бы упомянуть профессоров Якова Залмановича Цыпкина и покойного Наума Самойловича Райбмана. Именно поэтому мне особенно приятно предложить вниманию науч: ных работников и студентов в Советском Союзе это исследование по идентификации систем. Надеюсь, что книга может оказаться полезной »не только при изучении предмета, но и как справочник по применениям идентификации. Позвольте мне также воспользоваться возможностью выразить мою признательность кандидатам технических наук А.В. Назину и А.С Манделю за выполненную ими серьезную работу и наше доброе сотрудничество.

Л. Льюнг

ПРЕДИСЛОВИЕ АВТОРА

Широта предмета идентификации систем позволяет излагать его многими разными способами. Выбранный подзаголовок ’’Теория для пользователя” отражает отношение автора к данному тексту. Да, это книга о теории, но о такой теории, из которой непосредственно вытекает возможность содержательного понимания и практических применений имеющихся методов. Свою задачу я видел в том, чтобы читатель, твердо усвоив основные принципы, мог уверенно решать прикладные задачи, а также самостоятельно знакомиться с обширной, хотя, порой, беспорядочной литературой по идентификации.

Мне хочется верить, что выделение утилитарного смысла теории не будет восприниматься как форма извинений по поводу неаккуратной математики. Я пытался развивать теорию не совершая ’’подлогов”. При этом наиболее сложные математические фрагменты были вынесены в приложения или в помеченные звездочкой разделы, избавляя упрямого читателя от необходимости о них спотыкаться. И действительно, спасительной особенностью жизни является наша способность делать множество вещей, не понимая всех их деталей. Верно это и для теории идентификации систем. Ищущему каких-либо готовых рекомендаций практику предоставляется возможность быстро перейти к части III (пользовательский выбор), ’’пробежав” взглядом заключения предыдущих глав.

По своей сути материал этой книги должен подходить для чтения лекций по идентификации систем на старших курсах высших учебных заведений. Естественным, хотя вряд ли обязательным условием для чтения такого курса следовало бы считать знакомство слушателей с элементами теории динамических систем и случайных сигналов. Рукопись этой книги использована в качестве основы курсов по идентификации систем, прочитанных в Стэнфордском университете, Массачусетском технологическом институте, Йельском университете, Национальном университете Австралии и университетах Лунда и Линчёпинга. Конспекты курса, как и пособие по решению задач, имеются у издателя.

Необходимо отметить роль, которую играют в рамках курса по идентификации упражнения, рассчитанные на работу с ЭВМ. Участие в процессе имитационного моделирования, которое наглядно демонстрирует применение рассмотренных в книге методов к выявлению скрытых особенностей исходных данных, способствует расширению и углублению понимания изложенного материала. В задачах из глав со 2-й по 16-ю, которые помечены буквой S, даны схематичные очертания того интерактивного пакета программ, который можно было достаточно безболезненно организовать в языковой среде высокого уровня. В продаже имеются версии этого пакета на языке PC-MATLAB (см. [257]). С помощью такого пакета 9

можно продемонстрировать и проверить в работе на реальных и искусственных данных все основные методы из этой книги.

Известная сегодня литература по идентификации систем, действительно, настолько обширна, что, но существу, не может быть покрыта любой библиографией. В этой книге я попытался обратить внимание как на самые последние и наиболее доступные источники, которые, по моему мнению, могли бы служить для углубленного изучения материала, так и на некоторые из первых работ, отражающих историю вопроса. Очевидно, что многие из вполне достойных упоминания работ не вошли в список.

В заключение несколько слов о плане книги. Взаимосвязи между главами показаны на рис. 1.13, из которого видно, что знакомство с некоторыми из глав не является обязательным условием для чтения последующих глав. Кроме того, некоторые фрагменты книги адресованы скорее к серьезному студенгу, изучающему теорию идентификации, чем к пользователю. Эти фрагменты помещены либо в приложения, либо в разделы и подразделы, помеченные звездочкой. Хотя на этот материал время от времени могут делаться ссылки, возможность выборочного чтения сохранена; беглое знакомство не служит помехой систематическому изучению.

В конце каждой главы имеются задачи, которые могут быть разбиты на шесть разных групп:

- G-задачи, т.е. задачи общего характера, которые могут заслуживать изучения даже при отсутствии намерения их решать;

Е-задачи, которые представляют собой рабочие упражнения, помогающие усвоению основного материала главы;

Т-задачи относятся к классу теоретических задач и, как правило, труднее Е-задач.

D-задачи, в которых читателю предлагается проделать опущенные в тексте книги подробные выкладки (способ превращения пособия по решению задач в ’’место свалки” устраняемых из книги технических деталей!);

S-за дачи, в которых разрабатывается упомянутое выше программное обеспечение;

С-задачи, требующие для своего решения ЭВМ.

Ясно, что при наличии прикладного программного обеспечения С-задачи могут быть дополнены множеством других задач, посвященных экспериментам с методами идентификации и обработки данных. Здесь такие задачи не конкретизируются, однако мы поддерживаем дерзновенное побуждение читателя осуществить такие исследования самостоятельно.

Выражение признательности. Любой автор технической книги бывает признателен тем, кто ввел его в рассматриваемый предмет, и тем, кто сделал написание книги возможным. Мой интерес к идентификации систем восходит к годам моего студенчества на факультете автоматического управления университета Лунда. Профессор Карл Йохан Острем познакомил меня с предметом, а его серьезное отношение к исследованиям всегда было для меня эталонной моделью. С тех пор мне довелось работать со многими людьми, способствовавшими расширению моих знаний. И я благодарен всем моим соавторам: Андерсу Алену, Питеру Кэйн- су, Дэвиду Фалконеру, Фархату Фнайешу, Бену Фридландеру, Михелю Геверсу, Кейту Главеру, Ивару Густавссону, Тому Кайлату, Стефану Льюнгу, Мартину Морфу, Тому ван Овербэку, Йорме Риссанену, Торстену Седерстрему, Гете Сул- бранду, Еве Трулсон, Бо Уалбергу, Дону Вибергу и Жен-Донг Юану.

Эта книга создавалась на многих семинарах и во время нескольких коротких лекционных курсов, которые мне довелось читать в разных странах мира. Замечания участников семинаров способствовали поиску подходящего плана, структуры и характера подачи материала.

Несколько человек ознакомились с разными вариантами рукописи и позволили мне по-новому осмыслить ее содержание. Прежде всего я бы назвал Михеля Геверса, который прочитал первый вариант и оказал мне неоценимую помощь при редактировании текста; Роберта Кошута и Арайя Нехораи, которые смотрели рукопись в Стэнфорде и Йеле соответственно, и Яна Холста, который вел дискуссионные обсуждения материалов книги в Датском техническом университете и также собрал полезные замечания. В Массачусетском технологическом институте я вел общий курс с Фредом Швенке и его лекции, как и его замечания, позволили внести ясность во многие места рукописи. Много полезных замечаний было сделано и студентами разных курсов и потоков. Упомяну, в частности, Джорджа Харта, Жана Лаваля, Ивана Марель, Бретта Риджли и Бо Уалберга. Несколько моих коллег быг»и настолько любезны, что согласились критически оценить рукопись. Я особо признателен Хиро Акаике, Хрису Бирнесу, Петеру Фалбу, Меир Федер, Жен Франклин, Классу Челлстрему, Дэвиду Раннерту, Торстену Седерстрему, Петре Стойка и Петеру Уиттлу.

Сванте Гуннарссон и Стэн Гранат выполнили эксперименты, описанные в разделе 17.2. Бо Уалберг способствовал развитию частотных интерпретаций, Альф Иса к ссон выполнил рис. 14.4.

Большей частью безупречно выполненной работы по координации и согласованию многих вариантов рукописи я обязан Ингегерд Стенлунд при действенной помощи Уллы Саланек и Карин Пени. Марианна Энсе-Лундберг квалифицированно подготовила все рисунки. Я глубоко ценю затраченные ими усилия.

Написание книги требует времени и мне, скорее всего, не удалось бы завершить эту работу, не имей я привилегии в виде семестровых творческих отпусков для научной работы. Первый набросок этой книги бьы написан во время такой годичной поездки в Стэнфордский университет в 1980-81 годах. Первый вариант того текста, который в конечном счете превратился в последнюю редакцию, я написал во время полугодичного пребывания в Национальном университете Австралии (г. Канберра) в 1984 году. Работа над текстом была завершена в 1986 году, когда я находился в Массачусетском технологическом институте. Я благодарен Тому Кай- лату, Брайану Андерсону и Саньо Миттер (а также Отделу научных исследований армии США в рамках контракта DAAG-29-84-K-005), которые сделали эти поездки возможными и обеспечили замечательные условия для работы. Важную поддержку я получил также от Шведского национального совета по техническому развитию (STUF).

Работа по написанию книги (я уж не говорю о размышлении над ней) независимо от того, привязана ли она к творческому отпуску или совмещена с повседневной деятельностью, неизбежно требует сверхурочных затрат. И я благодарю мою семью: Анн-Кристин, Йохана и Арвида за то время, которое они мне предоставили.

Леннарт Льюнг . Линчепинг, Швеция

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

arg(z) — аргумент комплексного числа z;

argmin/(x) — значение х, минимизирующее функцию /(х);

х^ Е AsF(n, т^ — последовательность случайных величин хы, которая слабо сходится к случайной величине, имеющей F-распределение с п и т степенями свободы;

xN Е Asx2 (и) — последовательность случайных величин х^, которая слабо сходится к случайной величине, имеющей %2-распределение с п степенями свободы;

xN Е AsN(m, Р) - последовательность случайных величин х^, которая слабо сходится к нормально распределенной случайной величине со средним т и матрицей ковариации Р, см. формулу (1.17);

Cov(x) — матрица ковариации случайного вектора х, см. формулу (1.4);

det Л — определитель матрицы А;

dim0 — размер (число строк) вектора-столбца 0;

Ех — математическое ожидание случайного вектора х, см. формулу (1.3);

_1 N

Ех^ - Ит — S Ex(t\ см. (2.60);

N -* <» N г = 1

О(х) — функция, стремящаяся к 0 так же, как х;

о (х) — функция, стремящаяся к 0 быстрее, чем х;

х Е N^m, Р) - нормально распределенная случайная величина со средним т и матрицей ковариации Р, см. (1.6);

Rez — вещественная часть комплексного числа z;

<R(/) — область значений функции /;

- d-мерное евклидово пространство;

х = sol{/(x) = 0}— множество решений (или, просто, решение) уравнения

f^ = 0;.

1г(Л) - след (сумма элементов главной диагонали) матрицы А;

Var(x) - дисперсия случайной величины х;

Л-1 — обратная матрица к матрице А;

АТ — матрица, транспонированная по отношению к матрице А;

А-т — матрица, транспонированная по отношению к матрице Л”1;

F — комплексное число, сопряженное числу z;

У*а = О (s), У<$ + 1),. • . , У0)};

/= 0(0, у(2),..., ИО);'

UN (^) ~ преобразование Фурье от функции иN, см. (2.37);

Rv<t) = EuQ^a - т),см. (2.61);

Rsw(t) = Es(t)wT(t - t),cm. (2.62);

Фу (to) - спектр сигнала и, т.е. преобразование Фурье от Rv(t), см. (2.63);

Ф^(со) - взаимный спектр сигналов s и w, т.е. преобразование Фурье от RsvAt), см. (2.64);

А1 N

^(т) = — 2 s(O$r(r - т), см. (6.10);

N t = 1

Ф^У (to) - оценка спектра и по данным гЛ, см. (6.48);

и (Г I t - 1) - прогноз значения сигнала и (t) по данным иг ” 1; d

— p^g) _ градиент И(0) по 6, т.е. вектор-столбец размера dim0, если функ- dO

ция V скалярна;

Иг (0 ) — градиент функции V по ее аргументу;

Zf(e, ®) - частная производная I по е;

5// — индекс Кронекера, который равен 0, если / ^ /;

«W = 5 *0;

93(0о,е) - е-окрестность точки 0О, т.е. множество {0: 110 - 0О 11<е};

^ - левая сторона определяется правой частью;

I * I — (евклидова) норма вектора;

II • II - норма матрицы (по Фробениусу), см. (2.89).

Символы, использованные для обозначений

В этот список включены символы, получившие в книге повсеместное использование. Иногда некоторые из них используются в другом смысле.

D^ — множество значений параметра 0 в рамках модельной структуры Л, см. (4.119);

Dc - множество сходимости оценок 0, см. (8.23);

е(0 ~ помеха в момент t; обычно {е(0, t = 1,2,...} - дискретный белый шум (последовательность взаимно независимых случайных величин с нулевым средним и дисперсией X);

е0 (г) — ’’истинная” помеха, действующая в данной системе S, см. (8.2);

Д(х), /е (л, 0) - функция плотности распределения вероятностей случайной величины е, см. (1.2) и (4.4);

Gto) - передаточная функция от и к у, см. (2.20);

G(q, 0) — передаточная функция модельной структуры, соответствующей значению параметра 0, см. (4.4);

Go (^) — ’’истинная” передаточная функция данной системы от и к у, см. (8.7);

G^ to) - оценка G^ по данным ZN;

G* to) - предельная оценка G (q), см. (8.68);

8^to) - разность GN(q) - Goto),cM. (8.15);

3 — множество передаточных функций, получающихся в рамках данной структуры, см. (8.44);

Я(^), H(q, 0), Ho{q), HN{q), Н* to), HN^, 3f - аналогичны соответствующим характеристикам G, но для передаточных функций от е к у\

L to) - предварительный фильтрошибок предсказания, см. (7.10);

Z(e), Z(e, 0), /(е, Г, 0) - используемая в критерии норма ошибок предсказания, см. (7.11), (7.16), (7.18);

Л — структура модели, или модельная структура (отображение, действующее из пространства параметров в множество моделей), см. (4.119);

J£(0) - конкретная модель, соответствующая значению параметра 0, см. (4.119);

*АС* - множество моделей (обычно порождается как множество значений, принимаемых структурой модели), см. (4.115) и стр. 93;

Ре - асимптотическая матрица ковариации 0 , см. (9.11);

q, q”x — операторы прямого и обратного сдвига, см. (2.15);

8 — ’’истинная система”, см. (8.7);

ТОГ) = [Gto), Н^А, см. (4.106);

T^q, 0), To0iV Тдг(^), T^Oi) - аналогичны соответствующим конструкциям для G и Я;

и (Г) — входной сигнал в момент Г;

VN (0, Z^) - минимизируемая критериальная функция, см. (7.11);

lz(0) - предельное значение критериальной функции, см. (8.28);

. и (Г) - сигнал помехи в момент Г;

w(r) - обычно помеха в момент г, как правило, понимается в контексте как точное значение истинной помехи;

х(г) — вектор состояния (размера п) в момент Г;

.у(Г) - выходной сигнал в момент Г;

v(rl0) - прогноз значения выходного сигнала в момент t на основе модели ^(0) и данных ZT ~ х, см. (4.6);

z(0 = КО «(О)Г, см. (4.110);'

^={«(0)^(0)«VO.jWJ; а

6 (Г, 0 ) — ошибка предсказания, равная у (Г) — у (Г I 0 );

X — обычно .дисперсия; в главе И — коэффициент забывания, см. (11.6), (11.63);

0 - вектор, используемый для параметризации моделей размерности d, см. (4.4),

(4.5), (5.53);

On>Oq,0*,On- аналогичны соответствующим конструкциям для G;

^ (0 “ регрессионный вектор в момент Г, см. (4.11) и (5.34);

Хо(0 = КО ео(О1 ^ см. (8.14);.

Ф0» 0) — градиент у0 I 0) по 0, d-мерный вектор-столбец, см. (4.118b);

50V 50» А) - ’’корреляционный вектор” (вектор инструментальных пере

менных) , см. (7.36);‘

Т#(^,0) - градиент Т(^,0) по 0 ((d X 2)-матрица),см. (4.122).

Список аббревиатур

ARARX - см. табл. 4.1;

ARMA — авторегрессия со скользящим средним, см. табл. 4.1;

ARM АХ — авторегрессия со скользящим средним с внешним входным сигналом, см. табл. 4.1;

ARX — авторегрессия с внешним входным сигналом, см. табл. 4.1;

BJ — модельная структура Бокса-Дженкинса, см. табл. 4.1;'

ETFE — эмпирическая оценка передаточной функции, см. (6.24);

FIR — модель конечной импульсной реакции, см. табл. 4.1.

Глава I

ВВЕДЕНИЕ

Формирование моделей на основе результатов наблюдений и исследование их свойств - вот, по существу, основное содержание науки. Модели (’’гипотезы”, ’’законы природы”, ’’парадигмы” и т.п.) .могут быть более или менее формализованными, но все обладают той главной особенностью, что связывают наблюдения в некую общую картину. Решение задачи построения математических моделей динамических систем по данным наблюдений за их поведением составляет предмет теории идентификации, которая тем самым становится элементом общей научной методологии. А поскольку мы ’’окружены” динамическими системами, методы идентификации систем имеют широкие приложения. Цель этой книги заключается в том, чтобы дать представление об имеющихся методах идентификации, их обосновании, свойствах и применении.

Динамические системы

Говоря нестрого, система - это объект, в котором происходит взаимодействие между разнотипными переменными и формируются наблюдаемые сигналы.

Интересующие нас наблюдаемые сигналы обычно называют выходными сигналами. Все остальные сигналы называют возмущениями, причем возмущения могут

Рис. 1.1. Система с выходным сигналом у, входным сишалом и, измеряемой помехой w и нсизмеряемой помехой и

быть разбиты на два класса: измеряемые непосредственно и доступные лишь косвенной оценке по воздействию, оказываемому ими на выходной сигнал. С точки зрения описания объекта разница между входными сигналами и измеряемыми возмущениями (помехами) часто оказывается несущественной. См. рис. 1.1.

Очевидно, что понятие системы сформулировано достаточно общо, поэтому не удивительна та важная роль, которую оно играет в современной науке. В рамках системного подхода решаются самые разнообразные задачи. Не пытаясь дать общего определения системы, проиллюстрируем это понятие на нескольких примерах.

Пример 1.1. Дом с солнечным подогревом.

Рассмотрим дом с солнечным подогревом, изображенный на рис. 1.2. Принцип функционирования системы основан на том, что солнечные лучи разотревают воздух в солнечной панели,

и: скорость поддува

Рис. 1.2. Дом с солнечным подогревом

I:солнечное излучение

и: ветер. внешняя

температура и т.д.

^

у: температура 'теплового

аккумулятора

Рис. 1.3. Система дома с солнечным подогревом: и - входной сигнал; I

у -■ выходной сигнал; и - неизмеряемая помеха

- измеряемая помеха;

250500750 t.MUH

Рис. 1.4. Температура теплового аккумулятора у, скорость поддува и, интенсивность солнечного излучения/ за 16-часовой отрезок времени. Интервал между-замерами - 10 мин

представляющей собой иабор прозрачных трубок. Этот воздух подается в тепловой аккумулятор, в качестве которого используется заполненный камнями ящик. Так накапливаемая тепловая энергия может использоваться для отопления дома. Интерес представляет вопрос о том, какое влияние оказывают иа температуру теплового аккумулятора изменения солнечного излучения и скорости поддува. Структурная системы изображена на рис. 1.3, а на рис. 1.4 показаны записи данных наблюдений в течение 16 часов. Замеры производились каждые 10 мин.

и: с илы ветраи волни: с илы ветраи волнрулейрулей

и: с илы ветраи волн

и: с илы ветраи волн

рулей

рулей

Рис. 1.5. Движение судна в горизонтальной плоскости (6 - команда на руль, ^ - курсовой угол)

Рис. 1.6. Система динамики рулевого управления (6 - входной сигнал, V/ - выходной сигнал, и - неизмеряемая помеха)

Рис. 1. 7. Входо-выходные данные для системы рулевой динамики судна (интервал между замерами -10 с)Рис. 1. 7. Входо-выходные данные для системы рулевой динамики судна (интервал между замерами -10 с)

Рис. 1. 7. Входо-выходные данные для системы рулевой динамики судна (интервал между замерами -10 с)

Рис. 1. 7. Входо-выходные данные для системы рулевой динамики судна (интервал между замерами -10 с)

Рис. 1.8. Генерация речи

и: воздушный поток от вибрирующих связоки: воздушный поток от вибрирующих связокУ: ЗвукУ: ЗвукОЮ20t^HCОЮ20t^HC

и: воздушный поток от вибрирующих связок

и: воздушный поток от вибрирующих связок

У: Звук

У: Звук

ОЮ20t^HC

ОЮ20t^HC

Рис. 1.9. Речевая система (у - выходной сигнал, и - неизмеряемая помеха)

Рис. 1.10. Речевой сигнал (давление воздушного потока). Замеры осуществляются каждые 0,125 мс

Пример 1.2. Динамика управления судном.

Движение судна происходит под действием тяговой силы виита и зависит от положения рулей, силы и направления ветра и воли. См. рис. 1.5. В качестве подпроблемы можно рассмотреть частную задачу о зависимости курса судиа (направлеиия движения носовой части) от положеиия рулей при постоянном тяговом усилии. Эта система изображена иа рис. 1.6. Записи данных наблюдений показаны на рис. 1.7. Длительность интервала наблюдений составила 25 мин, замеры осуществлялись каждые 10 с.

Пример 1.3. Речь человека.

Звуки человеческого голоса порождаются вибрацией голосовых связок или, если это не речь, потоком воздуха, проходящим по горлу, и формируются в результате изменения геометрии голосового тракта. См. рис. 1.8. В этой системе выходкой сигнал представляет собой звуковые колебания (т.е. изменения давления воздуха), но внешние воздействия оказываются ненаблюдаемыми. См. рис. 1.9. Данные по этой системе приведены на рис. 1.10.

Все эти системы являются динамическими, т.е. такими, в которых текущее значение выходного сигнала зависит не только от текущих, но и более ранних значений внешних воздействий. Выходные данные динамических систем с ненаблюдаемыми внешними воздействиями (пример 1.3) называют временными рядами. Наиболее широко этот термин используется в экономических приложениях. Очевидно, что только перечисление примеров динамических систем может занимать очень много места и относиться ко многим научным направлениям.

Модели; Типы моделей и их использование

Имея дело с системой, мы нуждаемся в какой-то схеме соотнесения между собой характеризующих систему переменных. В широком смысле мы будем называть совокупность предполагаемых связей между наблюдаемыми сигналами моделью. Очевидно, что модели могут принимать самую разную форму и записываться с разной степенью математической детализации. Выбор того уровня сложности, который делает модель полезной, определяется планируемым использованием.

Несомненно, что в повседневной практике при работе с системами пользуются умозрительными (субъективными) моделями, в которых математики нет вообще. Так, например, для управления автомобилем достаточно знать, что к повороту налево приводит вращение руля против часовой стрелки, а также располагать более тонким опытом соответствующей программы мышечных усилий. При этом важность и сложность такого опыта, конечно, не следует недооценивать.

Для описания свойств некоторых систем подходят числовые таблицы и (или) графики. Такие онисания будут называться графическими моделями. Например, линейные системы могут быть единственным образом представлены своими импульсными реакциями, реакциями на единичный скачок или частотными характеристиками. Соответствующие графические представления широко используются в различных задачах проектирования. Хорошо приспособлены к описанию на языке графических моделей и некоторые нелинейные звенья, например, клапаны.

В более сложных приложениях могут понадобиться такие модели, в которых соотношения, описывающие связи между системными переменными, задаются в виде разностных и дифференциальных уравнений. Тжие модели будут называться математическими (или аналитическими) моделями. Математические модели могут быть снабжены набором поясняющих прилагательных (непрерывные и дискретные по времени, сосредоточенные и распределенные, детерминированные или стохастические, линейные или нелинейные и т.д.) в зависимости от типа используемых разностных или дифференциальных уравнений. Математическое моделирование является составной частью всех технических и естественно-научных дисциплин. Действительно, основная задача техники заключается в том, чтобы используя математическую модель, найти хорошее проектно-конструкторское решение. Математические модели являются также инструментальным средством решения задач имитационного

моделирования и Предсказания (прогнозирования), которые часто возникают не только в технике, но и экономике, экологии, биологии и других областях знания.

В процессе машинного моделирования моделью системы является программа для ЭВМ. Программа, которой описывается поведение сложных систем, может представлять собой совокупность взаимодействующих между собой подпрограмм и просмотровых таблиц и формализация такой совокупности в виде некоторой математической модели может оказаться неразрешимой задачей. Такие компьютеризованные представления мы будем называть программными (или машинными^ моделями. Такие модели со временем будут играть все большую роль в процессе принятия решений в сложных системах.

Построение моделей. Построение моделей опирается в основном на данные наблюдений. Так, например, субъективная модель динамики рулевого управления автомобиля основана на личном опыте водителя. Графические модели используют результаты некоторых измерений. Существует два способа (а также их комбинации) формирования математических моделей. Первый способ состоит в том, чтобы, образно выражаясь, ’’расщепить” систему на такие подсистемы, свойства которых очевидны из ранее накопленного опыта. По существу, это означает, что мы опираемся на ’’законы природы” и другие надежные соотношения, основанные на ранее проведенных экспериментальных исследованиях. Формальное математическое объединение этих подсистем становится моделью всей системы. Такой подход называют моделированием, в его рамках проведение натурных экспериментов не обязательно. Конкретный вид процедуры моделирования сильно зависит от прикладной задачи и часто определяется традиционными и специфическими средствами из рассматриваемой прикладной области. Основной прием сводится к структуризации процесса в виде блок-схем, блоки которых состоят из более простых элементов. Процесс восстановления системы по этим простым блокам все чаще выполняется с помощью ЭВМ и приводит не к математической, а к машинной модели системы.

В другом способе построения как математических, так и графических моделей непосредственно используются экспериментальные данные. В этом случае ведется регистрация входных и выходных сигналов системы (см., например, рис. 1.4, 1.7 и 1.10), и модель формируется в результате обработки соответствующих данных. Этот способ называется идентификацией.

Фиктивность представления об ’’истинной” системе. Реальная система отличается от построенной нами математической модели. Можно сказать, что мир математических описаний отделен от реального мира непреодолимым, но прозрачным экраном. Глядя на этот экран-окно, мы можем сравнивать некоторые особенности физических систем и соответствующих им математических моделей, но никогда не сможем гарантировать их точного совпадения. Вопрос о ’’податливости” природы математическому описанию имеет глубокие философские корни, поэтому в практическом плане необходимо располагать более прагматической концепцией достоверности модели. Приемлемость модели следует понимать не в гитане ее ’’истинности”, а скорее в плане ’’полезности”. Тем не менее, мы время от времени будем использовать понятие ’’истинной системы”, определенной некоторой математической моделью. Это понятие оказывается удобным при синтезе и обсуждении свойств методов идентификации. В рамках концепции ’’истинной” системы предполагается, что данные наблюдений порождены некоторой идеализированной системой, которая описывается однозначно определенной совокупностью математических правил.

Процедура идентификации системы. Три основных компонента

Конструирование моделей по данным наблюдений включает три основных компонента.

Данные.

Множество моделей-кандидатов.

Правило оценки степени соответствия испытываемой модели данным наблюдений.

Прокомментируем каждый из этих компонентов.

\. Данные наблюдений. Входо-выходные данные иногда регистрируются в процессе проведения целенаправленных идентификационных экспериментов, когда пользователь может определить перечень и моменты измерения сигналов, причем некоторые из входных сигналов могут быть управляемыми. Задача планирования экспериментов, таким образом, состоит в том, чтобы, учитывая возможные ограничения, выбрать максимально информативные данные о сигналах системы. В некоторых случаях пользователь может быть лишен возможности влиять на ход эксперимента и должен опираться на данные нормальной эксплуатации.

Множество моделей. Множество моделей-к ан дидатов устанавливается посредством фиксации той группы моделей, в пределах которой мы собираемся искать наиболее подходящую. Несомненно, это наиболее важная и в то же время наиболее трудная часть процедуры идентификации. Именно на этом этапе знание формальных свойств моделей необходимо соединить с априорным знанием, инженерным искусством и интуицией. Множество моделей иногда становится результатом тщательного моделирования, после чего на основе законов физики и других достоверных знаний формируется модель, включающая физические параметры с еще не определенными значениями. Другая возможность состоит в том, чтобы без всякого физического обоснования использовать стандартные линейные модели. Множество таких моделей, у которых параметры рассматриваются прежде всего как варьируемые средства подстройки моделей к имеющимся данным и не отражают физики процесса, называется черным ящиком. Множества моделей с настраиваемыми параметрами, допускающими физическую интерпретацию, называют серыми ящиками.

Определение на основе данных наблюдений "наилучшей" модели множества. Эта часть есть собственно метод идентификации. Оценка качества модели связана, как правило, с изучением поведения моделей в процессе их использования для воспроизведения данных измерений.

Подтверждение модели. В результате осуществления всех трех этапов процедуры идентификации мы получаем, хотя бы в неявной форме, конкретную модель: одну из множества, причем такую, которая в соответствии с выбранным критерием наилучшим образом воспроизводит данные наблюдений..

Остается проверить, ’’достаточно ли хороша” модель, т.е. выполняет ли модель свое предназначение. Такие проверки известны под названием процедур подтверждения модели. К ним относятся различные процедуры оценивания соответствия моделей данным наблюдений, априорной информации и поставленной прикладной цели» Неудовлетворительное поведение модели по каждому из этих компонентов заставляет нас отказываться от модели, тогда как хорошее ее функционирование создает определенную степень доверия к модели. Модель никогда нельзя считать окончательным и истинным описанием системы. Ее скорее можно рассматривать как способ достаточно хорошего описания тех аспектов поведения системы, которые представляют для нас наибольший интерес.

Контур идентификации системы. Процедура идентификации системы порождает следующую естественную логику действия: (1) собрать данные; (2) выбрать множество моделей; (3) выбрать наилучшую в этом множестве модель. Однако вполне

Априорное знание

Рис. 1.11. Контур идентификации системы

вероятно, что первая из так найденных моделей не выдержит проверки на этапе подтверждения. Тогда нужно вернуться и пересмотреть различные шаги процедуры.

Существует несколько причин несовершества моделей:

численный метод не позволяет найти наилучшую по выбранному критерию модели;

критерий выбран неудачно;

множество моделей оказалось неполноценным в том смысле, что в этом множестве вообще нет ’’достаточно хорошего” описания системы;

множество данных наблюдений не было достаточно информативным для того, чтобы обеспечить выбор хороших моделей.

По существу, главным в приложениях идентификации является итеративное решение всех этих вопросов, особенно третьего, на основе априорной информации и результатов предыдущих попыток. См. рис. 1.11. Очевидно, что важным инструментальным средством решения этой итеративной задачи является диалоговое программное обеспечение.

Организация материала книги

Чтобы овладеть средствами идентификации в контуре на рис. 1.11, пользователь должен быть знаком с целым рядом вопросов, а именно, он должен знать:

Существующие методы идентификации и их обоснование, а также типовые множества моделей.

■ Глава 1U

Ьланиробание экспериментов

Данные

Главы U и 5

Глава 16

Выбор множества моделей

> Главы 8 ид

Главы 6 и 7

Глава 15

Ьыбор критерия согласия

Главы Юи 11

Расчет модели

Глава 16

Подтверждение модели

Имеющиеся варианты выбораИмеющиеся варианты выбораВыборпользователяВыборпользователяАнализАнализРис. 1.13. Связи между главами книгиРис. 1.13. Связи между главами книгиРис. 1.12. План книги

Имеющиеся варианты выбора

Имеющиеся варианты выбора

Выборпользователя

Выборпользователя

Анализ

Анализ

Рис. 1.13. Связи между главами книги

Рис. 1.13. Связи между главами книги

Свойства идентифицируемой модели и их связь с основными компонентами процедуры: данными, множеством моделей и критерием идентификации.

Численные методы расчета оценок.

Разумные схемы выбора планов экспериментов, множеств моделей и критерия идентификации как на основе априорной информации, так и по данным наблюдений.

На деле лицо, использующее процедуры идентификации, может обнаружить, что он (или она) является пользователем интерактивного пакета программ для ре- 22 '

шения задач идентификации. Решение вопросов 1 и 3 реализовано непосредственно в пакете и для успешного поиска ответа на вопрос 4 важно хорошо разбираться в вопросе 2. Это объясняет подзаголовок книги: ’’Теория для пользователя” и именно вокруг этой темы концентрируется ее материал.

Организация материала в книге подчинена идее охарактеризовать список обще- употребимых и полезных множеств моделей, непосредственно перечисляемых в главах 4 и 5. Известные методы идентификации представлены в главах 6 и 7 и исследуются в главах 8 и 9. Численные методы решения прикладных задач идентификации в автономном режиме и непосредственно в контуре управления описываются в главах 10 и 11. После некоторого предварительного обсуждения (главы 12 и 13) рассматриваются задачи, связанные с решением вопроса 4 о выборе пользователей. Им в основном посвящены главы 14-16. Кроме того, в главах 2 и 3 приводится некоторая начальная сводка необходимых формальных результатов, а в главе 17 описываются применения методов идентификации для решения практических задач.

На рис. 1.12 приведена схема размещения материала книги в привязке к задачам, решаемым в контуре идентификации систем. Блок-схема взаимосвязи глав книги приводится на рис. 1.13. Помимо прочего с помощью этой блок-схемы читатель сможет определить, какие главы могут быть опущены без ущерба для понимания материала всей книги.

О концептуальной основе книги. Предмет системной идентификации трактуется в этой книге на весьма общей концептуальной основе. Мы нс ограничиваем рассмотрение линейными моделями или квадратичным критерием и не предполагаем, что система может быть описана в рамках конкретного множества моделей. Тем не менее нередко приводятся доказательства и выписаны явные формулы для некоторых частных случаев, например, случая одномерной системы и квадратичного критерия. Целью при этом являлось, конечно, выпукло обрисовать основные идеи, не скрывая их за техническими деталями. Соответствующие ссылки, как правило, адресуют читателя к результатам более общих исследований.

Обычно задачи параметрического оценивания и идентификации трактуются как вероятностные. Мы в этой книге придерживаемся в основном той же точки зрения. Однако мы пытаемся быть и прагматиками, избегающими вероятностных интерпретаций. Иначе говоря, описываемые нами методы и приводимые рекомендации должны допускать и невероятностное толкование, несмотря на то, что ’’оптимальность” соответствующих решений являлась следствием именно их вероятностной формулировки. Вероятностные и статистические конструкции описываются в Приложениях I и II соответственно. Эти дополнения можно прочесть заранее или обращаться к ним по мере необходимости. Как бы то ни было, в основном изложении этот дополнительный материал используется мало.

Комментарии к библиографии '

Литература по идентификации систем со всеми ее разделами весьма обширна. Среди наиболее общих монографий можно упомянуть книги Бокса и Дженкинса [62], Эйкхоффа [110], Сприета и Ванстеенкисте [384] как достаточно полные исследования, относящиеся к некоторым практическим разделам идентификации, и книги Гудвина и Пейна [141], Дэвиса и Винтера [93] и Седерстрема и Стойки [375] с более абстрактным изложением теории. Кашьяп и Рао [210] подчеркивают, что в их толковании теории центральное место занимают процедуры подтверждения и выбора моделей, а Седерстрем и Стойка [374] особое внимание уделяют методам инструментальных переменных. Среди работ по рекуррентным методам идентификации отметим книги Льюнга и Седерстрема [262] и Янга [448]. К пред-

мету идентификации систем вполне естественно отнести статистические исследования моделей временных рядов, описанные в монографиях Т. Андерсона [14], Хэннана [163] и Бриллингера [63].

Из сборников работ можно упомянуть книги под редакцией Мера и Лайниоти- са [85], Эйкхоффа [111], Хэннана, Кришнайа и Рао [173] и Леондеса [232] и тематические журнальные выпуски под редакцией Кайлафа, Мера и Мейна [197] и Изерманна [187]. Большое число статей, относящихся к разным разделам теории идентификации, можно найти в трудах симпозиумов IFAC по идентификации и оцениванию параметров (Прага, 1967, 1970; Гаага, 1973; Тбилиси, 1976; Дармштадт, 1979; Вашингтон, 1982; Йорк, 1985; Биджинг, 1988)).

Философские аспекты математического моделирования реальных объектов рассмотрены, в том числе, в работе Поппера [326]. Методология моделирования на основе законов физики, а не данных наблюдений, обсуждается во многих книгах, см., например, работы Уэлстеда [426], Николсона [307] и Фредерика и Клоза [121] с описываемыми в них техническими приложениями. Подобные исследования существенно дополняют представления о методах выбора множеств моделей (см. раздел 1.3 и главу 16).

Во многих книгах рассматриваются вопросы применения методов моделирования и идентификации в различных прикладных областях. См., например, монографии Гранджера и Ньюболда [145] или Малинво [274] (эконометрика), Годфри [13 7] (биология), Робинсона и Трейтеля [345] или Менделя [288] (геофизика), Дадли [102] (электромагнитные поля), Маркеля и Грея [277] (речевые сигналы) и Бека и ван Стратена [37] (экология). Работы советских авторов перечислены в обзоре Н. Райбмана [332].

Часть!

СИСТЕМЫ И МОДЕЛИ

Глава 2

СТАЦИОНАРНЫЕ ЛИНЕЙНЫЕ СИСТЕМЫ

Стационарные линейные системы, несомненно, представляют собой наиболее важный класс динамических систем, рассматривающихся в теории и на практике. Нужно понимать, что такие системы соответствуют идеализированному представлению о реально протекающих процессах. Но несмотря на это, такое приближение оправдано, а проектные решения, основанные на использовании линейной теории, во многих случаях приводят к хорошим результатам.

Курсы по теории линейных систем входят во все типовые программы инженерного образования и, несомненно, читателю кое-что о них известно. Тем не менее, в этой главе мы напомним те основные положения теории, которые будут использованы в дальнейшем изложении. В разделе 2.1 рассматриваются импульсная реакция и различные подходы к описанию и интерпретации помех, вводится также понятие передаточной функции. В разделе 2.2-исследуются частотные представления и вводится понятие периодограммы. В разделе 2.3 развивается единый подход к спектральному описанию детерминированных и случайных сигналов, который затем проводится по всей книге. В разделе 2.4 доказан основной результат об эргодичности. Всюду изложение ведется для системы со скалярным входным и скалярным выходным сигналами. Аналогичные выражения для многомерных систем представлены в разделе 2.5. '

Импульсные реакции, помехи и передаточные функции

Импульсная реакция. Рассмотрим систему со скалярным входным сигналом u(t) и скалярным выходным сигналом yQ) (рис. 2.1). Говорят, что система стационарна, если форма ее реакции на произвольный входной сигнал не зависит от выбора начала отсчета времени. Говорят, что система линейна, если ее выходная реакция на линейную комбинацию входных сигналов совпадает с линейной комбинацией выходных реакций на каждый отдельным входной сигнал. Кроме того, систему называют причинно обусловленной, если значение выходного сигнала в произвольный момент времени зависит от значений входного сигнала в более ранние моменты времени до текущего момента включительно.

Хорошо известно, что линейная, стационарная, причинно обусловленная система может быть описана импульсной реакцией (или весовой функцией) g^r), а именно:

Я0 = 7 g(r)u(t-т)(!т. (2.1) о

Зная {#(т)} 7 = о и w(s) для $ < Г, можно произвести последовательный расчет выходного сигнала у (г) ($ < г) для любого входного сигнала. Таким образом, импульсная реакция полностью определяет поведение системы.

(2-2)(2-2)Дискретизация. Как следствие типового подхода к сбору информации почти по всей книге мы будем иметь дело с наблюдениями входных и выходных сигналов, относящихся к дискретным моментам времени. Таким образом, будем предполагать, что у (г) наблюдается в выборочные моменты времени tk = кТ (к = = 1,2,...):

(2-2)

(2-2)

У(КП = $ g^u^kT-r^dT. о

Интервал Т будем называть выборочным интервалом. Можно, конечно, рассматривать случаи неравномерно расположенных моментов выборочных измерений.

u<t)u<t)у(О у(О Рис. 2.1. СистемаРис. 2.1. Система

u<t)

u<t)

у(О

у(О

Рис. 2.1. Система

Рис. 2.1. Система

(2.3)(2.3)В компьютеризованных системах управления входной сигнал и (г) чаще всего постоянен в интервале между выборочными моментами времени:

(2.3)

(2.3)

u(t) = ukl кТ<г<(к+\)Т.

Будучи обусловленным в основном чисто практическими соображениями, это обстоятельство чрезвычайно упрощает анализ системы. Подстановка (2.3) в (2.2) дает

у(кТ)= f g^u^kT- T^dr = 2 f g(r)u(kT-T)dT~ оi = I <l-l)T

ooITco

= 2 [$ g^dT ] uk-i = 2 gT^uk-b(2-4)

/ = 1(/- I)T/ = I

где it

StW J g(r)dr.(2.5)

(/-I)T

Соотношение (2.4) определяет значения выходного сигнала в выборочные моменты времени. Отметим, что для входных сигналов, удовлетворяющих условию (2.3), соотношение (2.4) является точным, и для расчета отклика на входной сигнал достаточно знать последовательность {gr(01 7= i • Соотношение (2.4) описывает систему с дискретными, или выборочными, наблюдениями, и мы будем называть последовательность {Ят(01 7= I импульсной реакцией этой системы.

Даже если входной сигнал не является кусочно-постоянным и не удовлетворяет условию (2.3), запись (2.4) может оставаться приемлемой аппроксимацией при условии, что изменения в выборочном интервале не слишком велики. См. также соотношения (2.21)- (2.26).

К обозначениям из формул (2.3)- (2.5) мы будем прибегать в тех случаях, когда существенны выбор начала отсчета и величина интервала Т. Но в большинстве случаев обозначения можно упростить, считая, что величина Т равна 1, и используя для нумерации дискретных моментов времени индекс t. Тогда можно переписать (2.4) в виде

у (Г) = 2 g(k)u(t - к"), Г = 0,1,2,... (2.6) к = 1

Для последовательностей будет также использоваться следующее обозначение:

У$ = О($), У<$ + ОУ<0\<2-7)

и, с еще большим упрощением записи,

УI = yV

Помехи. Используя формулу (2.6), можно произвести точный расчет выходного сигнала, если известен входной сигнал. Последнее в большинстве случаев нереально. Всегда найдутся такие неконтролируемые сигналы, которые также влияют на поведение системы. В рамках линейной теории используется предположение, что влияние

Рис. 2.2. Система с помехойРис. 2.2. Система с помехой

Рис. 2.2. Система с помехой

Рис. 2.2. Система с помехой

этих сигналов сводится к аддитивной компоненте и (г) в выходном сигнале (см. рис. 2.2):

У (О = 5 g(k)u(r - к) + и(г).(2.8)

к = I

Существует множество источников и причин возникновения таких шумовых добавок. Отметим некоторые из них.

Шум наблюдений. Датчики-измерители сигналов подвергаются воздействию помех и дрейфу.

Неконтролируемые входы. В систему поступают сигналы, которые имеют характер входных, но не контролируются пользователем. Если взять, например, самолет, то направление его полета зависит не только от положения рулевого оперения и элеронов, но также от порывов ветра и турбулентности атмосферы. Другой пример — это помещение с центральным отоплением, в котором температура зависит не только от управляемой степени нагрева радиаторов, но и от непредсказуемого, постоянно меняющегося числа людей в помещении (^ 100 Вт на человека) .

Характер помех может изменяться в широком диапазоне. Классическим способом описания помех в задачах управления является введение скачкообразных и импульсных воздействий, в то же время в рамках стохастической теории управления помехи задаются как реализации случайных процессов. На рис. 2.3 и 2.4 приведены примеры помех с типичными, но совершенно разными характеристиками. В некоторых случаях помехи могут быть измерены раздельно, однако более типична ситуация, когда воздействие помех обнаруживается лишь по тому совокупному эффекту, который порождает действие помех в выходном сигнале. Разумеется, если известна импульсная реакция системы, то фактическая величина помехи в момент t может быть найдена из формулы (2.8).

Предположение об аддитивном характере помехи на выходе системы (см. рис. 2.2) накладывает некоторые ограничения. Иногда и измерения входного сигнала могут быть искажены шумом (модель ’’ошибки в переменной*’). В этих случаях будем действовать чисто прагматически, полагая, что результаты замеров входного сигнала и есть действительный входной сигнал и (г) объекта, а их отклонения от истинных воздействий, пропущенные через систему, включаются в помеху и (г), показанную на рис. 2.2.

Характеристики помех. Наиболее характерной особенностью помехи является то, что значение помехи заранее неизвестно. Однако информация о прошлых значениях 27

Рис. 2.3. График частоты генератора напряжения переменного тока при изменении нагрузки в интервале [zlt Г2 ]

Рис. 2.4. Натяжение бумаги в сушильном агрегате бумагоделательной машины

помехи могла бы использоваться для обоснования оценок ее последующих значений. Для описания будущего поведения помехи естественно использовать язык вероятностных конструкций. Тогда для текущего момента t хотелось бы высказать какие- то соображения о характере помех в моменты t + к (^ > 1). Полной характеристикой была бы условная совместная плотность вероятности значений { v(t + к), к> 1) при заданном наборе { и (s), s < t } . Однако в большинстве случаев реализация этой идеи потребовала бы слишком трудоемких вычислений, вместо этого мы поступим более просто.

Пусть и (г) задается соотношением

vW 5 h(k)e(t-k),(2.9)

к = О

где {е(г)} — последовательность взаимно независимых (одинаково распределенных) случайных величин с некоторой функцией плотности вероятности. Такое описание хотя и не дает полной характеристики вероятностных свойств помехи, но является достаточным для достижения большинства практических целей. В.разделе 3.1 будет показано, каким образом можно использовать соотношение (2.9) для предсказания и формирования статистических гипотез о будущем поведении помех. В целях нормировки обычно будем считать, что h (0) = 1. Это не умаляет общности, поскольку всегда можно надлежащим образом подобрать величину дисперсии сигнала е (г).

Следует понимать, что задание различных функций плотности вероятности для последовательности { е (г) } может порождать помехи с самыми разными характеристиками. Если, например,

е(Г)=О с вероятностью 1 — д,^2 10)

е^~г с вероятностью д,

где г - нормально распределенная случайная величина с распределением ^(0, 7), то при малом д последовательность значений помехи будет представлять собой некоторый процесс с нулевым средним и характерным набором всплесков ’’детерминированной” формы, происходящих в случайные моменты времени. См. рис. 2.5. Этого могло бы хватить для описания помех ’’классического вида”: скачков, импульсных всплесков, синусоид и трапецевидных помех (см. рис. 2.3). С другой стороны, задание плотности вероятности в виде

e(r)G^0,X),(2.11)

дает совершенно другую картину. См. рис. 2.6. Эта картина больше подходит для 28

Рис. 2.5. Реализация Процесса (2.9) при е, удовлетворяющем (2.10)Рис. 2.5. Реализация Процесса (2.9) при е, удовлетворяющем (2.10)Рис. 2.6. Реализация того же процесса (2.9), но для е, удовлетворяющего (2.11)Рис. 2.6. Реализация того же процесса (2.9), но для е, удовлетворяющего (2.11)

Рис. 2.5. Реализация Процесса (2.9) при е, удовлетворяющем (2.10)

Рис. 2.5. Реализация Процесса (2.9) при е, удовлетворяющем (2.10)

Рис. 2.6. Реализация того же процесса (2.9), но для е, удовлетворяющего (2.11)

Рис. 2.6. Реализация того же процесса (2.9), но для е, удовлетворяющего (2.11)

описания шумов измерений и других нерегулярных и высокочастотных шумов ’’входного типа”.

Нередко ограничиваются заданием только характеристик второго порядка последовательности (е(г)} , т.е. средних значений и дисперсий. Отметим, что соотношения (2.10) и (2.11), отличаясь по виду, задают последовательность взаимно независимых случайных величин с пулевым средним и дисперсией X (в формуле (2.10) Х = Д7)-

Замечание. Определенные выше последовательности (^ (г)) и (и (г)) являются случайными процессами (т.е. последовательностями случайных величин). Отсюда следует, что наблюдаемые значения аддитивной на выходе помехи представляют собой реализации случайного процесса {и(/)} . Строго говоря, для процесса и его реализаций следует пользоваться разными обозначениями, однако не стоит взваливать на себя эту ’’дополнительную ношу”, поскольку обычно конкретный смысл величины ясен из контекста. Часто приходится сталкиваться с изучением сигналов, которые представляют собой смеси детерминированных и случайных компонент. Методология такого исследования будет обсуждаться в разделе 2.3.

Функция ковариации. Используя формулу (2.9) для u(f), можно вычислить среднее значение

Ev(t)= S h^EeQ- fc)=0(2.12)

к = 0

и ковариацию

Ev(t) vV - т)= 5 S hy^h^Ee^t - k)e(t - т - s) = к = о s ~ о•

=£ S h^h^b^k-T-s^X =(2.13)

к = 0 s = 0

= X £ h(k)h(k- т).•

к = 0

Здесь А (г) = 0 при г < 0. Отметим, что так опеределенная ковариация не зависит от / и назовем

Rv(T)=Ev(t)v(t - т)'(2.14)

функцией ковариации процесса и. Эта функция вместе со средним значением определяет характеристики второго порядка процесса и, которые тем самым однозначно определяются заданием последовательности (/?(£)} и дисперсии X процесса е. Поскольку функция (2.14) и ^(г) не зависят от t, процесс называется стационарным.•

Передаточные функции. Удобно ввести сокращенные обозначения для сумм, фигурирующих в формулах типа (2.8) и (2.9), которые будут часто возникать в этой книге. Введем оператор сдвига вперед q:*

qu^ = u(t + 1),

и оператор сдвига назад q-1:

q"xu<f) = и(Г - 1).

Можно переписать формулу (2.6) в виде

^(0 = 2 я(А)«((-А) = 2 g(kHq-ku(t)) = А = 1k = 1.

= { 2 ^(А-)<Л] u(t) = G(q)u(t\■(2.15)

k = I

где используется обозначение

G^= 2 g^q1.(2.16)

к = 1

Будем называть G^ передаточным оператором или передаточной функцией линейной системы (2.6). Заметим, что формула (2.15) описывает связь между последовательностями и ^ и у1.

Замечание. В качестве аргумента функции G выбрана переменная q, а не q~i (что, судя по виду правой части, могло бы казаться естественным), чтобы согласовать получающуюся запись с формулами z-преобразования и преобразования Фурье. Строго говоря, термин ’’передаточная функция” следовало бы зарезервировать для z-преобразования последовательности (g (А:)} 7, т.е.

6(0 = 2 g(k)z"k,. '(2.17)

к = I

но иногда мы не будем придавать значений этой тонкости.

Аналогично, вводя

Н^= S h(kW\(2.18)

к = О

можно записать вместо формулы (2.9)

v(0 -H^eVY(2.19)

Таким образом, основной формой записи уравнений линейной системы с аддитивной помехой становится соотношение вида

!ЯО = G^uQ^H^eQY(2.20)^

где (е(г)} — это последовательность взаимно независимых случайных величин с нулевым средним и дисперсией X.

Непрерывные по времени представления и дискретные передаточные функции. Для многих физических систем естественно использовать непрерывное по времени 30

представление, задаваемое формулой (2.1), поскольку базовые соотношения записываются в виде дифференциальных уравнений. Если через Gc(s) обозначить преобразование Лапласа от импульсной реакции системы {^(т)} из формулы (2.1), то можно записать соотношение

Y(s)=Gc^U(s), (2.21)

связывающее переменные У(5) и U^s), преобразования Лапласа от выходного и входного сигналов соответственно. Вводя оператор дифференцирования р, можно было бы переписать исходное дифференциальное уравнение (2.1) в краткой операторной форме:

У<0 = Gc(p)u(t). (2.22)

В этом случае уравнение (2.1) (или (2.22)) описывает поведение выходного сигнала для всех непрерывных моментов времени Г. Если {«(/)} — известная функция (не обязательно кусочно-постоянная), то уравнение (2.22) можно конечно использовать и для описания выборочных значений выходного сигнала, имея при этом в виду, что в процедуру расчета этих значений войдет численное интегрирование дифференциального уравнения. В самом деле, дискретную модель (2.9), которой описывается помеха на выходе системы, можно преобразовать к виду

у(0=Сс(р)и(0+Н(д)е(0, 1= 1,2,.. . (2.23)

Однако вместо этого мы, как правило, будем переходить от непрерывного описания (2.22) к стандартной дискретной модели (2.15), используя Преобразование передаточных функций

(2.24)(2.24)^с^Р)^ ^T(q\

(2.24)

(2.24)

GT^^GT^^Здесь Т обозначает выборочный интервал. Если входной сигнал в выборочном интервале постоянен (а вообще, кусочно-постоянен), то в силу (2.4) замена является точной. См. задачу 2G.4, где предлагается выписать явную формулу для передаточной функции, а также формулы (4.65) - (4.68), более удобные в численных методах расчета. Можно воспользоваться и приближенными формулами, которые получаются, если заменить дифференцирование вычислением конечных разностей. Так можно прийти к формуле эйлеровой аппроксимации

GT^^

GT^^

(2.25)

и формуле Тастина

^т^^т^(2.26)(2.26)

^т^

^т^

(2.26)

(2.26)

Дальнейшее обсуждение можно найти в работе Острема и Виттенмарка [32].

Некоторые термины. Функция G(z) из формулы (2.17) представляет собой комплекснозначную функцию от комплексной переменной z. Значения рь которые являются решениями уравнения G(Pf) = 0, называются нулями передаточной функции (или системы), а значения при приближении к которым функция G(z) стремится к бесконечности, называют полюсами. В полном соответствии с терминологией теории аналитических функций (см., например, [1]). Если G(z) — рациональная функция от z, то полюса представляют собой нули полинома в знаменателе передаточной функции.

(2.27)(2.27)Будем говорить, что передаточная функция G^ (или ’’система G”, или ’’фильтр G”) устойчива, если

(2.27)

(2.27)

G(») = 2 gQeyq к, 5 Н(Л)|<«>. к = 1* = 1

Определение (2.27) совпадает с известным в теории определением ОРОВ-устой- чивости (ограниченная реакция на ограниченный входной сигнал), см., например, [66]: если выполнено условие (2.27), то для ограниченного входного сигнала {и (О) системы G (^) (| и (г) | < С), и выходной сигнал z (г) = G (^) и^ также ограничен (|z(r)|< С*'). Отметим, что выполнение (2.27) гарантирует сходимость разложения Лорана

G^ = S g(kV к = 1

всюду, где | 2 | > 1. Это означает, что функция G(z^) вне открытого единичного круга является аналитической. И, в частности, не имеет полюсов в этой области.

Часто придется иметь дело с семействами фильтров Ga (q), а G Л :

(2.28)(2.28)G^= 5 gtt^q-k, ае^. k = 1

(2.28)

(2.28)

Будем говорить, что семейство является равномерно устойчивым, если katoK^) Ма^Л, f ^)<°°.(2.29)

к = 1

Иногда требуется несколько более сильное условие, чем условие (2.27). Говорят, чтоС(^) является строго устойчивой, если

Sк =Sк =^i^)l<°°.1^i^)l<°°.1(2.30)(2.30)

S

к =

S

к =

^i^)l<°°.

1

^i^)l<°°.

1

(2.30)

(2.30)

Отметим, что для рациональной по q передаточной функции из устойчивости вытекает строгая устойчивость (разумеется, верно и обратное утверждение). См. задачу 2Т.З.

Наконец, фильтр Я(^) называется моническим, если коэффициент с нулевым номером равен 1 (или единичной матрице), т.е.

Н^= 5 h(k)q~k. h0 = \.(2.31)

к = О

Частотные формулы

Синусоидальный отклик и частотная характеристика. Представим себе, что на вход системы (2.6) поступает гармонический сигнал

u(0 = cos <ot.(2.32)

Этот сигнал удобно представить в виде

u(t) = ReeMt,

где Re обозначает вещественную часть числа. В силу (2.6) соответствующий выход-

ной сигнал можно записать как

y(f)= 2 ^(A)Re e'w^f-k^ = Re 2 g(jt)efw<f-k> = k = 1k = 1

= Re { etwt 2 g^e-fwk ) = Re (eiwtG(eiw)} = I G^)| cos(wr + ,p\ (2.33) к = 1

где

^arg^e'").(2.34)

В этой цепочке второе равенство следует из вещественности чисел # (&), а четвертое равенство — из определений (2.16) или (2.17). Пятое равенство вытекает непосредственно из свойств комплексных чисел.

В (2.33) предполагается, что входной сигнал являлся косинусоидой в сколь- угодно далеком прошлом. Если и (г) = 0 при г < 0, то в (2.33) появляется дополнительный член

— Re{e,4ar 2 g(k) e-'wk}. к = t

Этот член мажорируется величиной

2 |gWI к = t

и, следовательно, имеет характер переходного процесса (стремится к 0 при г, стремящемся к бесконечности) при условии, что ^(^) устойчива.

В любом случае из (2.33) следует, что выходной сигнал, определяемый формулой (2.32), также окажется косинусоидальным сигналом той же частоты, амплитуды, усиленной в | G (eiU}) | раз, и фазовым сдвигом, равным arg G^e1^) радиан. Отсюда следует, что комплексная величина

G^eiU)\(2.35)

равная значению передаточной функции в точке z = eIta, полностью характеризует поведение системы в стационарном режиме при синусоидальном входном сигнале частоты со. Поэтому комплекснозначную функцию

G(eiw\ -л<со<л,(2.36)

называют частотной характеристикой системы (2.6). В качестве графического представления этой характеристики принято использовать графики зависимостей lg I G(eIW)| и argG(eICJ) от 1g со. Такое представление называют диаграммой Боде.

Годограф (2.36) на комплексной плотности называется диаграммой Найквиста. Эти конструкции, по-видимому, более известны для непрерывного случая, но все их основные свойства переносятся и на случай выборочных данных.

Периодограммы сигналов над конечными интервалами. Рассмотрим конечную последовательность значений входного сигнала и (г) (г = 1,2, . . . , W). Определим функцию UN(^:

N

UN(w) = 2 и^е*^1.(2.37)

VN t= i

Последовательность значений этой функции в точках со = luk/N (k = 1, 2, . . . , АГ) представляет собой известное дискретное преобразование Фурье (ДПФ) последовательности м^. Сигнал и (г) можно представить через обратное ДПФ, используя

3333. Л. Льюнг

33

33

соотношение

1 n/ 2лк \

VN к= 1\ N /

Для доказательства подставим (2.37) в правую часть (2.38) и получим

1/ I2ixks \ / i2^kt

— 212 u(s)exp(— lexp(——

N к = 1 j = 1\ N /\ N

1£/2nz^(r-s)\1N

= —S и (s)Sехр()= —S и (s) N& (г - s) = и (г).

N $ = 1 к = 1\ N / N s = 1

Здесь использовано соотношение

1 Nf 1 г = О

_5 e2^kiN = J’

N к = 11 0, 1 <r<N.

Из (2.37) видно, что функция UN(w) имеет период 2тг:

Un (ы + 2л) = Un (to).

А поскольку сигнал u(z) является вещественным,

(2.38)(2.38)(2.39)(2.39)(2.40)(2.40)(2.41)(2.41)где черта сверху обозначает взятие комплексно-сопряженного числа. Таким образом, функция Un(<^ полностью определяется своими значениями в интервале [0, л]. Тем не менее, принято рассматривать функцию ^(со) в интервале [- л, л], поэтому используя формулу (2.40) и периодичность функции eZUJ, формулу (2.38) часто записывают в виде

(2.38)

(2.38)

(2.39)

(2.39)

(2.40)

(2.40)

(2.41)

(2.41)

N^ /2ик \ _

Ц(П = ——S UN ( V^kt/N(2 42)

^/v k = -N(2 + l \ N /

В формуле (2.42) и следующих за ней N считается четным, для нечетного N можно выписать аналогичные пределы суммирования.

В формуле (2.42) сигнал w(z) представляется в виде линейной комбинации N экспонент eiu>l разных частот со. Как показано в задаче 2D.1, посредством последующих преобразований этот сигнал можно представить в виде суммы coscot и sin cot с теми же частотами, избавившись от комплексных чисел.

Число UN^nk/N) характеризует ’’вес” компоненты с частотой со = 2*nk[N в разложении сигнала (и(г)} ^= р Квадрат модуля этого числа | UN(^klN)|2 является мерой энергетического вклада соответствующей частотной компоненты в суммарное ’’действие сигнала”. Эта величина

l^vMI2(2.43)

известна под названием периодограммы сигнала и (г) (/ = 1,2,... ,7V).

Равенство Парссваля

”/ 2л£ \ 2 N

UN\—)= 2 u^(2-44)

к = 1\ N / г = I

является еще одним свидетельством в пользу правильности утверждения об аддитивности энергии сигнала по разночастотным составляющим. Обратите внимание на аналогию со спектральным разложением света.

Пример 2.1. Периодограмма синусоиды. Пусть

(2.45)(2.45)ukt) = A cos u>of,

(2.45)

(2.45)

где ш0 = 2n/NQ для некоторого целого числа No > 1. Рассмотрим интервал t = 1, 2, . . . , N, где N кратно NQ: N = sN0 . Записывая

coso,0;=l l^or + ^orj,

получим

NА

UN<^= 2 rf'(w0-w)f +е-'(ш0-ш)'|

^t=l21

Используя (2.39). находим

l^(w)l2 =l^(w)l2 =44если и> = ± си0если и> = ± си0T-nsT-nsО, еслиО, если2лА2лАN ’N ’к ^s.к ^s.(2.46)(2.46)

l^(w)l2 =

l^(w)l2 =

4

4

если и> = ± си0

если и> = ± си0

T-ns

T-ns

О, если

О, если

2лА

2лА

N ’

N ’

к ^s.

к ^s.

(2.46)

(2.46)

Периодограмма в интервале [- л, я| имеет два всплеска.

Пример 2.2. Периодограмма периодического сигнала.

«(0 =«(0 =ЛГ0/21 Are^N» /• = —^/2+1ЛГ0/21 Are^N» /• = —^/2+12° u(r)e ^^INq^ t = I2° u(r)e ^^INq^ t = IДопустим, что и (О = u(t + ^), и рассмотрим сигнал в интервале [1,^1 (N = sN0). В силу (2.42) сигнал в интервале [1,WO | можно записать в виде

«(0 =

«(0 =

ЛГ0/2

1 Are^N» /• = —^/2+1

ЛГ0/2

1 Are^N» /• = —^/2+1

2° u(r)e ^^INq^ t = I

2° u(r)e ^^INq^ t = I

(2.47)

где

(2.48)

Wo2 ’Wo2 ’(2.49)(2.49)Поскольку сигнал и периодический, формула (2.47) применима во всем интервале [1, W) . Отсюда сигнал представляется в виде суммы No синусоид и, используя результаты предыдущего примера (или путем непосредственных вычислений) , можно показать, что

Wo

2 ’

Wo

2 ’

(2.49)

(2.49)

{$|ЛГ|2, если си = , г = 0,±1,.

О, если со = —— , к ^rs.

В примерах 2.1 и 2.2 периодограммы оказались ’’хорошими”. Обычно, когда сигналы являются реализациями случайных процессов, периодограммы описываются очень нестабильными функциями частоты. См. рис. 2.8 и лемму 6.2.

Преобразования периодограмм. После пропускания сигнала через линейный фильтр его периодограмма меняется. Покажем теперь, какое влияние оказывает линейная фильтрация на преобразование Фурье сигнала. Отсюда сразу станет ясно, как преобразуются соответствующие периодограммы.

Теорема 2.1. Пусть сигналы { $ (0) и {^(01 разделяет строго устойчивая система G{q):

s{t)^G{q)^t). * (2.50)

Для t < 0 входной сигнал w(r) неизвестен, но удовлетворяет неравенству I w(r) | <

<CW, справедливому при всех t. Пусть

11>М“) =>М“) =N2 s(t)e"iu,t, t = iN2 w^e^"1^1. t = iN2 s(t)e"iu,t, t = iN2 w^e^"1^1. t = iТогдаSN^) = G(e^)Wn^)^RN(^гдеp\RN^\C2CWТогдаSN^) = G(e^)Wn^)^RN(^гдеp\RN^\C2CWaCG= 2 *i^)|. к = IaCG= 2 *i^)|. к = I(2-51)(2.52)(2.53)(2.54)(2.55)(2-51)(2.52)(2.53)(2.54)(2.55)

1

1

>М“) =

>М“) =

N

2 s(t)e"iu,t, t = i

N

2 w^e^"1^1. t = i

N

2 s(t)e"iu,t, t = i

N

2 w^e^"1^1. t = i

Тогда

SN^) = G(e^)Wn^)^RN(^

гдеp

\RN^\C2CW

Тогда

SN^) = G(e^)Wn^)^RN(^

гдеp

\RN^\C2CW

a

CG= 2 *i^)|. к = I

a

CG= 2 *i^)|. к = I

(2-51)

(2.52)

(2.53)

(2.54)

(2.55)

(2-51)

(2.52)

(2.53)

(2.54)

(2.55)

Доказательство. По определению имеем 1 n1 «о w

Sw(w)= 2 s(r)e-'f“= 22 g(k)w(t-kKl,u =

x/N r = Ix/N к = I t = J

1 N . N"k .

= [замена переменных: t - к = т] =— 2 g(k)e~<Kw • X w(r)e~lTOJ.

VN k = It= V-k

(2.56)(2.56)^(o;) <^(o;) <Тогда

(2.56)

(2.56)

^(o;) <

^(o;) <

W

1N-k

w(w)—2 w(T)

x/Nт=1-к

e

iTu>

<

10

2 w(T)e 11 ш x/N r=i-k

+

1^-

2 w(r)e lTUD VN N-k+I

2

Vn

kCw.

Отсюда вытекает, что

|S^)-G(?“)H/„(co)| =

I oo,ъ Г 1 N-I,

= | 2 к(к)е",кш\2w(T)e’,T“

| к = ![ V/V t = 1-k

f |^)Cwe-'k“| <^^

что и доказывает выполнение соотношений (2.53)— (2.55) .

Следствие. Пусть сигнал {w(r) } имеет период N. Тогда Rn(^ из формулы (2.53) равна 0 при со = Tnk[N.

Доказател ь с т в о. Левая часть формулы (2.56) равно 0 для периодической функции w(t) в точках со = Tnk[N.

2.3. Спектры сигналов

В некотором смысле периодограмма определяет ’’частотное наполнение” сигнала в конечном интервале времени. Однако, как правило, нестабильность периодограммы как функции от со сильно искажает эту информацию. Хотелось бы построить аналогичную конструкцию в интервале t Е [1,°°). Можно предположить, что такой аналог позволит более четко оценить вклад в сигнал различных частот.

Впрочем, в рассматриваемом контексте дать такое определение сразу не удается. Представляется более естественным определить спектр сигнала s как

lim |Sw(w)|2,(2.57)

/V ОО

но этот предел для многих практически интересных сигналов не существует. Другая возможность сводится к тому, что спектр, или спектральная плотность стационарного случайного процесса определяется как преобразование Фурье от функции ковариации процесса. Однако рассматриваемые нами процессы часто не являются стационарными. О причинах речь пойдет дальше. Ниже будет изложена схема описания сигналов и их спектров, которая приложима как к детерминированным, так и случайным сигналам.

Общая схема описания детерминированных и случайных сигналов. В этой книге нам придется часто работать с сигналами, которые описываются случайными процессами с детерминированными компонентами. Дело в том, что нам удобнее рассматривать входную последовательность как детерминированную или, по крайней мере, частично детерминированную, считая возмущения, поступающие в систему, случайными величинами. В результате выходной сигнал системы становится случайным процессом с детерминированными компонентами. Для уравнения (2.20) находим

EyWG^uQX

т.е. процесс {у (/) } не является стационарным.

Чтобы преодолеть эту трудность, будем считать, что сигнал t s (г)} удовлетворяет следующим предположениям:

Es^t^m^t), \ms(t)\<C У г,

^(Z)s(r) = ^(r,r), |^(Г,г)|<С,(2.58)

1

lim — 2 RSQJ t) = Rs(t) Ут.(2.59)

N — °° N t = i*

При выполнении условий (i) и (ii) процесс {s (г)} называется квазистационар- ным. Здесь математическое ожидание Е берется по ’’случайным компонентам” s (г). Если процесс {5 (г)} представляет собой детерминированную последовательность, то вычисление математического ожидания по сути дела не производится, а квазистационарность означает, что {s (г)} — это такая ограниченная последовательность, для которой существует предел

N

R^t^ lim — 2 s(z)$(r-r).

N -> oo N t = 1

Если (s(r)) - стационарный случайный предел, то формулы (2.58) и (2.59) становятся тривиальными, поскольку Es (г) sQ - т") = Rs (т) не зависит от г.

Для упрощения обозначений введем символ Ё:

ЁД0 = Ит Ef^tY(2.60)

Г -> оо N

неявно предполагая, что соответствующий предел существует. Тогда формула (2.59) , которая является определением функции ЯЛ (т) , может быть преобразована к виду

Es(t)s(r - т)= Rs(t\(2.61)

Иногда мы будем не вполне точно называть Rs (г) функцией ковариации процессам, отдавая себе отчет в том,что такое название корректно только тогда, когда { s (г)} — стационарный случайный процесс с нулевым средним.

Точно так же будем называть два сигнала {s (г)} и (w(r)} взаимно квазиста- ционарными, если оба сигнала квазистационарны и, кроме того, существует функция взаимной ковариации

Rsw^ = Es{t}^{t - т).(2.62)

Будем говорить, что взаимно квази стационарные сигналы некоррелированы, если соответствующая функция взаимной ковариации тождественно равна 0.

Определение спектров. Когда существуют пределы типа (2.61) или (2.62), спектр (энергетический) сигнала (s (г) } определяют как

Ф/^) = S Rs^e"^,(2.63)

Т = - ОО

а взаимный спектр сигналов {^(z)) и <w(r)} - как

♦WM = f RsW^e"iTW(2.64)

Т = - ОО

при условии, что введенные бесконечные суммы существуют. В дальнейшем, говоря о ’’спектре” сигнала, мы будем неявно предполагать, что все включенные в определения условия выполнены.

Хотя спектр ФДси) всегда веществен, спектр Фди,^) в общем случае является комплскснозначной функцией от со. Его вещественная часть известна под названием коспектра, а мнимая часть — квадратурного спектра. Аргумент arg Ф^ (со) называют фазовым спектром, а | Фди, (со) | - амплитудным спектром.

Заметим, что по определению обратного преобразования Фурье

Es4t^ = R$^= 4- f Ф$(^)^.(2.65)

л -л

Пример 2.3. Спектр синусоиды.

Снова рассмотрим сигнал (2.45), распространив его на интервал [1, <»). В этом случае имеем

NJ N

— 2 Eu(k)u(k - т) = — 2 /4 cos(u;0£) cos(cj0 (k - т)), т > 0.(2.66)

k= Ik = I

(Знак математического ожидания снимается, поскольку сигнал и является детерминированным). Далее

cos(w0k) cos(cjo(^ - т)) = -^-(cos(2cj0£ - cjot) + cos cjot),

откуда следует, что

-А2

Eu(t)u(t - т) = ^— cos и>от = Ru(t).

Теперь можно записать спектр в виде

00/42* А2

Фм(си) = 2—— cos(cj0T)e ZCJT = —— (6 (cj - gj0) + 6 (gj + lj0 )),(2.67)

t=—004

где 6 - функция Дирака. Этот результат хорошо согласуется с формулой (2.46) для конечного интервала.

Пример 2.4. Стационарные случайные процессы.

Пусть (u(t) } - стационарный случайный процесс с функцией ковариации (2.14). Поскольку в этом случае формула (2.59) тождественна формуле (2.14), наше определение спектра совпадает с обычным. Пусть теперь процесс и определяется формулой (2.9). Соответствующая функция ковариации в этом случае дается соотношением (2.13). Используя (2.18), можно представить спектр в виде

Фу(о>) = 2 Хе~*тиз Xh (к) h (к -~ т) =.

т = —ооk = max(O, т)

= Л S S Ь^е-‘кшИ<к-т)е^к-т1,ш = т = —00 к = max (0, т)

= [заменапеременных: к - т = s| - X X h(s)eis^ 2 h^e~iku> = Х| H(eiaj) |2.

s=0к=0

Этот результат, как крайне важный для будущих приложений, сформулируем отдельно:

Спектр случайного процесса, описываемого соотношениями и(/) = = Я(^)е(г), где {е(г)) - последовательность взаимно независимых случайных величин с нулевым средним и ковариацией X, определяется следующей формулой:

Фи(о>) = X j Же^) |2. (2.68)

Этот результат нетрудно было бы доказать в частном случае стационарного случайного процесса, в общем случае он будет доказан в этом же разделе (теорема 2.2). На рис. 2.7 представлен спектр процесса, показанного на рис. 2.5 и 2.6, а периодограмма реализации, изображенной на рис. 2.6, приводится на рис. 2.8.

Пример 2.5. Спектр смеси детерминированного и случайного сигналов.

Рассмотрим теперь сигнал вида $(О = н(О + и(О,(2.69)

где {«(г)} - детерминированный сигнал со спектром Фм(о;) и (и(/)} - стационарный случайный процесс с нулевым средним и спектром Фи(о;). Тогда

Es(t)s(r - т) = Eu^u^t - т) + Eu^vU - т) *Ev(r)u(t - т) + Ev(t)v(t - т) = = Rm(t)+Ru(t)>(2.70)

поскольку Ev(0 u(t - т) = 0. Следовательно, Ф5(^) = Фм(о;) + Фу(о;).(2.71)

Связь с периодограммой. Хотя исходное определение (2.57) оказывается неконструктивным, можно доказать осмысленность идейно близкой конструкции, а именно: доказать, что среднее значение периодограммы слабо сходится к спектру:

ElSjvCw)!2-^»,^).(2.72)

Это означает, что.

lim f ElSAf(a>)l2»(w)dw = J ФХш)Ф(со)Жо(2.73)

ДГ -► оо —я—оо

для всех достаточно гладких функций Ф(со). Справедлива следующая лемма. Лемма 2.1. Пусть сигнал {s(r)} является квазистационарным со спектром Фд(си). Пусть также,

1 n

VN '=i

Рис. 2.7. Спектр процесса и(г) - 1,5и(г - 1) + 0,7 и(г - 2) = е(г) + 0,5 e(t - 1), где { ^(0} ~ белый шум

Рис. 2.8. Периодограмма реализации с рис. 2.6

а Ф(со) - произвольная функция в области | си | < тг с такими коэффициентами Фурье at, что

S \ат\<°о. т - —00 Тогда имеет место соотношение (2.73)..

Доказательство.

N N

E\SN^)\2 = — 2 2 Ез(к)з(1)е^к-^ = [/-к = т] = N к = 1 1-1

N- I

=2Rn^c"^,(2.74)

T=-(W-1)'

где 1 £

Rn (г) = ~ 2 Es(k)s(k - т)

•N к = I

с условием, что s(k) полагается равным 0 вне интервала [1, А]. Умножая (2.74) на Ф(о>) и интегрируя в интервале [- тг, тг], в силу определения коэффициентов at получим яN- I

/ ^^(ш)!2»^^2 RN(T)at.

— Я7 = — (N- I)

Аналогично, меняя местами операции суммирования и интегрирования, находим

J Ф^с^Ф^ск^ 2 Rs(r)aT. — Я7 = —00

Следовательно, яя

J El SN(co)l2^(cj)dco - f Ф$(<о)^(<о)с/со = — я—я

N'

=2Дг1/Мт)-Я$(т)1 + 2 «tRs(.t).

t=-(/V-I)|tI>JV

Доказательство завершается решением задачи 2D.5.

Отметим, что для стационарных случайных процессов результат (2.72) может быть усилен до ’’обычной” сходимости (см. задачу 2D.3). Отметим также, что в рассматриваемом контексте результаты типа (2.72) могут быть применены к отдельным реализациям случайных процессов, если опустить вычисление математических ожиданий. В этом случае рассматриваемую реализацию воспринимают как заданную ’’детерминированную” последовательность, при этом для данной реализации нужно потребовать выполнения условий (2.58) и (2.59) (разумеется, формулы (2.58) и (2.59) в этом случае используются без оператора Е).

Преобразование спектров в линейной системе. При фильтрации сигналов через линейные системы их свойства будут изменяться. Из теоремы 2.1 мы видели, как меняется периодограмма и как, в соответствии с формулой (2.68), белый шум преобразуется в стационарный случайный процесс. Для спектров имеет место следующий общий результат.

Теорема 2.2.Пусть (w(t)} - квазистационарный сигнал, со спектром Ф^(со) и пусть G(q) —устойчивая передаточная функция. Пусть также

s(t) = G(q)w(t).(2.76)

Тогда сигнал {$(0} также квазистационарен и

Ф$^ = \С,^^Ф¥,^,фЛТ)

Ф^} = в{е^)Ф^}.(2.78)

Доказательство. Доказательство приводится в Приложении 2А. Следствие. Пусть {^(/)) задается уравнением

y^-GVlWVH^e^.(2.79)

где (u(Z)} - квазистационарный детерминированный сигнал со спектром Фм(со) и {е(/)} - белый шум с дисперсией X. Пусть G и Н - устойчивые фильтры. Тогда сигнал (y(z)} квазистационарен и

Фу (со) = | G(e^) |2 Ф„ (со) + X I Н(еiu) |2,(2.80)

Фуи(со) = С(е^)Ф„(^).(2.81)

Доказательство. Следствие вытекает из теоремы, основанной на примерах 2.4 и 2.5.

Спектральная факторизация. Обычно используемые здесь передаточные функции G(q) и H(q) являются рациональными функциями от q. В этом случае результаты типа формулы (2.68) и теоремы 2.2 описывают спектры как вещественнозначные рациональные функции от е1 (это также означает, что они являются рациональными функциями от cos со).

На практике большой интерес представляет обращение этих результатов, т.е. решение вопроса о возможности отыскания для заданного спектра Ф„(со) такой передаточной функции H(q), что процесс и(г) = Я((/)е(г) будет иметь зтот спектр в случае, когда (e(z)J - белый шум. Вполне понятно, что для любых положительных функций Фу(со) это невозможно. Например, если спектр равен нулю в некотором интервале, то функция H(z) должна быть равна нулю на части единичного круга. Но поскольку разложение (2.18) возможно, только если функция H(z) является аналитической всюду вне и на единичном круге, то функция H(z) окажется равной нулю всюду и не будет соответствовать заданному спектру.

Точные условия, при которых поставленный вопрос имеет положительный ответ, обсуждаются в работах по стационарным процессам, например, в книгах Н. Винера [434] и Ю. Розанова [348]. Для наших целей достаточно воспроизвести простой результат, относящийся к спектральным плотностям Фу(со), которые являются рациональными по переменной ezw (или cos со).

Допустим, что Фу (со) > 0 является рациональной функцией от cos со (или eIU>). Тогда найдется моническая рациональная функция R(z) от2, у которой нет полюсов и нулей вне и на единичном круге и такая, что

Ф„(ш) = X | ЛСе'^)!2.

Доказательство этого результата сводится к непосредственному построению функции R и может быть найдено в стандартных учебниках по случайным процессам или стохастическим системам управления (см., например, [21, 348]).

Пример 2.6. ARMA-процессы.

Если стационарный процесс (и(г)} имеет рациональный спектр Фу(си), то его можно представить в виде

и(П = К^ет,(2.82)

где {е(Г)} белый шум с дисперсией X. ЗдесьR(q) - рациональная функция:

C{q} = 1 *cxq~x *..ЛсП(Я ,

^М = 1 + axq~x + .. . + аПад , поэтому (2.82) можно переписать в виде

v^ + q^Ct - 1) + .. .+аПди^ -па^ = е^О +cxe(t - 1) + .. . + ence(t -п^.(2.83)

Такое представление известно иод названием ARMA-модели*). Если пс = 0, то получается " модель авторегрессии (AR-модель):

и(П + 0^# - О + • • • +^vU - иа) =e(f).(2.84)

А если Ид = 0, то получается модель скользящего среднего (МА-мо дель)

и(0 = e(f) + cxe(t - 1) + . .. + c„ce(t - пс}.(2.85)

Метод спектральной факторизации играет важную роль, поскольку только на основе информации о спектре позволяет представить возмущения в стандартном виде и = //(</)е. Понятие спектра обычно используется в инженерно-технических характеристиках свойств сигналов и фигурирует в отчетах в виде фраз: "Помехи сконцентрированы в окрестности 50 Гц" или "Имеют место низкочастотные помехи, оказывающие небольшое влияние в диапазоне частот около 1 рад/с". С помощью рациональных функций можно приблизить функции самого разного вида. Таким образом, метод спектральной факторизации дает прочную основу для моделирования возмущений.

Свойства второго порядка. В силу данных определений спектрами описываются такие характеристики сигналов, которые могут быть названы свойствами второго порядка (для случайных процессов это статистические характеристики второго порядка, т.е. первые и вторые моменты). Возвращаясь к разделу 2.1, напомним, что стохастические процессы могут иметь самые разные на вид реализации, даже если для каждой реализации функция ковариации одна и та же (см. рис. 2.5 и 2.6)! Стало быть, спектр определяет только некоторые особенности сигнала. Тем не менее, в дальнейшем мы убедимся, что по отношению к процессу идентификации многие из свойств сигналов зависят только от их спектров. Это объясняет наш обстоятельный интерес к свойствам второго порядка.

♦) В отечественной литературе используется также сокращение АРСС-модель (модель авторегрессии со скользящим средним). - Примем. пер.

Поведение отдельных реализаций и эргодические результаты

Как уже отмечалось, все результаты предыдущего раздела справедливы и в частном случае данного детерминированного сигнала {s(r)}. Сохраняются определения спектров, их преобразований (теорема 2.2) и формула связи между спектрами и периодограммами (лемма 2.1), знак математического ожидания Е можно отбросить и интерпретировать операцию Ef(0 как вычисление

Ит S ДО.

N-^N t=l

В подобных результатах, которые не используют вероятностных рассуждений, можно найти некоторую прелесть: ведь как бы то ни было, наблюдается только одна реализация, почему нужно считать, что это реализация случайного процесса, и описывать ее средние характеристики, взятые по ансамблю возможных наблюдений. На этот вопрос есть два ответа. Один из них состоит в том, что этот прием упрощает вычисления. Другой апеллирует к тому, что это позволяет нам проинтерпретировать результаты многократного повторения эксперимента.

Тем не менее, позволительно спросить, совпадают ли спектры сигнала {s(r)}, определенные в рамках вероятностных концепций и по единственной фактически наблюдаемой реализации, рассматриваемой как заданный детерминированный сигнал? Эта задача относится к эргодической теории, и мы начнем с того, что сформулируем следующий достаточно общий результат.

Теорема 2.3. Пусть {s(r)} - квазистационарный сигнал и Es(t) =m(t). Допустим также, что

s(0-m(0 = 40= 2 ht(JOe(t k) = Ht^e(O»(2.86)

* = о

где {е(0} - последовательность независимых случайных величин с нулевыми средними, £e2(r) = Xf и ограниченными четвертыми моментами; {//г((/), / = = 1,2,...}- равномерно устойчивое семейство фильтров. Тогда при N^°° с вероятностью 1 имеют место следующие предельные соотношения;

1 N

— S s^s(t- г) ^ЬЧП$О- т) = RAt),(2.87а)

N t= i

N■

— S [s(z)w(r - r) - Es^m^t - r)| ^ 0,(2.87b)

N i

1 n'

— S Is(r) v(r - 7) - EsOW - 7)1 -> 0.(2.87c)

N r= i

Доказательство приводится в Приложении 2В.

Эта теорема достаточно существенна. Она утверждает, что в условиях, когда стохастическая компонента сигнала может быть описана как фильтрованный белый шум (формула (2.86)), спектр единственной наблюдаемой реализации {s(г)}, рассчитываемый как спектр детерминированного сигнала, с вероятностью 1 совпадает со спектром процесса {5(0}, который определяется путем вычислений средних по ансамблю по формуле (2.61).

Это утверждение ослабляет различие между детерминированными и случайными сигналами на уровне, ограниченном рассмотрением их свойств второго порядка. Сигнал {$(0} со спектром Ф^(со) = Х может рассматриваться как реализация белого шума с дисперсией X во всех задачах, связанных с характеристиками второго порядка.

Теорема дает также ответ на вопрос, как соотносится ’’теоретический” спектр, определяемый на основе физически неосуществимых конструкций Е и lim с фактически наблюдаемой периодограммой (2.43). В соответствии с теоремой 2.3 и леммой 2.1 ’’сглаженные” версии I Sjv(cd) I2 при больших N будут выглядеть как Ф.,^). Сравните рис. 2.7 и 2.8. Эта связь между нашими теоретическими конструкциями и реальными данными несомненно имеет фундаментальное значение. См. раздел 6.3.

Многомерные системы

До сих пор мы работали с системами, имеющими скалярный вход и скалярный выход. В этом разделе мы рассмотрим случай, когда выходной сигнал состоит из р компонент, а входной сигнал-из т компонент. Такие системы называются многомерными. Все дополнительные действия, связанные с использованием моделей многомерных систем, могут быть разбиты на две части.

Простая часть: в основном смена обозначений, введение операции транспонирования, замены некоторых скаляров матрицами, которые могут оказаться некоммутируемыми.

Сложная часть: модели со многими выходами имеют гораздо более сложную внутреннюю структуру, вследствие чего их параметризация нетривиальна. См. Приложение 4А (это не характерно для моделей с несколькими входами и одним выходом).

Объединим р компонент выходного сигнала в р-мерный вектор-столбец у(/), аналогично введем ^-мерный входной вектор uQ). Пусть возмущение е^ также представляет собой р-мерный вектор-столбец. В этом случае базовая система уравнений выглядит так же, как и уравнение (2.20):

y^=G^u^^H^e^,(2.88)

где Gfo) - матрица передаточных функций размера р Xm, a H(q) — матрица размера рХр. Иначе говоря, (/, /)-й элемент матрицы G(qy обозначаемый как Gq^qy представляет собой скалярную передаточную функцию от входа под номером / к выходу под номером L Последовательность {е(г)} - это последовательность независимых случайных р-мерных векторов с нулевыми средними и ковариационными матрицами Ee{t)eT{t) = Л.

Теперь при правильной матричной интерпретации работают все результаты этой главы. Отметим, в частности, следующее:

Импульсные реакции g(k) и h(k) становятся (р X ту и (р X р)-матрицами соответственно с заменой абсолютного значения в определении устойчивости на норму

||g(*)H = (S|g.. |2)‘/2.(2.89)

i.i

Определения ковариаций (со ссылкой на (2.59)) приобретают вид

Es(t)sT(t-T) = R,(ry'(2.90)

Es(f) wT(t - т) = Rsw(ту(2.91)

Теперь это матрицы, нормы которых определяются по формуле (2.89).

Определения спектров остаются неизменными, но формула (2.80) из следствия теоремы 2.2 теперь должна читаться как

Фу(<^ = С(е1иуЬи(<^Ст(е~1^*Н(е^^'(2.92)

Отметим, что спектры векторных сигналов неявно определяют и взаимные спектры между компонентами сигнала. См. также задачу 2G.3.

Утверждение о спектральной факторизации имеет теперь следующую формулировку. Допустим, что Фу(со) есть р X р-матрица, которая для всех со является положительно определенной, а ее элементы - рациональные функции от cos со (или etu)y Тогда найдется моническая матричная функция H(z) размера р Хр, элементы которой являются рациональными функциями от z (или z”1), и такая, что (рациональная) функция det H(z) не имеет полюсов и нулей на и вне единичного круга. (Доказательство можно найти в теореме 10.1 из работы [348].)

Формулировка теоремы 2.3 остается без изменений (доказательство многомерного аналога теоремы 2.3 приводится в Приложении 2В).

Заключение

В качестве базового описания линейной системы с аддитивными случайными возмущениями установлено соотношение

дЧ0 = С(?)«(0 + Я(?)^(2.93)

Здесь (е(г)) - последовательность независимых случайных величин с нулевыми средними и дисперсиями X (в многомерном случае — ковариационными матрицами Л). Кроме того,

G(q) = 5 g(k)q-\''

к = 1

н^=\* S h^q"k.

к = 1

Фильтр G^ является у стой чивым, если

S |^)| <°°.•

к~\

Читателю, несомненно, известны и другие широко распространенные на практике способы описания линейных систем и, в том числе, модели в пространстве состояний и разностные уравнения. Впрочем, такие модели можно рассматривать как частные способы задания последовательностей {g(fc)} и (Л(^)}, с которыми мы познакомимся в гл. 4 более подробно.•

Проведено обсуждение частотной характеристики G^e1^ как способа хранения информации о том, как преобразуется системой входной синусоидальный сигнал частоты со. Были также изучены такие частотные конструкции, как частотные заполнения входного и выходного сигналов. Преобразование Фурье сигнала, заданного в конечном интервале, определялось как

1 N .

UNQ^ = 2 u(0e"lwt.(2.94)

Vn t=i

Сигнал $(/), для которого существует функциональная характеристика вида

Es(t)s(t- t)=Rs(t),

был назван квазистационарным. Для такого сигнала s(f) спектр определяется как

Ф1(со) = т2_^^(т)е-,ШТ.

Если у порождается соотношением (2.93) при независимых {и(0) и (е(Т)}, то ФДсо)ЧС(е,“)|2Фм(со) + Х|Я(е/^

Комментарии к библиографии

Материал этой главы перекрывается многими книгами по теории систем и сигналов. В качестве достаточно простого пособия можно рекомендовать книгу Оппен- хейма и Уилски [310]. В книге Бриллингера [63] изложение ориентировано в сторону представления сигналов временньтми рядами, включая несколько результатов, аналогичных нашим теоремам 2.1 и 2.2.

Подробное обсуждение процедур дискретизации реальных непрерывных систем и дискретизованного представления (2.6) приводится в гл. 4 книги Острема и Вит- тенмарка [32]. Глава 6 этой книги содержит превосходное введение в теорию помех, включая методы их математического описания. Идея представления помех как результатов линейной фильтрации белого шума восходит к Е. Вольду [440].

Идеи использования методов Фурье для исследования и описания сигналов древни, как Вавилон. См. раздел 4.0 книги Оппенхейма и Уилски [310], в котором приводится краткая историческая справка. Периодограммы были, очевидно, введены Шустером [353] для изучения периодических явлений без обязательного сопоставления их относительных фаз. Статистические особенности периодограмм впервые исследованы Слутски [362]. См. также работу Бриллингера [63]. Как показано Винером [433], Вольдом [440], Колмогоровым [214] и другими авторами, понятие спектра тесно связано с проблематикой гармонического анализа временных рядов. Среди полезных пособий по спектральной теории, включая методы оценивания спектральных характеристик, можно назвать книги Дженкинса и Уоттса [193] и Бриллингера [63]. Данное в зтой книге определение преобразования Фурье (2.37), включающее суммирование от 1 до Nc нормирующим множителем XjVw, будучи вполне пригодным для наших целей, не является стандартным. В разных источниках можно встретить запись множителя, содержащего величину 2л, как в формуле прямого, так и обратного (см. (2.65)) преобразования Фурье. Наш выбор обусловлен желанием сделать константу постоянного спектра белого шума равной дисперсии этого шума. Схема, которая принята здесь для рассмотрения смесей случайных процессов и детерминированных сигналов, является, по-видимому, достаточно новой, но тесно связана с классическими конструкциями.

В применении к стационарным случайным процессам результат теоремы 2.2 известен. См., например, работы Джеймса, Николса и Филлипса [191] или Острема [21]. Обобщение этой теоремы на квази стационарные сигналы представляется новым результатом.

Метод спектральной факторизации оказывается ключевым в подходе к решению задачи прогнозирования временных рядов. Эта задача была сформулирована и решена в работах Винера [434] и Пэйли и Винера [313]. Многомерный аналог рассмотрен в работе Юла [443]. Теперь зтот подход изложен в учебниках по теории стационарных процессов (см., например, книгу Ю.А. Розанова [348]).

Вопрос об изучении свойств случайного процесса по поведению его единственной реализации входит в классическую проблематику теории вероятностей. См., например, монографии Ибрагимова и Линника [185], Биллингсли [51] или Чанга [78], в которых изложены общие подходы к решению задачи.

Задачи

2G.1. Пусть s^O - р-мерный сигнал. Показать, что

-Iя

£’|s(0I2= — / tr(0J(co))dw.

2G.2. Пусть Oj(u>) - спектр мощности скалярного сигнала, определенного формулой (2.63). Показать, что:

(i) Ф$(си) веществен;

(И) Ф^(со) > 0 Vcu;

ФН-^) = ФдМ.

Г у^ 1

2G.3. Пусть s(r) = I I и пусть его спектр представлен в виде

L и^п j

1

Фу(си) ФуМ(^)

Ф^(^) фиМ

Показать, что Ф,у(со) -- эрмитова матрица, т.е.

Ф5(и>) = Ф?(ы)>

где символом * обозначена транспонированная комплексно сопряженная матрица. Что это означает применительно к взаимным спектрам Ф^м(со), Фм^(и>) и Ф^м(- си)?

2G.4. Пусть система имеет следующее непрерывное по времени представление

у (г) = Gc(p)u(t).

Входной сигнал в интервале дискретизации Т постоянен. Показать, что дискретизованные значения входного и выходного сигналов связаны соотношением

ytO = GtWu^,

где

00- 11

Grto)= J Gets)Tm ds.

—ооs' <7 — es*

Указание. Использовать (2.5).

Стационарный случайный процесс имеет спектр

1,25 + cos со

~ 1,64+ 1,6 cos ш ‘

Описать сигнал {v(r)} как ARMA-процесс.

Пусть (л(^)} и { §(г)} - две взаимно независимые последовательности независимых случайных величин и

Ец (г) = Е^ (?) = 0, Ет? (г) = Х^ Et2 (t) = Х^.

Определяется процесс

H'(O = n(O + UO + Tta - 1).

Построить такой М А (1) -процесс

и(?) = еЮ + cett - 1),

где {е(г)} - белый шум с характеристиками

Ее(г) = 0, Ее2(г) = Хе»

что процессы { w (г)} и {и (г)} будут иметь одинаковые спектры. Иначе говоря, выбрать такие значения констант с и Х€, чтобы Фу(со) = Ф^со).

(а) Допустим, что в условиях задачи 2Е.2 совместное распределение процессов {л (г)} и { £ (г)} гауссово. Показать, что если процесс { е(г) J также является гауссовым, то распределение вероятностей процесса {и*(г)} (т.е. все совместные распределения вероятностей значений w(t г), wttT),..., w(tp) для произвольных наборов моментов времени г,) совпадает с распределением вероятностей процесса {и(г)). На практике такие процессы { w(r)} и {и(г)} являются неразличимыми.

(Ь) Пусть теперь л (О €^(0, Х^), а

/ 1 с вероятностью Х^/2;

£(0= {-1 с вероятностью Х^/2;

I 0 с вероятностью 1 - Х^.

Показать, что хотя спектры, и и w совпадают, нельзя подобрать такое распределение для e^t)^ чтобы совпали и распределения этих процессов. Отсюда следует, что процесс w(?) не может быть представлен МА (1)-процессом, хотя и имеет эквивалентное ему представление второго порядка.

Рассмотрим ’’описание в пространстве состояний”

x(r + l)=A(r) + w(r),

M = hx(t)*v(t),

где х, f, h, w и v - скалярные переменные. Процессы {н>(0} и {и(г)} являются взаимно независимыми белыми гауссовыми шумами с дисперсиями Rt й R2 соответственно. Показать, что у (г) может быть записан в виде ARMA-процесса:

7(г)+д,7(г - 1) + .. .+any(t- n) = e(t)*cte(t- 1) + .. . + cne(t- n).*

Определить значения n, a^ С{ и дисперсию e(r) через f, h, Rx й R2. Как связаны между собой e(r), w(0 и и(г)?

Рассмотрим систему

7(0 = G(^)u(0 +v(0 с управлением вида•

и (О = - F2 (?)у (г) + Fv {q) r(0,

где {г(г)} - квазистациоиарный эталонный сигнал со спектром Фг(ю). Помеха {и(г)) имеет спектр Фу(со). Предположим, что {г(г)} и {и(г)} нскоррелированы и соответствующая замкнутая система устойчива. Определить спектры Ф^(с<0, Ф«(^) и Ф^м(о>)«

Рассмотрим систему

d

—У (0+57(0 = u (t). dt

Допустим, что входной сигнал и (г) кусочно постоянен, т.е. в интервале дискретизации

иЦ) = ик, kT<t<(k^l)r'

Выписать дискретизованные представления ик> у(кТ).

Предположим, что имеет место временная задержка длительности Т так, что в формуле (2.96) и (г) заменяется на и (Г - Г). Построить дискретизованное описание системы в этом случае.

.(с) Предположим, что временная задержка равна 1,5 Г и и (О заменяется на и (г - 1,57).

Построить выборочное описание.

Рассмотреть систему, описывающуюся уравнением

7(г) +<?7(г - 1) = bu(t - 1) + е(0 + ce(t - 1),

где {и(г)} и {е(г)} -независимые белые шумы с дисперсиями д и \ соответственно. Следуя процедуре, предложенной в дополнении 2С, умножить уравнение системы иа e(r), e(t - 1), u(t - 1), у (г) и 7 (г - 1) соответственно и, вычисляя математические ожидания, показать, что

Ryc№ = K Rye(l) = (с - а)К;

. Ryu$^ = ^» Ryu(^) ~ Ь^

Ь2ц+ \ + с2\- 2ас\х Х(с - а + а?с - ас2) - ab2ii

Ryw=——, Rym—.

2Т.1. Рассмотрим непрерывную по времени систему (2.1) :

yW^Jg^u^t - T)dT.

О

Пусть g^U) определяется формулой (2.5) и сигнал и (г) не является кусочно постоянным, ио

— и(0 <С,. ’

I dt I

Пусть ик = и ((к + 1/2) Т). Показать, что

у(кП= £ gr(Z)«fc_z + rfc, 1 = 1 где:.

\гк\<С2Т2. 1

Определить предельное значение С2.

2Т.2. Если фильтры R^q*) и R2(q) (строго) устойчивы, то и (доказать это) фильтр Я, WR-!^ также (строго) устойчив (см. также задачу 3D.1).

2Т.З. Пусть G<q^ - рациональная передаточная функция, т.е.

Показать, что если система G(q) устойчива, то она также и строго устойчива.

2Т.4. Рассмотрим нестационарную систему

x(r + l)-F(r)x(r) + G(O«(f),

у(0 = Н(Пх(1).

Запишем

t

У<А = S gAk'luV - к') k = 1

(при к > t полагают gf (fc) = 0). Предположим, что

F(O -► F при г -* «>,

где все собственные значения F находятся внутри единичного круга. Показать, что семейство фильтров {gr(fc), г = 1, 2,... } равномерно устойчиво.

2D.1. Рассмотрим спектр U^^), определенный формулой (2.37). Показать, что и^{2л - со) = U^(со) = Un<^ и переписать соотношение (2.38) в чисто вещественной форме.

2D.2. Вывести формулу (2.39).

2D.3. Пусть { и (г)} - стационарный случайный процесс с Ru {г) = Ей (г) и Ц - т) и пусть Фм(со) - его спектр. Допустим также, что

S I tRu^ | < о®.

7=1

Спектр (7дг(со) определяется формулой (2.37). Доказать, что

^1 t/jV(w) |2Фм(со) при ^->вo.'

Это усиление леммы 2.1 для стационарных процессов.

2D.4. Пусть Gfa) - устойчивая система. Доказать, что

N

lim — S '^lg(^)l = 0.

N->~ N k= 1

Указание. Использовать лемму Кронекера: пусть а^ Ьк - две последовательности такие, что а^ положительны и убывают. Тогда из ограниченности ряда S а^к < 00 вытекает, что

к

N

lim qn S 6* = 0

N->~ к= 1

(доказательство леммы Кронекера можно найти, например, в [78]).

2D.5. Пусть Ь^т') - дважды индексированная последовательность такая, что для всех т

6уу(т)-* 6(т) при N-^^.

(не обязательно равномерно по т). Пусть ат - бесконечная последовательность и пусть

S |<zT|<~, |6(т)|<С Vt. ■

т = 1

Показать, что

N

lim [ S Лт(^м(т) ~ ^(т)) + 2 дтб(т)] = 0.

jV-*oo T--N\t\>N

Указание. Обратитесь к Приложению 2А.

В ряде задач, представленных в этой книге, будет развита методическая основа для интерактивного пакета программ системной идентификации. Соответствующие задачи помечены буквой S. В плане разумного ограничения программистских усилий естественно предположить, что используется язык высокого уровня типа APL или PC-MATLAB с встроенными графическими средствами и подпрограммами матричного анализа.

Напишите макропроцедуру BODEPLOT(G), которая строит диаграмму Боде передаточной функции G, рассматриваемой как комплскснозначный вектор G(eiwk') (к = 1/V). Включить

возможность отображения нескольких кривых на одной диаграмме.

2С.1. Используя идеи дополнения 2С, написать программу вычисления дисперсий произвольного ARMA-процссса, реализующего алгоритмы решения систем линейных уравнений.

Приложение 2А. Доказательство теоремы 2.2

Проведем доказательство для многомерного случая. Пусть w(s) = О для s <0 и рассмотрим м 1 N\ N tt-r

Rs (Г) = "Т7 2 EsO)s(t- т)= — S SS g(k)Ew(t - k>wT<t- t- l)gT(l)z

N t=iN t= i к = o i=о

(2A.1)

Условившись, что w(s) = 0 при s ^ |O,Af], можно записать

/V NN1 N

R,(tV^ 2 g(k)— S Ew(t -k)wT(t-t-l)gT(I).(2A.2)

к = 0 1 = 0N f = 1

Если w(s) =# 0 при s <0, то к s(r) добавляется пренебрежимо малая величина

s(r)= 2 g(k^w(t - к). k=t

Пусть

N

Rw (r) = ' s Ew^wTQ - T) .

N t=i

Очевидно, что R^(t + I - к) и внутренняя сумма в формуле (2А.2) отличаются самое большее тах(^, |т + 1\ ) слагаемыми, каждое из которых в соответствии с (2.58) ограничено величиной С. Таким образом,

1 N

(2А.З)(2А.З)(2A.4)(2A.4)\R^(t*1 - к)2 Ew(t - k^wT(t т - /)| < N r=i

(2А.З)

(2А.З)

(2A.4)

(2A.4)

тах(£, |т + /|)С

NN

Определим теперь

Rs(tV S S g(k)Rw(r + l-k)gT(l). к-0 1 = 0

Тогда

Rs(t)-R^(r)< S S \gW\g(h\\Rw(T*I -k)\* k=Nv\ l=N+\

N N

+ 5 ^ \g^\\g(l)\\Rw(T*l-kl-Rw(.T+l-kyl 1-(2A.5)

k=0 1 = 0

c NNC NN

+ - 2 Z:|gWl- 2 \g(H\ + - 2 It+/||^(Z)I* 2 1^)1.

N k=01 = 0N 1 = 0k=0

Первая сумма стремится к 0 при Af ^ °°, поскольку |/^w(t)| < Си система G^ устойчива. Из устойчивости G^q) следует, что

1 N

— 2 ^1^(^)|^0 при Аг^оо(2А.6)

N к = о

(см. задачу 2.4). Следовательно, две последние суммы в (2А.5) стремятся к 0 при N -* °°. Рассмотрим теперь вторую сумму в формуле (2А.5). Для произвольного е>0 выбирается такое Л^ = Л^,что

Zк=ЛГе+1Zк=ЛГе+1€№)1< — ’€№)1< — ’(2А.7)(2А.7)

Zк=ЛГе+1

Zк=ЛГе+1

€

№)1< — ’

€

№)1< — ’

(2А.7)

(2А.7)

где

Ci= 2 1^)1. k=0

Это возможно, поскольку система G устойчива. Затем подбирается такое N’e. что для N>N*€ кг€

max \Rw(t*1- k) - R„ (т I - k)'\< — •

KKNeCi

Kfc</Ve

Это возможно, так как

(2А.8)(2А.8)Rw (т) -*RW (т) при N-*°°

(2А.8)

(2А.8)

(w квазистационареи) и так как учитывается только конечное число членов разложения ^w(s) (в (2А.8) равномерная сходимость не нужна). Теперь для N > N^ вторая сумма в формуле (2А.5) оказывается ограниченной величиной

N N£ОООО

2 Z|^)| jg(/)| •—+ZZI^)i |g(/)| • 2С +

k = 0 / = 0Cik=^e4-l/ = 0

oo

+ Z Z I^)||^(/)|-2C, k=0 l=Ne4-l

которая в соответствии с неравенством (2А.7) меньше, чем 5е. Отсюда следует, что и вторая сумма в формуле (2А.5) стремится к 0 при N-*°°, что и доказывает равенство 0 предела правой части неравенства (2А.5), а следовательно, квазистационарность $(Г).

Доказательство существования математического ожидания E^t^w7(t - т) проводится по аналогии и проще технически.

Теперь находим, что

<М^) = 2 (2 2 g(k)Rw(r + l- k)gT(iy)e~™ = т =— 00 к =0 / = 0

= 1£ g(k)e-iku£RjT-! + k)e-^!^

т=—оо k=0/ = 0

= [T-/ + A:=s]= 2 g^e-iku • £ Rw^e-iM • S §ЧПеПш = k=0$=—oo/ = o

Таким образом, формула (2.77) доказана. Доказательство формулы (2.78) проще и устанавливается по аналогии.

Приложение 2В. Доказательство теоремы 2.3

В этом дополнении мы докажем теорему 2.3 в более общей формулировке, что окажется важным при исследовании сходимости в главе 8. Кроме того, рассмотрение проводится для многомерного варианта.

Теорема 2В.1. Пусть {GQ(q), 6 Е D0} - равномерно устойчивое семейство фильтров и пусть семейство детерминированных сигналов {^o(t)}9 6 Е De (f = 1,2,...) удовлетворяет условию

iw^OKCv V0, W. (2B.1)

Для каждого 6 EDe сигнал sQ(t) определяется соотношением

S6(.0 = G9(q)vWw9(t),(2В.2)

где {и (О) удовлетворяет условиям теоремы 2.3 (см. (2.86) с условием, что Ee(f)eT (f) = Лг) .Тогда

1 N

sup - 2 [soCOsfCO-^COsJ’CO] -0(2B.3)

9eD6 N r=l

с вероятностью 1 при N -► <*>.

Замечание. Отметим, что если размерность dims = 1, De = {У*} (множество состоит только из одного элемента), G6*(q) = 1 и w0#(^) = m^, то из (2В.З) следует формула (2.87а). При

(2В.4)

всевозможные взаимные произведения в (2В.З) позволяют получить все формулы (2.87).

Прежде чем доказать теорему 2В.1, установим две леммы.

Лемма 2В.1. Пусть (u(f)} удовлетворяет условиям теоремы 2.3 и пусть

Сн= $ир|йг(й)|, С, = supA'I e(f)|4, Cw = sup| w(r)i. * = 1 tt0

Тогда для всех r, N, тип

II NII 2

Е 2 [y(t-m)yr(t-n)-Fy(f-m)yT(f-n)] I ^ C-C^ (N - г),(2B.5)

IIt=rII

I

nII2

Х^-дОи^-п) < CC^C^,(N-г).(2B.6)

Доказательство. Без потери общности можно положить т = п = 0. Тогда имеем

NN *.*.

S^ 2[u(t)ur(0-^(0vT(01 = 2 2 2 йг(й)а(Г, й,/)йГ(/),(2В.7)

t=rt=r k = 0 1 = 0

где

(2B.8)(2B.8)a(f, й, /) = e(t - k^e1^ -l)~ f^t-fikv

(2B.8)

(2B.8)

Квадрат (z,/)-элемента матрицы (2В.7) представляется в виде

(S^G,/))2 = 2 22 2 22 т(ЛхЛ1Л2,/1,/2),

t=r s=r kt=0 1,=0 к2 = 0 12=0

где

Т(Л $, ^Лг, /1, /2) = ^°№)«(Л ^1. /1) [A^CZtЛ^Л.СО^)^^ ^, ^ [h^\l2)]T.

Верхний индекс (7) соответствует z-й вектор-строке. Поскольку {^(Г)} — последовательность независимых случайных величин, математическое ожидание у равно О за исключением тех случаев, когда некоторые из индексов времени в а(7, кХ) /1) и a(s, к2, U) совпадают, т.е. когда t — кх = s — к2 или t — кх = s — 12 или t —1х = - s - к2 или t — 71 = s - 12. При заданных t, кх, к2, 1Х и 12 такое может иметь место при максимум четырех значениях s. В этом случае мы также имеем

EllM, kx,k2JxJ2)^ Се* Щ^)!- |Л(&2)1 * l^(7i)l • \h(l2)\.

Следовательно,

Е(8У(М)У< 2 |й(^)|- 2 |й(Л2)|- 2 |й(М1 X ^ = 0*2 = 0/, = 0

ееN.

X 2 XMl^V 2 4Се< 4Се ■ C4H(N - г).

1^ = 0t=r

Это доказывает часть (2В.5) леммы. Доказательство (2В.6) аналогично, но проще. Следствие. Пусть

w(t)- S af(k)e(t - к), v(t) = 2 PtWeV - к). *=о*=о

Тогда

N2

Е 2 w(f)u(f) -Ew(t)v(t) < С-C2W ■ Cl ■ (N - г),

Cw = 2 sup|ar(*)|, C„= 2 sup|0f(*)l-'

*=0 tk=0 t

Лемма 2B.2. Пусть'

!n

2 $е(?)$у(О-^е(О$е(О •(2B.9)

Тогда

E(R?f < C(N-ry(2B.10)

Доказательство. Сначала заметим, что если

у?= 2 atk1)!^,(2В.11)

к=0

где { а^к)^ - такая последовательность детерминированных матриц, что

2 Иа(^)1КСа, k = 0z

а { z(^)} - такая последовательность случайных векторов, что ^IzC^p^ сг.

тогда

А'|^|2 = 5 5 1г[а(^)&(^)гг(7)аг(7)] < k=0 /=0

< 5 5 lla(^)ll-[^|z(^)|2]1/2-[£'|z(/)|2]1/2.|la(/)ll<(2B.12)

k=0 / = 0

< CZ‘[ S lla(^)ll]2< CXC^ k = 0

В этой цепочке первое неравенство — это неравенство Шварца.

Теперь находим N

Re(N, г) = 5^ [se(0s9T(0 - Ese(t)s^(t^ =

N „„

= 55 5 g0WYv(t-k)vTV-l)-Ev^-k)vT(t-rflgT(T) +(2B.13)

t=r k=0 1 = 0°

N OO

+ 55 we(0ur(Z-/)gJ(Z). t=r 1 = 0

Отсюда следует, что

sup II Rq(N, r) IK S S sup II g6(k) II • II gQy) II • II S^(kf I) II +

6k=0 1=0 6x

oo(2B.14)

+ 2CW • 5 sup H^e(Ar)H • HS^(Zr)ll, k=0 6 где

N

SP(k, Z) = 5 [u (t - k)uT(t -I) - Ev(t- k)vTQ - Z)], t = r•

_ N

S^k) = 5 [и (Г - *) w^(t) + we(?)uT(t - *)]. t=r

Поскольку G6(q) - равномерно устойчивое семейство фильтров, можно утверждать, что

sup II ge (к) II < g(k),5 g(K) = CG< oo. ■

0k = l

Используя (2ВЛ1) и (2B.12) и результат леммы 2B.1, из неравенства (2В.14) можно получить, что

£’[supll^(Mr)ll]2 < 2-C*g *4 Ce C*H (N-r^ о

+ 2 -C2g • 4 -С^ • Сгн * (TV - r)< C(N - г), что и доказывает лемму 2В.2.

Вернемся теперь к доказательству теоремы 2В.1. Обозначим

Tit, У) = s6(0s^(0 - Е$д(П^(2В.15)

и пусть

RN = sup 11^0(^,011,(2В.16)

6 €Dq•

где Re(N,r) определяется формулой (2В.13). 54

В силу леммы 2В.2.

Л-тяН <( 4) •C-N2= — \N2/\ N2/N2

Применяя неравенство Чебышева, получим

р( — rN21< — L'(DN\1

P\N2Rx > Р е2 ^ > '

Следовательно,

*> 1S — к = 1 к2*> 1S — к = 1 к2N / 1,

*> 1

S — к = 1 к2

*> 1

S — к = 1 к2

5 р(— ^

k = i \£

откуда в силу леммы Бореля-Кантелли (см. (1.18)) вытекает сходимость с вероятностью 1

(2В.17)(2В.17)1

(2В.17)

(2В.17)

— Я * О при к -> оо. к2-

Пусть для k = kN и 9=0N найдено значение

sup ~ Ri-

n1 <k<^n*yV к

Отсюда

1 „

kN

sup

. tR?

_ 1 (

S г(Л^)| <

N*<k<(N4-iy к

kN

r = l

1

N1

1

kN

2 r(t, 0N^

+ —

2 r(t,ON)

^N

t=i

kN

t=N2 + l

Поскольку kN > N2, то в силу (2В.17) первый член в правой части формулы (2В.18) стремится к 0 с вероятностью 1. Для второго члена, используя лемму 2В.2, находим

к 21

Е —R ^< — • С • \kN -N2 -1]<

kN N +1 k2N V N J

<’ C.((W+1)2- N2 -1)<•

br

откуда, как и выше, в силу неравенства Чебышева и леммы Бореля—Кантелли следует, что второй член стремится к 0 с вероятностью 1. Таким образом,

sup -Я1к->0(2В.19)

№<к<^+1)2 к

с вероятностью 1 при N -ю°, что и доказывает теорему.

Следствие теоремы 2В.1. Если ослабить условие (2.86), заменив его на £[e(Ol e(f - 1)е(0)] =0, Я[е2(01 е(Г-1),...,е(0)] = Х,

Ле(014< С,

то теорема останется верна (иначе говоря, процесс (е(Г)} не обязан быть белым шумом, достаточно, чтобы он был разностно мартингальным).

Доказательство. Независимость использовалась только в лемме 2B.L Нетрудно видеть, что эта лемма выполняется и при ослабленных условиях.

Приложение 2С. Ковариационные формулы

При ряде расчетов нам понадобятся выражения для дисперсий и ковариаций ARMA-си гналов. Их вывод опирается на следующие формулы обращения:

Яв(т) = V" / Ф$ (w)e,UJTdw,

R$u(t) = — J ф™ (u)e,OJTdw. Z7T — я

(2СЛа)(2СЛа)(2С.1Ь)(2С.1Ь)X "R$(t)=— JZ7T —тгX "R$(t)=— JZ7T —тгС(е^)Л(е'ш)С(е^)Л(е'ш)2etuTdw = [с = е'ш] =2etuTdw = [с = е'ш] =X C(z)C(l/z)2тт * А^А<\^X C(z)C(l/z)2тт * А^А<\^zT xdz.zT xdz.(2C.2)(2C.2)Используя формулы для спектра ARMA-процесса из теоремы 2.2, можно преобразовать (20.1 а) к виду

(2СЛа)

(2СЛа)

(2С.1Ь)

(2С.1Ь)

X "

R$(t)=— J

Z7T —тг

X "

R$(t)=— J

Z7T —тг

С(е^)

Л(е'ш)

С(е^)

Л(е'ш)

2

etuTdw = [с = е'ш] =

2

etuTdw = [с = е'ш] =

X C(z)C(l/z)

2тт * А^А<\^

X C(z)C(l/z)

2тт * А^А<\^

zT xdz.

zT xdz.

(2C.2)

(2C.2)

Последний интеграл представляет собой интеграл в комплексной плоскости вдоль единичной окружности, который может быть определен методами теории функций комплексных переменных. В работе [33] (см. также гл. 5 книги [21 ]) предложен эффективный расчетный алгоритм для вычисления интеграла (2С.2) при т = 0. Этот алгоритм записывается в следующей форме:

A(z^ = aozn *axzn~v + ...+ аи, C(z) = coz” + c1z”~ + . . . + c„.

Полагая a” = at и с” = cp можно выписать следующие рекуррентные соотношения: _и-к+1_и-к+1_и--к + 1 _и-к+1

п_к Д° ai ~an-k*ian-k*X-iа; = ,

*_п — к*Х

_п-к*Х„п-к*Х _n-k*X _п-к*Х

Глава 3

МОДЕЛИРОВАНИЕ, ПРОГНОЗИРОВАНИЕ И УПРАВЛЕНИЕ

Описания систем, приведенные в гл. 2, можно использовать при решении самых разнообразных задач проектирования в реальных системах управления. В этой главе мы обсудим некоторые из них, преследуя сразу две цели. Во-первых, окажется, что разработка методов идентификации существенно использует идеологию прогнозирования будущих значений сигналов. И, как результат, формулы, приведенные в п. 3.2, станут инструментальным средством в последующем изложении. Во-вторых, описывая примеры использования моделей систем, мы получим некоторое представление о тех требованиях к описаниям, которые обеспечат адекватность моделей целям их использования. Решая задачи идентификации, мы будем руководствоваться тем соображением, что важно согласовать усилия, затрачиваемые на построение модели системы, с ее предполагаемым применением. В этой главе мы считаем, что описание системы представляется формулой (2.93) :

y^ = G^u^*H^e^. (3.1)

Моделирование

Чаще всего описание системы используется для того чтобы промоделировать реакцию системы при различных ’’входных сценариях”, т.е. попросту рассчитать, используя соотношение (3.1), невозмущенный выходной сигнал

^*(r) = Gto)t/*(O, '=!,... Л,(3.2)

при подаче на вход системы выбранной пользователем входной последовательности н*(Г), t = 1,. .. , N. Результат расчета определяет тот сигнал, который наблюдался бы на выходе системы, если бы никаких отклонений (возмущений) от описания (3.1) не было. Для оценивания влияния возмущений используется генератор случайных чисел, реализованный на ЭВМ и воспроизводящий последовательность чисел e*(f), Г = 1,..., N, которая может рассматриваться как реализация случайного процесса, являющегося белым шумом с дисперсией X. Теперь величину возмущения можно рассчитать как

иЧП = Н^еЧ0-(3.3)

Соответствующим образом предъявляя пользователю сигналы У*^ и v*(f), можно сформировать у него представление о реакции системы на входной сигнал {«’(О).

Этот подход к оценке поведения системы в разных условиях, основанный на экспериментах с моделью (3.1), а не с реальным физическим объектом, нашел широкие применения во всех технических дисциплинах и несомненно отражает наиболее общий путь использования математических описаний. Строго говоря, модели, используемые, например, в пилотных тренажерах или тренажерах операторов атомных электростанций, намного сложнее модели (3.1), однако и в их основе лежит та же общая идея (см. также гл. 5) .

Прогнозирование

Начнем с обсуждения того, как предсказывать будущие значения сигнала u(Z), который описывается уравнением вида

и^ = Н^е^ = £ А(^)е(г-^).•(3.4)

*=о

Чтобы эта запись была осмысленной, предполагается, что система Н устойчива, т.е.

2 |й(*)|<<».(3.5)

к = 0

Обратимость модели шума. К модели (3.4) предъявляется существенное требование ее обратимости, т.е. возможности расчета сигнала е (^) при заданном u(s), s < t, по формуле

е(г) = Я(^)и(Г) = 2 h(k)v(t - к),(3.6)

к-0

где

|h(^)|< °о. к = 0

Как же определить фильтр Н (q) и Н (^)? Ответ содержится в следующей лемме.

Лемма 3.1. Рассмотрим сигнал {и(г)}> определенный выражением (3.4), и допустим, что фильтр Н устойчив. Пусть

H(z) = 2 h^k)z-k(3.7)

к=0

и пусть функция \)H(z) аналитическая в области I z | > 1:

= 2 h^V(3.8)

H(z) '*=о

Определим фильтр Н-х ^ соотношением

H~\q}= 2 h(k)q-k.(3.9)

k=0

Так, определенный фильтр H(q) = Н"1^) удовлетворяет (3.6).

Замечание. Существование для |z| > 1 функции (3.8) означает также устойчивость фильтра Н-1^). Краткости ради мы будем говорить, что фильтр Н (q) является устойчивым по обращению.

Доказательство. Из формул (3.7) и (3.8) следует, что

1=2 2 h^h^z-^*^ = \к+$=Ц = 2 Ь h(k)h(/- k)z~l.

к-0 s=0/=0 к=0

отсюда вытекает

1~S h^hQ- k) =k = 0I 0,Пусть теперь сигнал (u(f)}1~S h^hQ- k) =k = 0I 0,Пусть теперь сигнал (u(f)}(3.10)(3.10)если / = О, если /#=0.

1~

S h^hQ- k) =k = 0I 0,

Пусть теперь сигнал (u(f)}

1~

S h^hQ- k) =k = 0I 0,

Пусть теперь сигнал (u(f)}

(3.10)

(3.10)

определен формулой (3.4). Тогда в силу (3.10)

S h(k^vU - к) = S h(k) 2 h^e^t - к s) =

к = 0к=0s=0

= S 2 h (k)h(s)e(t - к - s) = [^ + s = /] =

к = 0 s = 0

= S [ S h(k)h(l- k^e(t-n = e(t),

1 = 0 k=0

что и доказывает лемму.

Замечание. Лемма показывает, что существует большая аналогия между свойствами фильтра H(q) и функции H{z). Тот факт, что выражение для обратного 58

фильтра можно получить посредством вычисления величины, обратной к функции Я (2), не является тривиальным и формулируется в виде леммы. Однако все основные соотношения выполняются одновременно для Я(^) и Я(г), и в чисто практическом плане небесполезно иметь возможность свободно выбирать между фильтром и соответствующим z-преобразованием. См. также задачу 3D.1.

Лемма показывает, что уравнение обратного фильтра (3.6) естественным образом соотносится с уравнением исходного фильтра (3.4). В плане определения этого фильтра можно также записать

,1

Я"1(^) = ,(3.11)

Необходимо только, чтобы функция 1/Я(г) была аналитической в области |z| > 1, т.е. чтобы у нее не было полюсов вне открытого единичного круга. Можно было бы перефразировать это условие, постулируя отсутствие нулей у функции H{z) внутри замкнутого единичного круга. Это вполне согласуется с утверждением о возможности спектральной факторизации (см. п. 2.3), в соответствии с которым для любого рационального, строго положительного спектра всегда можно найти представление Я (^), обладающее этими свойствами.

Пример 3.1. Процесс скользящего среднего.

Допустим, что

u(r) = e(r) + ce(r - 1),(3.12)

т.е.

Н^ = \ * cq~x.

В соответствии с формулой (2.85) - это процесс скользящего среднего порядка 1, МА(1). Тогда функция

z + с

//(z) — 1 +CZ-1 = ——

имеет полюс в точке z = 0 и нуль в точке z = -с, который при |с | < 1 лежит внутри единичного круга. В этом случае обратный фильтр определяется по формуле

"''<z> = i = 777777 = 2 ^kzk, n\Z) 1 + cz k = 0

a e (г) можно восстановить из формулы (3.12), записав

е(П= 1 (-c)kv(t - к).

к-0

Одношаговый прогноз процесса у. Предположим теперь, что мы наблюдаем значения u(s) для s < t - 1 и хотим, используя эти наблюдения, предсказать значение u(f). Так как функция Я моническая, имеем

и(Г)= S h(k)e(t - ^) = е(Г)+ Ь^)^-^).(3.13)

к=0к=\

Далее знание значений v(s) (s < f - 1) предопределяет в силу (3.6) знание значений е (s) (s <f — 1). Таким образом, в момент t — 1 известен второй член в правой части формулы (3.13). Обозначим его m^t — 1):

m^t-X^- 2 h(k)e(t - к). k = l

Пусть все значения {e(OJ одинаково распределены и общая плотность вероятности распределения е (f) обозначена /е(х):

Р(х < е(Г) < х + Дх) /е(х) Дх.

Это распределение не зависит от других значений ^(s), $ ^ t, поскольку { е (f)} - это последовательность независимых случайных величин. Таким образом, в момент времени t — 1 можно утверждать, что к моменту t процесс u(f) окажется в интервале между m^t - 1) + х и m^t — 1) + х + Дх с вероятностью fe (х)Дх. Это можно перефразировать следующим образом:

(апостериорная) функция плотности вероятности значения u(f) при заданных наблюдениях до момента t — 1 может быть записана как /v(x) = =fe<x-m<t-V>Y

Формально это можно представить в виде следующей цепочки преобразований: /у(х)Дх = Р(х < и(Г)< х + Дх | и2~1) = ^(х < m^t - 1) + e(f) < х + Дх) =

= Р(х -m^t - 1)< е(0 < х + Дх - m^t - 1))=/е(х - m^t - 1))Дх.

Здесь Р(Л| uLL1) обозначает условную вероятность события А при заданном и^1.

Это наиболее общее утверждение, которое может быть высказано о значении процесса u(f) в момент t — 1. Часто ограничиваются заданием только одной величины, которая характеризует это вероятностное распределение и, таким образом, служит прогнозом и (f). Она может быть выбрана как точка максимума плотности fe (х - m^t - 1)), наиболее вероятное значение u(f)> называемое также прогнозом по максимуму апостериорной вероятности (МАВ). Однако мы будем чаще пользоваться средним значением рассматриваемого распределения,условным средним v^, обозначаемым u(f|f — 1). Поскольку среднее значение величины е (t) равно О, имеем

и(Г | Г — 1) = Л72(Г — 1) = S h(k)e(t-£)..(3.14)

к = 1

Нетрудно установить, что условное среднее минимизирует также среднеквадратическое отклонение ошибки предсказания:

minF (и (0™ ^(О)2 =>S(0 = i)(^R- 1),

где минимум ищется на множестве всех функций v^ от uL"1. См. задачу 3D.3.

Выпишем более удобное выражение для (3.14). Используя (3.6) и (3.11), находим.

у (И t - 1) = [ 2 Hkyr’Wi = [Я(<7) - 1]е(П = fc=i

Я(^)-1,- ~

= -4л— v(0= [1 -н-1 G)]y(0= S -h(k)u^-ky(3.15)

Н(я)k = i

Применяя преобразование Н (<?) к обеим сторонам, получим альтернативную запись

Я(<7)у(Г|Г-1)=[ад-1]у(0 = ^Mk^t-kY(3.16)

k = l

Пример 3.2. Процесс скользящего среднего.

Рассмотрим процесс (3.12). Формула (3.16) показывает, что прогноз можно представить в виде

и(Г| Г - 1) + си(г- 1|Г-2) = си(Г- 1).(3.17)

Иначе можно определить Н"1^, следуя примеру 3.1, и, используя формулу (3.15), получить

С(г| г - 1)= - Е (-c)kv(t - к).'

*=1

Пример 3.3. Процесс авторегрессии. Рассмотрим процесс

v(r)= 5 ake<t - к), UK 1.

к=0

Тогда

откуда следует, что’

Н-Цг>=1 -az~v

и, в соответствии с (3.15), прогноз записывается как

u(r I г - 1) = avV - 1).(3.18)

Одношаговый прогноз процесса у. Рассмотрим описание (3.1) и допустим, что для s < г - 1 известны значения .у ($) и и^. Так как

u(s) = ^(s)-G(^)w(s),(3.19)

то известны также значения и(^) для s < t - 1. Используя эту информацию, хотелось бы спрогнозировать величину

y^G^u^t-v^Y.

Очевидно, что используя формулы (3.15) и (3.19), можно записать условное математическое ожидание при задании указанной информации в виде

y<t\t - 1) = <7(^)и(О + й(И t - 1) =

= (7(<7)«(О+[1 -я-Ч»)]иЧ) = ад«(0 + [1 -я-Ч^Г^СО-адиЮ].

Приведение подобных членов дает

| Янг-О^я-Ч^с^иСО + [1 -я-Ч?)]^(0,(3.20)

или

H^Kt1t ^\^G(№)^(3.21)

Напомним, что эти выражения представляют собой краткую запись соответствующих разложений. Например, пусть {I (к)} определяется как

G (z)*.

= S l^z"k(3.22)

Н^ к-1 '

(это разложение существует при ]z| > 1, если функция H{z) не имеет нулей, а G(z) - полюсов в области |z| > 1). Тогда (3.20) означает, что

p(r|r-l)= 5 l(k)u(t~k^ S -h(k)y(t-к).(3.23)

* = ifc=i

Неизвестные начальные условия. До сих пор использовалось предположение о том, что доступны полные записи данных от -00 до t - 1. Однако на практике информация доступна только в интервале [0, t — 1]. Проще всего было бы, заменив все недостающие данные, например, нулями, получить из (3.23)

р(Г|Г-1)^ £ Kk^t-k^ X -h^y<t-ky(3.24)

к-1к = 1

Но следует отдавать себе отчет в том, что теперь получается только аппроксимация настоящего условного математического ожидания при данных из интервала [О, t — 1]. В точный прогноз войдут переменные коэффициенты фильтра и его можно получить с помощью фильтра Калмана (см. (4.91)). Однако в практическом плане формула (3.24) будет определять приемлемое решение. Это объясняется тем, что обычно коэффициенты (/(£)} и (%(£)) экспоненциально убывают с ростом к (см. задачу 3G.1).

Ошибка предсказания. Из формул (3.20) и (3.1) мы находим величину ошибки предсказания j^(Z) -р(Г| t - 1):

У<П - Xt 11 - 1) = -H"4q)G(q)u(t) + H"1 (q)y(t) = e^.(3.25)=

Таким образом, переменная e(z) отражает ту часть выходного сигнала ^(0, которая не может быть спрогнозирована по данным о прошлом. По этой причине она называется обновлением в момент L

^-шаговый прогноз ^(*). Рассмотрев несколько подробнее особенности задачи одношагового предсказания, нетрудно поставить следующую обобщенную задачу: Допустим, что наблюдались значения и($) для s < t и нужно спрогнозировать значения v (t + к). Имеем

<»Аг — 1w

v(ti-k) = X h^)e(t*k-I)= S Ц1)е(М к - I)* X h^eV + к -/).(3.26)

Z = 0Z = 0l = k

Определим теперь

к — 1 <x>

Hk^= 5 h^q-', H^- 2 HQ^q-1^.(3.27)

Z = 01-k

Вторая сумма в правой части (3.26) в момент времени t известна, тогда как первая сумма не зависит от происшедшего до момента t и имеет нулевое среднее. Отсюда условное среднее и (t + к) при заданном uLoo записывается как

й(г+^Ю = X h(l)e(t + k-I)=J^(q)e(t^^ 1 = к.

Это выражение определяет ^-шаговый прогноз и.

Предположим теперь, что имеется наблюдение yLoo и известно и^^-1, и на основе этой информации желательно спрогнозировать у^ + ^)- Как и выше, имеем

y^t + k) = G(q)u(t + ^) + и(Г *к^,

откуда следует, что

£(t+&i ^Lo.. U-^-1) £ У& + M0 = G№“(t + k) + v(f + kl t) =

= G(.q)u(t + k^H^H"1 (q)v(t) =(3.28)

= G(q)u^k3 + Hk(q)H"4q3 [y(t) - G(q)u(t)].

Введем

Wktf^ 1 -q-kHk<q3H-4qV\H(q) - q-kHk(q3AH-4q3 = Hk<q)H"4q). (3-29)

Теперь простые преобразования формулы (3.28) дают

yV + *11) = V^G^u^t + к) + Hk(.q)H"4q)y(t3(3.30)

или, используя первое равенство в (3.29),

у(Н t - k)=Wk{q)G(ci)u(t)+\\ - Wk(q)}y{t - к).(3.31)

Это выражение вместе с формулами (3.27) и (3.29) определяет ^-шаговый прогноз у. Заметим, что этот прогноз можно также рассматривать как одношаговый прогноз для модели

yQVG^q)u(t) + Wic4q')e(t)..(3.32)

Ошибка предсказания может быть найдена из (3.30) в виде

ek(t + k)^y(t + k) - yV*k\O = -Wk(<i)G^q)u<t + k') +

+ [qk ■ Hk(q)H~l(q)]y(t) =_(3.33)

= Wk(q) [Д' + k>- G^u^t + ^)] = Wk(q)H(q)e(t + k) = Hk (q)e(t + k>.

Здесь во втором и четвертом равенствах использована формула (3.29). В соответствии с (3.27) Hk(q) — многочлен от q-1 степени к - 1. Таким образом, ошибка предсказания представляет собой скользящее среднее величин е (Г + к),. .. , е (t + 1).

Многомерный случай. В многомерном варианте модели (3.1) (или (2.88)) определяется матричный фильтр Я-1(^):

H'XqV Z h^q"k.

*=0

Здесь h^ - (р X р)-матрицы, определяемые разложением матричной функции

[Я(2)]-* = 5 h^k)z-k.(3.34)

к-0

Это разложение может быть проинтерпретировано для каждого элемента матрицы [Я^)]"1 (с помощью стандартных процедур обращения матриц). Оно существует при |z| > 1 и условии, что det^(z) не имеет нулей при |z| > 1. С так определенной Я"*1^) все предыдущие выкладки и формулы переносятся на многомерный случай.

Наблюдатели

Во многих задачах теории систем и теории управления полное описание свойств помехи в уравнении (3.1) не используется. Вместо этого работают со свободной от шумов, или детерминированной, моделью:

y(t) = G(q)u(t).(3.35)

Однако в этом случае вероятно следует помнить, что уравнение (3.35) не отражает всех входо-выходных особенностей системы.

Конечно, модель (3.35) также можно использовать для ’’расчета”, ’’выдвижения гипотез” и ’’прогнозирования” будущих значений выходного сигнала. Однако в отсутствии модели шума остается свобода в выборе наилучщего способа употребления модели (3.35). При этом ключевым моментом оказывается введение концепции наблюдателей. Обычно эта концепция трактуется в терминах моделей в пространстве состояний для описания (3.35) (см. п. 4.3); см., например, работы Луенбер- гера [269] и Острема и Виттенмарка [32]. Но по существу также ее можно рассматривать в рамках входо-выходного описания (3.35).

Пример 3.3.'

Пусть

G(z) = 6 5 (a)k-1z~k = -^-.(3.36)

к = 11 - az-1

Это означает, что входо-выходное соответствие можно представить уравнением

ут = ь е wk-1ua-k'),(за?)

к = 1.

т.с.

bq-1

ут = uUV.

1 -aq"x

либо уравнением

(1 - aq"x>>yVn = bq‘x u(t)t

т.е.

У (О - ayU - 1) = buU - 1).(3.38)

Теперь, если заданы описания (3.35) и (3.36) и данные у (s), «(s) (s < t - 1) и требуется "высказать предположение" или "рассчитать" возможное значение сигнала у (О, то можно воспользоваться формулой

у(г|г-1) = 6 S (a)k~1u(t-к),(3.39)

к = 1

или формулой

у U 1t - 1) = ay(t - 1) + bu^t 1).(3.40)

Пока данные и описания системы правильны, между соотношениями (3.39) и (3.40) разницы нет: каждое из них является "наблюдателем" (в нашем случае более уместно было бы говорить "предсказателем") системы. Возможность выбора между этими соотношениями может быть связана с дифференциацией степени их чувствительности к неточностям в данных и самих описаниях. Так, например, если нет данных о значениях входных и выходных ситалов до момента 5=0, то ошибка уравнения (3.39) является величиной, убывающей как а1 (влияние неверно заданных начальных условий), а уравнение (3.40) при t > 1 остается точным. С другой сгоро- ны, ошибки измерений выходного сигнала, не сказываясь на корректности описания (3.39), непосредственно трансформируются в ошибки прогнозирования при использовании описания (3.40). Из обсуждения в п. 3.2 должно было стать ясно, что как только описание (3.35) дополняется моделью шума тина (3.1), выбор предсказателя становится единственным (см. задачу ЗЕ.З). Это следует из однозначности определения условного среднего значения выходного сигнала при данной модели шума.

Семейства предсказателей (3.35). Пример (3.36) показывает, что выбор предсказателя можно было бы рассматривать как поиск компромисса между чувствительностью и ошибками измерений выходного сигнала и быстро затухающим влиянием ошибочных начальных условий. Чтобы ввести конструктивные переменные этого компромисса, выбирается фильтр W (^) такой, что

W(<Z) = 1+2 w^"1.(3.41)

к•.

Применяя его к обеим сторонам соотношения (3.35)

W(<7W) = WG^)^),

получим, что

У<П = [l-W(q)\y(j)+W(q)G(q)^•

В силу (3.41) правая часть этого уравнения зависит только от у (s) (s < t - к) и от и (s ) (s < г - 1). Опираясь на эту информацию, мы могли бы высказать ’’предположение” или спрогнозировать у (0>а именно:

^(Гк-fc) = [1- И^ЛИО+И^СМиО).(3.42)

Тогда можно было бы выразить компромиссный выбор W следующими двумя требованиями.

Выбор такого И^^), чтобы минимизировать влияние ошибочных начальных условий за счет быстрого затухания коэффициентов фильтров W и W6'.(3.43)

Выбор такого W(<?)> чтобы максимально оттенить неточности измерений сигнала у (z).

Последнее требование может быть выпукло проиллюстрировано в частотной области. Пусть y(Z) = Ум^ + и^» гДе Ум (0 = G^u^ - полезный сигнал, а и (z) - ошибка измерений. Тогда в соответствии с (3.42) ошибка прогнозирования составит

е(0 = ЯО - .У (О г - к) = И^) v(r).(3.44)

В силу теоремы 2.2 спектр этой ошибки имеет вид

<№) = I ИЧе'^рФДсо),(3.45)

где Фу (си) — спектр и. Таким образом, задача заключается в том, чтобы выбрать фильтр И/, удовлетворяющий (3.41), и такой, чтобы спектрошибки (3.45) находился в приемлемом диапазоне и имел подходящую форму.

Сравнение с к -шаговым прогнозом из п. 3.2 показывает, что выражение (3.42) совпадает с (3.31) при W^ = ^ (^). Ясно, что полная спецификация шума из уравнения (3.1) дает возможность произвести аналитический расчет фильтра W в соответствии с требованием 2. Именно это мы и проделали в п. 3.2. Однако в этом случае требование 1 не учитывалось, поскольку предполагалось, что имелась полная информация о прошлом. Как мы уже отмечали, этот аспект обычно менее важен.

Фундаментальная роль прогнозирующего фильтра. Оказывается, что в качестве описания систем чаще всего используются не исходные уравнения (3.1) или (3.35), а предсказатели (3.20) или (3.31) и (3.42). Мы используем соотношения (3.31) и (3.42) для того, чтобы прогнозировать или формировать гипотезы о будущих выходных сигналах; мы используем их при проектировании систем управления (как будет видно в дальнейшем) для регулирования прогнозируемых выходных сигналов и т.д. Здесь соотношения (3.31) и (3.42) трактуются просто как линейные фильтры, на входы которых подаются последовательности {w(f)} и {у (Z)}, и воспроизводящие на выходе сигнал у (t | t - к). Способ, которым пользуется проектировщик при выборе фильтра, не имеет значения, важно предназначение фильтра: фильтр один и тот же, независимо от того, получилось ли W = Wk в результате решения задачи о компромиссном выборе (3.43) или посредством расчета по Н с использованием

У ^у Рис. 3.1. Предсказывающий фильтр (пред-

сказатель)

формул (3.27) и (3.29). В этом плане можно рассматривать модель шума Я в уравнении (3.1) не более как оправдание выбору предсказателя. Мы будем придерживаться этой точки зрения. Прогнозирующий фильтр представляет собой фундаментальное описание системы (рис. 3.1). Цепочка рассуждений, которая приводит к формированию фильтра, является вторичной. Отсюда также следует, что различие между ’’стохастической системой” (3.1) и ’’детерминированной системой” (3.35) не является фундаментальным. Тем не менее, нам будет удобнее пользоваться описанием (3.1) как основным, Оно находится во взаимно однозначном соответствии с одношаговым предсказателем (3.20) (см. задачу 3D.2) и непосредственно соотносится с традиционными описаниями.

Л. Льюнг

Управлениеw

Задача управления состоит в том, чтобы посредством соответствующего выбора входной последовательности обеспечить желаемое поведение выходного сигнала системы. Вполне естественно, что для адекватного проектирования механизма управления будет выбираться то или иное описание системы.

Классический подход к компенсации ведущего запаздывания. ’’Классическая” теория управления, как она в 1940-х годах была развита в работах Боде, Николса, Найквиста и других ученых, опирается на некоторое графическое представление частотной характеристики О'(е^). Обычный подход состоит в задании закона управления в цепи обратной связи

u(j) = ^to)[r(r)^(r)l, (3.46)

где г (г) - желаемое значение выходного сигнала: уставка или эталонный сигнал. Тогда, пренебрегая помехами, можно записать уравнение замкнутой системы в виде

у(0 =у(0 =(3.47)(3.47)F^G^q) , х r

у(0 =

у(0 =

(3.47)

(3.47)

1 + F(q)G(,q)

и выбор F осуществляется так, чтобы скомпенсированная частотная характеристика

F(e'w)G(e/tJ)

обладала заданными свойствами, которые обычно проверяются на соответствующих графических представлениях. Для устойчивости системы (3.47) особенно важны значения частотной характеристики в окрестности некоторых частот типа частоты среза, где

IFCe'^G^)! = 1.

Отсюда следует, что для успешного применения этого метода важнейшее значение имеет достоверность сведений о значениях ^(е'02) в соответствующих частотах (см., например, [221]).

Управление по минимуму дисперсии. Решение задачи управления ио минимуму выходной дисперсии системы (3.1) основано па идее такого выбора выходного сигнала, который обеспечивает минимальную дисперсию выходного сигнала в окрестности нулевого среднего значения. Допустим, что выходной сигнал запаздывает относительно входного сигнала на время к, т.е.

G^= 5 g^q"1, 8^*0-(3.48)

I = к

Отсюда следует, что выбор и (г) будет определять значение у^ + к), но не более ранние значения. Теперь можно записать (см. (3.33))

У(г*к) = y(t + ^U) + ^(z+^),

где е к (г + к) зависит только от е (t + к), . . . , е (t + I) . Таким образом, этот член не зависит от и^. Кроме того, е к (Г + к^ и у (t + к | Z) независимы, поскольку (е (г + к), . . . , е (г + 1)} не зависят от u(s) и у (s) (s < г) (см. также соотношения (3.30) -(3.33)). Следовательно,

E(yU+k^2 = E(y(t+k\ttf * E(ek(t+к)У.

Ясно, что дисперсия у (г + к) минимальна, когда у (t ^к | г) - 0. Из (3.29) и (3.31)

видно, что это достигается, если выбрать регулятор в виде

«(0 = -«(0 = -(3.49)(3.49)HkWH"xW ,, у(м Wk^qkG(q)

«(0 = -

«(0 = -

(3.49)

(3.49)

Стало быть, уравнение (3.49) определяет регулятор по минимуму дисперсии. Заметим, что по существу расчет по формуле (3.49) совпадает с расчетом ^-шагового предсказателя.

В частном случае к = 1 последняя формула упрощается:

и^ =и^ =HW- IG(q)HW- IG(q)yVYyVY(3.50)(3.50)Необходимо также отметить, что эти регуляторы имеют смысл только тогда, когда система qkG (q) устойчива по обращению (т.е. функция G (z) не имеет нулей на плоскости с вырезанным открытым единичным кругом).Формирование спектра шума. Рассмотрим теперь для простоты случай единичного запаздывания (т.е. к = I в (3.48)). Допустим, что желаемое поведение выходного сигнала системы (3.1) задается уравнениемНеобходимо также отметить, что эти регуляторы имеют смысл только тогда, когда система qkG (q) устойчива по обращению (т.е. функция G (z) не имеет нулей на плоскости с вырезанным открытым единичным кругом).Формирование спектра шума. Рассмотрим теперь для простоты случай единичного запаздывания (т.е. к = I в (3.48)). Допустим, что желаемое поведение выходного сигнала системы (3.1) задается уравнениемУ^) = 7?to)e(r),У^) = 7?to)e(r),(3.51)(3.51)где R — монический фильтр.Ясно, что при R (q) = 1 мы получили бы управление по минимуму дисперсии. Другие фильтры R будут определять управление по дисперсионным характеристикам более высоких порядков, допуская при этом хорошую физическую интерпретацию и обеспечивая выбор более обоснованных компромиссов между затратами на управление и характеристиками выходного сигнала.Нетрудно убедиться в том, что регулятор видагде R — монический фильтр.Ясно, что при R (q) = 1 мы получили бы управление по минимуму дисперсии. Другие фильтры R будут определять управление по дисперсионным характеристикам более высоких порядков, допуская при этом хорошую физическую интерпретацию и обеспечивая выбор более обоснованных компромиссов между затратами на управление и характеристиками выходного сигнала.Нетрудно убедиться в том, что регулятор вида«(f) =«(f) =RW-H(q) , чУ (г)G(q)R(q) ' 'RW-H(q) , чУ (г)G(q)R(q) ' '(3.52)(3.52)при подстановке в (3.1) приводит к уравнению (3.51). Таким образом, это и есть искомый регулятор (для случая отсутствия нулей у функции G (z) вне открытого единичного круга).Синтез заданной замкнутой системы. Рассмотрим снова случай к = 1 и допустим, что целью проектирования системы управления является формирование выходного сигнала видапри подстановке в (3.1) приводит к уравнению (3.51). Таким образом, это и есть искомый регулятор (для случая отсутствия нулей у функции G (z) вне открытого единичного круга).Синтез заданной замкнутой системы. Рассмотрим снова случай к = 1 и допустим, что целью проектирования системы управления является формирование выходного сигнала видаУ (г) = R(.q)rU)*e(t),У (г) = R(.q)rU)*e(t),(3.53)(3.53)где г (г) — эталонный сигнал, a R(q) - некоторая заданная передаточная функция замкнутой системы. Поскольку у (Г) = у (t 11 - 1) + е (г), соотношение (3.53) получается, если прогнозируемая величина имеет видгде г (г) — эталонный сигнал, a R(q) - некоторая заданная передаточная функция замкнутой системы. Поскольку у (Г) = у (t 11 - 1) + е (г), соотношение (3.53) получается, если прогнозируемая величина имеет вид^(Иг- 1) = 7?(<?)г(г).^(Иг- 1) = 7?(<?)г(г).(3.54)(3.54)Возьмем регулятори^ = F1(q)r(t)-F2(q)yQ)(3.55а), и подставим его в (3.20) . Это даету (t 11 - \) = H-4q)G(q)Fx(q)r(n + [1 - Н'1® - H^GWfl y(t).Возьмем регулятори^ = F1(q)r(t)-F2(q)yQ)(3.55а), и подставим его в (3.20) . Это даету (t 11 - \) = H-4q)G(q)Fx(q)r(n + [1 - Н'1® - H^GWfl y(t).Мы видим, что выбор_ R(q)H^Fi (q) — -GWМы видим, что выбор_ R(q)H^Fi (q) — -GW(3.55b)(3.55b)

и^ =

и^ =

HW- IG(q)

HW- IG(q)

yVY

yVY

(3.50)

(3.50)

Необходимо также отметить, что эти регуляторы имеют смысл только тогда, когда система qkG (q) устойчива по обращению (т.е. функция G (z) не имеет нулей на плоскости с вырезанным открытым единичным кругом).

Формирование спектра шума. Рассмотрим теперь для простоты случай единичного запаздывания (т.е. к = I в (3.48)). Допустим, что желаемое поведение выходного сигнала системы (3.1) задается уравнением

Необходимо также отметить, что эти регуляторы имеют смысл только тогда, когда система qkG (q) устойчива по обращению (т.е. функция G (z) не имеет нулей на плоскости с вырезанным открытым единичным кругом).

Формирование спектра шума. Рассмотрим теперь для простоты случай единичного запаздывания (т.е. к = I в (3.48)). Допустим, что желаемое поведение выходного сигнала системы (3.1) задается уравнением

У^) = 7?to)e(r),

У^) = 7?to)e(r),

(3.51)

(3.51)

где R — монический фильтр.

Ясно, что при R (q) = 1 мы получили бы управление по минимуму дисперсии. Другие фильтры R будут определять управление по дисперсионным характеристикам более высоких порядков, допуская при этом хорошую физическую интерпретацию и обеспечивая выбор более обоснованных компромиссов между затратами на управление и характеристиками выходного сигнала.

Нетрудно убедиться в том, что регулятор вида

где R — монический фильтр.

Ясно, что при R (q) = 1 мы получили бы управление по минимуму дисперсии. Другие фильтры R будут определять управление по дисперсионным характеристикам более высоких порядков, допуская при этом хорошую физическую интерпретацию и обеспечивая выбор более обоснованных компромиссов между затратами на управление и характеристиками выходного сигнала.

Нетрудно убедиться в том, что регулятор вида

«(f) =

«(f) =

RW-H(q) , ч

У (г)

G(q)R(q) ' '

RW-H(q) , ч

У (г)

G(q)R(q) ' '

(3.52)

(3.52)

при подстановке в (3.1) приводит к уравнению (3.51). Таким образом, это и есть искомый регулятор (для случая отсутствия нулей у функции G (z) вне открытого единичного круга).

Синтез заданной замкнутой системы. Рассмотрим снова случай к = 1 и допустим, что целью проектирования системы управления является формирование выходного сигнала вида

при подстановке в (3.1) приводит к уравнению (3.51). Таким образом, это и есть искомый регулятор (для случая отсутствия нулей у функции G (z) вне открытого единичного круга).

Синтез заданной замкнутой системы. Рассмотрим снова случай к = 1 и допустим, что целью проектирования системы управления является формирование выходного сигнала вида

У (г) = R(.q)rU)*e(t),

У (г) = R(.q)rU)*e(t),

(3.53)

(3.53)

где г (г) — эталонный сигнал, a R(q) - некоторая заданная передаточная функция замкнутой системы. Поскольку у (Г) = у (t 11 - 1) + е (г), соотношение (3.53) получается, если прогнозируемая величина имеет вид

где г (г) — эталонный сигнал, a R(q) - некоторая заданная передаточная функция замкнутой системы. Поскольку у (Г) = у (t 11 - 1) + е (г), соотношение (3.53) получается, если прогнозируемая величина имеет вид

^(Иг- 1) = 7?(<?)г(г).

^(Иг- 1) = 7?(<?)г(г).

(3.54)

(3.54)

Возьмем регулятор

и^ = F1(q)r(t)-F2(q)yQ)(3.55а)

, и подставим его в (3.20) . Это дает

у (t 11 - \) = H-4q)G(q)Fx(q)r(n + [1 - Н'1® - H^GWfl y(t).

Возьмем регулятор

и^ = F1(q)r(t)-F2(q)yQ)(3.55а)

, и подставим его в (3.20) . Это дает

у (t 11 - \) = H-4q)G(q)Fx(q)r(n + [1 - Н'1® - H^GWfl y(t).

Мы видим, что выбор

_ R(q)H^

Fi (q) — -

GW

Мы видим, что выбор

_ R(q)H^

Fi (q) — -

GW

(3.55b)

(3.55b)

И'

Я(<?) - 1

F''№ =(3'55с)

дает искомое поведение (3.54). Отметим, что для обеспечения физической возможности F x(q) функция R (q) должна включать хотя бы одно звено запаздывания. Кроме того, этот регулятор является реализуемым только тогда, когда у функции G (z) нет нулей вне единичного круга.

Заключение

Отправляясь от соотношения

ЯО = G(<?)iz(O + H(q)e(t),

мы вывели выражение для одношагового прогноза сигнала у (Z) (т.е. для наилучшей гипотезы о значении сигнала у (г) при заданных w(s) и у (s), s < t — 1). Это выражение имеет вид

^(rk-l) = Я-1(<7)С(<7)М(Г)+[1 -Я"^)]^).(3.56)

Мы также вывели формулу для соответствующего к -шагового прогноза (3.31). Мы указали, что к таким предсказателям можно прийти и в рамках чисто детерминированных моделей наблюдения в отсутствие модели шума Н. Было подчеркнуто, что прикладным базисом системных описаний являются формулы для расчета соответствующих прогнозов; предположение о природе шума - в данном случае не более чем средство формирования прогнозов. Материалы обсуждений в главах 2 и 3 могут, таким образом, рассматриваться как методология ’’выдвижения гипотез” о будущем поведении выходных сигналов системы.

Мы также продемонстрировали некоторые примеры использования системных описаний и формул прогнозирования в задачах проектирования систем управления.

Следует отметить, что при формировании прогнозов и уравнений регуляторов расчеты по формулам типа (3.56) могут проводиться с гораздо большей вычислительной эффективностью, когда передаточные функции G и Н обладают специальной структурой. Это будет продемонстрировано в следующей главе.

Комментарии к библиографии

Прогнозирование и управление стали сегодня стандартным учебным материалом. Изложение вопросов к -шагового предсказания и соответствующих задач управления можно найти в работах Острема [21] и Острема и Виттенмарка [32]. Подробное рассмотрение вопросов прогнозирования проводится, например, в работах Андерсона и Мура [11 ] и Бокса и Дженкинса [62]. Первое упоминание рассмотренных вопросов теории см. в книге Уиттла [431].

Теория прогнозирования была разработана в трудах Колмогорова [214], Винера [434], Калмана [204] и Калмана и Бьюси [207]. Наиболее трудной частью задач этой теории является поиск соответствующего представления помехи. Если в результате спектральной факторизации получено уравнение (3.1) или через уравнение Риккати его временной аналог (см. (4.92) и задачу 4G.3), вывод подходящего уравнения прогнозирования, как это здесь показано, уже не представляет труда. Заметим, однако, как указано в задаче 2Е.З, что в случае негауссовских процессов, как правило, с помощью уравнения (3.1) удается адекватно отобразить только свойства второго порядка, что безусловно недостаточно для отображения шумов более сложной структуры. Расчеты, выполненные в п. 3.2, приводятся в книге Острема [21] 68

для случая, когда функции G и Н являются рациональными функциями с одним и тем же знаменателем. В работе [342] приведены формулы прогнозирования для входо-выходных моделей такого типа в случае, когда неполноте информации о бесконечной предыстории дается надлежащая трактовка (т.е. когда не делается попытки взять некое произвольное решение (3.24)). Естественно, в результате получается нестационарный предсказатель.

Расчетные соотношения типа (3.48)-(3.55) в многомерном случае могут получиться весьма похожими. Однако в этом случае достаточно нетривиальными оказываются структурные аспекты решения. См. трактовки этих задач в работах [218], [320].

Задачи.

3G.L Допустим, что передаточная функция G (z) рациональна и все ее полюса находятся внутри круга 1 z | < д, где д < 1. Показать, что

|^(*)|<смЛ,

где gUB определяется формулой (2.16).

3G.2. Пусть Л (^) и В (^) - два монических устойчивых и устойчивых но обращению фильтра. Показать, что

fM(e'w)l2 •> 1,.

2тг _я

где равенство достигается, только если Л (^) = MB(q>.

ЗЕЛ. Пусть

HUB = 1 - М?'1 + 0,3<7 2.•

Вычислить Н х (q) в виде явного разложения в бесконечный ряд.

Вывести формулы для трехшагового прогноза при

У (г) =екВ

1 -- aq ' и

укВ = (1 *cq'Be(O

соответственно. Чему равна дисперсия соответствующих ошибок предсказания?

Показать, что если уравнения (3.35) и (3.36) дополнены моделью шума H(q) ~ L то естественным предсказателем является фильтр (3.39), а модель шума вида

HW = S akq-k

* = О

приводи! к предсказателю (3.40).

ЗЕЛ. Пусть сигнал е (г) имеет распределение

е(о= ■

1 с вероятностью 1/2, -0,5 с вероятностью 1/4, 0,5 с вероятностью 1/4.

Пусть

и(Г) = Я(^)е(Г)

и и (г | г — 1) определено в основном тексте главы 3. Каково наиболее вероятное значение (МАВ) и (Г) при данной информации и (Г I Г - 1) ? Чему равна вероятность того, что и (Г) принимает значение в интервале между и (Г 1t - 1) -1/4 и и (t It - 1) + 1/4?

ЗТ.1. Пусть система Л(^) является устойчивой по обращению и монической. Показать, что Л"1 (q) - моническая система.

ЗТ.2. Предположим, что спектр ошибки измерений и из формул (3.44) и (3.45) имеет вид

«„M^l^e'^l2,

где R(,q> - некоторый монический устойчивый и устойчивый по обращению фильтр. Найти фильтр IV, удовлетворяющий (3.41) с к = 1, который минимизирует величину

Яе2(Г).

Указание: использовать задачу 2G .2.

ЗТ.З. Рассмотрим описание системы из задачи 2Е.4: х(Г + 1) = fxU) + wU),

У(П = HxUHvUV

(х - скаляр). Допустим, что {и (г)} - белый гауссовский шум с дисперсией Ra и чго{ w(r)} -• последовательность независимых случайных величин, причем

I с вероятностью 0,05;

w =w =1 с вероятностью 0,05; 0 с вероятностью 0,9.

w =

w =

Определить такой монический фильтр IV(^), что предсказатель

ЯП = d - W<q^ym

минимизирует величину

£"(ЯО - ЛО)2.

Что можно сказать о величине

£'(У(О|Л-1)?

ЗТ.4. Рассмотрим описание шума

и(Г) = е(г) + сеи - 1),|с|>1, Ee2(t)=X.(3.57)

Показать, что е (t) не может быть сконструирована по vf с помощью каузального устойчивого фильтра. Однако доказать, что расчет е (О может быть осуществлен на основе данных и f + j с помощью антика у зального устойчивого фильтра. Сконструируйте тем самым антика у зальный устойчивый предсказатель значения процесса и (г) по данным и (5) (s > t + 1) .

Определить шум и (О с теми же, что и у и (г) характеристиками второго порядка, причем такой, что

v(t) = e(t) + с*ё (t — 1), I с* I < 1,Её2(Г)=Х*.(3.58)

Показать, что v (г) может быть предсказано по vr -1 с использованием устойчивого каузаль- ного предсказателя. (Измеряя у шума только характеристики второго порядка, мы теряем способность различать процессы (3.57) и (3.58). Однако в этом случае, когда величина е (г) из (3.57) физически определена однозначно (хотя и не измеряется), для нас может представить интерес вопрос о том, какое из уравнений (3.57) или (3.58) порождает шум, см. работу [43].)

3D.1. В этой главе мы свободно выполняли операции умножения, сложения, вычитания и деления на операторы передаточных функций GVq^ и H(q). Возможность выполнения операции деления формально обосновывается леммой 3.1 и формулой (3.11). Дайте аналогичное обоснование операций сложения и умножения.

3D.2. Предположим, что одношаговый прогноз определяется формулой

У(Ш- V) = L^q^utt - 1) +L2 ^q>y (г - 1).

Осуществить расчет модели (3.1), использование которой привело к выписанной формуле прогнозирования.

3D.3. Рассмотрим случайный процесс {и (г)} и пусть

v(t) = E(v(t') | vf“ S-

Определим

e(r) = и(Г) - u(r).

Пусть и (Г) - произвольная функция от vt—\ Показать, что

EMt) -u(t))2 > Ee4ty

Указание. Использовать соотношение Ex2 = EzE(x2 | z).

Глава 4

МОДЕЛИ ЛИНЕЙНЫХ СТАЦИОНАРНЫХ СИСТЕМ

Модель системы представляет собой описание (некоторых из) ее свойств, предназначенное для достижения некоторой цели. Чтобы служить выполнению этой цели, модель вовсе не должна быть достоверной и точной, равно как и нет необходимости в том, чтобы пользователь в это верил.

Предмет системной идентификации как раз и посвящен процедурам построения или отбора моделей динамических систем, служащих некоторым целям. Как отмечено в гл. 1, первый шаг состоит в определении того класса моделей, в котором будет вестись поиск наиболее подходящей модели. В этой главе мы поговорим о некоторых классах моделей для описания линейных стационарных систем.

Линейные модели и множества линейных моделей

Как мы видели в гл. 2, линейная стационарная модель определяется импульсной реакцией {#(/0)7 , спектром Фу(о)) = X | 7Z(ez^) |2 аддитивной помехи и, быть может, функцией плотности вероятности помехи е (Г). Таким образом, полное задание модели сводится к записи

y(r)=G(q)u(rHH(qWL(4.1)

/е ( ♦) - плотность вероятности е (г), где

G^q) = 2 g^q к. H(q^ = 1+2 h^qk.(4.2)

k = Ik = I

Итак, конкретный выбор модели задастся тремя функциями G ,Н и fe . В большинстве случаев практически неразумно специфицировать модель посредством перечисления всех элементов бесконечных последовательностей {#(£)} и {Л(Л)} и заданием функции f е М • Вместо этого используют такие структурные описания, которые позволяют специфицировать G и Н конечными наборами чисел. Типичными примерами могут служить рациональные передаточные функции и конечномерные описания в пространстве состояний. Кроме того, вместо функции f е часто задаются некоторые ее численные характеристики, обычно первый и второй моменты:

Ee(t) = fxfe(x)dx = 0.

Ее1^ = $ х1 fgVx^ dx = X.

Обычным также является предположение о гауссовости е (г), когда распределение польностью определяется характеристиками (4.3). Задание системы с помощью конечного набора численных характеристик или коэффициентов наиболее важно в плане идентификации модели системы. Достаточно часто определить эти коэффициенты априори из знания физической природы системы нс удается, Вместо этого для определения всех коэффициентов (или некоторой их части) приходится прибегать к процедурам оценивания. Это означает, что рассматриваемые коэффициенты входят в модель (4.1) как определяемые параметры. Обычно мы будем обозначать эти параметры 6 и работать с описанием модели вида

Г у(Л = G(qJe)u(t)+H(q~0W^"'(4.4а)

I Л(х,0) — плотность вероятности е(г), {е(г)> — белый шум.(4.4b)

Вектор параметров 0 принадлежит к некоторой области в пространстве Rd, где d - размерность 0:

0 С Dx С R<(4.5)

Заметим, что соотношения (4.4)-(4.5) определяют уже не одну модель, а множество моделей, и целью процедуры оценивания является выбор такого элемента этого множества, который кажется наиболее удовлетворяющим поставленной цели. (Иногда можно услышать выражение ’’модель (4.4) ”, однако в формальном плане такое словоупотребление представляет собой бессмысленное смешение понятий.) Используя формулу (3.20), можно вычислить одношаговый прогноз для описаний (4.4). Обозначим его через у (г | 0), подчеркнув тем самым зависимость от 0. Таким образом,

P"J(r|5)"=^l(<7. вШвЙ)* и - Я"1 («>)]Яг)7" (4.6) 1

Этот предсказатель не зависит от плотности f е (х, 0). В самом деле, как подчеркивалось в п. 3.3, к формуле (4.6) можно было бы прийти и без вероятностных соображений. Тогда формула (4.4b) не применяется. Модели, которые задаются только операторами G и Н в уравнениях (4.4а) или (4.6), мы будем называть прогнозирующими моделями. Аналогично, вероятностные модели будут тяготеть к описаниям (4.4), в которых полностью охарактеризованы и вероятностные свойства системы. Параметризованное множество моделей типа (4.6) будет называться структурой модели и обозначаться символом <^. Конкретная модель, соответствующая значению параметра 0, будет обозначаться^ (0). (Формально определения даны в п. 4.5.)

В следующих трех разделах будут рассматриваться различные способы введения 0 в описание (4.4а) (т.е. различные способы параметризации множества моделей) . Формальные определения понятий множеств моделей параметризации, структур моделей и единственности параметризации будут приведены в п. 4.5, вопросы идентифицируемости будут рассматриваться в п. 4.6.

Семейство моделей передаточных функций

Быть может, наиболее непосредственным способом параметризации G и Н является представление их рациональными функциями, когда параметрами становятся коэффициенты в числителе и знаменателе. В этом разделе мы дадим описания различных способов выполнения такой параметризации. Такие структуры моделей известны также под названием моделей черного ящика.

Структура модели ошибки уравнения. Вероятно, наиболее простое входо-выходное соответствие описывается линейным разностным уравнением

7(0 + агу(г - 1) + .. .*a„QyQ - na^ = bxu^t - 1) + ... + b„bu(t - иь) + е(г).

(4-7)

Поскольку в это уравнение белый шум е(г) входит как его непосредственная ошибка, модель (4.7) часто называют моделью (структурой модели) ошибки уравнения. В этом случае имеется следующий набор настраиваемых параметров:

= [Л1, а2,..., a„Q) bx,..., Ьпь\ т.(4.8)

Если ввести

/!(<?)= 1 +Д| ^“‘ + .. .+аИа^-"а,

B(.q)=bxq-1 + ... + b^q-"^

то видно, что (4.7) совпадает с (4.4) при выборе

G<q,6) =G<q,6) =В^ А (q) ’В^ А (q) ’H(q,6)H(q,6)1v4(<7) '1v4(<7) '(4.9)(4.9)

G<q,6) =

G<q,6) =

В^ А (q) ’

В^ А (q) ’

H(q,6)

H(q,6)

1

v4(<7) '

1

v4(<7) '

(4.9)

(4.9)

Замечание. Запись переменной q в качестве аргумента A(q), на самом деле являющегося многочленом от tf"1, может выглядеть раздражающей. Однако дело просто в том, что такая запись согласуется с обычным определением z-преобразования; см. (2.17).

Мы будем также называть модель (4.7) ARX-моделью, где сочетание AR относится к авторегрессионной части A(q)y(r)s а символ X обозначает дополнительный входной сигнал B{q) uQ^ (в эконометрике такой сигнал называют экзогенной

Рис. 4.1. Структура ARX-модели

переменной). В том частном случае, когда па = 0, выходной сигнал у (г) описывается моделью с конечной памятью (FIR). Такие множества моделей особенно популярны в приложениях, связанных с обработкой сигналов.

Диаграмма сигнальных потоков может быть представлена схемой рис. 4.1. По этой схеме мы видим, что с физической точки зрения модель (4.7), вероятно, не самая естественная; здесь предполагается, что прежде чем сложиться на выходе системы, сигнал белого шума динамически преобразуется через знаменатель системы. Тем не менее у множества моделей ошибки уравнения имеется одна важная особенность, которая и определяет его первостепенное для многих приложений значение: предсказатель приводит к линейной регрессии.

Линейная регрессия. Рассчитаем предсказатель для модели (4.7). Подстановка (4.9) в (4.6) дает

y(t\6) = ^to)M(r)+[l -A to)] у (Г).(4.10)

Ясно, что эту формулу было бы проще вывести непосредственно из (4.7). Посмотрим на эту задачу с позиций, обоснованных в п. 3.3: предсказатель (4.10) вполне естествен и вне рамок стохастического подхода, если член е(г) в модели (4.7) рассматривать как ’’несущественный” или ”не поддающийся прогнозированию”. Таким образом, и в случае ’’детерминированных” моделей вполне естественно пользоваться формулой (4.10).

Теперь введем вектор

^t^ [-^(r -1)-y(t-na), u(r -1),... ,u(t- п6)] т.(4.11)

Тогда (4.10) можно переписать в виде

y(t\6> = 6^(0 = <pT(t>0.(4.12)

Это соотношение отражает то важное свойство уравнения (4.7), которое мы уже демонстрировали. Предсказатель представляет собой скалярное произведение известного вектора данных i(r) и вектора параметров 6. В статистике такую модель назы-

вают линейной регрессией, а вектор <р^ — регрессионным вектором. Этот класс моделей важен потому, что для определения вектора параметров 0 можно использовать эффективные и простые методы оценивания.

В том случае, когда некоторые из коэффициентов многочленов А и В известны, мы приходим к линейной регрессии вида

у (г |0) = фт<пе + д(г),(4.13)

где член д(г) известен. См. задачу 4Е.1, а также формулу (5.34). Задача оценивания параметров 0 линейной регрессии будет рассмотрена в п. 7.3. См. также Приложение II.

Структура ARMAX-модели. Основной недостаток простой модели (4.7) состоит в отсутствии достаточной свободы выбора в описании свойств помехи. Степень гибкости можно увеличить, если описать ошибку уравнения как скользящее среднее белого шума. Это приводит к следующей модели:

У(О+ Д1У(Г- 1) + .. .+а„ау(г-«а) =

= bxuQ- 1) + ... +bnbu(t-nb) + е(0+ ctetr- 1) + ... +е„се(г-нс).(4.14)

Если ввести

(4.15)(4.15)C(q) = 1 *cxq-1 + .. .*cncq-n<:, то это уравнение можно преобразовать к виду

(4.15)

(4.15)

A (q) у (Г) = В(д>и (г) + C(q) е (г),

что согласуется с (4.4), если положить

В^C(q)

С^’9^ТЛ’ H<q'°^ 4Га‘^4Л6>

A (q)A (q)

Здесь

5 = [<?!,... ,anQ,bxЬпь,<?,,... ,сПсАт.(4.17)

Имея в виду член скользящего среднего (МА) модели С^е W модель (4.15) будет называться ARM АХ-моделью. ARMAX-модели стали стандартным средством решения задачи индетификации и проектирования систем в теории управления и эконометрике. В книге Бокса и Дженкинса [62] можно найти разновидность этой модели с введением принудительного интегрирования, известную под названием ARIMA (X)-модели (здесь I обозначает интегрирование, а Х-переменная может наличествовать или отсутствовать) и оказавшуюся полезной при описании систем с медленно меняющимися помехами. Она получается посредством замены у (г) в формуле (4.15) на Ду (г) =у (г) — y(t — 1) и обсуждается в дальнейшем в п. 14.6.

Псевдолинейная регрессия. Для модели (4.15) предсказатель получается посредством подстановки (4.16) в (4.6). Это дает

А(д)C(q)А(д)C(q)у (Г),у (Г),aB(q)'

А(д)

C(q)

А(д)

C(q)

у (Г),

у (Г),

ИН0) = 777 и^ + 1

С (у)L

или

(4.18)(4.18)C(q) У (t 15) = В (у) и (Г) + [<?(<?) —A (q)] у (г).

(4.18)

(4.18)

Это означает, что формирование прогноза сводится к фильтрации сигналов и и у через динамическое звено со знаменателем передаточной функции С^. Инициация

процедуры в момент t = 0 требует знания следующих величин:

У(О|5)у(-ис + 1|5);.

у(0),... ,у(-н* + 1), п* = max(nc, Пд);

и(0),... ,u(-n6 + 1).

Если эти данные отсутствуют, то их можно принять равными нулю, в результате чего в прогноз вносится неточность, которая убывает как ед', где д — максимальный модуль нулей функции C(z). Можно также начать рекурсию в момент max (и*, и включить неизвестные начальные условия ^(^|0),^ = 1,...,ис,в вектор 0.

С предсказателем (4.18) по аналогии с (4.1 2) можно провести следующие преобразования. Добавление к обеим частям (4.18) члена [ 1 - С(<?) ] у (t |0) дает

^l5) = /?(?)«(f)41-^(<7)М) + [С^-ИЬ^)-^^)].(4.19)

Вводится ошибка предсказания

e(t,6)=y(.O -y(t\e)

и вектор

^(^,У)= [-У(Г - 1),, -yQ-na\uQ - 1), ...

.. . ,u(r -ий), e(r - 1,5),... ,е(г -нс,5)]г.(4.20)

Тогда (4.19) можно записать как

у(Г|5) = ^г(г,5)5.(4.21)

Отметим сходство с линейной регрессией (4.12). Однако уравнение (4.21) не является само по себе линейной регрессией в силу нелинейной зависимости вектора ^p(t, в) от 6. Чтобы подчеркнуть аналогию с (4.12), мы будем называть (4.21) псевдолинейной регрессией.

Другие структуры типа моделей ошибки уравнения. Вместо того чтобы описывать ошибку уравнения в (4.7) как скользящее среднее (см. (4.14)), ее, конечно, можно задать как авторегрессию. Это приводит к следующему множеству моделей

1

А (у) у (О = В (q) и (Г) + —- е (г),(4.22)

О (у)

где

D<q^ = 1 *dvfv + ... + dndq-nd,

которое по аналогии с предыдущим может быть названо ARARX-структурой. Использование в более общем случае ARMA-описания ошибки уравнения приводит к ARARMAX-структуре

С (q)

A (q)y (t)=B(q)u (г) +е (г),(4.23)

D(q)

которая конечно включает (4.7), (4.15) и (4.22) как частные случаи. Это позволяет изобразить на рис. 4.2 семейство связанных между собой множестз моделей ошибки уравнения. Связь со структурой (4.4), а также формулы прогнозирования получаются непосредственно.

Структура модели выходной ошибки. Все структуры моделей ошибки уравнения соответствуют тому случаю, когда в знаменателях передаточных функций G и Н имеется обший множитель в виде многочлена А. См. рис. 4.2. С физической точки

Рис. 4.2. Семейство моделей ошибки уравнения: модельная структура (4.23)

Рис. 4.3. Структура модели выходной ошибки

Рис. 4.4. С труктура BJ-модели (4.31)

зрения может показаться более естественной независимая параметризация этих передаточных функций.

Если допустить, что связь между входным и незашумленным выходным сигналами может быть представлена в форме линейного разностного уравнения и что помехи суть белый шум измерений, то можно получить следующее описание:

w(r) + /,w(r - 1) + .. ,+/„zw(r —n^ = btu(t - 1) + .. + ЬПьи(г —пь),(4.24а)

у (?) = w (г) + с (?).(4.24b)

Если ввести обозначение

F<qV 1 Vi?"1 + • • .*fnf4 X то можно переписать модель в виде

У(г)= -7-u(O+e(Z).(4.25)

Сигнальная блок-схема этой модели показана на рис. 4.3.

Назовем (4.25) моделью (структурой модели) выходной ошибки. Вектор параметров определяется как

У = [6ь62.(4.26)

Поскольку сигнал w(r) из (4.24а) никогда не наблюдается и конструируется по сигналу м, он должен быть снабжен индексом 6, т.е.

w(t,0)+fxw(t - 1,6) + ... +fn,w(t-nf,0) = bxu(t - 1) + ... +bnbu(t-nb).

(4.27)

Сравнивая с (4.4), мы находим, что Н (q, 0) = 1, что дает естественную формулу

прогнозирования (предсказатель):

(4-28)(4-28)а8 fa)

(4-28)

(4-28)

y(N5) = 77^ M^ = w^,y^

8 fa)

С помощью вектора•

ф(Г,6> = [и (г - 1),. . . ,u(t -nbV —w(t - 1,0),, -w(t -n^6)^T(429)

(4.30)(4.30)последнее соотношение можно переписать в виде y(f |5) = ^T(f, 5)5, '

(4.30)

(4.30)

которое формально соответствует предсказателю (4.21) для ARMAX-модели. Отмстим, что в (4.29) величины w(r — 1,0) ненаблюдаемы, однако могут быть вычислены с помощью формулы (4.28): w(t—k, O)=y(t—k\O) (^ = 1, . ..,и^).

Структура модели Бокса—Дженкинса. Естественным путем развития модели выходной ошибки (4.25) является усложнение модели ошибки на выходе системы. Если описать ошибку на выходе с помощью ARMA-модели, то окажется, что

8 fa)С fa)

у(О =у(О =(431)(431)-^ U^V е(г). Ffa) V’ D^

у(О =

у(О =

(431)

(431)

В каком-то смысле это наиболее естественная конечномерная параметризация, отправляющаяся от описания (4.4): передаточные функции G и Н параметризуются независимо как рациональные функции. Множество моделей (4.31) было предложено и изучено в книге Бокса и Дженкинса [62]. Эта модель порождает также семейство, близкое к моделям выходной ошибки. См. рис. 4.4 и сравните с рис. 4.2. В соответствии с (4.6) предсказатель для (4.31) представляется в виде

y(t\6>y(t\6>ОДР^ОДР^u(tVu(tVCfa)-»fa)Cfa)Cfa)-»fa)Cfa)у а).у а).(4.32)(4.32)

y(t\6>

y(t\6>

ОДР^

ОДР^

u(tV

u(tV

Cfa)-»fa)Cfa)

Cfa)-»fa)Cfa)

у а).

у а).

(4.32)

(4.32)

Общее семейство структур моделей. Структуры, которые были рассмотрены в этом разделе, фактически могут приводить к 32 различным множествам моделей в зависимости от того, какие из пяти многочленов Л, В, С, D и F включаются в модель (здесь было явно продемонстрировано только 6 вариантов). Некоторые из этих множеств моделей широко используются на практике, поэтому у нас есть основания привести для них явные алгоритмы и аналитические результаты. Удобства ради мы будем использовать обобщенную модельную структуру

(4.33)(4.33)A(q^y(tV ^\(/)+ "^/(О- 8fa) 2) fa)

(4.33)

(4.33)

Иногда динамическая связь между и и у включает и^-тактовое запаздывание, и поэтому некоторые из коэффициентов многочлена В равна 0, т.е.

B(q) = bMkq'nk +bnk+1q-nk"V +...tbnk+Mb_vq"nk-^-'

Возникает идея ввести явную записи этого запаздывания

A(q)y(tVq"nk ~- и(tv "777/(0'(4.34)

8fa) D fa)

Однако для упрощения записи мы будем в основном считать, что ик = 1 и пользоваться формулой (4.33). Из формулы (4.33) мы всегда можем вывести соответствующую формулу (4.34), заменяя и (г) на u(t — пк + 1).

Таблица 4.1

Некоторые общие модели типа черного ящика как частные случаи записи (4.33)

Многочлены в формуле (4.33)

Наименование модельной структуры

В

FIR (конечная импульсная реакция)

АВ

ARX

ЛВС

ARMAX

АС

ARMA

ABD

ARARX

Л BCD

ARARMAX

BF

ОЕ (выходная ошибка)

BFCD

BJ (Бокс- Дженкинс)

Для большинства практических целей структура (4.33) является слишком общей. В приложениях обычно один или несколько из пяти многочленов полагаются равными 1. Однако получая алгоритмы и результаты, относящиеся к (4.33), мы также охватываем и все частные случаи, соответствующие более реальным множествам моделей.

Из (4.6) нам известно, что предсказатель для (4.33) имеет вид

Л Р^В^ v(t\6) =и(0+ 1 -

C(q)

.НО-

(435)

Наиболее важные частные случаи (4.33) сведены в табл. 4.1.

Псевдолинейная форма записи (4.35) <*>. формула (4.35) может быть также представлена в виде рекурсии

C(q)F(q)HW) = F№(q^D (у) В (<?) и (г).(4.36)

Из (4.36) ошибка предсказания

е(г,5)=у(г) у(г|5)

записывается как

D^)rflto) 1

e(M) = 77\ а^у^- тг; “W • C(q) LF(q^

Удобно ввести вспомогательные переменные "(,'в|=^)',(')

(4-37)

(4.38а)

иV

v(t,0) = A(q)y(t)—w(t,O).

Т°ГЯаa P(q)

е^,9)=у(.П-у(.г\0^= 7r—v(r.0).

C(q)

Введем также ’’вектор состояния”

V>(^S) = [-у (г 1),... ,-y(t-HaYu(t - 1),... ,uQ-nb), -w(t -• 1,6),..., —w(t — nf, 6). e(r - 1,6),..., е(Г — nc, в), —u(r 1,6),...,-v(r-nd,6)]r.

(4.38b)

(4-39)

(4.40)

Используя вектор параметров

5 = bi, • • • ,аПа, b} ,...,bnbJifnr ci, • - •, c„c, di,... ,d„d](4.41)

и (4.40), мы можем получить удобную формулу для прогнозирования. Чтобы вывести ее, сначала из (4.38) и (4.39) находим

w{t,0) = biU{t - 1) + .. .*bnbu(t-nb) -ftwQ - 1,6) -.. ,-fnfw(t -nf,0) (4-42)

и

e(t, в) = v(t,6^*div(t - 1,5) + ... *dndv(t -nd,0^ -

-СгЦ1 -1,5)- .. .-cn<;eQ -n^ey(4.43)

Теперь, подставляя

V(t, 6) =y(t) +aiy(t - 1) + ... *a„ay (t -na) -w(t, 0)

в формулу (4.43) и заменяя w(г,0) выражением (4.42), находим, что

е(г,в)=у(')-вг^,5).(4.44)

Следовательно,

у(г|в) = вт^,6) = ^т(г,в)5.(4.45)

Обе формулы (4.36) и (4.45) можно использовать для расчета прогнозов. Следует отметить, что для тех частных случаев обшей модели (4.33), которые были рассмотрены в этом разделе, соответствующие формулы существенно упрощаются.

Непрерывные по времени модели черного ящика (♦). Описание линейной системы можно было бы параметризовать и через непрерывные передаточные функции (2.22) :

y(.n = Gc(p,6)uVY(4.46)

После этого можно было бы осуществить настройку параметризованных моделей к наблюдаемым выборочным данным, решая соответствующие дифференциальные уравнения или применяя точные или приближенные процедуры дискретизации (2.24). Кроме очевидных аналогов уже рассмотренных структур, заслуживают упоминания два конкретных множества моделей. В промышленных приложениях широко используются модели систем первого порядка с временным запаздыванием:

Ке"$Тс'

Gc М) = , е= (К, тс, т).(4.47)

ST + 1

Кроме того, в литературе довольно давно (см. также независимо работу [39]) рассматривали разложения в ряды по системам ортонормальных функций:

d—l

Gc^s^e^ 2 д*А($), 6 =(д0,... ,ad_vy(4.48)

к =0‘

В качестве одной из таких систем хорошим выбором представляются полиномы Лагерра:

,— (s-a)k ’

(s+a)^* ’'

где а - масштабный временной множитель. Ясно, что в этом случае модель (4.46), как и в формуле (2.23), может быть дополнена моделью значений помехи в выборочные моменты времени.

Многомерный случай: описание с помощью матричных дробей (♦). Рассмотрим теперь случай, когда входной сигнал u(r) является ш-мерным вектором, а выходной

сигнал у (г) — р-мерным вектором. Для большинства из рассмотренных в этом разделе идей имеются непосредственные многомерные аналоги. Проще всего обобщение множества моделей ошибки уравнения (4.7). Получаем

y^-vAtyQ- 1) + ...+АПау(г-па) =

= Bxu<t -\V •*Bnbu<t-nb> + e(r),(4.49)

где Ai - (p X p) -матрицы, a B( - (p X m) -матрицы.

По аналогии с (4.9) можно ввести многочлены

A (q) = I + A1q~i + ... + Anaq'”a,

B(q) = B1q-1 +... + B„bq'nb.(4.50)

Теперь — это матричные многочлены от переменной q-1, что означает: A (q) — это матрица, элементы которой представляют собой многочлены от q~x. Отметим, что система по-прежнему описывается уравнением

(4.51)(4.51)(4-52)(4-52)у(г) = 6(4,0)п(г)+Я(<7,6)е(г),

(4.51)

(4.51)

(4-52)

(4-52)

где

G(q,6) = A-1 (q) B(q\ Н^.О^А"1^

Схема расчета и интерпретация обращения Д-1^) матричного многочлена ничем не отличаются от обсуждавшихся в связи с формулой (3.34). Ясно, что G(q, 6) будет (р X т')-матрицей, элементы которой суть рациональные функции от q-1 (или q^. Факторизацию с использованием двух матричных многочленов называют также (левым) дробно-матричным представлением. Подробное обсуждение этого вопроса можно найти в главе 6 книги Кайлата [198].

До сих пор нами не рассмотрена параметризация (4.49) (т.е. вопрос о том, какие из матричных элементов следует включить в вектор параметров 0). Это довольно кропотливое дело, которое будет обсуждаться в Приложении 4А. Впрочем, непосредственный аналог (4.8) можно было бы наметить сразу: включить все элементы матриц из (4.49) (общим числом (пар ^ nbni)p штук) в вектор 0. Тогда можно определить ^пар ^пьт)^р)-матрицу

0 = YA1,A2l...,AMa,B1,...,Bnb\T(4.53)

и (нар +пь/и)-мерный вектор-столбец,

Г-Н'" О 1

ф(О =ф(О =-У (t - па)«('-!)-У (t - па)«('-!)(4.54)(4.54)

ф(О =

ф(О =

-У (t - па)«('-!)

-У (t - па)«('-!)

(4.54)

(4.54)

(4.55)(4.55)_ u(r -иь) _ ' и переписать (4.49) в виде y(t) = 0T<p(f) + e(f)

(4.55)

(4.55)

в очевидной аналогии с формулой линейной регрессии (4.12). Последнюю формулу можно рассматривать как совокупность р разных линейных регрессий, записанных одна под другой, с одним и тем же регрессионным вектором.

Когда на параметризацию накладывается дополнительная структура, дальнейшее использование (4.55), как правило, становится невозможным, поскольку в этом случае разным компонентам выходного сигнала соответствуют разные регрессионные

векторы. Тогда нужно образовать такие of-мерный вектор-столбец 6 и (р X^-матрицу ^г (г), чтобы представить (4.49) в виде

У <0 = ^(0 6 + e(t).(4.56)

По поводу некоторых особенностей формул (4.55) и (4.56) см. задачи 4С.6и 4Е.12.

Различные варианты описания одномерных систем без труда трансформируются в ряд вариантов описания многомерных систем. Например, векторное разностное уравнение

y(t)+ Аху (г-1) + ... + A„ay(t-na) = B1u(t - 1) + ... +В„ь«(г-пь) +

+ e(r)+ Cie(r - 1) +...+ С„ e(f —пс)(4.57а)

или'

С^б^А^В^Х H(g,0) = D-1(.q)C(q)(4.57b)

являются естественным обобщением ARMAX-модели. А многомерное обобщение модели Бокса—Дженкинса имеет вид

G(q, 6)^F-\q}B(q), H^D^C^(4.58)

и т.д. Параметризация этих дробно-матричных представлений рассматривается в Приложении 4А.

Модели в пространстве состояний

В пространстве состояний связь между входными сигналами, шумами и выходными сигналами записывается в виде системы дифференциальных или разностных уравнений первого порядка посредством введения вспомогательного вектора состояния х(г). Этот способ описания линейных динамических систем стал преобладающим со времени первой работы Калмана [204], посвященной вопросам прогнозирования и линейно-квадратичного управления. В нашем случае этот способ особенно хорош тем, что имеющиеся физические представления о механизмах работы системы обычно гораздо проще учесть в моделях в пространстве состояний, чем в моделях, рассмотренных в п.4.2.

Непрерывные по времени модели, основанные на физических представлениях. Для большинства реальных систем формирования моделей на основе физических соображений проще осуществлять в непрерывном, а не дискретном времени, поскольку большинство законов природы (законы Ньютона, законы Кирхгоффа и т.п.) также сформулированы в непрерывном времени. Иначе говоря, обычно моделирование приводит к записи соотношений типа

x^ = FW^ G(6)u(t).(4.59)

Здесь F и G — матрицы соответствующей размерности (п X п и п X т соответственно при //-мерном состоянии и т-мерном входном сигнале). Точкой над символом обозначена операция дифференцирования по времени t. Кроме того, 0 — это вектор параметров, обычно включающий неизвестные значения физических характеристик, модулей материалов и т.п. Моделирование ведется, как правило, в терминах тех переменных состояния х, которые допускают физическую интерпретацию (положения, скорости и т.п.), в результате чего наблюдаемые выходные сигналы становятся известными комбинациями переменных состояния. Пусть тД7) — измерения, которые можно было бы получить с помощью идеальных защищенных от помех датчиков:

т?(г) = HxQY(4.60)

Применяя оператор дифференцирования р, можно переписать (4.59) в виде

[р/-г(е)]х(г)=б'(е)м(0,

откуда следует, что оператор перехода от и к q в формуле (4.60) представляется в виде

П(О = Gc(p.0)u(O,

Gc(p.o)=H\pi-F(eVG<ey'

Таким образом, мы получили непрерывную по времени модель передаточной функции системы, включающую в себя как неточности измерений, так и помехи, действующие в системе (4.59). Имеется несколько вариантов описания влияния шумов и помех. Здесь мы сначала остановимся на самом простом способе. Другие варианты сосредоточены в формулах (4.81) и (4.93)-(4.96), в задаче 4.G.7 и в п. 14.5. Пусть измерения подвергаются выборочной дискретизации в моменты времени t-кТ (к = 1, 2, ... ) и значения помех в эти моменты времени равны vT(k Т). Тогда наблюдаемый выходной сигнал представляется в виде

у(кП = Нх(кГ)4- VT(KT) = Gc(p,O)u(t) + vT(kTY(4.62)

Дискретизация передаточной функции. Как говорилось в п. 2.1, имеется несколько способов перевода описания Gc(p, в) в явную запись дискретного по времени представления. Допустим, что входной сигнал, как и в формуле (2.3), в интервале дискретизации Тпостоянен:

и(О = ик=и(кГь кТ< t<(k+ V)T.(4.63)

Тогда можно без труда найти решение дифференциального уравнения (4.59) в интервале между моментами t = кТи t = кТ-ь Т, получив

х(кТ + Т^Ат^х<кТ^ Вт(0)и(кТ),(4.64)

где•

Лт(в) = ер(0)т,(4.65а)

т

BT^ = JeF^^G(6)dT(4.65b)

(см., например, [32]).

Введя оператор q сдвига вперед на Т единиц времени, можно переписать (4.64) в виде

\q1 - А т (в)] х (к П = Вт (0) и (^ П,(4.66)

или

q (к Т) = GT fa, в) и (к Т),(4.67)

GT ^q, 6) = Н Vq I - А т (<9)]~1 Вт (в).(4.68)

Следовательно, в эквивалентной дискретизованной по выборочным данным форме уравнение (4.62) может быть записано как

y(.0=GT(q,6)u(tV ит(О, 1=ТДТ\ЗТ\...(4.69)

При выполнении предположения (4.63) это представление является точным. Однако заметим, что в силу (4.65) функция GT{qy 0) может зависеть от 6 достаточно сложным образом.

Пример 4 Л. Сервомотор на постоянном токе.

В этом примере будет изучен физический объект, о динамических характеристиках которого имеется некоторый набор представлений. Рассмотрим электродвигатель на постоянном токе, показанный на рис. 4.5,структурная схема которого изображена на рис. 4.6. В этой системе входным

Рис. 4.5. Двигатель постоянного токаРис. 4.6. Структурная схема двигателя постоянного токаРис. 4.5. Двигатель постоянного токаРис. 4.6. Структурная схема двигателя постоянного тока

Рис. 4.5. Двигатель постоянного тока

Рис. 4.6. Структурная схема двигателя постоянного тока

Рис. 4.5. Двигатель постоянного тока

Рис. 4.6. Структурная схема двигателя постоянного тока

сигналом является прилагаемое напряжение и, а результирующий ток i в цепи ротора описывается хорошо известным соотношением

и (Г) = Ral (г) + La+ $ (Г).(4.70)

at

где s (г) — обратная электродвижущая сила, обусловленная вращением схемной рамки в магнитном поле:

d

sW = ky — ц(0.

at

Ток i создает вращающий момент

тат = кацп

на оси мотора, на которую также действует момент Ti^ со стороны нагрузки. Тоща закон Ньютона даст следующее уравнение:

d2d

J dP^(D,<4-71>

где J - момент инерции ротора и нагрузки, а / описывает вязкое трение. Предполагая, что индуктивностью схемной рамки можно пренебречь, £а»0, можно преобразовать предыдущие уравнения к форме записи в пространстве состоянийгде J - момент инерции ротора и нагрузки, а / описывает вязкое трение. Предполагая, что индуктивностью схемной рамки можно пренебречь, £а»0, можно преобразовать предыдущие уравнения к форме записи в пространстве состоянийddЛЛо о * 0 -1/то о * 0 -1/тх(0 +х(0 +о&то&ти(Г) +и(Г) +7W,7W,(4.72)(4.72)

где J - момент инерции ротора и нагрузки, а / описывает вязкое трение. Предполагая, что индуктивностью схемной рамки можно пренебречь, £а»0, можно преобразовать предыдущие уравнения к форме записи в пространстве состояний

где J - момент инерции ротора и нагрузки, а / описывает вязкое трение. Предполагая, что индуктивностью схемной рамки можно пренебречь, £а»0, можно преобразовать предыдущие уравнения к форме записи в пространстве состояний

d

d

Л

Л

о о * 0 -1/т

о о * 0 -1/т

х(0 +

х(0 +

о

&т

о

&т

и(Г) +

и(Г) +

7W,

7W,

(4.72)

(4.72)

П(Г)= (1 О|х(Г),

где

d x(t)= п(0 т? (Г) dt• JRad x(t)= п(0 т? (Г) dt• JRa^-а^-аfRa ^д^у *^ Rg + ^д^иfRa ^д^у *^ Rg + ^д^иRgfRg + ^fl^VRgfRg + ^fl^V

d x(t)= п(0 т? (Г) dt

• JRa

d x(t)= п(0 т? (Г) dt

• JRa

^-а

^-а

fRa ^д^у *^ Rg + ^д^и

fRa ^д^у *^ Rg + ^д^и

RgfRg + ^fl^V

RgfRg + ^fl^V

Допустим теперь, что момент 7} тождественно равен 0. Чтобы определить динамику электродвигателя, приложим теперь кусочно-постоянный входной сигнал и дискретизуем выходной сигнал с выборочным интервалом Т. Тогда уравнение состояния (4.72) может быть записано как

х(г + П = Лт(^)^(О + 5г(0)м(Г), * • (4.73)

где

и, в силу (4.65),

. ...[ 1 7(1 - е"Г/Т)

^(«)=[о е'Т,т

Вт№ = |

(^те-Т,т -т*П ]

1?(1 -е"Г/т)]’

(4.74)

Допустим также, что фактическое измерение у (г) величины угла т)(г) осуществляется с некоторой ошибкой и(Г):

^(Г) = т7(Г) + и(г).(4.75)

Эта ошибка в основном обусловлена ограниченной точностью (например, из-за градуировки потенциометра) и может быть описана последовательностью независимых случайных величин с нулевым средним и известной дисперсией R2 (рассчитанной по ошибкам округления в процессе измерений) при условии, что частота замеров не слишком велика. Таким образом, имеем модель

у (г) = GtGl 0) и (г) + и(г),

где и(г) - белый шум. Естественным предсказателем для такой модели является

yGW = GTGb(T>uGV [1 0| \ql - Л г (д)Г1 Дг(0) .(4.76)

Этот предсказатель параметризуется введением только двух параметров 0 и т. Отметим, что если бы на основе физических соображений мы всего-навсего заключили бы, что наша система второго порядка, то нам пришлось бы использовать ARX-модель или модель выходной ошибки второго порядка с четырьмя настраиваемыми параметрами. Как мы увидим, уменьшение числа параметров оказывает некоторое положительное воздействие на процедуру оценивания: дисперсии оценок параметров начинают убывать. Однако это достигается не бесплатно. Предсказатель (4.76) является гораздо более сложной функцией от двух своих параметров, чем соответствующие ARX-модель или модель выходной ошибки с их четырьмя параметрами.

Уравнения (4.64) и (4.62) образуют стандартную дискретную по времени модель в пространстве состояний. Далее мы для простоты примем Г= 1 и опустим соответствующий индекс. Мы также введем произвольную параметризацию матрицы, связывающей между собой хит): И = С(0). В результате получим

х (Г + 1) = А (0) х (г) + В(0) и (г),(4.77а)

v(r) = C(0)x(O + va),(4.77b)

что соответствует

j/(r) = G(<7,6)u(r) + u(r),(4.78)

G (q, 0) = С (0) to I - А (0)] -1 В (0).(4.79)

Хотя выборочная дискретизация непрерывного по времени описания является вполне естественным способом построения модели (4.77), могут встречаться и такие приложения, в которых задача сразу ставится в дискретном времени, когда с самого начала матрицы Л, В и С параметризованы введением вектора 0, а не опосредованно через (4.65).

Представление шума и стационарный калмановский фильтр. В представлении (4.77) и (4.78) мы могли бы продолжить моделирование свойств шума (v(f)}. Непосредственный, но абсолютно корректный путь сводится к постулированию модели шума в виде

и(г) = //(<7,0)е(О,(4.80)

где (е(г)} — белый шум с дисперсией Л. 0-параметры в операторе H^q, 0) могут быть в некоторой части теми же, что и в G(q, 0), а могут быть и дополнительными параметрами самого шума.

Однако при описании в пространстве состояний более привычно производить расщепление полного сигнала шума v(t) на собственно шум измерений (или наблюдений) v(t) и шум объекта wQ), воздействующий на состояния, так что уравнение

записывается в виде

Г x(r+O = 4(0)x(r) + 5(6)u(r) + w(r),।

’у(г) = С(0)х(г) + и(г).J

Здесь {w^)) и {и(г)} считаются последовательностями независимых случайных величин с нулевыми средними и ковариациями

Ewiow^t^RiteY

Ev(t)vT(t) = R2(6),(4.82)

Ewt)vT(tVRn(eY

Помехи w(t) и v(t) часто могут быть сигналами известной физической природы. В примере 4.1 изменение нагрузки Г/(г) являлось ’’шумом объекта”, а неточность измерений с помощью углового датчика потенциометра - ’’шумом измерений”. В подобных случаях предположение о том, что эти сигналы - белые шумы, далеко не всегда является реалистическим. И тогда для вывода соотношений (4.81) и (4.82) потребуется осуществлять дополнительное моделирование и расширение вектора состояния. См. задачу 4G.2.

Перейдем теперь к задаче прогнозирования сигнала у (г) из формулы (4.81). Именно к этому описанию в пространстве состояний применяется знаменитая кал- мановская фильтрация (более обстоятельно вопрос изложен в работе [И]). Условное математическое ожидание у (г) при заданных y(s^ u(s) (s < t — 1) (т.е. от бесконечности в прошлом до момента t — 1) ив предположении, что процессы и

и w гауссовские, дается формулами:

£(г + 1,0) = Л(0)х(г.0) + В(0)и^ + К(6)[у(Г)-С(в)х(г,6)],

y(t\6) = C(,0)x<t.Oy

Здесь К (6) определяется как

K(eviA(.6)P(.e>cT(.e^Rn(e^\c(ie)P^cT(.0VRi№, (4.84а) где Р(6^ — положительно полуопределенное решение стационарного уравнения Риккати:

/Чб^О^/ЧУМ^ + Я,^)- [Л(6)Р(в)Сг(У) +

+ Я12(6)]1С(0)Р(0)Сг(е) + Я2(0)Г1И(б)Р(в)Сг(0) + Ви^У- (4-84b)

Отсюда прогнозирующий фильтр может быть записан в виде

у(г|6) = С(0)[с//-Л(6) + К(0)С(0)]’1Д(0)и(/) +

+ С(9)[у/-Л(0) + K(0)C(0)r*K(0)y(r).(4-85)

Матрица Р (0) - это матрица ковариации ошибки в оценке состояния:

Р(6) = Я1х(г)-х(г, 9)] [x(r)-x(t, 0)]т.(4.86)

Представление в виде обновлений. Ошибка предсказания

у (г) - С(0) х(л 0) = С(0)[х(О - х(л 0) ] + v(f)(4.87)

в формуле (4.83) относится к той части сигнала у (г), которая не может быть спрогнозирована по данным о прошлом: она является ’’обновлением”. Обозначая ее, как и в формуле (3.25), через e(f), мы находим, что формула (4.83) может быть

переписана в виде

Г" х(г + 1,А) = Л(А)х(г, 6) + Вф) и(г) + К(в)е(П'

[ у (Г) = Сф^х (t, А) + eQ).(4.88а) J

Ковариация е (г) может быть определена по формулам (4.87) и (4.86):

Ке^ еЧО = Л = С(0) Р^ Стф^ R2(0y(4.88b)

Поскольку ошибка е(^) входит явно, это представление известно как представление в пространстве состояний в форме обновляющего процесса. Используя оператор сдвига q, можно совершить очевидные преобразования

у(Г) = G(q,9) и (f) + H(q,0)e(f),(4.89а)

G(y, fl) = Сф^д/ - Л(fl)] -1 Вф),(489b)

Я((7,в) = С(А)|<7/-Л(А)]'1К(А) + /,

которые выявляют связь с общей моделью (4.4) и с непосредственным описанием сигнала v (t) с помощью соотношения (4.80). См. также задачу 4G.3.

Непосредственно параметризованная форма обновлений. В формуле (4.88) кал- мановское усиление К (6) рассчитывается по Л (0), С(0), R\ (РК RXI (Р) и R2 (0) достаточно сложным образом, посредством решения уравнения (4.84). Достаточно привлекательной представляется идея обойти уравнение (4.84) и параметризовать /^-матрицы посредством прямой параметризации К (0) через параметры 0. Этот путь имеет то важное преимущество, что предсказатель (4.85) оказывается более простой функцией от 0, Такую модельную структуру мы назовем непосредственно параметризованной формой обновлений.

11

Я-матрицы, описывающие свойства шума, содержат у п^п + 1) + np-v—p^ + 1) матричных элементов (не считая симметричных), в то время как в калмановский коэффициент усиления К входит пр элементов (р = dim у, п = dim х). Если мы не располагаем априорной информацией об /?-матрицах и, таким образом, нуждаемся для их описания во введении большого числа параметров, то лучшей альтернативой стала бы параметризация К (в), в том числе и в силу желания сохранить dim 0 небольшой. С другой стороны, знание о системе может быть пополнено введением в (4.81) имеющихся физических представлений, например, о том, что шум объекта сказывается только на одной переменной состояния и не зависит от шума измерений, дисперсия которого может быть известной. Тогда параметризация К (6) с помощью соотношений (4.82) и (4.84) может быть осуществлена с использованием меньшего числа параметров, чем требовалось бы при непосредственной параметризации к^ру

Замечание. Параметризация в терминах (4.82) приводит также к параметризации р(р +1)/2 элементов матрицы Л(0) из формулы (4.88b). Непосредственная параметризация (4.88) включала бы дополнительные параметры для Л, что, однако, никак не сказывалось бы на прогнозе (сравните также задачи 7Е.4 и 8Е.2).

Непосредственно параметризованные формы обновлений включают в себя и модели черного ящика, которые находятся в тесной связи с рассмотренными в п.4.2.

П р и м е р 4.2. Параметризации совместной формы записи.

Пусть в формуле (4.88)

0Т = \ax,alt а 3> bXt Ьг, ЬзАхЛг ДЛ

-^i-^2-^i-^2b2 , KW = 63Jb2 , KW = 63J

-^i

-^2

-^i

-^2

b2 , KW = 63J

b2 , KW = 63J

1 ol

0 о О J

cw= [1 О О].

Говорят, что матрицы записаны в совместной форме или в канонической относительно наблюдателя форме (см., например, [198]). Нетрудно проверить, что для так записанных матриц

С(в) (^7- Л (в)] -^(в) =

bxq"x +М"1 *Ь^~Э

1 + a1<?*1 + a2^'J *a,q "э

ИИ

И

И

CW^ql- 4(0)] -'К(9) =

М"‘ *кгЧ"г *кэЧ'э

так, что

1 + С(0) [?7 - Л (0)] "* ^(6) =1 + С(0) [?7 - Л (0)] "* ^(6) =1 + с^"1 + c2q-2 +c3q *31 + с^"1 + c2q-2 +c3q *31 + axq~l *a2q-21 + axq~l *a2q-2+ <М+ <М

1 + С(0) [?7 - Л (0)] "* ^(6) =

1 + С(0) [?7 - Л (0)] "* ^(6) =

1 + с^"1 + c2q-2 +c3q *3

1 + с^"1 + c2q-2 +c3q *3

1 + axq~l *a2q-2

1 + axq~l *a2q-2

+ <М

+ <М

где

д

с^ = а^* к^ / = 1,2, 3.

Используя эти соотношения, мы получили последовательную параметризацию ARMAX-модсли (4.15) и (4.16) для па =пь = пс = 3.

Соответствующая параметризация модели с многими выходами является более специфической процедурой и описывается в Приложении 4А.

Нестационарные предсказатели^. Предполагается, что для прогнозирующих фильтров (4.83) и (4.84) доступны все данные о прошлом от минус бесконечности. Если нет данных до момента t = 0, то их можно было бы заменить нулями, тем самым инициируя рекурсию (4.83) при t = 0 со значения х (0) = 0 и назначив штраф за субоптимальность оценок. Именно этой идеей мы руководствовались в п. 3-2.

Преимущество моделей в пространстве состояний, что они позволяют ценой некоторого усложнения процедуры прогнозирования дать правильную интерпретацию неполноте информации о предыстории для t < 0. Если информация о предыстории системы до момента t = 0 дается через оценку начального состояния хо(0) = = х(0,0) и характеристику неопределенности этой оценки

По(0) = t[x(0) - хо(0)] [х(0) - хо(0)] т,(4.90)

то формулы фильтра Калмана определяют следующие соотношения для одношагового прогноза (см. [И]):

х(г + 1,0) = Л(0)х(г, 0) + S(0) u(t) + K(t, 0)[y(r)-C(0)x(r.0)],(4.91)

y(r|0) = C(0)x(r,0X х(0,0) = хо(0),'

K(t, 0)=[A(6)P(t, 0)Ст(0) + /?12(0)] [С(0)Р(г, в)Ст(в) + /?2(0)] -*,(4.92)

Р(Г + 1,0) = A(8)P(t, 0)AT(O)+R1(8) - K(r,d){C(6)P(t,0)CT(0) +

+ Я2(0)| KT(t, 0), Р(О,0) = По(0).

Здесь K(t, в), определяемое формулой (4.92), при достаточно общих предположениях быстро сходится к К(0) из формулы (4.84) (см., например, [11]). Таким образом, во многих задачах для упрощения вычислительных процедур разумно непосредственно использовать предельные значения оценок (4,83) при учете (4.84). Впрочем, когда записи данных короткие, решение уравнений (4.90)—(4.92) обеспечивает нас возможностью корректного исследования переходных свойств оценок, включая, быть может, параметризацию неизвестных начальных условий х0 (6) и И о (0) . Ясно, что стационарный подход, основанный на соотношениях (4.83), (4.84) , представляет_собой частный случай формул (4.91), (4.92) при условии, что х0 (6) = = О,По(0) = Р(6).

Выборочная дискретизация непрерывного шума объекта^*'. Как и в случае сио темной динамики, мы можем получить более глубокое представление о природе непрерывного по времени шума объекта. Теперь мы можем выписать возмущенную модель в* пространстве состояний

х (?) = F(0) x(t) + G(6) u(t) + w (t). (4.93) Здесь w (?) - формально введенный белый шум с ковариационной функцией

Е w (?) w T(s) = Rx(0)b(t - s), (4.94) где 6 - дельта-функция Дирака. Когда входной сигнал, как и в формуле (4.63), кусочно-постоянен, соответствующее дискретное по времени уравнение состояния приобретает вид

х(кТ* Т)- Ат(6)х(кТ) + ВТ(6) u(kT) + wT(kT\ (4.95) где Ат и Вт даются формулой (4.65), a wT(kT), к = 1, 2, . . . - последовательность независимых случайных векторов с нулевыми средними и матрицей ковариации

Ewt№w^ (kT) = Rx(9) = fe^T R\(9)^ (4.96) о

Вывод можно найти в книге Острема [21 ].

Модели в пространстве состояний. Суммируя вышеизложенное, отметим, что модели в пространстве состояний обеспечили нас широким спектром возможностей моделирования. Можно использовать физическое моделирование в непрерывном времени, дополненное или лишенное соответствующего описания непрерывного по времени шума, с целью формирования структур с физическими параметрами 6. Можно использовать физическую параметризацию динамики системы в сочетании с формальной (по методу черного ящика) параметризацией характеристик шума такой, например, как непосредственная параметризация формы обновлений (4.88), или принимая такую модель шума, которая также является физически параметризованной с помощью соотношений (4.93)-(4.96). Наконец, мы можем использовать структуры черного ящика в пространстве состояний, как скажем, в примере 4.2. В этом случае описание входо-выходного соответствия моделью черного ящика имеет преимущество гибкости в выборе такого представления, которое может обеспечить достижение лучших количественных характеристик процесса параметризации (задача 16Е.1).

Модели с распределенными параметрами^

Модели, в которых описание связи между входными и выходным сигналами явно или неявно включает уравнения в частных производных, обычно называют моделями с распределенными параметрами. Здесь понятие ’’распределенности” относится к вектору состояния, который в общем случае принадлежит функциональному пространству, а не евклидову пространству R” Для работы с такими моделями имеется два основных пути. Первый из них сводится к замене производной по пространственной переменной соответствующей конечной разностью или к усечению разложения в функциональный ряд, позволяющему приблизить уравнение в частных производных обыкновенным дифференциальным уравнением. Тогда получается ’’усеченная” конечно-мерная модель того типа, который мы рассматривали в п. 4.3 (в данном случае ’’усеченность” модели означает вырезание группы распределенных состояний с объединением их в конечном наборе). Другой подход заключается в проведении расчетов с исходным уравнением в частных производных и только на заключительном этапе численных выкладок для упрощения расчетов осуществляется конечномерная аппроксимация. Следует отметить, что этот второй подход полностью укладывается в обобщенную модельную структуру (4.4) при условии, что рассматриваемое уравнение в частных производных линейно и стационарно. Это прекрасно иллюстрируется следующим примером.

П р и м с р 4.3. Динамика нагрева.

Рассмотрим физическую систему, схематично изображенную на рис. 4.7, Она представляет собой хорошо изолированный металлический пруток, который с одного из концов подвергается нагреву. Подогрев в момент времени t является входным сигналом и (Г), а измеряемая на

Рис. 4.7. Система нагретого прутка

другом конце температура - это выходной сигнал у (г). Этот выходной сигнал подвергается выборочной дискретизации в моменты t =1,2,...

В идеальных условиях система описывается уравнением теплового переноса. Если через х(г, О обозначена температура точки прутка, находящейся на расстоянии £ от изолированного конца прутка в момент времени г, то

(4.97)(4.97)ax^t, t) = 8гх(г, о at к at2 ’

(4.97)

(4.97)

где к - коэффициент теплопроводности. Нагрев дальнего конца прутка означает, что

ах (г, Оatах (г, Оatt=L =кит.t=L =кит.(4.98)(4.98)

ах (г, Оat

ах (г, Оat

t=L =кит.

t=L =кит.

(4.98)

(4.98)

где К - коэффициент теплопередачи, Поскольку ближний конец изолирован, то

(4.99)(4.99)Эх (г, пЭС

(4.99)

(4.99)

Измерения описываются соотношением

(4.100)(4.100)у(Г) = хо, 0) + u(r), г = 1, 2,... ,

(4.100)

(4.100)

где {и (z)} определяет шум измерений. Неизвестны параметры

(4.101)(4.101)

(4.101)

(4.101)

Использование аппроксимации

t = к AL,t = к AL,b2x(t. О _ хЦ, £ + AL) - 2xU> O+x(t, £ - A L)

t = к AL,

t = к AL,

” dTULY

переводит (4.97) в модель в пространстве состояний порядка п = ALjL, где переменные состояния х (t, к AL) суть ’’вырезанные” представители процесса х (t, £), к AL ^ £ < (к + 1)AL. Это, как правило, определяет вполне приемлемую аппроксимацию уравнения тсплопсрсноеа.

Вместо этого мы сохраним уравнение (4.97), взяв от него преобразование Лапласа. Пусть теперь X (v, С) - преобразование Лапласа отх(г, О по переменной t при фиксированном значении Ь Тогда соотношения (4.97)- (4.99) преобразуются к виду

(4.102)(4.102)X^s, Х) = кХЧ$, О, ХЧ$Л) = КЩ$), X\s, 0) = 0.

(4.102)

(4.102)

Одинарным и двойным штрихами обозначено дифференцирование по переменной £, a U(s) - преобразование Лапласа от и (г). Решение уравнений (4.102) при фиксированном s дает

X ($, 0 = А ($) е £'^‘*BU') е^-^^, где постоянные А ($) и Я($) определяются из граничных условий

X' (s, 0) = 0,

Х'($. LV KUUV.

AU) = BU) =AU) = BU) =KU^KU^(4.103)(4.103)

AU) = BU) =

AU) = BU) =

KU^

KU^

(4.103)

(4.103)

Подстановка последнего результата в формулу (4.100) дает

У($) = XU, 0) + И($) = Gc(s, 6) (7($) + И($),(4.104)

Gc U. в) =^— ,(4.105)

^/k^-Vs/k _ e-L\js!K^

где И($) - преобразование Лапласа от шума {и (г)} . Таким образом, мы пришли к параметризации модели типа (4*46). Используя некоторую процедуру выборочной дискретизации и модель последовательности значений шума измерений, можно привести модель к форме (4.4). Заметим, что Gc(s, 0) является аналитической функцией ots, хотя и по рациональной функцией. В этом случае могут быть проведены все прежние рассуждения с полюсами, нулями, устойчивостью и др.

Таким образом, в наше исследование методов системной идентификации можно включить модели с распределенными параметрами. Этому предмету посвящена обширная литература. См., например, работы [35] и [217]. Совсем неудивительно, что в этих работах важное значение придается вычислительным аспектам, выбору базисных функций и т.п.

Множества моделей, структуры моделей и идентифицируемость: некоторые формальные положения

В этой главе нами рассмотрены модели линейных систем и параметризованные множества таких моделей. По мере перехода к изучению методов идентификации становится ясным, что эти модели и множества моделей должны удовлетворять определенным требованиям. В этом разделе мы рассмотрим некоторые из таких формальных требований. Для упрощения обозначений все аналитические соотношения будут выписаны только в случае одномерных моделей.

Некоторые обозначения. Для записи формул, которые будут выведены в этом разделе, удобно ввести некоторые компактные обозначения. Введя

Т^)= VG^)H(q^ и х(г) =Т^)= VG^)H(q^ и х(г) =" и(гУ. е(0 ’" и(гУ. е(0 ’(4.106)(4.106)

Т^)= VG^)H(q^ и х(г) =

Т^)= VG^)H(q^ и х(г) =

" и(гУ

. е(0 ’

" и(гУ

. е(0 ’

(4.106)

(4.106)

можно переписать формулу (4.1) в виде

У(г)= П^)х(г)-(4-107)

Аналогичным образом может быть переписана модельная структура (4.4):

М=т^еш t№\gm я^в)].(4.108)

При данной модели (4.107) можно выписать формулу для одношагового прогноза (3.54), которая преобразуется к виду

У(Г|/-1)=1У(<7)2М,

(4.109)

и (г) 1

^(<7)= [^„(<7) ^(<7)1, г(г)=,

(4.110)

L^(r) J

Wu^ = H"4q^GVlY ^(^=[1 - Я"1 (<?)]•

(4.111)

Очевидно, что формула (4.111) устанавливает взаимнооднозначное соответствие между T(q) и И^) :

Т ^^ W^qY (4.112)

Замечание. Отправляясь от (4.107), может оказаться предпочтительным выбор ^-шагового предсказателя (3.31). Чтобы сохранить соответствие (4.112), можно рассматривать (3.31) как одношаговый предсказатель для модели (3,22).

Модели. В связи с моделью (4.1) мы уже отмечали, что модель линейной системы образуют специальным образом определенные передаточные функции G (z) и H(z) с возможным дополнением в виде дисперсии ошибки предсказания Л или плотностью вероятности feW ошибки предсказания е. В пп. 3.2 и 3.3 мы сделали вывод, что конечный результат зависит от того, какие формулы используются для предсказания будущих значений выходного сигнала. Одношаговый предсказатель для модели (4.1) определяется формулой (4.109).

Хотя в силу (4.112) предсказатель (4.109) находится во взаимно однозначном соответствии с моделью (4,107), было бы неплохо ослабить связь (4.112) и принять формулу (4.109) в качестве основной модели. Среди прочего это позволит непосредственно перейти к нелинейным и нестационарным моделям, как будет показано в п. 5.4. Итак, введем то, что мы понимаем под моделью, формально.

Определение 4.1. Прогнозирующей моделью линейной, стационарной системы называется устойчивый фильтр И^), определяющий формулу для прогноза (4.109) при условии (4.110).

Требование устойчивости, определенное соотношениями (2.27) (применительно к обеим компонентам W(<?)), необходимо для однозначности определения правой части формулы (4.109). Хотя прогнозирующие модели имеют смысл и при детерминистском рассмотрении вне стохастических конструкций (это отмечалось уже в и. 3.3), полезно также рассмотреть модели, которые специфицируют определенные свойства соответствующих ошибок предсказания (обновлений).

Определение 4.2. Полной вероятностной моделью линейной, стационарной системы называется пара (W(q),fe (*)), состоящая из прогнозирующей модели W(e/) и плотности вероятности fc (х) соответствующих ошибок предсказания.

Ясно, что можно также рассматривать модели, в которых распределение вероятностей задано лишь частично (например, дисперсией ошибки е).

В этом разделе мы рассмотрим только прогнозирующие модели. Основные конструкции для вероятностных моделей строятся по аналогии.

Будем говорить, что две модели Wx (q) и W2 (q) равны между собой, если

Wx (е^ ) = ^(е^) для почти всех ел(4.113)

Модель

ИЧ<7)= I^W^l

будем называться прогнозирующей на к шагов (вперед) моделью, если

^„(<7)= S wyU)q" при wyik)^0,(4.114)

/ = л

и моделью выходной ошибки (или имитационной моделью), если Wyfa) =0.

Отметим, что в определении на предсказатель наложено требование устойчивости. Это вовсе не означает, что устойчива динамика самой системы.

Пример 4.4. Неустойчивая система.

Допустим, что

bq 1

G(q) = , где I а I > 1,

+ aq 1 и

Типичным множеством моделей может быть '

jg* = £♦ ={ множество всех линейных моделей},

т.е. всех линейных моделей, удовлетворяющих определению 4.1, или

^* = { множество всех моделей таких, что ^ to) и W^q^ является многочленами от q-1 степени, не превышающей и},(4J ] 6)

или конечное множество моделей,:

Jt*4Wx(q\W2to), W3to)}.(4.117)

Говорят, что два множества моделей равны ^* -Л^ есяи Д1™ лю^ой модели Wx из Л* найдется модель И^ изЛ£ ,что И^ = И^ (см. (4.113)) и обратно.

Структуры моделей: параметризация множеств моделей. Чаще всего рассматриваемые множества моделей несчетны. Так как на этих множествах предстоит вести поиск ’’наилучших моделей”, представляет интерес устанавливаемый способ перечисления моделей. Основная идея заключается в том, чтобы параметризовать (проиндексировать) множество ’’гладким образом” в ’’хорошем” диапазоне и вести поиск на множестве параметров (индексов). Допустим, что модели индексированы d-мерным вектором 0:,•

wvq.ey:

Чтобы формализовать понятие ’’гладкости”, потребуем дифференцируемости функции ^(2,0) по 0 для любого заданного гпри | z\ > 1:

(4.118а)(4.118а)d

(4.118а)

(4.118а)

^<z, 6>> = d6W^

Здесь

^^0)= VV^Oy *y(z,0)]^^0)= VV^Oy *y(z,0)]d— Wu(z,°), dt)d— Wu(z,°), dt)ddedde^(z, 0)^(z, 0)(4.118b)(4.118b)

^^0)= VV^Oy *y(z,0)]

^^0)= VV^Oy *y(z,0)]

d

— Wu(z,°), dt)

d

— Wu(z,°), dt)

d

de

d

de

^(z, 0)

^(z, 0)

(4.118b)

(4.118b)

- (d X 2)-матрица. Таким образом, градиент прогноза у (г | 0) определяется выражением

(4.118c)(4.118c)d а

(4.118c)

(4.118c)

Ф^.е^ ~y(Me) = 'D(<i,e) z(t). du

Так как расчет и использование фильтров Ф будут осуществляться в процессе поиска, необходимо потребовать их устойчивости. В результате мы приходим к следующему определению.

Определение 4.3. Модельная структура Л представляет собой дифференцируемое отображение из связного открытого подмножества DeH пространства R^ в множество моделей Л* такое, что градиенты функций предсказателя устойчивы.

Математически это определение записывается в виде цепочки

Л В^О^Л^М^О^Л*. (4.119) при этом фильтр Ф из формул (4.118) существует и устойчив для 6 G DH. Таким образом, символом JZ (0) будет обозначаться конкретная модель, соответствующая значению 0 параметра, с сохранением обозначения ^ для самого отображения.

Замечание. Требование открытости множества D^ обеспечивает однозначность определения производных в формулах (4.118), При использовании модельных структур иногда могут оказаться более предпочтительными неоткрытые множества Z)^ . Ясно, что если В и содержится в некотором открытом множестве, па котором определены соотношения (4.118), то проблем не возникнет. Дифференцируемость

также можно определить на более сложных, чем открытые подмножествах пространства R^, на дифференцируемых многообразиях (см., например, [60]). Дополнительные замечания можно найти в комментариях к библиографии этой главы.

Пример 4.5. ARX-структура.

Рассмотрим ARX-модель

у (О + ayU - 1) = blu(t - 1) + b2u(t - 2) + e(f).

Предсказатель определяется формулой (4.10), которая в данном случае имеет вид W^q, 0) = \bxq~x * b2q"*1 \ -aq ], 6 = [я, bx, b2 ] T

и--

0 -q"1

^^.6) = q"1 0•

1 0

Параметризованные множества моделей, которые были непосредственно изучены нами в этой главе, записаны в виде (4.4) и данном случае

y(f) = G^q.O^u^ + H^q.OV^tY О € D^(4.120)

или, используя (4.108),.

ЯО = П'МШО-.

Сразу же проверяется, что в силу (4.111)

1^(q,6) =;7(H(q, У))21^(q,6) =;7(H(q, У))2Т'(<7, У)Т'(<7, У)H(q,e>—G(q, 0)H(q,e>—G(q, 0)° 11 J ’° 11 J ’(4-121)(4-121)

1

^(q,6) =;

7(H(q, У))2

1

^(q,6) =;

7(H(q, У))2

Т'(<7, У)

Т'(<7, У)

H(q,e>

—G(q, 0)

H(q,e>

—G(q, 0)

° 1

1 J ’

° 1

1 J ’

(4-121)

(4-121)

где T\q, в) - (dX 2)-матрица

, dГ dd 1

т (d, 6) = — T(q, 6) =—-G(q,0) — H(q,0) .(4.122)

du[ du do J

Тогда дифференцируемость W следует из дифференцируемости Т,

Следует понимать, что фактически все рассмотренные в этой главе параметризации представляют собой модельные структуры в смысле определения 4.3. В частности, справедлива следующая лемма.

Лемма 4.1. Параметризация (4.35) с вектором 0 из формулы (4.41), принадлежащем области D^ = {0 I I7^ C(z) не имеет нулей вне открытого единичного круга} является модельной структурой.'

Доказательство. Необходимо только убедиться в том, что градиенты по параметру 6 функций

ииWu(z,0) =Wu(z,0) =B(z)D(z)C(z)F(z)B(z)D(z)C(z)F(z)Wy(z,e)=l-Wy(z,e)=l-D(z)A(z)C(z)D(z)A(z)C(z)

и

и

Wu(z,0) =

Wu(z,0) =

B(z)D(z)

C(z)F(z)

B(z)D(z)

C(z)F(z)

Wy(z,e)=l-

Wy(z,e)=l-

D(z)A(z)C(z)

D(z)A(z)C(z)

' являются аналитическими функциями для всех | z | > 1 и 8 € DM . Но это сразу следует из того, что (например, для WM(z,0)):

Э— Wu(z, У) =Э— Wu(z, У) =B(z)D(z) z к[C(z)]2F(z) ‘B(z)D(z) z к[C(z)]2F(z) ‘

Э

— Wu(z, У) =

Э

— Wu(z, У) =

B(z)D(z) z к

[C(z)]2F(z) ‘

B(z)D(z) z к

[C(z)]2F(z) ‘

Лемма 4.2. Рассмотрим параметризацию в пространстве состояний (4.88). Допустим, что матрицы Л (5), В(0), К (в) и С(0) поэлементно дифференцируемы

no 6. Допустим, что О Е D^, где

D^ = {0 | все собственные значения матрицы А (0) — К(0)С(0) находятся внутри единичного круга).

Тогда параметризация соответствующего предсказателя является модельной структурой.

Доказательство. См. задачу 4D.1.

Отметим, что если матрица К(0) найдена как решение уравнения (4.84), то в силу обычного свойства фильтра Калмана (см. [11])

DM = {0| паРа М(®)> ^1(8)1 стабилизируема, а пара [А(0), С(0)] детектируема}.(4.123)

При обращении к другим модельным структурам мы будем пользоваться следующим определением.

Определение 4,4. Говорят, что модельная структура Л i содержится в модельной структуре Л£2 и пишут

Лх ЕЛ2,(4.124)

если D ^ С D^ и отображениеЛ\ получается сужением J£2 на множество 0 Е D^. Наитипичнейшей ситуацией выполнения (4.124) будет случай, когда ^2 определяет модели и-го порядка, a Лх - модели w-ro порядка (т < п) . Можно считать, что множество Лх получается из множества Л г посредством фиксации некоторых параметров (как правило, обнуления).

Иногда оказывается полезным следующее характеристическое свойство модельных структур.

Определение 4.5. Говорят, что модельная структура обладает независимо параметризованными передаточной функцией и моделью шума, если

0 =0 =РVРV^х ^р X D^, р Е Dp, т? ^ D^ ,^х ^р X D^, р Е Dp, т? ^ D^ ,(4.125)(4.125)

0 =

0 =

Р

V

Р

V

^х ^р X D^, р Е Dp, т? ^ D^ ,

^х ^р X D^, р Е Dp, т? ^ D^ ,

(4.125)

(4.125)

T(q,0WG(q,py H(q,q)\.

Отметим, что частный случай семейства (4.33), когда A(q) = 1, соответствует независимой параметризации G и Н.

Замечание о ’’конечных модельных структурах”. Иногда множество моделей-кандидатов является конечным (см. 4.117)). И в этом случае может быть желательным проиндексировать это множество, используя вектор параметров 0, принимающий теперь конечное множество значений. Хотя такая конструкция в соответствии с определением 4.3 не может быть квалифицирована как ’’модельная структура ”, следует отметить, что процедуры оценивания из пп. 7.1- 7.4 и соответствующие результаты по сходимости из пп, 8.1-8.5 в этом случае также будут иметь смысл.

Множество моделей как область значений модельной структуры. Множество значений модельной структуры вполне наглядно определяет множество моделей:

J£* = (R(JZ) = Область значений^ ={JZ(0) | 0 еЛ^}.

“В теории идентификации важной задачей является отыскание модельной структуры, область значений которой совпадает с данным множеством моделей. Эта задача иногда является простой, а иногда крайне нетривиальной.

Пример 4.6. Параметризация Л*

Рассмотрим множество Л^, определенное формулой (4.116) при п = 3. Если положить

6 = [д, аг аг bx b2 b31 Т, d = 6,

и

Wy^q, e)--a.q^ -a^q*1 -a3q‘\

Wu<q, e>»btq-' + Ь2д"г+ b3q'\

то очевидно, что у сконструированной модельной структуры область значений совпадает с^э* Как правило, данное множество моделей может быть представлено областью значений нескольких разных модельных структур (см. задачи 4Е.6 и 4 Е.9).

Множество моделей как объединение областей значений модельных структур. В последнем примере для заданного множества моделей удалось подобрать модельную структуру с соответствующей областью значений. Мы еще встретимся с такими множествами моделей, для которых это невозможно, по крайней мере среди модельных структур с желательными свойствами идентифицируемости. В таких задачах выход из положения состоит в том, чтобы описать множество моделей как объединение областей значений нескольких разных модельных структур:

Jt* = U R^Jt^.(4.126)

/ = 1

Именно эта идея реализована в частном случае описания линейных систем с несколькими выходными сигналами. Подробно эта процедура изложена в Приложении 4А. Мы же здесь только отметим, что множества моделей, описываемые соотношением (4.126), полезны и при работе с моделями разных порядков и что по крайней мере неявно такие множества часто используются, когда порядок искомой модели заранее неизвестен и подлежит определению.

Свойства идентифицируемости. Идентифицируемость является центральным понятием теории идентификации. Вольно выражаясь, вопрос заключается в том, позволяет ли процедура идентификации однозначно определить значение параметра 0 и/или совпадает ли получающаяся модель с реальной системой. Мы коснемся этого предмета более детально в отдельной главе (см. пп. 8.2 и 8.3). Сюда, в частности, относится вопрос о том, достаточно ли информативно множество данных (условия эксперимента), чтобы существовала возможность различения разных моделей и изучения свойств самих модельных структур. При этом, если данные достаточно информативны для дифференциации разных моделей, то возникает следующий вопрос - могут ли разным значениям 6 соответствовать одинаковые модели, В принятой терминологии последний вопрос относится к обратимости модельной структуры J<(T.e. инъективности отображения Л)- Мы сейчас обсудим некоторые из концепций, связанных с подобными свойствами обратимости. Нижеследующее изложение дополняется материалами пп. 8.2 и 8.3.

Определение 4.6. Модельная структура Л называется глобально идентифицируемой в точке 0*,если

Jt(0)=J((0*), 6 ^D^0^O\(4.127)

Напомним, что понятие равенства моделей, определенное формулой (4.113), включает требование совпадения передаточных функций предсказателей. В силу (4.112) отсюда следует,что совпадают передаточные функции GviH.

После того, как определена идентифицируемость в точке, можно перейти к идентифицируемости на множестве.

Определение 4,7. Модельная структура ^ называется строго глобально идентифицируемой, если она глобально идентифицируема в каждой точке 6* множества J^.

Это определение является достаточно ограничивающим. Как мы увидим впоследствии, конструировать модельные структуры, обладающие свойством строго гло-

бальной идентифицируемости, непросто. В частности, для линейных систем свойство глобальной идентифицируемости может утрачиваться в точках гиперповерхностей, соответствующих системам более низкого порядка. Поэтому мы введем более слабое, но более реалистическое свойство.

Определение 4.8. Модельная структура Л называется глобально идентифицируемой, если она глобально идентифицируема в почти всех точках 6* € D^ .

Замечание. Иначе говоря, структура Л глобально идентифицируема во всех точках 0* € D^ СВ^, где .

8В^=и\9ЕОх; 6^0^

- множество лебеговой меры Ов Rd (напомним, что В^ , а следовательно, и ЬВ^- подмножества R^ ).

Что касается локальных свойств, то наиболее естественное определение локальной идентифицируемости структуры Л в точке 6* должно требовать существования такого 6, что

Л^)=Л(0*\ 0eg3(0*>€)* 0=0\ (4.128)

где через 53(0*, е) обозначена е-окрестность точки 6*. Тогда (строго) локальная идентифицируемость модельной структуры может быть введена по аналогии с определениями 4.7 и 4.8. См. также задачу 4G.4. '

Использование понятия идентифицируемости. Понятие идентифицируемости относится к вопросу о единственности представления данного системного описания в рамках модельной структуры. Пусть

У^ = С^и^Н^е^ (4.129)

- такое описание. Мы могли бы говорить о том, что такое описание по отношению к реальной системе является ’’истинным” или ’’идеализированным”, однако в этом тексте такой разговор был бы беспредметным. Пусть Л - модельная структура, основанная на одношаговых предсказателях для следующего уравнения

y^ = G<q, 6) u(t)+H(q, 6) e(t\ * (4.130) Тогда определяется множество Вт\8> Л ) тех значений 6 из В^ , для которых $ =Л<0\т.^

Вт<8 ,Л^= и=В^\С^ = С^0\

HQ(z) = H(zt 6) для почти всех z). (4.131) При 8 Ф Л это множество пусто. (В этом случае к некоторой путанице обозначений Л - это также область значений отображения^.)

Допустим теперь, что 8 Е Л » а следовательно, для некоторого 0О § =Л(60). Допустим также, что структура Л является глобально идентифицируемой в точке 0О. Тогда '

ОТ^Л) ={0о) - (4.132)

Одной из особенностей процесса выбора хорошей модельной структуры является выбор такой Л. чтобы для данного описания 8 выполнялось соотношение (4.132). Поскольку пользователю описание 8 неизвестно, практические процедуры, как правило, включают тестирование нескольких разных структур Л . Введенные понятия идентифицируемости становятся полезным указателем при отыскании такой Л, для которой выполнено (4.132).

4.6. Идентифицируемость некоторых модельных структур

Определение 4.6 вместе с формулой (4.113) означает, что для глобальной идентифицируемости в точке 6* необходимо и достаточно, чтобы

G(z, 0) = G(z, 0*) и Я(z, 6) = Н(z, 6* ) (4.133) для почти всех z** 6=6*.

В случае локальной идентифицируемости рассматриваются только те значения 6, которые принадлежат к достаточно малой окрестности 6*. Общий подход к проверке свойства локальной идентифицируемости дастся критерием, приведенным в задаче 4G. 4.

В общем случае глобальная идентифицируемость труднее поддается исследованию. В этом разделе мы кратко рассмотрим только вопросы идентифицируемости физических параметров и приведем некоторые результаты для общего случая одномерной модели черного ящика. Многомерные модели ящика рассматриваются в Приложении 4А.

Параметризация в терминах физических параметров. Процесс моделирования физических объектов, как правило, приводит к модели в пространстве состояний в непрерывном времени (4.59)-(4.60), которая в дискретизованной форме представляется в виде (4.62) и при Т = 1 записывается как

y(0 = Gc(p, в)и(0 + и(г). (4.134)

Чтобы можно было корректно проверить идентифицируемость с помощью критерия (4.133), нужно провести выборочную дискретизацию передаточной функции Gc и подключить модель шума И. Имеется и более простой критерий:

Gc(s, 0) = (7c(s, 0*) для почти всех 8^6 = 6*. (4.135)

Этот критерий действительно отличается от критерия (4.133), поскольку выборочная дискретизация Gc может приводить к возникновению неоднозначности так, что две' разные функции Gc могут давать одну и ту же функцию Gт (сравните с (2.24)). Таким образом, выполнение (4.135) не является достаточным для выполнения (4.133). Впрочем, при правильном выборе интервала дискретизации Г отмеченная неоднозначность не должна приводить к каким-либо серьезным проблемам. Кроме того, возникающие при использовании (4.135) трудности могут быть преодолены посредством 0-параметризации модели шума. При этом условие (4.135) не является и необходимым для выполнения (4.133). Однако в большинстве приложений характеристики шума не столь уж существенны, поскольку но сути дела и в них содержатся данные о физических параметрах. Все это означает, что соотношение (4.135) является вполне разумным критерием глобальной идентифицируемости соответствующей модельной структуры в точке 0*.

В настоящее время задача проверки (4.135) представляется достаточно трудной. За исключением частных случаев единственным общим методом решения вопросов, возникающих при использовании (4.135) является метод ”грубой силы” (см. примеры в задачах 4Е.5 и 4Е.6). Подробное изучение критерия (4.135) проведено в работе [422], в работе [ 1371 проводится аналогичное исследование для компартменталь- ных моделей. Можно также упомянуть работу [138].

Модельные структуры с одномерной передаточной функцией. Перейдем теперь к изучению общей модельной структуры одномерного черного ящика (4.33), (4.41). Приведем для начала два простых примера.

Рассмотрим структуру ARX-модели (4.7), (4.9):

В^G(z, 6V — A<z)В^G(z, 6V — A<z)H(z, 0) =H(z, 0) =Л(2) ’Л(2) ’0 - [#},..., an<f Z?),.. . , ЬПь\т.0 - [#},..., an<f Z?),.. . , ЬПь\т.(4.136)(4.136)

В^

G(z, 6V — A<z)

В^

G(z, 6V — A<z)

H(z, 0) =

H(z, 0) =

Л(2) ’

Л(2) ’

0 - [#},..., an<f Z?),.. . , ЬПь\т.

0 - [#},..., an<f Z?),.. . , ЬПь\т.

(4.136)

(4.136)

Равенство относительно Н в условии (4.133) означает, что совпадают многочлены Л, откуда в силу равенства для G следует, что и многочлены В совпадают. Таким образом, сразу подтверждается вывод о том, что для всех значений параметров О* модельной структуры (4.136) условия (4.133) выполнены. Следовательно, эта структура является строго глобально идентифицируемой.

Перейдем теперь к структуре модели выходной ошибки (4.25) с порядками пь и пр При 0 = 6* имеем вч^ _ b*z-1 ^- ^b:lbz"nb

(^2>п = F4z) = i+f;z-^...+rn/2-n7 =

b*z”b 1+ ...+ 6*z"bB4z)

(4.137)(4.137)”j-nb —-b- = znf "b

(4.137)

(4.137)

z"r+/;zV-'+...+/„7z^F*^

5^1F^5^1F^Вместо F*^)^ являющегося многочленом по степеням?"1, мы будем использовать многочлены F*(z) = znfF*(z) по степеням z, поскольку независимо от величины коэффициента /и*^ степень многочлена z”^F*(z) равна Пр Пусть B*(z) = znbB*^z) и 0 произвольное значение параметра. Тогда можно записать условие (4.133)

5^1F^

5^1F^

G(z, d*) = G(z,0} = — = z*f"nb F^

в виде

F(z) B*(z) - F*^B^ = 0.(4.138)

Поскольку F*^ - многочлен степени пр он имеет nf нулей:

F*(a,) = 0, /=!,.. .лр

Допустим, что B*Vxi) ^ 0 (z = 1, ... . п?), т.е. что многочлены В*(z) и F*^ являются взаимно простыми (не имеют общих множителей). Тогда из (4.138) следует, что

F^) = 0, i = А,пр

(eciiji а, - нуль кратности пь то чтобы прийти к заключению, что а( - нуль многочлена Л(2) той же кратности, нужно продифференцировать (4.138) (л,- - 1) раз). Таким образом, имеем F^z) = ^*(2), откуда в свою очередьследует равенство B(z) = B*(z) и 6 = 6*. С другой стороны если многочлены F* и В* содержат общий множитель, т.с.

F\z) = ^F: (z), В*^ = -AzWzY

тогда для всех 0 таких, что (при произвольном^))

F(z) = ^z)Fx*(z\ B(z) = p(z)BUz)

будет выполняться равенство (4.138). Таким образом, модельная структура не является ни глобально, ни локально идентифицируемой в точке 0* (многочлен 0(z) может быть выбран в достаточно близкой окрестности от многочлена ?(z)). В результате получено, что необходимым и достаточным условием глобальной и локалы

ной идентифицируемости в точке 9* структуры модели выходной ошибки (4.25) является взаимная простота многочленов zn^F*(z) и znbB*^ в числителе и знаменателе соответственно.

Теперь можно непосредственно обобщить одномерную структуру модели черного ящика (4.33).

Теорема 4.1. Рассмотрим модельную структуру Л , соответствующую уравнению

A{q)y{t) =A{q)y{t) =В^В^и^ +и^ +(4.139)(4.139)

A{q)y{t) =

A{q)y{t) =

В^

В^

и^ +

и^ +

(4.139)

(4.139)

с вектором параметров 0, задаваемым соотношением (4.41) через коэффициенты многочленов. Степени многочленов суть па, пь и т.д. Модельная структура является локально и глобально идентифицируемой в точке 9* тогда и только тогда, когда выполнены условия (0—(iv):

у многочленов zn°A*^z), г bB*(z) и z с С* (z) нет общих множителей;

у многочленов zn bB * (z) и znf F*^ нет общих множителей;

у многочленов z^C*^ и znd D* (z) нет общих множителей;

если па > 1, то, кроме того, нс должно быть общих множителей и у многочленов zn^F*(z) и zndD*(z).

Многочлены со звездочкой соответствуют значению 9*.

Отметим, что в некоторых достаточно общих, но частных случаях записи уравнения (4.139), некоторые из условий (i)-(iv) будут выполнены автоматически. Так, например, если С = F = 1 (случай (4.22)), модельная структура является глобально идентифицируемой при всех 9*. Отметим также, что некоторые из условий (i)-(iv) могут не выполняться только при ’’специальным образом” выбранных 9*, принадлежащим к гиперповерхностям в пространстве R^. Таким образом, справедливо следующее следствие.

Следствие. Модельная структура, определяемая уравнением (4.139), является глобально идентифицируемой. Если многочлены С и F являются многочленами нулевого порядка, то соответствующая модельная структура является строго глобально идентифицируемой.

Поиск ’’истинной” системы на множестве идентифицируемых структур. Продемонстрируем полезность теоремы 4.1, применив ее для решения задачи отыскании такой модельной структуры Л, для которой при заданном описании $ выполнено соотношение (4.132). Предположим, что описание § задается соотношениями

(4.140)(4.140)о Г(Х в^Со«)

(4.140)

(4.140)

ф . G0(q) =, HQ(q) =

M^oto)Aoto)/)o(<7)

Степени соответствующих многочленов после сокращения всех общих множителей обозначаются п^, п^ и т.д. Эта система (описание) принадлежит к модельной структуре (4.139), если степени всех многочленов модельной структуры но меньшей мере не уступают степеням соответствующих многочленов в описании истинной системы

(4.141)(4.141)па>Пц, пь>п^ и т.д.

(4.141)

(4.141)

Пусть выполнено условие (4.141) и пусть 0О - то значение вектора парметров 9, которому соответствует описание (4.140):

§ =Л(90).(4.142)

Очевидно, что структура Л будет глобально идентифицируемой в точке 0О и будет выполнено соотношение (4.132), если все условия (4.141) будут реализованы

(4.143b)(4.143b)

(4.143b)

(4.143b)

в форме равенств. Однако обычно истинные значения степеней^, и®,. . . неизвестны и процедура проверки всех комбинаций порядков модели, при которых (4.141) реализуются в форме равенств, была бы обременительной. Результат теоремы 4.1 позволяет утверждать, что такой поиск на множестве порядков не является обязательным - структура Л глобально идентифицируема в точке 0О при более слабых условиях.

Справедлива следующая переформулировка теоремы 4.1.

Теорема 4.2. Рассмотрим описание 8, заданное соотношениями (4.140) с истинными степенями п^, н^ и т.д. Рассмотрим также модельную структуру Л из теоремы 4.1. Тогда 8 6 Л и соответствует случаю глобальной идентифицируемости в точке 0 в том и только том случае, когда;

min(wtf - и® пь - п°ь> пс - п^ = 0;

тш(иь - п^,0;

min(wr - п®, nd - п^ = 0;

если па > 0, то, кроме того, min (иу - и®, nd - и£) = 0.

С использованием теоремы 4.2 процедура поиска истинной системы на множестве идентифицируемых структур упрощается. Если, например, система 8 может быть задана в виде ARMАХ-модели с конечными порядками и^ иь и и?, т0 можно положить па = nb = пс = п ^n^ = nd = 0) в Л, что определяет некоторую модельную структуру Лп. Последовательно увеличивая значение л на 1, мы рано или поздно обнаружим структуру, для которой выполнено условие (0 и, таким образом, установим возможность отыскания единственного описания реальной системы 8. I

Одномерные модели в пространстве состояний. Рассмотрим теперь структуру модели в пространстве состояний (4.88). Вполне очевидно, что матрицы Л(0),В(6\

С(0) иК(0) не могут быть заполнены параметрами, поскольку соответствующее входо-выходное описание определяется только Зи параметрами (л = dimx). Чтобы получить идентифицируемые структуры, вполне естественно искать такие параметризации матриц, которые содержат Зи параметров, включая коэффициенты двух многочленов степени (и - 1) из числителя и коэффициенты общею монического многочлена и-й степени или некоторого преобразования от этих коэффициентов. Одной из таких параметризаций является каноническая форма записи наблюдателя из примера 4.2, которую можно представить в следующей символической форме:

(4.143a)(4.143a)x(f + l,0) = 4(0)x(r, 0)+B(0)u(r) + K(0)c(r),

(4.143a)

(4.143a)

Здесь In-i - единичная (и — 1)Х (и - 1)-матрица, а косым крестиком отмечены настраиваемые параметры. Это представление является наблюдаемым в силу самого построения.

В примере 4.2 показано, что эта структура находится во взаимно однозначном соответствии с ARMAX-структурой при па = пь = пс = п. Из теоремы 4.1 известно,

что она является идентифицируемой в точке 6* при условии отсутствия у всех рассматриваемых многочленов общего множителя, что означало бы возможность представления модели порядком, равным наименьшей из степеней и. Хорошо известно, что для моделей в пространстве состояний это может иметь место только в том случае, когда модель неуправляема и/или ненаблюдаема. Поскольку структура (4.143) наблюдаема по построению, то мы приходим к выводу, что необходимым й достаточным условием ее глобальной и локальной идентифицируемости в точке 9* является управляемость двухвходовой системы { 4 (0 *), [Z?(0 *), К^б * )1}. Заметим, что этот результат приложим только к структуре в пространстве состояний специального вида (4.143).

Заключение

В этой главе нами изучены множества предсказателей вида

ЛН0)= W„(q, 6)u(t)+Wy(q, 0)y(f), 9 ED^C Rd.(4.144)

Они находятся во взаимно однозначном соответствии с модельными описаниями

yW = G(q, OW^^H^Q^tY 9EDn ,(4.145)

где {e(f)} — белый шум, причем это соответствие устанавливается с помощью следующих соотношений:

W^Q, 9^H'4q>9^G<q,9\

wy^0)=vi-H-4q,e^.

Обычно при выборе модели гораздо удобнее оказывается формула (4.145), даже если в качестве рабочей модели используется (4.144).

Мы обозначили параметризованные множества моделей, или модельные структуры, символом Jt, а конкретную модель, соответствующую значению параметра 0, - символом Л(9). Такая параметризация является инструментальным средством процедур поиска ’’наилучшей модели”. При осуществлении выбора на параметризованных множествах моделей можно руководствоваться двумя разными идеями.

Структуры моделей черного ящика. В этом случае принципиальная идея заключается в том. чтобы гибко сформировать множества моделей, которыми можно аппроксимировать широкое разнообразие систем, не вникая в их внутреннее устройство. К этому типу моделей относятся входо-выходные модели разд. 4.2 и канонически параметризованные модели в пространстве состояний (см. пример 4.2) .

Модельные структуры с физическими параметрами. Здесь идея состоит в том, чтобы учесть в множестве моделей физические особенности описываемой системы, описав набором настраиваемых параметров только то, чго действительно неизвестно о системе. Типичным примером таких структур могут служить модели в пространстве состояний с непрерывным временем.

В этой главе также выписаны формальные условия на прогнозирующие фильтры V^Aq, и Wy(q, в) (определение 4.3) и рассмотрены представления о параметрической идентифицируемости (т.е. о возможности использования прогнозирующих фильтров для однозначного восстановления значения параметра 9). Для наиболее типичных модельных структур черного ящика эти свойства систем были исследованы в разд. 4.6 и Приложении 4А. Окончательный вывод из полученных результатов

состоит в том, что при надлежащем выборе некоторых порядков характеристик можно обеспечить и идентифицируемость системы. Число таких порядковых характеристик обычно равняется числу выходов системы.

Комментарии к библиографии

Как уже отмечено, выбор параметрического множества моделей оказывает решающее воздействие на решение задачи идентификации. Именно в этом проявляется связь между предметом идентификации систем и методами параметрического оценивания. Поэтому большинство статей и книг по идентификации систем включает материалы по модельным структурам, хотя, быть может, и не так явно, как в нашей книге.

Простейшая модель ошибки уравнения (4.7) изучена всесторонне. См., например, в связи с задачами идентификации работы Острема [19], Хзиа [183], Менделя [287] и Унбехауна, Геринга и Байера [412]. Линейные модели типа (4.12) представляют собой основной объект статистических исследований, см., например, Рао [335] и Дрейпер и Смит [101]. ARMAX-модель была введена в идентификации систем Остремом и Бохлином [27] и с тех пор является основной моделью. Модельная структура ARARX была введена в литературу по управлению Кларком [82], но несомненно, что впервые была упомянута в работе Кочрейна и Оркатта [83] по математической статистике. Введение термина ’’псевдолинейная регрессия” применительно к уравнению (4.21) принадлежит Соло [380]. Модели выходной ошибки рассматривались, в частности, Дугардом и Ландау [ЮЗ] и Кабайла [195]. Общее семейство (4.33) впервые было рассмотрено в работе Льюнга [248] и использовалось Льюнгом и Седерстремом в работе [262]. Многомерные дробно-матричные представления обсуждаются в работах Кайлата [198] иДиккинсона, Кайлата и Морфа [100]. Соответствующие правые дробно-матричные представления для уравнения (4.56), когда все обратные матрицы находятся в правой части, рассмотрены Нехо- раи и Морфом [304]. При отсутствии входных сигналов соответствующие модели сводятся к AR-, МА- и ARM А-представлениям. Они исследуются в ряде учебников по временным рядам (например, Бокс и Дженкинс [62], Хэннан [163] и Бриллин- гер [63]).

Непрерывные модели передаточных функций типа черного ящика (4.47) изучены применительно к многим задачам управления (см., например, Уэбб и Седерстрем [423]). Зиглер и Николс [455] определяют параметры таких моделей по реакциям на единичный скачок или автоколебательным режимам (см., раздел 6.1). В работе Янга [447] можно найти обзор по непрерывным во времени моделям и их оцениванию.

Модели в пространстве состояний, заданные в форме обновлений или в общем виде, описаны в типовых учебниках по теории управления (например, Острем и Виттенмарк [32]). Вопросы использования непрерывных представлений в процессе оценивания по дискретным данным рассмотрены, в частности, в работах Мера и Тайлера [286] и Острема и Чэллстрема [29]. Введение непрерывной по времени модельной структуры обычно характерно для первого этапа моделирования. Описание общих методов моделирования и примеры можно найти, например, в работах Уэллсте- да [426] и Николса [307].

Исследованию моделей с распределенными параметрами и методами их оценивания посвящены, в частности, работы Бэнкса, Краули и Куниша [35], Кубрусли [217], Крсши, Нг и Гудвина [330] и Полиса и Гудсона [324]. Экспериментальное исследование примера 4.3 описывается в работе [231].

Прогностические возможности моделей отмечены в работах Льюнга [239], [245]. Вопросы идентифицируемости изучаются с самых разных позиций, см. обзор

Нгуена и Вуда [306]. Идентифицируемость часто связывают со сходимостью оценок параметров. Соответствующие определения можно найти у Острема и Бохлина [27], Стейли и Ю [3 8 5] и Це и Антона [408]. Только в работе Беллмана и Острема [40] понятие идентифицируемости было введено в связи с понятием струк гуры модели и названо ’’структурной идентифицируемостью”. Определение идентифицируемости в связи с множеством моделей D?(S, Jt^ (определено в (4.131)) было дано Густавссоном, Льюнгом и Седерстремом [154]. Частные определения понятий модельной структуры и идентифицируемости, данные в разделе 4.5, приводятся впервые.

Более общей по сравнению с определением 4.3 концепцией модельной структуры явилось бы переосмысливание введенных конструкций при допущении, что D^ является дифференцируемым многообразием (см., например, Бирнес [69]). Однако в нашем случае эта возможность учитывается введением предположения о том, что множество моделей представляется в виде объединения (перекрывающихся) областей модельных структур типа (4.126). Для линейных систем соответствующая структура впервые была рассмотрена Калманом [205], Хазвинкелем и Калманом [175] и Кларком [81]. См. также работу Бирнеса и Хёрта [70].

Анализ идентифицируемости одномерной модели из раздела 4.6 заимствован в основном из работы Острема и Бохлина [27].

Вопросы идентифицируемости многомерных модельных структур изложены в множестве статей. См., например, работы Кайлата [198], Луенбергера [268], Гла- вера и Виллемса [135], Риссанена [337], Льюнга и Риссанена [261], Гвидорци [151], Реверса и У’ёртса [134], ван Овербэка и Льюнга [312] и Корреа и Главера [86].

Задачи

4G. 1. Рассмотрим предсказатель (4.18). Показать, что влияние неточности в задании начальных условий y(s|0) (s С 0) ограничено величиной ср.1, где д - максимальная величина модуля нулей функции C(z).

4G.2. Цветной шум наблюдений: пусть задано представление в пространстве состояний вида

х (г + 1) = А х (0) х(г) + Вх (0)д(О + w, (0,

(4.146) у(О = С1(0)х(О + и1(г),

где {Wj (Г)} - белый шум с дисперсией Rx (0), однако шум наблюдений {и, (г)} не является белым. При этом модель шума их (г) может быть представлена в виде

vx(f)=mq, 0)и(Г),(4.147)

где {и(г)} - белый шум с дисперсией Я2(0) и функция H^q, 6} моническая. Вводится модель в пространстве состояний для (4.147):

£(г+ 1) = Л 2(0)£(0 + АГ(0)и(гК

(4.148) v1(r) = C2(0)UO + v(O-

Объединить (4.146) и (4.147) в единое представление, которое согласуется со структурой (4.81) -(4.82). Определить Rx (0), /?12(0) и/?2(0). Отметим, что при w, (О = 0 соответствующее представление окажется заданным непосредственно в форме обновлений (4.88).

4G.3. Верификация стационарного фильтра Колмана: Модель в пространстве состояний (4.81) может быть записана в виде (опуская аргумент 0 и полагая dim у = 1):

у(г)вС(^)м(г) + и1(г), где

G^ = C^-AyxB,

и, (0 = C(ql - АУ1 w(0 + и(0.

Пусть Rx 2 = 0. Тогда спектр {и, (г) } на основе теоремы 2.2 представляется в виде Ф,(ш) = С(е‘ш I-Ay1^ (е",ш • I-АТ У1 Ст *RV

Модель в форме обновлений (4.88) запишется как

y(r) = G(^)M(r) + u2(f),"

и2 (г) = II^e(ty Wq) = ОД-АУхК+\.•

Отсюда спектр { и2 (г)} равен

Ф2 (w) = Х^е'^ - 7 - Л) "'К + 1 ] YCte-^ • I - Л Г1 К + 1 ]Т,

где X - дисперсия е(г).

Непосредственным расчетом показать, что

Ф^ (си) - Ф2 (си) = О,

используя формулы (4.84) и (4.88b). Отсюда вытекает, что оба представления имеют одинаковые свойства второго порядка, а если шумы гауссовы, то эти представления практически неразличимы (см. задачу 2Е.З).

Непосредственным расчетом показать, что

1 - Hx(q) = 1 - [1 +C(qI - АУ1 К]"1 = C(ql - А * КСух К

и

1ГХ^С^ = [ 1 +С(^-^)-,К,*1 С (ql - АГ1 В = C(qJ - А + КСУ1 В.

Отметим, что предсказатель (4.83) может быть представлен в форме (4.85):

yU I 0) = Ckql - А + КСУХ Ви(О + C(ql - А + КСУ1 Ку(П ,

и, таким образом, (а) и (Ь) вместе с формулой (3.20) составляют описание стационарного фильтра Калмана.

4G.4. Рассмотрим модельную структуру Л с функциональным градиентом предсказателя 'Hz, 0), определенным формулами (4.118). Определим (d X d)-матрицу:

IT

Г|(6)=/ Ф(/ш,в)ФГ(е-'ш,9)<7ы.

(а) Показать, что Л локально идентифицируема в точке 0, если матрица 1\ (0) невырождена.

(Ь) Пусть T'(z, 0) определена формулой (4.122) и пусть

г2(в)= / Т(е'ш, 0)[Т'(е-/ш,е)]Г<7ш. — It

Используя (4.121), показать, что матрица Г2(0) невырождена тогда и только тогда, когда невырождена матрица 1\ (0). (Заметим, что по предположению Л(^) не имеет нулей на единичном круге.) Таким образом, матрицу Г2(0) можно использовать для проверки локальной идентифицируемости,

4G.5. Рассмотрим структуру модели выходной ошибки с несколькими входами:

в1№yWF^в1№yWF^вт№

в1№

yW

F^

в1№

yW

F^

um(f)+e(O. •

F^

Показать, что необходимым и достаточным условием идентифицируемости этой структуры в точке 0 является отсутствие общего множителя у всех т + 1 многочленов вида:

z^FXzY znbB*i^, /=1,...,т,

где п^ - степень F (z), п^ - максимальная степень Bi (z) (i = 1, .. . , т). Звездочка в 6* соответствует многочленам со звездочкой.

4G.6. Кронеккерово произведение (т X т)-матрицы А = (а//) и (р X г)-матрицы В = У)ф определяется как (см. [ 36]) :

A ® B =A ® B =ах! Вах! ВахгВaxnBa^^B .. . a2nBахгВaxnBa^^B .. . a2nBат \ Ват \ Вami®- • • Qmn®_ami®- • • Qmn®_

A ® B =

A ® B =

ах! В

ах! В

ахгВaxnBa^^B .. . a2nB

ахгВaxnBa^^B .. . a2nB

ат \ В

ат \ В

ami®- • • Qmn®_

ami®- • • Qmn®_

Результат является (mp X нг)-матрицей. Определим оператор col как перезапись матрицы в единый столбец:

col В =col В =«гр X 1)-вектор),«гр X 1)-вектор),Вх В2

col В =

col В =

«гр X 1)-вектор),

«гр X 1)-вектор),

вг

где В* - /-Й столбец матрицы В.

Рассмотрим формулы (4.53) - (4.56). Показать, что (4.55) можно переписать в форме (4.56), если положить

6 = coleГ,

у(0 = v(0 * 1р-

где 1р единичная (р X р)-матрица. Существуют ли другие варианты задания 9и^?

4G.7. Рассмотрим модель в пространстве состояний с непрерывным временем (4.93) (4-94). Допустим, что наблюдения искажаются широкополосной помехой с большой дисперсией, модель которой представляется в виде

У(0 = Нх«) + и(г),

где и (О - формально введенный непрерывный белый шум с функцией ковариации

£v(Ovr($) = Ri(9Wt - s).

Пусть u(f) не зависит отй (О, а выходной сигнал определяется соотношением

У^к* 1)Л = у*+1 = —/ "yWdt..

т t-kT

Показать, что дискретизованная система может быть представлена в виде (4.95) - (4.96), но уЦсП = Ст^х^кТН D^O^kT Т) + vT(kT\ 1

С7<0) =— НФТ№,

Т

1 т .

KwrtklViAkT^R^e^ — / </(0)тRAO^t т№НТ<1т,

Т о

_\ т_

ЕиТккПи^кТ> = R1te'l = ~ RiW/ //Фг-тЮ/М^Ф^ .T(0)//7dr, т тг «

т .1т'■

Фт<0) = / e^^dr.П^е^ ■—^НФ^Вт-

оТо

Вывод приводится в работе [415].

4G,8, Рассмотрим ARX-модель (4.7). Введем 5-оператор

6 = 1 - q'x

и перепараметризуем модели через коэффициенты при степенях 6. Провести подробное изучение примера системы второго порядка. Преимущество данной параметризации заключается в снижении чувствительности к численным ошибкам при малом выборочном интервале [ 139].

4E.L Рассмотрим модельную структуру типа ARX:

У«) + аьг« - 1) + .. . + аПцуЦ - па^ = Ъхи« - 1) + . . . + ЪПьиц - пь) + е(0,

где Ьх = 0,5. Выписать соответствующий предсказатель в форме линейной регрессии (4.13).

Рассмотрим непрерывную по времени модель (4.72) сервомотора постоянного тока при T^U) = 0. Применяя эйлерово приближение (2 25), построить аппроксимирующую дискретную по времени передаточную функцию, которая является более простой функцией от 0.

Рассмотрим небольшую сеть емкостей, показанную на рис. 4.8. Каждая емкость вмещает 10 единиц жидкости. Интенсивности потоков в трубопроводах, измеренные в единицах 106'

Рис. 4.8. Сеть емкостейРис. 4.8. Сеть емкостейи(г) =и(г) =“и(0 "|“ЛО ]“и(0 "|“ЛО ]

Рис. 4.8. Сеть емкостей

Рис. 4.8. Сеть емкостей

и(г) =

и(г) =

“и(0 "|“ЛО ]

“и(0 "|“ЛО ]

Рис. 4.9. Простая электрическая цепь

объема, отнесенных к секунде, равны: для А и Е - 1, для В - а, для С и D - 1 -а. Концентрация некоторого вещества в трубопроводе А равна и (входной сигнал), а в трубопроводе Е равная (выходной сигнал). Выписать для этой системы структурную модель в пространстве состояний. Считать перемешивание в каждой емкости идеальным (т.е. концентрация вещества во веем объеме каждой емкости постоянна). Такие модели известны под названием компартменталъных и широко используются в химико- и биотехнологических приложениях, см. Годфри [ 1371).

Рассмотрим ЯЮнепь на рис. 4.9 с идеальным источником напряжения иит и идеальным источником тока и^т* Эту цепь можно считать линейной стационарной системой с двумя входными сигналами

и одним выходным сигналом - напряжением У (Г). R, Л и С - неизвестные константы. Обсудить возможные параметризации множеств моделей этой системы и провести сравнительный анализ их достоинств и недостатков.

Указание. Основные уравнения этой цепи имеют вид

dim

uvm = L —— +.У(О + /?[Иг)+и,(г)], at

I r

У (О = — / imdT.

Модель в пространстве состояний рулевой динамики корабля может быть представлена в виде

d vm — r(0 dr L итd vm — r(0 dr L ита1 1 °1 2 fl2 1 Q120 Iа1 1 °1 2 fl2 1 Q120 I010 o.l010 o.lum rU) А(Г)um rU) А(Г)bxx^1 20bxx^1 20um.um.

d vm — r(0 dr L ит

d vm — r(0 dr L ит

а1 1 °1 2 fl2 1 Q12

0 I

а1 1 °1 2 fl2 1 Q12

0 I

01

0 o.l

01

0 o.l

um rU) А(Г)

um rU) А(Г)

bxx

^1 2

0

bxx

^1 2

0

um.

um.

где um ~ угол поворота рулей, vm скорость качки, r<0 - скорость разворота корабля, hm - курсовой угол.

Допустим, что измеряются только um и ym = hm* Показать, что шесть параметров а^, Ьц неидентифицируемы.

Попробуйте также показать, что если измеряются um и.)’(Г) = [w(0^(01 * то все шесть параметров являются глобально идентифицируемыми при тех значениях параметров, для кото-

рых модель является управляемой. Если вам не удастся закончить выкладки, наметьте путь к решению задачи (литература: [ 138]).

Рассмотрим модельную структуру (4.88), в которой

С(0)=[1 0],С(0)=[1 0],

С(0)=[1 0],

С(0)=[1 0],

0 = [a,aiblbik^ki]T, 6eD,CR‘,

и еще одну структуру, для которой

А^ =А^ =^(п) =^(п) =MiМ2MiМ2^(n)=[7i 721.^(n)=[7i 721.Е(п) =Е(п) =

А^ =

А^ =

^(п) =

^(п) =

Mi

М2

Mi

М2

^(n)=[7i 721.

^(n)=[7i 721.

Е(п) =

Е(п) =

71= [А1\гМ1М271 72 К1к2]Г>^ ^Di С R*‘

Определить Dx и DT так, чтобы обе эти структуры определяли одно и то же множество моделей. Что можно сказать о свойстве идентифицируемости?

Рассмотрим нагретый металлический пруток нз примера 4.3. Ввести усеченную аппроксимацию с пятью состояниями и выписать явно модель в пространстве состояний.

Рассмотреть структуру модели выходной ошибки при п^ = 2, п^= 1 и Ь, = 1:

е = \ьг Л ] те = \ьг Л ] т»'* + М'

е = \ьг Л ] т

е = \ьг Л ] т

/(0 = —-—-

1 +Л»

Определить Г2(0) из задачи 4G.4 явно. Когда эта матрица является вырожденной?

Рассмотрим модельные структуры

J^^ y(f) = -ay(<t- WbuU- 1),

{|д I С I, h > 0}{|д I С I, h > 0}

{|д I С I, h > 0}

{|д I С I, h > 0}

^3: y(t) = -(cosa)y(r- 1) +A(f- 1),

, ^И2 ~( 0 < а С л-, -°°<0<°°}. 0 J

Показать, что flL^ ) = fl («>^). Обсудить возможные достоинства и недостатки обеих структур.

Рассмотрим модель (4.72) двигателя постоянного тока. Допустим, что момент Г/ можно рассматривать как процесс белого шума с нулевым средним и дисперсией о2 (т.е. изменения 7} случайны и резки по сравнению с динамикой самого двигателя). Использовать соотношения (4.94)-(4.96) для определения характеристик Rx(0> и Rx 2 (0) дискретизованной выборочной модели (4.81)- (4.82) двигателя, полагая, что /1(0) и 5(0) определены в соответствии с (4.74),а

В качестве альтернативы можно было бы использовать непосредственно параметризованное обновляющее представление (4.88), где /1(0) и 5(0) по-прежнему определяются (4.74), но

piК^ =U2piК^ =U2и 0 - [т/^ *2]Ги 0 - [т/^ *2]Г

pi

К^ =

U2

pi

К^ =

U2

и 0 - [т/^ *2]Г

и 0 - [т/^ *2]Г

Обсудить достоинства и недостатки этих двух параметризаций.

toe

4E.1L Рассмотрим описание системы вида

x(f + 1) = axVt^ + buVf) + SU),

/(О-^О + ^О,

где e(f) - белый гауссов шум, а ^(0 имеет следующее распределение

f Ос вероятностью 1 — X, U0 = 1с вероятностью Х/2, [ -1 с вероятностью Х/2.

Коэффициенты а, b и X суть настраиваемые параметры. Можно ли представить это описание в виде (4.4) ? А если можно, то какой ценой?

4Е.12. Рассмотрим множество многомерных ARX-моделей

yto+Atytt- 1)+A2y(t- 2)-Biu(t- l) + e(f),

где dim у = р = 2, dim и = т = 1, а матрицы параметризованы соотношениями

X

(здесь аир - известные числа, а знаком X помечены оцениваемые параметры). Выписать уравнение предсказателя в форме

где д(0 - известный член, и привести явные формулы для у и 0. Можно ли этот предсказатель представить в форме (4.55) ?

4Т. 1. Определить ^-шаговый предсказатель для ARMАХ-модели (4.15).

4Т.2. Привести формулу, задающую fc-шаговый предсказатель для уравнений (4.88).

4Т.З. Допустим, что Wu(q) и H^fo) - заданные функции, которые по построению определяют ^-шаговый прогноз для системы с описанием

у(Г) = №)и(0+Я(^)е(0.

Можно ли единственным образом определить (7(2^) и Н(е1Ь}) по функциям W^e^) и ^(е^)? Что будет, когда известно, что G иН соответствуют ARMAX-структуре:

В^С^

GW = , Н^ = ,

AWA{q}

где Л, В и С имеют известные (подходящие) порядки?

4D.1. Доказать лемму 4.2.

4S.1. Во многих задачах типа S, решение которых рассчитано на создание прикладного программного обеспечения, мы будем иметь дело с семейством входо-выходных соответствий общего вида (4.34). В этих задачах вам предлагается взять все семейство нли выбрать наиболее предпочтительные для вас подмножества этого семейства (см. табл. 4.1), а затем фиксировать матричную структуру

TH,

чтобы включить в нее порядки многочленов, па, nb, пс, nd и nf и запаздывание пк и значения параметров aj, bj и т.д., а также дисперсию X обновлений. Таким образом, задание переменной TH однозначно определяет выбор конкретной модели. Зарезервируйте место для последующего включения в TH ковариационной матрицы размера d X d. Напишите макропроцедуру

PRESENT (TH)

для отображения модели на экране в удобном для пользователя формате. Напишите также макропроцедуру

[G, PHIV] =TRF(TH),

которая осуществит расчет передаточной функции

С(е,ш) =С(е,ш) =A^^FVe^ ’A^^FVe^ ’LJ = О), ,LJ = О), ,. ^N*. ^N*

С(е,ш) =

С(е,ш) =

A^^FVe^ ’

A^^FVe^ ’

LJ = О), ,

LJ = О), ,

. ^N*

. ^N*

и спектр помехи

PHIV(cj)= XPHIV(cj)= X22•,WN>•,WN>

PHIV(cj)= X

PHIV(cj)= X

2

2

•,WN>

•,WN>

и представит их в векторной форме с целью использования вместе с макропроцедурой BODEPLOT. 4S.2. Напишите макропроцедуру

^ = SIMU(m, е, TH),

которая формулирует (4.34), и макропроцедуру

е = РЕ (у, и, TH),

которая рассчитывает ошибки предсказания (4.37). Здесь и далее и, е и у суть векторы и1, et и у1. (В плане последующих применений было бы неплохо, чтобы РЕ возвращала также последовательности (векторы) значений w и и из формулы (4.38).)

Приложение 4А. Идентификация многомерных модельных структур типа черного ящика

Раздел многомерных модельных структур и канонических форм представления многомерных систем часто считают трудным для восприятия и ему посвящен ряд разнообразных источников. Здесь мы приведем лишь самые необходимые сведения, предложив тем читателям, кому понадобится более углубленное и широкое знакомство с предметом, обратиться к литературным источникам. См. список литературы.

По-прежнему, вопрос заключается в том, выполняется ли условие (4.133) в данной точке 0 . Изложение следует плану раздела 4.6. Сначала рассматриваются полиномиальные параметризации или дробно-матричные представления типа (4.52) —(4.58), а только затем модели в пространстве состояний. Всюду в этом разделе р обозначает число выходных сигналов, aw — число входных сигналов.

Дробноматричные представления (ДМП). Рассмотрим сначала простую многомерную ARX-структуру (4.49)— (4.53). В этом случае используется функция

G(z,9) = X-*(z)S(z), Я(2,9) = ^-*(z),(4А.1)

где 0 соответствует всем коэффициентам матричных многочленов (относительно 1/z) A (z) и B{z). Их порядки могут быть произвольными. Как и в случае одномерных моделей (4.136) , можно сразу убедиться в том, что (4.133) выполнено для всех О*. Следовательно, модельная структура, задаваемая ДМП (4А.1), является строго глобально идентифицируемой.

Перейдем теперь к структуре модели выходной ошибки

G(z. 0) = F-\z)B<z\ H(z, е^ = 1.(4A.2)

Следует отметить, что изучение (4А.2) включает, как частные случаи, исследование многомерных ARM АХ-структур и многомерных моделей Бокса—Дженкинса. См. ниже следствие из теоремы 4А.1.

Здесь матричный многочлен F(z) является (р X р)-матрицей

F^ =

■^n(z)

F21(z)

Я12(2). .

Я22(2). .

• FVp^" Flp^

= FW t^^z + ..

(4A.3)

-Fpy^

Ррг^ • •

■FPP^-

элементы которой суть многочлены от z ~1:

F^ = /^ + f^ V1 + ... + f^UVvU(4А.4)

Итак, степень многочлена F ц обозначается как ^у, а р = max Рц. Аналогично, B(z) — это матричный многочлен размерарХт. Порядки его элементов будут обозначаться как р.ц.

Структура по существу определяется выбором порядков vtj и рц (т.с. заданием р^р + w) Целых чисел). Это приводит к тому, что число возможных модельных структур оказывается умопомрачительным. В литературе исследуются некоторые

частные случаи:

vtj=n; цц = г.(4А.5)

^ = 0, i*j. Рц = пь U4 = rt.(4А.6)

vlj = ni Mi; Uij = rj Mi.(4A.7)

Во всех этих случаях первая из матриц является единичной:

FW = I. т.е. f^=btl.(4А.8)

Форма записи (4А.5) названа в работе Седерстрема и Стойка [374] ’’полной полиномиальной формой”. Ясно, что это частный случай варианта (4А.7), рассмотренный и использовавшийся в работах [162], [167], [210], [190] и других.

Форма записи (4А.6) определяет диагональную F-матрицу и применена, в частности, в работах [209], [361], [129].

Структура (4А.7), в которой разным столбцам соответствуют разные порядки, рассматривается, например, в работах [150], [129], [134].

Замечание. В литературе, особенно в тех источниках, в которых рассматриваются канонические формы записи, а не приложения идентификации, часто вместо многочленов F (z) (как мы и делали в одномерном случае) рассматриваются многочлены

F^ = 2VF^ = FW2V ^иЧ^1 * ...*FW (4A.9) относительно переменной z. Канонические формы записи F (z) (например, эрмитовы формы, см. [100], [164] или [198]) в этом случае, как правило, будут содержать вырожденные матрицы F <°). Такие представления для наших целей не годятся, поскольку не удается явно выразить y^t) через собранные в прошлом значения данных.

Свойство идентифицируемости в диагональном представлении (4А.6) можно изучать по аналогии с подходом к исследованию одномерных систем. Для остальных представлений нам понадобятся дополнительные сведения о матричных многочленах.

Некоторые понятия из теории матричных многочленов. В гл. 6 книги Кайлата [198] содержится подробная сводка терминологии и содержательных результатов из теории матричных многочленов. Нам понадобятся только некоторые из них.

Матричный многочлен Р(х) размера р X р называется унимодуля рным, если det Р(х) постоянен. В этом случае Р~х (х) также матричный многочлен. Два многочлена Р^х) и Q(x) с одинаковым числом строк имеют общий левый делитель, если найдется такой матричный полином L (х), что

Р(х) = 1Дх)Р(х), "

Q^ = L(x)Q(x)

для некоторых матричных многочленов Р(х) и 0(х).

Говорят, что Р(х) и 0(х) - левые взаимно простые многочлены, если все их общие левые делители унимодулярны. Это непосредственное обобщение аналогичного понятия для скалярных многочленов. Основная теорема утверждает, что если многочлены Р(х) и Q(x) — левые взаимно простые, то существуют такие матричные

многочлены Л (х) и В (х), что

Р(х) А (х) + 0(х) В(х) = I(4А.10)

(матрица тождественного преобразования).

Утрата идентифицируемости в многомерных ДМП-структурах. Теперь можно сформулировать основной результат в области исследования идентифицируемости.

Теорема 4А.1. Рассмотрим ДМГкиодель выходной ошибки (4А.2), в которой степени многочленов выбраны по варианту (4А.7). Пусть в 6 сведены все коэффициенты получающихся матричных многочленов и пусть F*^ и В*^ - многочлены относительно \[z, соответствующие значению 6* .Пусть

Dp{z)^ diag(z”1 .... ,znp\

Dm^z) = diag(zri ..... zr”^

- диагональные матрицы с п; и гь определенными в (4А.7).Определим F*(z) = = F* (z) Dp^zY В* (z) = В* (z) Dm (z) как многочлены от z. Теперь можно утверждать, что рассматриваемая модельная структура глобально и локально идентифицируема в точке 0 * тогда и только тогда, когда

многочлены F^^u BAZ)~ левые взаимно простые.(4А.11)

Доказательство. Пусть 0 соответствует многочленам F ^ и В^ и пусть

G(z, 0) = G(z, 0*) = F’1 (z)B^ = F;1 (z)ВЛО-

Это соотношение можно переписать в виде

Dp (z) F-1 (z) S(z) D^ (z) = Dp (z) F;1 (z) S.(z) S"1 (z),

где FkB определяются аналогично F, и В,. Это даст

F.(z) = F.(z)F-(z)B(z).'(4А.12)

Если В* w F* — левые взаимно простые, то в силу (4А.10) найдутся такие матричные многочлены У (z) и У(г),что

РА^Х^^ВЛ^ Y^-I.

Подстановка в это соотношение (4А.12) дает

F. (z) F-1 (z) [F(z) Х^ + В^ y(z)] = 1, или

F(z)T(z) + S(z) y(z) = F(z)F;’(^)= U(z\

Поскольку левая часть представляет собой матричный многочлен от z, то и l/(z) является таким многочленом. При этом

F(z)=U(z)FAz\(4А.13)

Заметим, что в силу (4АВ)

Z= lim F(z) = lim F^D"1^^ lim F^D"1 (z). z —*• ooz -> oo2 —*• 00

Умножение (4A.13) на DpX(z^ дает

/ = lim U(z),

а поскольку (7(z) - многочлен от z, то U^ = / и, следовательно, F^ = ^*(z), что в свою очередь означает выполнение равенства В^ = ВА2У Достаточность 112

доказана. Если соотношение (4А.11) не выполнено, то из многочленов Л’ (z) nB*(z) можно выделить общий, неунимодулярный, левый множитель l/*(z) и заменить его на произвольную матрицу того же размера, что и U^z^ (при выполнении условия (4А.8)) . Это доказывает необходимость.

Теорема может быть непосредственно применена к модельной структуре вида G(z,0) = F-,(z)5(z), //(z, 0) = 7)"l(z)C(z), (4А.14)

где F и D обладают степенями, удовлетворяющими (4А.7). Ее можно также распространить на многомерную ARMАХ-сгруктуру

(4A.15)(4A.15)G^z, 0^^А"х^В^, H(z, 0) = A~1(z)C(z\

(4A.15)

(4A.15)

Следствие 4A.1. Рассмотрим XRMAX-структуру (4А.15) со степенями А (z), удовлетворяющими (4А.7). Пусть A*(F) и РД2) = [^*(2), C*(z)] ^матричный многочлен размера р X (т + р)) суть многочлены, как сказано в теореме, соответствующие точке 0 *. Тогда структура является идентифицируемой в точке 0* в том и только том случае, когда A ,(z) и ^(z) - левые взаимно простые.

Полезность этих результатов но идентифицируемости обусловлена тем обстоятельством, что хотя в рассмотрение вводится pm (или даже р(т + р) для ARMAX-случая) разных передаточных функций, для отыскания идентифицируемой структуры нужно выбрать только р порядков (степеней столбцов).

Структура моделей в пространстве состояний. Для многомерной модели в прост

ранстве состояний (4.143а) вводится параметрическая структура, аналогичная

(4.143b),

"01 000000 o']Гх х"

001000000XX

ХХХХХХХХХXX

000010000XX

Л(0) = ХХХХХХХХХ ,5(6)= X X

1

000000100XX

000000010XX

000000001XX

.XXXXXXXXXJLx X .

(4А.16)

’ X X X “

XXX

XXX

XXX10 0 0 00 0

0 0

К(0)= XXX’ С(°)= 0 0 0100 0

0 0 .

XXX[о 0 0 0 010

0 0.

XXX

XXX

■_ X X X _

Число строк, заполненных знаками X в матрице А (0) равно числу выходных сигналов. Стало быть, в рассматриваемом примере п ^ 9,р = 3, т = 2. Иначе говоря, структура общего вида определяется следующим образом:

пусть Л (0) - матрица, которая первоначально заполнена нулями, кроме наддиагонали, содержащей единицы. Пусть теперь г t, г2, • • •, гр, где гр = и - номера строк, заполненных значениями параметров. Положим г0 = 0 и пусть матрица С(0) заполнена нулями, кроме позиций, соответствующих в строке / столбцу Г(_\ + 1 соответственно. Пусть матрицы В^в) и К(0) заполнены параметрами.(4А.17)

Параметризация однозначно задается р числами гь которые выбираются пользователем. Мы также будем пользоваться величинами

vi = ri-ri_Xs

(4A.I8)(4A.I8)называя вектор

(4A.I8)

(4A.I8)

Vn = {Рь ..,^}

мулътииндексом, описанным в соответствии с (4А.17). Ясно, что

рП - У рьрП - У рьt = It = I(4А.19)(4А.19)

р

П - У рь

р

П - У рь

t = I

t = I

(4А.19)

(4А.19)

Таким образом, под мулътииндексом vn понимается набор из р чисел ^ > 1, удов- /и \

летворяющих (4А.19) . Для данных пир найдется () различных мультиипдексов.

Отметим, что независимо от значения ?п структура (4А.17) содержит 2пр + пт параметров.

Центральной особенностью ’’канонической1’ параметризации типа (4А.16) являемся возможность интерпретации соответствующего вектора состояния х(г, 0) на языке входо-выходных соответствий. Действительно, фиксируем момент времени / и предположим, что u(s) = e(s) = О при s > t. Обозначим выходные сигналы модели при s> t через у о (s | t - 1) . Эти сигналы можно воспринимать как проекцию выходных сигналов системы на будущие времена s, рассчитанную в момент t - ■ 1. Уравнения в пространстве состояний выписываются непосредственно:

Уо^\^- 1) = С(0)х(г. 0), ^(r+ 1 If- 1) = С(0)Л(0)х(г,0),

(4А.20)

yeV*n-\ \ t — i) = С(0) Ап~}(0)х(1, 0).

Если ввести обозначения

°n^°n^С(0)А(ЛС(0)А(Л(4А.21)(4А.21)

°n^

°n^

С(0)А(Л

С(0)А(Л

(4А.21)

(4А.21)

С{0)Ап~\())

Цпр X и)-матрица наблюдаемости) и

^(г + и- 1 |г - 1)

то можно переписать (4А.20) в виде

^(0= О„(0)х(г,0).(4А.22)

Непосредственно проверяется, что (4А.17) обладает одним фундаментальным свойством: (пр X и)-матрица наблюдаемости О„(0) включает п строк, образующих независимо от 0, единичную матрицу. Читателю предлагается самостоятельно убедиться в том, что строка кр + / матрицы Оп имеет вид

[0 00 1 0 ... 0],

где 1 находится на (г/_, + к + 1)-м месте. Это справедливо для 1 <7 < р, 0<k<v. Таким образом, (4А.22) означает, что структуре (4А.17) соответствуют следующие переменные состояния:

x^i^.O^ y<»4t*k\t-\\Р, 0^k<pt.(4А.23)

Здесь верхним индексом i обозначена z-я компонента у. Такая интерпретация переменных состояния как предсказателей подробно рассматривалась в работах Акаике [6] и Риссанена [337]. В соответствии с формулой (4А.23)из ир-вектора in(t^ (формула (4А.22)) извлекается п строк. Индексы этих строк однозначно определяются мультииндексом vn. Обозначили их как.

1-п = {(к- 1)р + /; \<к^р(; Ki<p}.(4А.24)

Ключевым является соотношение (4А.23). Из этого соотношения следует, что переменные состояния определяются только входо-выходными характеристиками соответствующей модели.

Рассмотрим теперь два значения 0* и 0, которым соответствует одна и та же входо-выходная характеристика в (4А.17). Тогдауе (t + £| г — 1) ~у6*(г + £1 г ~ О» так как эти оценки рассчитываются с использованием только входо-выходной информации. Отсюда х (г, 0) = х (t, 0*) . Теперь, если 0 * соответствует минимальной реализации, то ей же соответствует и 0, и по теореме, доказанной Кайлатом ([198], теорема 6.2.4) найдется такая обратимая матрица Г, что

А^ТА^Т*1, Z?(0*)= ТУ (0),

,(4А.25)

А(0*)=ТА(0), С(0*)= С(0) Т"1,

т.е. происходит замена базиса:.

х(г, О*)-Тх^ 0).(4А.26)

Однако (4А.26) в сочетании с ранее подмеченным равенством x(t, 0*) = x(t,0) показывает, что Т = 1п и, следовательно, 0 * = 0..

Доказана важная часть следующей теоремы.

Теорема 4А.2. Рассмотрим структуру модели в пространстве состояний (4А.17) . Эта структура глобально и локально идентифицируема в точке 0* в том и только том случае, когда система { А (0*)9 [2?(0 *), К (0 *)]} управляема.

Доказательство. Достаточность уже доказана. Чтобы доказать необходимость, заметим, что если выбор значения 0 * не приводит к управляемости системы, то ее входо-выходное поведение может быть описано моделью более низкой размерности с дополнительной произвольной неуправляемой моделью. Но такое описание возможно при бесконечно большом числе значений 0. Что и требовалось доказать.

Из этой теоремы следует, что параметризация (4А.17) глобально идентифицируема и поэтому может считаться неплохим вариантом описания систем порядка п. Однако все еще неясно, любые ли линейные системы и-го порядка могут быть

представлены в форме (4А.17) при произвольном выборе мультииндекса vn. К поиску ответа на этот вопрос мы и перейдем.

Представление в форме матриц Ганкеля. Рассмотрим следующее описание многомерной системы

ЯО =Go(?) «(О + #<>(<?) е(Г) = Г0(<?)х(г),(4А.27)

где

Т^Я [Со(?)Яо(?)],Т^Я [Со(?)Яо(?)],Х(0 =Х(0 =[“(')!1^(01[“(')!1^(01

Т^Я [Со(?)Яо(?)],

Т^Я [Со(?)Яо(?)],

Х(0 =

Х(0 =

[“(')!1^(01

[“(')!1^(01

(4А.28)(4А.28)Допустим, что матрица Го (<?) имеет полный строчный ранг (т.е. LT^q^ не равен тождественно нулю для любого отличного от нуля (1 X р)-вектора L). Пусть

(4А.28)

(4А.28)

То^= [0 Z] + 2 Hkq-k к = 1

- импульсная реакция системы. Здесь матрицы Нк имеют размер р X (р + т). Опре-

делим матрицу

■HtH2

Н2Н3 мг>$= Н3Н4

...н^г.(4А.29)

\ЛУну_х ...ну^хА

Матрицы такого вида, у которых вдоль антидиагоналей стоят одинаковые элементы, известны под названием блочных матриц Ганкеля. Рассмотрим нолубесконечную матрицу Ку = Му оо. Относительно этой матрицы имеют место два следующих фундаментальных результата.

Лемма 4АЛ. Допустим, что п строк I- (см. формулу (4А.29)) матрицы Кп стягивают все строки матрицы 7Сл.ц. Тогда систему (4А.27) можно представить модельной структурой в пространстве состояний (4А.17), соответствующей мультииндексу vn.

Доказательство сводится к проведению прямых выкладок и приводится в конце этого приложения.

Лемма 4А.2. Допустим, что

гапкКл+1 < п.(4А.30)

Тогда найдется такой мультииндекс vn, что п строк I- стягивают Жп +1.

Доказательство этой леммы также вынесено в конец приложения.

Из этих двух лемм следует, что условие (4А.30) является достаточным для того, чтобы соотношение (4А.27) описывало n-мерную линейную систему (т.е. допускала описание в пространстве состояний размерности п). Однако хорошо известно, что это условие является и необходимым. (Матрица ТС получается в результате перемножения матриц наблюдаемости и управляемости.) Отсюда следует вывод:

любая линейная система, которая может быть представлена в виде модели в пространстве состояний порядка п, может быть также представлена в частном виде (4А.17) при некотором значении мультииндекса "vn.(4А.31)

Таким образом, при выполнении (4А.30) найдутся пр строк матрицы ТСЛ, на кото- торые натянуто «-мерное (или меньшей размерности) пространство. Характерно то, И6

это же пространство может быть натянуто на любое подмножество из п строк матрицы 7Г„. (Под этим мы понимаем, что если осуществляется случайная равновероятная выборка из генеральной совокупности «р-вектор-строк, на которые натянуто «-мерное пространство, то с вероятностью 1 то же пространство будет натянуто на любое подмножество из п векторов.) Отсюда находим:

представление в пространстве состояний вида (4А.17) для конкретного мультииндекса vn может быть описанием почти всех «-мерных линейных систем. (4А.32) Перекрывающиеся параметризации. Пусть Л- обозначает модельную структуру

(4А.17), соответствующую значению Тп. Тогда результат (4А.31) означает, что множество моделей

М = У «М- ) (4А.ЗЗ) ип П

(объединение по всем значениям мультииндекса 7Л) покрывает все линейные «-мерные системы. Таким образом, мы можем описать множество всех линейных «-мерных систем как объединение областей идентифицируемых структур (сравните с (4.126)). Из (4А.32) следует, что области значений Л- существенно перекрываются. Это не рождает помех для идентификации, напротив, становится возможным, не теряя информации переходить от одной структуры к другой. Практические приложения этих перекрывающихся параметризаций рассматриваются в [312]. В работе [94] топологическими методами найдены оценки необходимого в (4А.ЗЗ) числа перекрывающихся структур, см. также [171].

Связь между матричными дробями и описаниями в пространстве состояний. В одномерном случае связь между моделью в пространстве состояний для исследования наблюдаемости и соответствующей ARMAX-моделью тривиальная (см., пример 4.2). К сожалению, в многомерном случае ситуация значительно усложняется; см. [38,134,151].

Впрочем, сразу можно отметить тесную связь между значениями индексов ^ из формулы (4А.17) и степенями столбцов п^ в формуле (4А.7). Обе эти величины определяют такую явную характеристику модели, как число временных сдвигов /-й компоненты у. Разница, однако, в том, что в пространстве состояний этн сдвиги прямые (во времени), а для дробно-матричных представлений — обратные. Взаимосвязь между vt и индексами наблюдаемости разнообразно продемонстрирована в доказательстве леммы 4А.2.

Практически различие между двумя способами представления заключается в том, что в пространстве состояний вектор состояния х(0 (« переменных) естественным образом используется как вектор ячеек памяти, предназначенной для моделирования и других целей. При непосредственном моделировании системы (4А.2) запоминаются взятые с различными сдвигами компоненты векторов у ии, общим числом пр + m^r^ переменных. Это безусловно не обязательный прием, однако обеспечение эффективности расчетов почти неизбежно приводит к тому, что запоминание организуется в варианте модели пространства состояний. Стало быть, для многомерных систем методология представления моделями в пространстве состояний имеет несколько достоинств.

Доказательства лемм 4АЛ и 4А.2. Осталось доказать леммы 4А.1 и 4А.2.

Доказательство леммы 4А.1. Пусть

5(0=5(0="х(г-1Гха-2)"х(г-1Гха-2)

5(0=

5(0=

"х(г-1Гха-2)

"х(г-1Гха-2)

Пусть также (сравните с (4А.20)—(4А.22))

(4А.34)(4А.34)^о(г + Лг|г^ 1)= S Н^г-П I- k + I

(4А.34)

(4А.34)

ЯП t- 1)

^(0 =

- у (J + N - 1 j t- 1)

Тогда из (4A.28) и (4A.29) следует, что•

YN^ = 3CNS(t).(4А.35)

Введем следующую нумерацию ir строк в /- в формуле (4А.24):

/‘1 = 1, 6 =Р+ 1,.. .Jvv = (^ - 1)Р + 1;

/р1 + 1 = 2,tp1+2 =Р + 2,..., 1Г1 = (^ — 1)р + 2;

•(4А.36)

S-^1"^ %_^2=Р^Р,..., ^р^^р~ 1)Р+Р-

Напомним, что

к

Гк = 2 Ph

Теперь конструируется n-вектор х(г), у которого r-я компонента совпадает с /г-й компонентой Yn(0-

Обратим теперь особое внимание на компоненты ц ^р^г * Р» • • • Jn * Р вектора в (4А.35), образовав из этих компонент вектор £ (г + 1). Все они соответствуют строкам матрицы Jfw + 1. Однако по предположению леммы эта матрица натянута на вектор х(t). Следовательно,

. ^(f+l) = ^(f)(4А.37)

для некоторой матрицы F. Теперь, как видно из (4А.36), некоторые из компонент вектора £ (г + 1) входят и в вектор х (г). Соответствующие строки матрицы F будут состоять из единицы в первой позиции и нулей — в остальных. Короткое раздумье по поводу формул (4А.36) показывает, что матрица F имеет в точности ту структуру, которая задается условиями (4А.17). Кроме того, для Н, удовлетворяющего условию (4А.17),

y(t) = Hx(r)*eQy(4А.39)

Следовательно,

xAt + 1) = y^Ht *k\t^= y^\t - 1+ [к + 1) 11 - 1) + [Hk x(r)].

Но первый член в правой части равен (jr + р)-й компоненте YN(f), т.е. £r(r + 1). Следовательно,,

х(г + 1) = £(г + 1)+Мх(0•(4А.40)

для некоторой матрицы М. Теперь уравнения (4А.37), (4А.38) и (4А.40) образуют описание в пространстве состояний системы (4А.27) в рамках структуры (4А.17), и лемма доказана.

Доказательство леммы 4Л.2. Характеристической особенностью матрицы Ганкеля К^ как частного случая (4А.25) является, то что при устранении первого блочного столбца (и последней блочной строки) или устранении первой блочной строки получается одна и та же матрица. Это означает, что если строка i блочной строки к (т.е. строка (/с - 1)р + /) принадлежит к линейной оболочке всех расположенных над ней строк, то тем же свойством обладает строка i в блоке к + 1.

Допустим теперь, что

rank Кл+1 = и

и попробуем, двигаясь сверху вниз, выделить в этой матрице множество линейно независимых строк. Таким образом, строки, не зависящие линейно от расположенных под ними, включаются в базис, остальные строки отбрасываются. По окончании процедуры мы имеем п строк матрицы Кп + j. Сделанное выше замечание приводит нас к выводу о том, что если в базис включена строка с номером кр* i (к > 1), то в него входит и строка с номером (к — 1) р + /.Следовательно, структура индексов отобранных строк будет такой:

р + 1,2р + 1,. . ., (О! - 1)р + 1;

р + 2, 2р + 2, ..., (о2 - 1)р + 1;

Р, Р*Р, 2р + р,..., (ор - 1) + р,

для некоторых чисел {о, } , известных под именем индексов наблюдаемости системы. Поскольку полное число отобранных строк равно п, то

р*

S о< = п.

1

Таким образом, номера отобранных строк соответствуют, как и в формуле (4А.24), мультииндексу о„, и лемма доказана. Заметим, что несколько других значений мультииндексов могут образовывать строчный остов, вовсе не обязательно искать какой-то конкретный набор линейно независимых строк.

Глава 5

МОДЕЛИ НЕСТАЦИОНАРНЫХ И НЕЛИНЕЙНЫХ СИСТЕМ

Наиболее распространенным языком для описания динамических систем несомненно являются линейные стационарные модели, однако во многих случаях могут оказаться не только полезными, но и необходимыми и другие способы описания. В этой главе будут рассмотрены линейные нестационарные модели и несколько нелинейных моделей. Будут также приведены некоторые формальные соображения о том, что понимается под моделью в общем случае. Это дополнит рассуждения по поводу общих линейных моделей из раздела 4.5.

Линейные нестационарные модели

Весовая функция. В гл. 2 система была названа линейной, если линейная комбинация входных сигналов порождает ту же линейную комбинацию выходных сигналов. Тогда в общем случае линейная система может быть задана соотношением

,у(0 = 2 gAk)u(t- k) + v(O*(5-0

к = 1.

Если положить

gAM =к),

(5.2)(5.2)то окажется, что Г-1

(5.2)

(5.2)

ЯО = s g(t, s)u(s) + v(r), $ = _ оо

где g(t, s) (Г = 5, s + 1,. ..) - это реакция (отклик) в момент времени t на единичный входной импульс в момент s. функция g(t9 s) известна также под именем весовой функции» поскольку она задает веса, с которыми входной сигнал в момент 5 представлен в выходном сигнале в момент t.

Описание (5.1) в принципе аналогично описанию (2.8) для случая стационарной модели за исключением того обстоятельства, что последовательность gt ^ имеет индекс времени t. В общем случае можно было бы ввести нестационарную передаточную функцию

GAq)= £ Kt^q"*

к = I

и повторить большинство рассуждений из раздела 4.2 для нестационарных передаточных функций. Однако практически нестационарность проще исследовать в пространстве состояний.

Нестационарные модели в пространстве состояний. В моделях в пространстве состояний (4.88) нестационарность ввести просто, достаточно допустить, что все матрицы являются функциями времени:

x(t* Ьв^ЛД^Яг.^ + ЛД^ЯО + КД^ЯО.^^

у^ = СД0)х^0)* е^.'

Тогда предсказатель, соответствующий (4.83) , принимает вид

х(г + 1,б)= [лдв)- к.^сде^ 5(г.б) + у,(в)и(О + ^(в)^(О, ^(г|6)=С,(6)5(г,0).(5-5>

Заметим, что последнее соотношение можно переписать в виде

j)(f|0)= f ^(k»6)u{t- *) + f 0)^(f- kY(5.6)

к = 1к = 1

где

(5.7)(5.7)wKk.e^ = cA0) 'п улде^-кде^сдв^ в,_к^, i = t-k

(5.7)

(5.7)

^УДк,0) = СД0) П1 [ЛуСб)-^)^)] Kt_k(0). /= t-k

Аналогично, можно было бы рассматривать нестационарные аналоги моделей (4.81) и (4.82) , допуская, что матрицы Л, В, С, R i, R 12 и R 2 являются функциями от t. В результате соответствующий предсказатель будет задаваться соотношениями (4 91) _(4.92).

По сути дела нестационарное описание может возникнуть и как модель стационарной системы в двух общих случаях: (1) когда выборочные интервалы дискретизации не равны между собой, и (2) проводится линеаризация. Если состояние системы (4.59)- (4.60) наблюдается в моменты времени f = tk , к = 1,2,.. . ,'ТО, по-преж;

нему, можно при переходе от tk к гл + 1 применять формулы (4.63) —(4.65) со значением Тк = tk +1 — tk. Если интервал дискретизации времени непостоянен, то уравнение (4.64) соответствует нестационарной системе. Близкая ситуация возникает, когда разные переменные измеряются с разной частотой. Тогда в формуле (5.4) матрица Cf(0) оказывается зависящей от времени, чтобы можно было различать состояния, которые наблюдаются в момент t.

Линеаризация нелинейных систем. Линеаризация поведения нелинейной системы в окрестности некоторой траектории является, быть может, главной причиной использования модели нестационарной линейной системы. Пусть нелинейная система описывается уравнениями вида

х(г+ 1) = /(х(г), ы(0) + r(x(r), u(r)) w(r),

y(r) = A(x(r)) + m(x(r),u(r))u(r).'

Допустим также, что все составляющие помехи: {w(r)} и (и(г)}, являются белыми шумами малой интенсивности, а номинальное (без помех w(r) = 0, u(z) = 0) поведение системы соответствует входной последовательности и* (г) и траектории х*(г). Пренебрегая нелинейными членами, можно записать, что разности

△ x(f) = х(г) - х*(г),

Ду(г)= y(t) - Н(.хЧП),

Ди(г) = и(г) - u*(t)

удовлетворяют уравнениям

Дх(г+ 1) = ^(г)Дх(г) + С<0Ди(0 + w(0,

ДХО = Я(0дх(0 + и(г),'

где

ЭW = ——/(x,u)OXЭW = ——/(x,u)OXх*<П,кЧПх*<П,кЧПЭG(r) = —Rx^ЗиЭG(r) = —Rx^ЗихЧО, «ЧПхЧО, «ЧП

ЭW = ——/(x,u)OX

ЭW = ——/(x,u)OX

х*<П,кЧП

х*<П,кЧП

Э

G(r) = —Rx^Зи

Э

G(r) = —Rx^Зи

хЧО, «ЧП

хЧО, «ЧП

Э

Х*(г)Х*(г)Н^ = —й(х) ох

Х*(г)

Х*(г)

Здесь мы пренебрегли перекрестными членами, включающими помехи (типа Дх- и) , в связи с предположением о малости шумов. В формулах (5.9) w(0 и и (г) - белые шумы со следующими ковариационными характеристиками

Ri(r) = Ew (г) wr(f) = r(x*(tY u*(t))Ew(t)wT(t)rT(x*(t), u*(t)R

R2(t)- Ev(r)vT(t) = m(x*U\ u*(t))Ev(r)vT (t)mT(x*(t), u*(t>\(5.10)

Я12(г) = r(x*(d, n*(r))£'w(r)yT(r)mT(x*(r), u*(r)).

Эта модель представляет собой линейную нестационарную аппроксимацию модели (5.8) в окрестности номинальной траектории.

Нелинейные модели как линейные регрессии

Очевидно, что введение нелинейностей связей между входной и выходной последовательностями типа (5.8) заметно расширяет возможности описания системы. В то же время, оценка ситуации достаточно неоднозначна, чтобы по конечной выборке данных можно было бы сделать вполне определенные выводы. Действительно, даже если модель (5.8) имеет первый порядок (dimx = 1) и помехи отсутствуют, то искомые компоненты модели будут представлять собой элементы общего беско-

нечномерного функционального пространства (функции /(•,•) и й(-)), а соответствующая линейная модель задастся всего двумя вещественными числами. Имеется ряд способов параметризации функций / и h (например, полиномиальное разложение) , однако в большинстве случаев создание разумной модельной структуры требует некоторого постижения сути рассматриваемых нелинейностей. В этом разделе мы опишем, как можно создавать такие простые структуры, если в нашем распоряжении имеется некоторая содержательная информация об идентифицируемом объекте.

Линейно-регрессионная структура. Формулой (4.12) мы определили линейную регрессию как модельную структуру с линейным по параметрам прогнозом:

ЯНв) = »тто. (5.11)

Чтобы выписать линейное разностное уравнение, компоненты вектора ^(z) (регрессоры) были выбраны как задержанные во времени значения входных и выходных сигналов, см. (4.11). Впрочем, при использовании (5.11) играет роль не способ формирования ф(г), а то, что эта величина в момент времени t уже известна. Таким образом, можно считать, что ^(г) представляет собой произвольную совокупность преобразований, осуществляемых надданными наблюдений. Пусть, как обычно, уг и иг обозначают входную и выходную последовательности от момента s = 1 до момента s = л Тогда можно было бы записать

У (г I#) = ° 1^1 (“', У*~ *) + • • •*6d4>d<ut. У*~ *) = Ф^)0 (5.12)

с произвольными функциями <^ от прошлых данных. Структуру (5.12) можно было бы воспринимать как конечномерную параметризацию общего неизвестного нелинейного предсказателя. Ключевым местом является выбор функций ^ (и\ у*~ *), именно здесь требуется содержательное осмысление физических особенностей объекта. Это хорошо видно на следующем примере.

Пример 5.1. Дом с солнечным подогревом.

Рассмотрим задачу идентификации динамики дома с солнечным подо1ревом, описанную в примере 1.1. Нужно построить модель влияния, оказываемого скоростью нагнетания воздуха и интенсивностью солнечной радиации на температуру аккумулятора тепла. Можно было бы выписать формальную линейную модель типа (4.7)

у(П*ах У U - 1) *а2 у и - 2) = bxu(t - 1) + b2u(t - 2) + сх Цг - 1) + с2 Kt - 2). (5.13)

В этой записи физические особенности процесса нагрева пока не учтены, (5.13) представляет собой конкретизацию модели черного ящика для данного специальною случая. Простые рассуждения показывают, что линейная модель не является достаточно реалистичной. Очевидно, что эффекты, связанные с изменениями потока солнечной энергии и скорости подачи воздуха, не являются аддитивными. Если вентилятор выключен, то солнце не влияет на температуру аккумулятора.

Посмотрим, что происходит в нагревательной системе. Введем величину х (t), которой описывается температура коллектора солнечной панели в момент времени t. После некоторых упрощений физику процесса можно описать следующей дискретной моделью: нагрев воздуха в коллекторе, равный x(t + 1) - х(0, определяется потоком солнечной радиации d2I (f) за вычетом потерь от нагрева пстеплопсредающих элементов (среды) d3x(^ и тепла, транспортируемого в аккумулятор d0 х (Г) и (г) , т.е.

x(Z+ 1) -xm = d2Kn-d3x(t)-Дох(П1ЛП. (5.14)

Точно так же, увеличение температуры аккумулятора у (f + 1) - у (Г) равно объему доставленной в аккумулятор тепловой энергии doxU^u<O за вычетом потерь в окружающую сре- ДУ dx у (Г), т.е.

y(Z+ I)-^(Z) = doXlOmn-dtytn. (5.15)

В уравнениях (5.14) и (5.15) коэффициенты d^ - неизвестные постоянные, численные значения которых предстоит определить. А так как темперазура х(г) не измеряется, то прежде 122

всего нужно исключить х (/) из уравнений (5.14) и (5.15) . Это дает

он.<и,-ш1*«1>2^1Ур21 .

+ d0d2u(t - 1)7(/ - 2)-d^t - l)y(t - 1) +d0 (1 + d^u(t - l)y(t- 2).(5.16)

Связь между замерами величин у, и и 7 и параметрами dt усложнилась. Вводя новую параметризацию, ее можно упростить, а именно:

9,-1 — dt,

^(П = У (г- 1);

03 = 1-^.

_ у«- i)"0-d

е» = Уэ -!)(!+</,),

_ ,«-2)«(1-1)

9 4 = ^0^1 •

9 5 = “^0 >

9« = d0(l*d1)>

ет= [М, ..AL

Ч>4<0 = «0-1)70-2);(5.17)

^,0) = «0 - 1)у0 - 1);

*>6О) = «О-1)уО-2); (РГО)=к,О).^О),...,^ О)|.

Теперь (5.16) можно переписать в виде настоящей линейной регрессии

ут = У01») = ^(Пе,(5.18)

причем в этом соотношении новые параметры 0 и искусственно сконструированные наблюдения (замеры) ф<0 связаны между собой линейно (заметим, что ^ от 6 не зависит). За это приходится платить ценой той информации о взаимосвязи между разными 0; , которая содержится в системе алгебраических уравнений (5.17).

Модель Гаммерштейна. Иногда нелинейность в системе представлена статическим нелинейным преобразованием входного сигнала, а, как показано на рис. 5.1, сама динамика системы остается линейной. Если нелинейная характеристика / известна, то можно было бы переопределить входной сигнал, введя 1/(7) = f (и (7)),

Рис. 5.1. Система со статической ^^^

Статическая

f(u(W

Линейная

yW

нелинейностью со стороны входа

нелинейность

система

а в остальном рассматривать систему как линейную. Если функция / неизвестна, можно было бы приблизить ее многочленом

/(t/) = «! 1/+а2 И2 + . . .+otw ит,(5.19)

а вслед за этим исследовать прохождение различных степеней и через динамические звенья с разными числителями:

A<q)y(O = В^и(Г) + B2(q)t?(r)t .. , + Вт (q)um(O,(5.20)

где Л(<?) и Bt (q) — многочлены относительно оператора запаздывания q-1. Вводя

; »г>е>1;

4>TW НЧг- 1 )-•••>-yV-naV UQ- 1)и(г-п); м2(г-1),...

... , м2(7 - и); ... \um (t — 1),... , um(t - и)],

можно переписать (5.20) в виде

У(г) = ylMO) = ФТ(г)0,(5.21)

что является частным случаем записи (5.12). Модель (5.20) известна как модель Гаммерттейна. В контексте решения задач идентификации эта модель была впервые рассмотрена, скорее всего, Нарендрой и Гэллманом в работе [303].

Нелинейные модели в пространстве состояний

Общее множество моделей. Наиболее общей формой описания конечномерных систем является задание уравнений вида

х(г+ 1) = /(Л х(О> u(r), w(r); 0),

y(f) = A (г, x(r), u(r), u(r); 0).'

Здесь w(r) и u(f) — последовательности взаимно независимых случайных величин, а 0 — вектор неизвестных параметров. Серьезная проблема заключается в том, чтобы построить предсказатель, основанный на уравнениях (5.22) и формальной вероятностной аксиоматике. Фактически известно, что за исключением отдельных частных случаев нелинейная задача предсказания не имеет конечномерных решений.

Тем не менее для специальных случаев или посредством некоторой аппроксимации нереализуемых оптимальных решений предсказатели для уравнений (5.22), конечно, можно сконструировать. Что касается метода аппроксимации, то по нему имеется обширная литература, см., например, Язвински [192] и Андерсон и Мур [11 ]. Во всех случаях получающийся предсказатель имеет вид

у^\0) = g(t, Z‘"x;0V(5.23)

Здесь для упрощения нотации входо-выходные измерения в момент t обозначены как

Z^^yVu^ = (,у(1), и(1)y(t\ и(О).

В этой записи модель удобно использовать при решении вопросов идентификации. Таким образом, (5.23) можно рассматривать как основную модель, не обращая внимания на способ перехода к форме (5.23) от исходного описания (типа (5.22)). Это согласуется с представлением о моделях как способах прогнозирования, принятым нами в главе 4; разница только в том, что здесь модели (5.23) не являются уже линейной функцией от прошлых значений данных. Как и в гл. 4, модель (5.23) может быть дополнена предположениями относительно свойств соответствующей ошибки предсказания

6(r,0) = y^t) - 8<П Z'-^O),(5.24)

например, ее матрицы ковариации А(г; 0) или плотности распределения вероятностей f е (х, г; 0).

Нелинейная имитационная модель. Проще всего получить предсказатель для уравнений (5.22) , если пренебречь шумом объекта w(t) и положить

х(г+1, 0) = Rt, x(t,0), u<t\ 0; 0),(5 25)

y(t\0) = h(t, x(t, 0), u(t), 0; 0).•

Такой предсказатель называют имитационной моделью, поскольку у (t | 0) формируется на основе модели (5.22) в отсутствие шума, но с настоящим входным сигналом. Ясно, что и при использовании непрерывных по времени представлений имита-

ционное моделирование также просто: d

(5.26)(5.26)— xQ, 0) = /(г, xVts OY Кгу 0; 0) dr

(5.26)

(5.26)

y(t\0) = Kt, x(t,0), u^ty 0; 0).

Пример 5.2. Делигнификация.

Рассмотрим проблему снижения содержания лигнина при химической обработке в растворе древесной щены. По существу, это составляет содержание процесса варки целлюлозы для получения пульпы при из ютов пении бумаги.

Введем следующие обозначения:

х(О - содержание литина в момент t;

их (0 - абсолютная температура в момент t;

и2 (t) - содержание водородного сульфита HSO3";

и3 (t) - содержание водорода Н\

Тогда из основных химических законов вытекает, что

-^-x(t) = ^^-^/’^(^^^^^(^«^^(^^(5.27)

Здесь El - постоянная Аррениуса, a кх, т, а и 0 • другие постоянные реакции. Моделирование (5.27) с измеренными значениями {uz(r), i = 1,2,3} для заданных значений 6 Т = = (El , к ^к 2, т, а, 0) определяет последовательность значений содержания лит ина {х (Г, в)}. В этом случае выходным сигналом системы является также содержание лигнина, так что ЯМ 5) = x(t, 0). Эти предсказанные или смоделированные значения могут впоследствии сравниваться с фактически зарегистрированными значениями для того, чтобы можно было оценить величину ошибки, сопутствующей конкретному выбору 0. Подобное применение подробно описано в работе [158].

Формальная характеризация моделей ^*^

В этом разделе мы повторим рассуждения, проведенные в разделе 4.5, но для общего случая нелинейных моделей с возможной нестационарно стью. Предполагается, что выходной сигнал системы является р-вектором, а входной сигнал — /и-векто- ром. Как и раньше, Z1 обозначает входо-выходные данные до момента t включительно.

Модели. Моделью т динамической системы называется последовательность функций gm (t, Z* ~ х) (t = 1,2,. . .), действующих из R X Rp^ “ ^ X R”1^ “ в Rp и отображающих способ угадывания или предсказания выходного сигнала у (t) по прошлым данным:

Т(г|г- 1) = gm<t, 7?-*).(5.28)

Модель, которая определяет только функцию предсказания, называется моделью предсказания. Если (5.28) дополнить условной (при заданном Z1 ~ х^ плотностью вероятности (УПВ) соответствующих ошибок предсказания

ГДх, t. 7?" *): УПВ у(г) - y(t | г- 1) при данном Zt-1,(5.29)

то модель называют полной вероятностной моделью. При моделировании обычным является предположение о взаимной независимости ошибок предсказания. Тогда fe не зависит от Z' ~ 1:

ГДх> О • ПВ у^Л - yVt 1t - 1) : ошибки взаимно независимы. (5.30)

Иногда может оказаться предпочтительным не определять полную модель в виде плотности вероятности, а ограничиться только вторым моментом (матрицей

ковариации):*

МО- матрица ковариации .у (О- у (г 1I- 1)(5 31)

ошибки взаимно независимы.

Модель (5.28) вместе с (5.31) называется частичной вероятностной моделью.

Далее модели можно классифицировать, используя следующие их свойства.

Линейность. Модель m называется линейной, если gm (г, Zf ~1) - линейная функция от у1 ~1 и 1:

gm(r, 7?" *) = м^Ау^А^М^У^ЗТ>

•2. Стационарность. Модель m называется стационарной, если функция

gm (t, ZT ™ j) не меняется при сдвигах абсолютного времени. Если при этом определены Кт или fe , то нужно, чтобы они ис зависели от г.

к-шаговость. Модель m называется к -шаговым предсказателем (вперед), если gm (г, 7? “ 1) является функцией только от у1 ~к, и1 “ 1.

Имитационность. Модель m называется имитационной моделью или моделью выходной ошибки, если gm (t, Z1 - х^ является функцией только от и1 ~ 1.

По аналогии с линейным случаем можно было бы определить устойчивость предсказателя и равенство между собой разных моделей (см. (4.113)). Однако мы здесь от подобного исследования воздержимся.

Множества моделей и модельные структуры. Множества моделей .^*, как и модельные структуры .^, представляют собой дифференцируемые отображения:

Л: 0 ^g(t, 7?- *; 0) е ЗГ; 0 &D* С Rd(5.33)

(иА(Г; 0) или fe^x,t\ 0), если нужно) из подмножеств пространства Rd в множестве моделей и могут быть определены с использованием формулировок, аналогичных приведенным в определении 4.3. Если определено равенство между моделями, то, как и в разделе 4.5, можно развить методологию исследования идентифицируемости.

Будем говорить, что модельная структура Л является линейной регрессией, если В^г = Rd и функция предсказания — линейная (или аффинная) функция от 0:

g(t, Z1"1; 0) = ^(r.Z'- *)0 + n(t,Z‘-*).(5.34)

Другая точка зрения на модели <*) . Толкование моделей как предсказателей отражает прагматический подход к интерпретации понятия модели. Можно занять и более абстрактную позицию.

В качестве пользователей мы взаимодействуем с системой только через последовательности входо-выходных данных 7Л = (у1, и1). Следовательно, любое предположение о свойствах системы будет предположением о 2< Итак, мы могли бы сказать, что:

Модель системы — это гипотетическая связь между 7?, t = 1,2,...(5.35)

Нередко эксперименты с системой не могут быть воспроизведены стопроцентно точно. Дня данной входной последовательности uN из-за присутствия различных помех мы можем получить в разных экспериментах разные выходные последовательности yN. В этом случае естественно считать уг случайной величиной, различные реализации которой мы наблюдаем. Тогда моделью системы станет описание вероятностных свойств Z* (или, быть может, у* при заданном иг) . Эту модель m можно было бы выразить через вероятностную меру Р m или плотность вероятности

величины Zf:

TmU/^y(5.36)

To есть

PmkZ,EB> =J f^t^dx1.(5.37)

jtf e в

Иногда удобно считать входной сигнал иг детерминированной последовательностью, фокусируя внимание на условной плотности вероятности уг при заданном uL.

Гт (Г У1 I "')•(5.38)

Обычно модели типа (5.36) или (5.38) достаточно громоздки как в работе, так и в построении,и более предпочтительными оказываются другие более косвенные приемы формирования f т. В самом деле, стохастические модели из разделов 4.2 и 4.3 представляют собой неявное описание функций плотности вероятности для наблюдаемых сигналов. Введение ненаблюдаемых случайных помех (w(z)}, (^(0) и т.д. не только является удобным приемом для описания вероятностных свойств наблюдаемого сигнала, но часто соответствует интуитивному представлению о способе генерации выходного сигнала. Однако стоит подчеркнуть, что смысл введения таких ненаблюдаемых помех только в том, чтобы определить плотность вероятности наблюдаемых сигналов._

Гипотетическая плотность вероятности fm из (5.36) в некотором смысле является наиболее общей моделью наблюдаемых записей данных у1, иТ. Детерминированные модели входят в нее как частный случай. Она также соответствует общему случаю статистической постановки задачи об описании свойств наблюдаемого вектора данных. Однако для наших целей эта модель lie является достаточно структури- зоваппой. В записи (5.36) отсутствует указание о естественном направлении хода времени в реализации данных и о причинно-следственных связях.

При заданной fm(J. Z1) из (5.36) можно, по крайней мере принципиально, произвести расчет условного среднего у (z) при заданных уТ “ 1, и1 “ 1, т.с.

v(r I г - 1) = Ет [ v(z) | у1- *.ur " 1 | = gm U,Zt- *),(5.39)

и распределения вероятностей у (Z) - £т(Г Zf ~ ^ назовем его fe (х, z, Zt- ^. По (5.36) можно рассчитать модель (5.28) и условную плотность fe из (5.29). Обратно, по заданной функции предсказания gm^t, Zt- ]) и предполагаемой плотности вероятности fc (х, z) соответствующих ошибок предсказания можно рассчитать совместную плотность вероятности для данных у\ и1 (типа (5.36)). Это вытекает из утверждения следующей леммы.

Лемма 5.1. Пусть и1 - заданная детерминированная последовательность и пусть у1 порождается следующей моделью

ЯП = gm V. Z1" 1 ) + em (г),(5.40)

где условная плотность ет (г) (при заданных у* * 1, и1" 1) - эго fe (х, г). Тогда совместная плотность вероятности у* приданном и1 запишется как

Тт(г,уг\и1)= П fe(y(k}-gm(k,Zk~l), ку(5.41)

к =• I

Удобства ради здесь значение хк переменной у (к) обозначено просто как у (к).

Доказательство. Выходной сигнал у (t) порождается соотношением (5.40). Следовательно, условная плотность вероятности у (г) при заданном Zt-V имеет вид

Р^х«\7?"х> = Геи«-8т^,7?-х\ О- (5.42)

Используя формулу Байеса (1.10), можно представить совместную условную плотность вероятности у (г) и у (г — 1) при заданном Z1 “ 2 в виде

Pfo, xt_ ! \7?~г^ = p(xt\yV- 1) = xt_ ,, Zf-2)p(x,_ ! |Zf-2) =

= fe^.-gm (t,Z‘-X), t)fe(X,_1-gm(t- \, Z‘-2\ Г- 1),

где у (г — 1) в выражении для gт (1,7*~х) следует заменить на xt _ !. Здесь принято допущение, что и1 — заданная детерминированная последовательность. Повторное итерирование последнего соотношения до г = 1 даст условную плотность вероятности величин у (t), У^-!),..., у (1) при заданном и1, т.е. функцию f m(t, у1 | и*) из (5.41). Это завершает доказательство.

Из приведенных рассуждений следует важный вывод о том, что модель предсказателя (5.28), дополненная гипотетической плотностью распределения вероятностей соответствующих ошибок предсказания, является ни чем иным, как общей неструктурированной вероятностной моделью, задаваемой плотностью вероятности (5.36).

Замечание. Отметим некоторое расхождение с общей моделью условной плотности вероятности. Общая модель (5.36) в общем случае может приводить к такой условной плотности вероятности, которая на самом деле зависит от 7? ~ 1 типа /е (х, t, 7J “ 1) из (5.29) . Это означает, что ошибки предсказания не обязательно считать взаимно независимыми, причем, как бы то ни было, они образуют мартингал ьно-разностную последовательность:

Et€m(t)\€m(t- 1),... ,em (1)] = 0. (5.43) В прогностической формулировке (5.40) мы предполагаем, что условная плотность f€ (х, г) не зависит от Zt-\ т.е. подразумеваем независимость ошибки ет (г) от предыдущих данных. Однако ясно, что к полученному выше результату (с очевидными изменениями в (5.41)) можно было бы прийти и в отказе от предположения независимости.

Заключение

Развитие теории моделей нелинейных систем оказалось достаточно близким к теории линейных систем. В формальном плане главное различие состоит в том, что для нелинейных систем функция предсказания нелинейно зависит от прошлых наблюдений. В практическом отношении важной особенностью является то, что потенциальная широта класса нелинейных систем во многих случаях приводит к нереализуемос- ти неструктурированных моделей типа ’’черного ящика”. Вместо этого необходимо, используя априорное знание характера нелинейности, встраивать нелинейность в имеющиеся модели. Получающаяся структура может быть задана не в аналитической форме. Так, можно задавать нелинейности таблично, причем параметры модели окажутся элементами таких таблиц.

В этом кратком изложении формальных особенностей моделей динамических систем мы подчеркнули, что модель — это прежде всего способ предсказания, способ прогнозирования будущих значений выходного сигнала по данным наблюдений. Функция предсказания может быть, по-видимому, расширена введением гипотез о виде модели или каких-то параметрах соответствующей ошибки предсказания, например, о величине дисперсии или плотности вероятности.

Комментарии к библиографии

Модели для идентификации нелинейных систем рассматриваются в обзорах Хабера и Кевицки [157], Мера [283] и Биллингса [48]. В работе Леонтаритиса и Биллингса [233] содержится подробное исследование различных параметрических моделей, и, в частности, NARMAX-модели (нелинейная ARMAX); см. задачу 5G.1. Модель Гаммерштейна, очевидно, впервые рассмотрена в работе Нарендры и Гэллма- на [303]. Нелинейные имитационные модели типа (5.25) - (5.26) часто используются в прикладных задачах с большим объемом априорной информации. Примером такой задачи может служить идентификация динамики самолета, по этому поводу см. [149]. •

Описание применений различных методов параметрического оценивания к идентификации нелинейных параметрических структур можно найти, в частности, в работах Биллингса и Вуна [50], Габра и Субба Рао [127] и Стойка и Седерстрема [392]. Рекуррентные методы исследовались в работе Фнайеша и Льюнга [118].

Общее введение в теорию моделей приводится в книге Виллемса [437].

Задачи

5G.L Рассмотрим следующую нелинейную структуру;

(5.44а)(5.44b)(5.44с)(5.44а)(5.44b)(5.44с)х(Г) = f(x(t - 1)x(t - и), u(t - 1)uU - пУ 0),

(5.44а)

(5.44b)

(5.44с)

(5.44а)

(5.44b)

(5.44с)

У(О = хт + и(Г), v(O = HUbOHUV

Здесь уравнение (5.44а) описывает нелинейную динамическую часть без помех с параметром 0; уравнение (5.44b) описывает искаженные шумом {и (Г)} наблюдения выходного сигнала (шум описывается общим уравнением (2.19)). Показать, что естественным предсказателем для системы (5.44) будет

гдегдеу(Г |0) = |1 - Я'*(<7,0)1 у(Г) + Я "*(</, 0)х(7,0),

где

где

х (у 0) определяется соотношением

x(t,O) = f(x(t - 1,0),. .. ,x(t - п,оу u(t - 1)uu - «У O').

Рассмотрим билинейную модельную структуру вида

x(t)*etx(t- 1) *a2xU --2) = bx uU - 1) + b2 uU - 2) + c, xU - l)u(r - 1), yUHxUHvUy

где

0 = [я, а2 bt 62с| 1..

(а)(а)В предположении, что {и(0} - белый шум, произвести расчет предсказателя у (г ] 0 )

(а)

(а)

и выписать его выражение в форме нсевдолинейной регрессии

уи 10) = <рти,в)в

с соответствующим образом выбранным вектором хр (у 0).

(b) Пусть {и (Г)} не белый шум, но может быть представлен ARMA-процсссом первого порядка. Для этой системы предложить подходящий предсказатель.

Рассмотреть систему, показанную па рис. 5.1, считая, что нелинейность имеет вид звена усиления с насыщением (при неизвестных значениях параметров):

м(П =м(П =0, 02, если иЮ > 0 2, 0^(0, если I u(r) I < 02, . -<9102, ССЯИ UM < ~02‘

м(П =

м(П =

Пусть линейная система может быть описана ARX-модспью второго порядка. Выписать явную формулу для предсказателя этой модели, параметризованного по 0,,02 и ARX-параметрам

5T.L Непрерывные во времени билинейные модели нашли широкое применение (см., например, [2931). Такая модель может быть представлена в виде

(5.45a)(5.45a)x(t) = А^хЦ ) + BW uvt> + G(0)x(t)u (Г) + w(t).

(5.45a)

(5.45a)

где x(f) - вектор состояния, w(t) - белый гауссов шум с матрицей ковариации Ry, а и (О скалярный входной сигнал. Выходной сигнал системы подвергается выборочному измерению:

(5.45b)(5.45b)у(П = С(0)х(О + е(О, t - кТ»

(5.45b)

(5.45b)

где е (Г) - белый гауссов шум наблюдений с дисперсией /?2. Входной сигнал является кусочнопостоянной функцией:

м(Г) = м^, кТ < t < (^ + 1)Т.

Вывест и формулу для предсказателя сигнала у ((к + 1) Г) при заданных иг и у (г Т) (г < к), отправляясь от модели (5.45).

5Т.2. Рассмотрим структуру модели роста Моно:

где наблюдается у = [XjXj | , а а, и а2 известные постоянные. Идентифицируемы ли параметры 0 , , 0 2 И 0 3 .

Замечание. Хотя мы нс дали формальною определения идентифицируемости нелинейных модельных структур, эти определения весьма близки к введенным в разделах 4.5 и 4.6. Таким образом, нужно проверить могут ли два различных набора параметров приводить к одному и тому же входо-выходному поведению. (См. работу [180].) Здесь х, концентрация растущей биомассы, х3 - концентрация растущего окружающего субстрата, 0t - максимальная скорость роста, 02 - постоянная Ментена, а 03 - коэффициент размножения.

Часть 11МЕТОДЫЧасть 11МЕТОДЫ

Часть 11

МЕТОДЫ

Часть 11

МЕТОДЫ

Гаава6

НЕПАРАМЕТРИЧЕСКИЕ ВРЕМЕННЫЕ И ЧАСТОТНЫЕ МЕТОДЫ

В гл. 4 отмечалось, что линейная стационарная модель может быть описана своими передаточными функциями и соответствующими импульсными реакциями. Здесь мы обсудим прямые методы определения этих функций без первоначального выделения ограниченного множества возможных моделей. Такие методы часто также называют непараметрическими, поскольку они не используют (явно) конечномерного вектора параметров при поиске наилучшего описания. Будут обсуждены способы определения передаточной функции G (t?) от входа к выходу. Раздел 6.1 посвящен методам во временной области, а разделы 6.2--6.4 содержат описание частотных методов с различной степенью сложности. Определение Н (q) или спектра возмущения обсуждается в разделе 6.5.

Следует отметить, что в данной главе система предполагается разомкнутой (т.е. { и (г)} и {ц(г)> независимы) .Типичные проблемы применения непараметричсс- ких методов к замкнутым конфигурациям в общих чертах описаны в некоторых задачах. Более детально эти вопросы обсуждаются в гл. 14.

Анализ переходных процессов и корреляционный анализ

Анализ импульсной реакции. Если к системе, описываемой соотношением (2.8)

(6.1)(6.1)ЯО = Go(q)u(O + и(0,

(6.1)

(6.1)

приложить импульсное воздействие

то выходная переменная по определению Go и импульсной переходной функции Uo(O> будет равна

(6.3)(6.3)ЯО = «go(O + и(О-

(6.3)

(6.3)

При низком уровне шума можно, таким образом, определить коэффициенты импульсной реакции {go(O) из эксперимента с импульсным входным воздействием. Оценки будут равны

а ошибки v(t)/oi. Эта простая идея и составляет суть анализа импульсной реакции.

Ее основной недостаток заключается в том, что многие физические процессы не допускают импульсных входов такой амплитуды, при которой ошибка v(t)/a пренебрежимо мала по сравнению с коэффициентами импульсной реакции. Более того, при таком входе система может проявить нелинейные эффекты, нарушающие линеаризованное поведение, положенное в основу модели.

Реакция на ступенчатое воздействие. Аналогично, ступенчатое входное воздействие

приложенное к системе (6.1), приводит к значению выходной переменной

y(t) = а 2 g0(k) + v(0.(6.5)

к = I

(6.6)(6.6)Отсюда можно получить оценки величину (^) вида a.,y(t)-y(t-1)

(6.6)

(6.6)

g(t) =

с ошибкой [v(r) — и (Г — 1)]/а. Если определение коэффициентов импульсной реакции действительно является целью, использование (6.6) может сопровождаться значительными ошибками в большинстве практических приложений. Однако, если цель заключается в нахождении значений некоторых относящихся к управлению характеристик, таких как временная задержка, статический коэффициент усиления и доминирующие постоянные времени (в модели (4.47)), реакции на ступенчатое воздействие (6.5) могут предоставить достаточную для обеспечения удовлетворительной степени точности информацию. Фактически, хорошо известные правила настройки простых регуляторов типа правила Зиглера—Никольса [455] основаны на обработке информации, содержащейся в реакциях на ступенчатые воздействия.

На основе графического представления реакций на ступенчатое воздействие можно вычислить некоторые характеристические числа, которые в свою очередь могут быть использованы для определения параметров модели заданного порядка. Обсуждение таких характеристик содержится в работе Раке [334].

Корреляционный анализ. Рассмотрим описание модели (6.1):

ЯО = 2 g0(k)u(t - к) *v(t").(6.7)

к = 1

Если входное воздействие является квазистационарной последовательностью (см. (2.59)) с

Eu(t)u(t- т) = Ru(t)

и

Eu(t)v(t- г) = 0 (цепьразомкнута),

то согласно теореме 2.2 (сформулированной во временной области)

Ey(t)u(t- г) = Ryu(r) = 2 g0(k)Ru(k - г).(6.8)

А = I

В частности, если входное воздействие представляет собой белый шум с

^и(^) — ^^тО,

тото£o(r) =£o(r) =^уи (т)Of^уи (т)Of

то

то

£o(r) =

£o(r) =

^уи (т)

Of

^уи (т)

Of

Таким образом, оценка импульсной переходной функции может быть получена из оценки Ryu^V например, вида

А1 N

RNvU^=" 2 У^и^-П.(6.9)

уN t - т

В обшем случае, когда входное воздействие не является белым шумом, можно использовать оценку

А1 N

К«(П = - 2 u(Ou(/-r)(6.10)

/V г = т

и решить уравнение

АМА

(6.11)(6.11)RN(n= 2 g^Ru^-T^

(6.11)

(6.11)

ук = I

относительно g(kV Если есть свобода в выборе входного воздействия, желательно, конечно же, выбрать его так, чтобы упростить решение уравнений (6.10) и (6.11). Оборудование для генерации таких сигналов и определения g(k^ коммерчески доступно. Более детальное описание содержится в [136].

Частотный анализ

Синусоидальное воздействие. Основная физическая интерпретация передаточной функции G (z) заключается в том, что комплексное число C7(e,0L>) несет информацию о преобразовании синусоидального входного воздействия (см. (2.32) - (2.34)).Таким образом, для системы (6.1) с

uU) = a cos со Г, t = 0. 1, 2,. . .(6.12)

имеем

(6.13)(6.13)(6.14)(6.14)у (О = а| GVe'^) | cos (сиГ +i) + ц(Г) + переходный процесс,

(6.13)

(6.13)

(6.14)

(6.14)

где

Ф = argG0(^).

Это свойство даст также ключ к простому правилу определения G0(e/CJ):

Для входного воздействия (6.12) определите амплитуду и сдвиг фазы, полученного на выходе косинусоидального сигнала, и вычислите оценку Gn^1^ на основе этой информации. Повторите процедуру для набора частот в представляющем интерес частотном диапазоне.•

Этот способ известен как частотный анализ и представляет собой простой метод получения детальной информации о линейной системе.

Частотный анализ корреляционным методом. В связи с присутствием в (6.13) шумовой составляющей и (Г) точное определение | Go^^) I и ^ графическими методами может быть затруднительным. Поскольку интересующая нас составляющая выходной переменной y(Z) является косинусоидальной функцией известной частоты, возможен следующий корреляционный способ устранения шума. Образуем

суммы

N1 N

fcW = — 2 y(z)coso;r, ISW = — 2 у (Osin co t(6.15)

Подставляя (6.13) в (6.15) и пренебрегая переходным процессом, получаем

1-V1

^cW = “ ^ а| Go^'^) | cos (со Г +^)cos cot + — 2 v^cosco/1 = N t = iN t = i

.1 N1 N

= alGo^'^)!— ^ [cosv? + cos(2coZ+^)l + — 2 v^coscof =(6.16)

2^ r = iN t = i

a ..11

= ™ I Gq^'00) | cos кр + a| Go(eiw) |— 2 cos (2cot + i) + ” 2 v(t)coscot.

2A f = iN t = i

Второе слагаемое в последнем выражении стремится к нулю при А ^ °°, и также стремится к нулю третье слагаемое, если v(t) не содержит чисто периодической составляющей частоты со. Если {^ (f)> - стационарный случайный процесс, для которого

2 т| Rv^ I < °°,‘

о

то дисперсия третьего слагаемого в (6.16) убывает как \[N (задача 6Т.2). Аналогично,

a ..1 N

ISW = --I G0(ezw)|sin^ + al GoG^)!— 2 sin^cor+i) +

22N t- i,

N

+ — 2 v(r)sincot(6.17)

N t = i

Эти два выражения приводят к следующим оценкам величин I Go (^,w) I и tp: ^^.V»,.(6.18а)

а/2

АА .Л(А)

tN = argC^'^) = arctg ——.(6.18b)

Более детальное описание этого метода содержится в работах Раке [334] и Остре- ма [23]. Повторяя процедуру для нескольких частот, можно получить хорошую картину изменения G0(e,w) в интересующей области частот. Оборудование, позволяющее провести такой частотный анализ корреляционным методом, коммерчески доступно.

Преимущество этого метода состоит в простоте получения диаграммы Боде системы, а также в возможности концентрации усилий в интересующем диапазоне частот. Остновным недостатком является то, что многие промышленные процессы не позволяют использовать синусоидальное входное воздействие в режиме нормальной работы. Кроме того, необходимость повторения процедуры для набора частот приводит к увеличению времени эксперимента.

Связь с гармоническим анализом Фурье. Сравнение (6.15) с определением (2.37)

1 N.

YN(^ = — 2 у^е"^1(6.19)

xfN t = i

показывает, что

1CW HsW =1CW HsW =11.—- Yn^Y.—- Yn^Y(6.20)(6.20)

1CW HsW =

1CW HsW =

1

1

.—- Yn^Y

.—- Yn^Y

(6.20)

(6.20)

Как установлено в (2.46) для (6.12)Как установлено в (2.46) для (6.12)xfN аUN^ =xfN аUN^ =2 лгесли 5 = со =для некоторого целого г. N2 лгесли 5 = со =для некоторого целого г. N(6.21)(6.21)Это сразу приводит (6.18) к выражениюЭто сразу приводит (6.18) к выражению

Как установлено в (2.46) для (6.12)

Как установлено в (2.46) для (6.12)

xfN а

UN^ =

xfN а

UN^ =

2 лг

если 5 = со =для некоторого целого г. N

2 лг

если 5 = со =для некоторого целого г. N

(6.21)

(6.21)

Это сразу приводит (6.18) к выражению

Это сразу приводит (6.18) к выражению

Gn^ =Gn^ =xTn Yn^^ NallxTn Yn^^ Nall(6.22)(6.22)

Gn^ =

Gn^ =

xTn Yn^^ Nall

xTn Yn^^ Nall

(6.22)

(6.22)

которое с учетом (6.21) означает, что

GN^ =GN^ =YN(^UN^ *YN(^UN^ *(6.23)(6.23)

GN^ =

GN^ =

YN(^

UN^ *

YN(^

UN^ *

(6.23)

(6.23)

Здесь со является частотой входного сигнала. Сравнение с (2.53) также приводит к (6.23) как к наиболее разумной оценке (особенно потому, что Rn (со) в (2.53) равно нулю для периодических входных воздействий, что вытекает из следствия к теореме 2.1).

6.3. Гармонический анализ Фурье

Эмпирическая оценка передаточной функции. Выше была установлена связь выражения (6.23) с частотным анализом, при котором на вход подается чистое гармоническое воздействие частоты со. В линейной системе различные частоты проходят через нес независимо друг от друга. Следовательно, совершенно естественно распространить оценку частотного анализа на случай многочасто гных входных воздействий. Другими словами, введем следующую оценку передаточной функции также и для случая, когда входное воздействие не является чисто гармоническим:

Gn^)Gn^)Yn^>UN^ ’Yn^>UN^ ’I

Gn^)

Gn^)

Yn^>

UN^ ’

Yn^>

UN^ ’

(6.24) ;

где Yn и Ur определены соотношениями (6.19) и (2.37) соответственно. Эта оценка также совершенно естественна ввиду теоремы 2.1.

Будем называть Gn^c^) эмпирической оценкой передаточной функции. Обсудим кратко причины такого названия. В (6.24) конечно же предполагается, что Un (^) ^ 0. Если для каких-то частот это нс так, считаем для них эмпирическую оценку передаточной функции неопределенной. Название этой оценки эмпирической связано с тем, что никакие предположения, кроме линейности системы, не делались. В случае многочастотных входных воздействий эмпирическая оценка передаточной функции состоит из W/2 существенных точек. (Напомним, что оценки на промежуточных частотах между точками со = lixklN (к = 0, 1, . . . , N - 1) получаются тригонометрической интерполяцией в (2.37).) Поэтому величины .у им действительные и, кроме того.

(6.25)(6.25)GN^iklN) = С^е1^- M/W) (сравните (2.40) и (2.41)).

(6.25)

(6.25)

Исходная последовательность данных, состоящая из 2^ чисел ^(0» w(f) (t = = 1,2,...,^, преобразуется в N чисел

АN

ReGN(e2”'klN), \mGN^linklNY fc = О, 1,1.

Это очень скромное сокращение данных показывает, что большая часть информации, содержащейся в исходных данных у, и, является ’’сырой”.

Кроме расширения частотного анализа, эмпирическую оценку передаточной функции можно интерпретировать как способ (приближенного) решения относительного (^) (к = 1, 2,.. . , N) системы уравнений в конволюциях

'N

y(t) = Z g^kW-k\ t= 1,2,..., N(6.26)

к = I -•

с использованием преобразования Фурье.

Свойства эмпирической оценки передаточной функции. Предположим, что система описывается уравнением (6.1). Обозначая

N.•

VN(w) = —— 2 v^e' Mt(6.27)

x/N

из теоремы 2.1 получим

GN(eiu) = G0(eiw) ++(6-28)

где член Я/у(^) удовлетворяет неравенству (2.54) и убывает как 1/v^V.

Исследуем теперь влияние члена VN (gj) на Gw^e1^. Поскольку v (Г) ио предположению имеет нулевое среднее,

А’И^(со) = 0 Vgj, то

а ..R^^o^•

EGn^ = Go(e^) + ~(629) uN^

Здесь математическое ожидание вычисляется по распределению {и (f)} при условии, что {и (Г)} - фиксированная последовательность чисел.

Пусть ковариационная функция Ry^r) и спектр Фу (gj) процесса (v(Z)} определяются соотношениями (2.14) и (2.63). Тогда

1 NN

EVn^Vn^ = - 22 Ev(r)e-^ru(s)e'^ =

N г = 1 5=1

N N

= - 22 ^-^R^r-s) = [r - s = r] =

N Г = I 5=1

Nr - I

= - 2 e^-^ X S R^tV"^7.

N r = I7 = r - N

Здесь

2 RvVr^e""'^ = Фи(^) - 2e-'^R^r) - 2 e ^TRu(t)

7 = r — N7 = — oo7 ~ r

и

1е =i2„

N г = II О, если (S - си) =, к = ± 1,... , t(N - 1).

Рассмотрим

1 N r-N-1< - 52| Rv(t) | </V r = l г = -°°1 N r-N-1< - 52| Rv(t) | </V r = l г = -°°1 АГА r-N-1

1 N r-N-1

< - 52| Rv(t) | <

/V r = l г = -°°

1 N r-N-1

< - 52| Rv(t) | <

/V r = l г = -°°

I т| -1 ^v(r) I < £I т| -1 ^v(r) I < £- 2 ^«-^х2 e-^Ru(T)

I т| -1 ^v(r) I < £

I т| -1 ^v(r) I < £

< [меняем порядок суммирования] < — 2

N т= ■

при условии, что

(6.30)(6.30)Аналогично,1 /Vw- 2ei«-^> х 2 e-i^R (т)N Г =1т = гАналогично,1 /Vw- 2ei«-^> х 2 e-i^R (т)N Г =1т = гОбъединяя эти выражения, получаем ф„(ш) + p2(N\Объединяя эти выражения, получаем ф„(ш) + p2(N\EVN(<^VN(-^ =EVN(<^VN(-^ =причемпричем2С2СIP2WK-.IP2WK-.Р2(Л0, если ISР2(Л0, если IS1 ^^2^ Т= I1 ^^2^ Т= INNесли S = си,к2тг-о)| =, к = l,...,W- 1,Nесли S = си,к2тг-о)| =, к = l,...,W- 1,N(6.31)(6.31)Эти вычисления могут быть подытожены в виде следующего результата.Лемма 6.1. Рассмотрим строго устойчивую системуУ^> = Go(q)u(O + и(0,(6.32)Эти вычисления могут быть подытожены в виде следующего результата.Лемма 6.1. Рассмотрим строго устойчивую системуУ^> = Go(q)u(O + и(0,(6.32)где возмущение (u(z)} представляет собой стационарный случайный процесс со спектром Ф„ (gj) и ковариационной функцией Rv(t), удовлетворяющей условию (6.30). Пусть {иИ)} не зависит от (и (г)} , а | и(Г) | < С для всех t. Тогда дляGN(е,ш), определяемой соотношением (6.24), имеемгде возмущение (u(z)} представляет собой стационарный случайный процесс со спектром Ф„ (gj) и ковариационной функцией Rv(t), удовлетворяющей условию (6.30). Пусть {иИ)} не зависит от (и (г)} , а | и(Г) | < С для всех t. Тогда дляGN(е,ш), определяемой соотношением (6.24), имеем^Pi(.N^EGN{e^) = Gq^ +-~4, Un^^Pi(.N^EGN{e^) = Gq^ +-~4, Un^(6.33а)(6.33а)гдегдеCiIPi(W)l < — NCiIPi(W)l < — N(6.33b)(6.33b)E\GN<e^ - G^e^)\ YGn^'^ - G^e"1^ =E\GN<e^ - G^e^)\ YGn^'^ - G^e"1^ =Ф„(а)) + p2(AQI U^udWФ„(а)) + p2(AQI U^udWесли ^ = ca,если ^ = ca,(6.34a)(6.34a)

(6.30)

(6.30)

Аналогично,

1 /Vw

- 2ei«-^> х 2 e-i^R (т)

N Г =1т = г

Аналогично,

1 /Vw

- 2ei«-^> х 2 e-i^R (т)

N Г =1т = г

Объединяя эти выражения, получаем ф„(ш) + p2(N\

Объединяя эти выражения, получаем ф„(ш) + p2(N\

EVN(<^VN(-^ =

EVN(<^VN(-^ =

причем

причем

2С

2С

IP2WK-.

IP2WK-.

Р2(Л0, если IS

Р2(Л0, если IS

1 ^

^2

^ Т= I

1 ^

^2

^ Т= I

N

N

если S = си,

к2тг

-о)| =, к = l,...,W- 1,

N

если S = си,

к2тг

-о)| =, к = l,...,W- 1,

N

(6.31)

(6.31)

Эти вычисления могут быть подытожены в виде следующего результата.

Лемма 6.1. Рассмотрим строго устойчивую систему

У^> = Go(q)u(O + и(0,(6.32)

Эти вычисления могут быть подытожены в виде следующего результата.

Лемма 6.1. Рассмотрим строго устойчивую систему

У^> = Go(q)u(O + и(0,(6.32)

где возмущение (u(z)} представляет собой стационарный случайный процесс со спектром Ф„ (gj) и ковариационной функцией Rv(t), удовлетворяющей условию (6.30). Пусть {иИ)} не зависит от (и (г)} , а | и(Г) | < С для всех t. Тогда для

GN(е,ш), определяемой соотношением (6.24), имеем

где возмущение (u(z)} представляет собой стационарный случайный процесс со спектром Ф„ (gj) и ковариационной функцией Rv(t), удовлетворяющей условию (6.30). Пусть {иИ)} не зависит от (и (г)} , а | и(Г) | < С для всех t. Тогда для

GN(е,ш), определяемой соотношением (6.24), имеем

^Pi(.N^

EGN{e^) = Gq^ +-~4, Un^

^Pi(.N^

EGN{e^) = Gq^ +-~4, Un^

(6.33а)

(6.33а)

где

где

Ci

IPi(W)l < — N

Ci

IPi(W)l < — N

(6.33b)

(6.33b)

E\GN<e^ - G^e^)\ YGn^'^ - G^e"1^ =

E\GN<e^ - G^e^)\ YGn^'^ - G^e"1^ =

Ф„(а)) + p2(AQI U^udW

Ф„(а)) + p2(AQI U^udW

если ^ = ca,

если ^ = ca,

(6.34a)

(6.34a)

UN^>UN^-^UN^>UN^-^

UN^>UN^-^

UN^>UN^-^

l^kесли IS-^ I =, k = 1, 2,. . . ,N- 1,

N

где

С2

I P2W I < — -(634b)

N

Здесь UN определяется выражением (2.37) и рассматриваются те частоты, для ко

торых Gn определена. В соответствии с теоремой 2.1 и условием (6.30) константы равны *

Сх = (2 £ |^о№1 )max|u(r)|,(6.35а)

k = I

Сг = С? *5 |тЯи(г)|.(6.35b)

к = — «»

Если {u(t)} имеет период N, то Сх =0.

Замечание. Отметим, что входная последовательность предполагается фиксированной. Такие вероятностные характеристики, как Е, ’’смещенние” и ’’дисперсия” относятся к вероятностному пространству процесса (v(Z)} . Это, конечно, не исключает случая, когда входное воздействие генерируется в виде реализации случайного процесса, не зависящего от {и (t)} .

Свойства эмпирической оценки передаточной функции близки к свойствам оценок периодограммы спектра. С учетом (2.43) и (2.72) получаем следующий результат.

Лемма 6.2. Пусть v(t) задается уравнением.

v^ = H(q)e(r),-

где {е(г)} - белошумная последовательность с дисперсией X и четвертым моментом ц2, а Н - строго устойчивый фильтр. Пусть И^(со) определяется выражением (6.27),а Ф„ (cd) - спектр v(t). Тогда

&’| KW(GJ)|2 = Ф„(о) + Рз^,(6.36)

ЛХ1 Ид,(со)|2 - Ф„М)(| Ид,(Ш2 - <М£)) =

[Фи(со)]2+p4(/V), если £ =я,

=.(6.37)

. Pa(N),если I £ - cd | =, к = 1,. .., N — 1,

N

где

\Рз№\ < ^, |р4(Л01

До казательство. Уравнение (6.36) следует из (6.31). Простое доказательство (6.37) выделено в виде задачи 6D.2 при несколько более ограничительных условиях. Полное доказательство может быть дано прямым вычислением (6.37). См. для этого, например, теорему 5.2.4 в монографии Бриллингера [63]. По поводу улучшения смещения за счет повторного использования данных см. задачу 6G.5.

Эти леммы вместе с результатами раздела 2.3 говорят следующее.

Случай I. Периодическое входное воздействие. Если входное воздействие периодическое и N кратно периоду, то, как известно из примера 2.2, величина I UN(to) |2 возрастает как const • N для некоторых to и равна нулю в других точках (см. (2.49)). Число частот cd = l^klN, для которых | UN (си) |2 отлично от нуля,

а следовательно, для которых эмпирическая оценка передаточной функции определена, фиксировано и не превышает периода сигнала. Таким образом,

эмпирическая оценка передаточной функции Gn(€iw) определена только для фиксированного числа частот;

- на этих частотах эмпирическая оценка передаточной функции не смещена, а ее дисперсия убывает как \(N.

Заметим, что результат (6.17) ио частотному анализу корреляционным методом получен как частный случай.

Случай 2. Входное воздействие является реализацией случайного процесса. Лемма 6.2 показывает, что периодограмма | UN(co) |2 представляет собой беспорядочную функцию от со, флуктуирующую вокруг спектра Фи (со), который предполагается ограниченным. Лемма 6.1 говорит, таким образом, что

эмпирическая оценка передаточной функции является асимптотически несмещенной для частот, число которых возрастает (с ростом /V);

дисперсия эмпирической оценки передаточной функции не убывает при возрастании N, что приводит к определенному отношению ”сигнал/шум” на рассматриваемой частоте;

оценки на различных частотах не коррелируют.

Из этого следует, что в случае периодического входного сигнала качество эмпирической оценки передаточной функции будет улучшаться на частотах, присутствующих во входном воздействии. Однако если входной сигнал не периодичен, дисперсия оценки не убывает с ростом N, а становится равной отношению ”сиг- нал/шум” на соответствующей частоте. Это последнее свойство делает эмпирическую оценку очень грубой во многих практических случаях.

Легко понять, почему дисперсия не убывает с ростом N. Оценивание производится независимо для всех точек, для которых имеются данные. Другими словами, характерные особенности данных или какое-либо сжатие информации не используются. Это в свою очередь является следствием того, что мы предположили лишь линейность реальной системы. Таким образом, свойства системы на различных частотах могут быть совершенно не связанными друг с другом. Из этого также следует, что единственная возможность увеличить информацию об оцениваемом параметре состоит в предположении, что поведение системы на одной частоте связано с ее поведением на других частотах. В следующем разделе обсуждается один такой подход.

Спектральный анализ

Спектральный анализ, предназначенный для определения передаточных функций линейных систем, возник при использовании статистических методов в спектральном оценивании. Этот метод хорошо изложен в книгах Дженкинса и Уоттса [193, гл. 10] и Бриллингера [63, гл. 6]; кроме того, метод широко обсуждается во многих других учебниках по анализу временных рядов. В данном разделе применяется несколько необычный подход, состоящий в получении стандартных процедур посредством сглаживания эмпирической оценки передаточной функции.

Сглаживание эмпирической оценки передаточной функции. В конце предыдущего раздела отмечалось, что единственным способом улучшения свойств дисперсии эмпирической оценки передаточной функции является допущение, что значения истинной передаточной функции на различных частотах взаимосвязаны. Введем довольно естественное предположение, что

истинная передаточная функция G0(eICJ) является гладкой функцией ол

(6.38)

Далее, если частотный интервал ht!N мал в смысле незначительного изменения на нем Go (^fU>), то

GN^Il,iklNY к -целое, lnk]N * со'(6.39)

являются некоррелированными и несмещенными оценками примерно одной и той же константы Go (e,LJ), дисперсии которых равны по лемме 6.1

Ф^к^

Здесь мьГпренебрегли членами, стремящимися к нулю при N -* °°. Если предположить, что Go (?w) постоянна на интервале

2л^12тг£2

= со о - Део < со < со0 + Део = ,(6.40) NN

то, как хорошо известно, наилучшей (в смысле минимума дисперсии) оценкой этой константы является средне-взвешенное ’’измерений” (6.39) для частот (6.40), причем каждое измерение взвешивается в соответствии с обратной величиной ее дисперсии (ср. с задачей 6Е.З и леммой II.2, (П.58) Приложения II):

^(^Шо) = — ?" '(6.41а)

К 2

2 «к■

(6.41b)(6.41b)I UnUt^N^

(6.41b)

(6.41b)

Фи(2тгк(М^

Для больших N можно с хорошей степенью аппроксимации использовать интегралы, которые соответствуют суммам (по Риману) в (6.41а):

w0 + A^ * а _/ а^Сы(е‘^

(6.42а)(6.42а)л .£ = сип - Део

(6.42а)

(6.42а)

GN^> =

СО 0 + Део

£ = со0 - Део

“№ =“№ =l iW)£<МОl iW)£<МО(6.42b)(6.42b)

“№ =

“№ =

l iW)£

<МО

l iW)£

<МО

(6.42b)

(6.42b)

Если передаточная функция Go не постоянна на интервале (6.40), разумно использовать дополнительное взвешивание, которое выделяет близкие к соо частоты:

а7 W^-^aC^GivCe^

(6.43)(6.43)GN(eiw<>) = —

(6.43)

(6.43)

7 И\«-Шо)а(£)^

Здесь WT($) - сосредоточенная вокруг £ = 0 функция, а 7 - ’’параметр формы”, кратко обсуждаемый ниже.

Очевидно, (6.42) соответствует функции

^(0 =

1,

о,

1$1< Ди, I ^ I > Аси.

(6.44)

Далее, если спектр шума Фь(со) известен, оценка (6.43) может быть реализована. Если же спектр ФДсо) не известен, можно принять следующее допущение: предположим, что спектр шума не претерпевает значительных изменений на частотных интервалах, соответствующих ’’ширине” функции взвешивания ^ (£):

я/ ^U-w0)— яя/ ^U-w0)— яФиG)ФиG)1 •Фи (^0 )1 •Фи (^0 )d^ = ’’мало”.d^ = ’’мало”.(6.45)(6.45)

я

/ ^U-w0)

— я

я

/ ^U-w0)

— я

ФиG)

ФиG)

1 •

Фи (^0 )

1 •

Фи (^0 )

d^ = ’’мало”.

d^ = ’’мало”.

(6.45)

(6.45)

Тогда а(£) в (6.42b) можно заменить на а($) = | t/wG)l 2/Ф„(соо), чт0 приводит к сокращению константы Ф„(ш0) в (6.43). При выполнении условия (6.45) оценка

’ л_/ И^-соо)!^ G)i2Gw^

GNVeiuJ^=—e (6.46)

7 ^G-WtOll^G)!2^I

i ” |

является, таким образом, хорошим приближением оценки (6.43), (6.42b).

Следует заметить, что при невыполнении (6.45) может быть лучше добавить процедуру оценивания Фу(<о) и использовать эту оценку в (6.43).

Связь с процедурой Блэкмена-Тьюки <*>. Рассмотрим знаменатель в (6.46). Он представляет собой средне-взвешенное периодограммы I ^v(5) I 2- Используя результат (2.72), получаем при

f W^-io^Un^^ J W7 ($ - w0)ф„ G)^,(6.47)

-я-я

где Фм(<о) - спектр { u(t^ , определенный соотношениями (2.61)-(2.63). Более того, если

/ И/7(^=1,

и весовая функция И^ ($) сконцентрирована вокруг £ = 0 с шириной окна, на которой Фм(<о) не претерпевает значительных изменений, то правая часть (6.47) близка к Фм(^о)- Таким образом, левую часть можно рассматривать как оценку этой величины:

Г - — '‘

Ф№о)= f W-yU-^UN^d^(6.48)

{—я

Аналогично, поскольку

I UN ^G^) = i UN G)|2 ^-^- = Yn $)Un g),(6.49)

числитель в (6.46)

fy» = 7 ^7 G - w0) Yn ^Un ^(6.50)

является оценкой взаимного спектра между входной и выходной переменными.

Таким образом, оценка передаточной функции (6.46) представляет собой отношение двух спектральных оценок

^(е^0) =^(е^0) =Ф^и^о)Ф«(<^о)Ф^и^о)Ф«(<^о)(6.51)!(6.51)!

^(е^0) =

^(е^0) =

Ф^и^о)

Ф«(<^о)

Ф^и^о)

Ф«(<^о)

(6.51)!

(6.51)!

что имеет определенный смысл в свете (2.78). Спектральные оценки (6.48) и (6.50) являются стандартными, известными в литературе оценками спектра и взаимного спектра как сглаженных периодограмм; см. работы Блэкмена и Тьюки [53] Дженкинса и Уоттса [193] или Бриллингера [63].

Существует общий способ выражения этих оценок. Коэффициенты ряда Фурье для периодограммы | Un(<o) I 2 равны

А1"1 N

Ru(^ = -- / I UN ^e'^dco = - 5 u^t - 7).(6.52)

2л -лN г=1

(Для справедливости этого выражения величины w(s) вне интервала 1 < $ < N должны интерпретироваться посредством периодического продолжения, т.е. «(s) = = u(s - N) при s >N; см. задачу 6D.1.)

Аналогичным образом, пусть коэффициенты ряда Фурье функции И^ (£) равны

(6.53)(6.53)w7(T) = 7 W^^e^d^. — тс

(6.53)

(6.53)

Поскольку интеграл (6.48) представляет собой свертку, его коэффициенты ряда Фурье равны произведению (6.52) и (6.53) , поэтому разложение в ряд Фурье функции (6.48) имеет вид

(6.54)(6.54)0^) = S w^ U)R„(T)е-‘тш. т = - 00

(6.54)

(6.54)

Идея теперь состоит в том, что хорошая, гладкая функция W7 (£) выбирается таким образом, чтобы ее коэффициенты ряда Фурье были пренебрежимо малыми для |т| > 57, где обычно 57 < N. Следовательно, достаточно сформировать (6.52) (используя крайнее справа выражение) для | т| < 57, а затем положить

(6.55)

Возможно, это один излнаиболее удобных способов формирования спектральной оценки. Выражения для Ф^м (<о) являются, конечно же, аналогичными.

Весовая функция W7(£): частотное окно. Обсудим теперь весовую функцию W7(£). В спектральном анализе ее часто называют частотным окном (аналогично, w7 (т) называют временным окном.) Если это окно ’’широкое”, то будет взвешиваться большое количество различных частот в интервале (6.40). Это должно привести к малой дисперсии оценки GN(elU)0). В то же время широкое окно будет включать оценки для частот, существенно далеких от <о0, со средними значениями, которые могут значительно отличаться от G0(eIUJ°). Это вызовет большое смещение. Таким образом, ширина окна позволит управлять компромиссом между смещением и дисперсией. Чтобы сделать это управление компромиссом несколько более формальным, используем для описания ширины скаляр 7, причем большая величина 7 соответствует узкому окну.

Таблица 6.1 .

Некоторые частотные окна для спектрального анализа

БартлеттНарзеиБартлеттНарзеиsin 7^/2 Vsin cj/2 )sin 7^/2 Vsin cj/2 )4(2 + cos со)7Э4(2 + cos со)7ЭХэммингХэмминг2 ^7^ + 4^72 ^7^ + 4^7sin(7 + 1/2) юB7(w)= :1sincu/2sin(7 + 1/2) юB7(w)= :1sincu/2

Бартлетт

Нарзеи

Бартлетт

Нарзеи

sin 7^/2 Vsin cj/2 )

sin 7^/2 Vsin cj/2 )

4(2 + cos со)

7Э

4(2 + cos со)

7Э

Хэмминг

Хэмминг

2 ^7^ + 4^7

2 ^7^ + 4^7

sin(7 + 1/2) ю

B7(w)= :

1sincu/2

sin(7 + 1/2) ю

B7(w)= :

1sincu/2

2яИ^7(си)

w7(t), 0 < I т I < 7

ТЙ>(7)~ 21.357, л3Хэмминг: Л/(7)^ —- 7Й/(7)^Зл27- 29.607.ТЙ>(7)~ 21.357, л3Хэмминг: Л/(7)^ —- 7Й/(7)^Зл27- 29.607.

Т

Й>(7)~ 21.357, л3

Хэмминг: Л/(7)^ —- 7

Й/(7)^Зл27- 29.607.

Т

Й>(7)~ 21.357, л3

Хэмминг: Л/(7)^ —- 7

Й/(7)^Зл27- 29.607.

Будем характеризовать окно следующими числами:

/^(^=1, 7^7(^)^ = 0, 7^2^7(^^-Л/(7),.(6.56а)

-Я— Л— я

(6.56b)(6.56b)7l$l3W7(^ = C3(7), 7 ^ а)^= 2- ^(7).

(6.56b)

(6.56b)

- я- я2 л

При возрастании 7 (и сужении частотного окна) значение М (7) уменьшается, а ^(7) растет.

Некоторые типичные окна представлены в таблице 6.1. (Другие примеры можно найти в [63, табл. 3.3.1].) Заметим, что в (6.55) масштабирующий параметр 7 был выбран так, что 57 = 7. Частотные окна показаны на рис. 6.1. Для этих окон имеем

17.45 Бартлет: М^^ >

7

—8

^(7)“ л27^ 26.327,.

24л75.40

Парзен: М^^ ~ ^ —;—* Г

31.01

72 ’(6.57)

Рис. 6.1. Некоторые простые частотные окна. Сплошная линия - окно Парнеза,штриховая линия - окно Хэмминга, точечная линия - окно Бартлетта; 7 = 5

Приведенные выражения являются асимптотическими для больших 7, но представляют собой хорошие приближения для 7^5. Для дальнейшего обсуждения вопроса масштабирования окон см. также задачу 6Т.1.

Асимптотические свойства сглаженной оценки. Оценка (6.46) изучалась в различных работах по спектральному анализу. См., например, книги Дженкинса и Уоттса [193, гл. 10] и Бриллингера [63, гл. 60]. Результаты, являющиеся асимптотическими как по N, так и по 7, могут быть получены следующим образом (см. Приложение 6А). Рассмотрим оценку (6.64) и предположим, что истинная система удовлет

воряет условиям леммы 6.1. Тогда имеем смещение

EGN(e^ - С0(е^ = М^ • [ ^ G^) + Gi(e^) ^-^-

L 2Ф„ (co)

(6.58)(6.58)+ О(с3(7)) + o^Vn^ у —>oo/V —*00

(6.58)

(6.58)

штрих и двойной штрих обозначают дифференцирование один раз и дважды соответственно, дисперсия

д। ф

Е\G^)-EGn^V = - W (7)477-7 + о^(#У(6.59)

N Фи (ш)

N-* 00, 7//V-*0

Напомним, что здесь математическое ожидание берется относительно последовательности шумов (и(^)) и что входное воздействие представляет собой детерминированный квазистациопарный сигнал.

Будем использовать асимптотические выражения для того, чтобы оценить среднеквадратичную ошибку (СКО):

Е\Gn^^ - G0^W ~M4^\R (w)|2 + 1 ^ (7) -^™ •(6.60)

N Ф„(<О

Здесь

R M = 7 G^e^) + ^(e'")-^^ •(6.61)

2Фм (<o)

Можно показать также справедливость следующих дополнительных результатов (см. [63, гл. 6] и задачи 6D.3 и 6D.4).

Оценки ReGw(e*w) и 1тд^(с^) асимптотически некоррелированы и каждая имеет дисперсию, равную половине величины (6.59).(6.62)

Оценки GN(etuJ>) на разных частотах асимптотически некоррелированы.(6.63)

Оценки Re G/y(eICJk) и 1шС^(е,сик) (^ = 1,2,..., М) для произвольного набора частот имеют асимптотически нормальное совместное распределение со средними и дисперсиями, определяемыми (6.58) — (6.63)(6.64)

По поводу свойств I ^(е^)! и arg GN(el "^ см. задачу 9GЛ.

Из (6.60) видно, что желаемое свойство окна состоит в малости как М, так и W. Можно также вычислить значение параметра ширины окна 7, минимизирующее СКО. Предположим, что как 7, так и N неограниченно возрастают, а отношение ^(N стремится к нулю и, таким образом, можно использовать асимптотические выражения. Допустим также, что имеет место (6.57), т.е. М(у) - М(^ и ^(7) = 7^. Тогда из (6.60) следует

4М2|Я(ы)12Фм М

МФ» (со)

1/5 А^5.

(6.65)

Рис. 6.2. Смоделированные данные системы (6.67)

Рис. 6.3. График амплитуды эмпирической оценки передаточной функции, основанной на данных, представленных на рис. 6.2. Ровная линия - истинный график амплитуды для системы (6.67)

Конечно, это выражение не может быть реализовано пользователем, поскольку оно содержит несколько неизвестных величин. Заметим, однако, что, во всяком случае, значение yopt (6.65) возрастает как N1^5 и должно, в принципе, зависеть от частоты. Следовательно, частотное окно следует брать более узким при наличии большего числа данных, что представляется совершенно естественным.

Оптимальный выбор у приводит к среднеквадратичной ошибке, убывающей как

СКО~С№4/5. (6.66)

При практическом использовании результаты (6.65) и (6.66) формально не могут быть достигнуты. Вместо этого типичная процедура должна состоять в выборе начального значения у = N/20 (см. табл.А6.1) и последующем вычислении и нанесении на график соответствующих оценок С^е1со) для различных значений у. При возрастании у появляется все больше и больше характерных деталей оценки. Это происходит благодаря уменьшению смещения (более ясное проявление истинных резонансных пиков и т.п.), а также в связи с возрастанием дисперсии (ложные, случайные пики). Процедура должна быть остановлена, когда пользователь почувствует появление преобладающих ложных деталей.

Пример 6.1. Моделировалась система.

у (г) - 1.5у (г - 1) + O.7y(r - 2) = u(r - 1) + 0.5u(r - 2) + е(г), (6.67) где (е(г)} - белый шум с дисперсией 1, а в качестве входного воздействия использовалось более 1000 реализаций псевдослучайного двоичного сигнала (см. раздел 14.3). Часть записанных в результате данных показана на рис. 6.2. Соответствующие эмпирические оценки передаточной функции изображены на рис. 6.3. Оценка G;v(e ^) формировалась в соответствии с (6.46) для окна Парзеиа W^^ с различными значениями у. На рис. 6.4 представлены результаты для 7 = 10, 50 н 200. Здесь разумным выбором ширины окна оказывается у = 50.

Другой способ сглаживания эмпирической оценки передаточной функции (*).

В основу оценки (6.46) была положена идея, состоящая в том, что эмпирические оценки передаточной функции на соседних частотах асимптотически некоррелирова- ны и, следовательно, дисперсия может быть уменьшена за счет их усреднения. Эмпи-

Рис. 6.4. Оценка G^ie^) для 7 = Ю (а), 50 (Ь) и 200 (с). Сплошные линии графики амплитуды, штриховые линии - графики фазы, жирные линии - истинная система, тонкие линии - оценка

рические оценки передаточной функции, полученные для различных наборов данных, также будут давать некоррелированные оценки, и другой подход состоит в усреднении этих оценок. Таким образом, расщепляем множество данных ZN на М групп, содержащих R данных каждая ^N = RM) . Затем формируем эмпирическую оценку передаточной функции, соответствующую ^-й группе:

GM(e'u), ^ = 1,2,..., М.(6.68)

Затем оценка может быть образована как среднее арифметическое

А1 М А

GN^ = Т, 2 ^’(е^)(6.69)

М к = 1 “

или как средне-взвешенное в соответствии с обратными величинами дисперсий; МА

Д ^H^gw^

Gn^V (6.70)

м

k = l к

С

^к»(<о) = |О^>(<о)|2,(6.71)

представляющей собой периодограмму ^-й подгруппы. Обратная величина дисперсии оценки G^k\elw) равна (}^ (со)/Фу(со), но Фу (со) сокращается при образовании (6.70).

Преимущество оценки (6.70) состоит в возможности эффективного использования быстрого преобразования Фурье (БПФ), когда ZN можно разбить так, чтобы число R являлось степенью двойки. Сравните с задачей 6G.4.

Оценивание спектра шума^*\

До сих пор рассматривались вопросы оценивания Go в соотношении (6.1):

^(O = Goto)«(O + u(O.(6.72)

Перейдем теперь к проблеме оценивания спектра Фу (со) процесса {u(f)>. Если бы шум u(f) был доступен для прямого измерения, можно было бы использовать (6.48):

Ф" (<о) = 7 W7 « - <о)| VN «)|2^.(6.73)

— 7Г

Здесь ^ (•) — частотное окно того же типа, как и ранее.

Свойства оценки (6.73) можно установить с помощью такого же анализа, какой был проведен в предыдущем разделе. Имеем:

смещение

ЕФ« (<о) - Ф„ (со) = ^ М (7)Ф^ (со) + O(Ct (7)) + 0(1 l<N ),(6.74)

^-у —>оо№~►во

дисперсия

А

УагФ^со)^ Фу (со) + o(\(N\ со^О^п.(6.75)

NN_^oo

Более того, оценки для различных частот асимптотически некоррелированы.

Спектр невязки. Далее снова считаемого шум и (г) в (6.72) не доступен прямому измерению. Однако, имея оценку GN передаточной функции, можно заменить и в предыдущем выражении на

w (0 =7(0 - ^n^WY (6.76)

что приводит к оценке

Ф"(ы) = 7 ^ и - <0)1 YN (?) - G^) UN (?)l2d?.(6.77)

- я

I—

Если Сдг(е^) сформирована по (6.46) с тем же окном W7(-)» это выражение может быть преобразовано следующим образом (используя (6.48)—(6.51)):

7 И^-“)1у^($)12^ + / И^"“)1^а)121<^^ - я-я

— 2Re / W^^-^Gn^Un^Yn^^ ~ — я

* 7 ^7 (?-<о)| Yn (?)|2^ + I ^(e^)|27 И/7 (?-<o)| UN (?)|2d? - -я-Я

- 2Re Gn (e^) } W^- w) UN (?) YN (?)J? = — Я

= Ф^(со) += Ф^(со) +I ф^„(<0)|2 (Ф^ы))2I ф^„(<0)|2 (Ф^ы))2ф/vф/v(со) - 2Re(со) - 2ReФ^Мф"(ы)Ф^Мф"(ы)Фуи(^).Фуи(^).Здесь приближенное равенство следует из замены гладкой функции GN(e1^ в окрестности точки £ = со ее значением при £ = со. Следовательно, имеемЗдесь приближенное равенство следует из замены гладкой функции GN(e1^ в окрестности точки £ = со ее значением при £ = со. Следовательно, имеемaw an |Ф^„(со)|2Ф?(О) = Фу (со)7—Ф^(ш)aw an |Ф^„(со)|2Ф?(О) = Фу (со)7—Ф^(ш)(6.78)(6.78)Асимптотически, при 7V-* оо и 7 -^оо^ когда в соответствии с (6.60) Сдг(-) ^ ^ 6’о( ), получаем, что оценка (6.77) стремится к (6.73). Асимптотические свойства (6.74) и (6.75) будут теми же и для (6.77) и (6.78). Кроме перечисленных уже свойств можно отметить, что оценки Ф^ (со) асимптотически некоррелированы с См(е1Ш). Более того, совместное распределение Ф^(сок), GN(elb3k^ (к =Асимптотически, при 7V-* оо и 7 -^оо^ когда в соответствии с (6.60) Сдг(-) ^ ^ 6’о( ), получаем, что оценка (6.77) стремится к (6.73). Асимптотические свойства (6.74) и (6.75) будут теми же и для (6.77) и (6.78). Кроме перечисленных уже свойств можно отметить, что оценки Ф^ (со) асимптотически некоррелированы с См(е1Ш). Более того, совместное распределение Ф^(сок), GN(elb3k^ (к == 1, 2,... , л) является асимптотически нормальным со средним и дисперсиями, определяемыми соотношениями (6.58) - (6.64) и (6.74), (6.75). Подробное изложение асимптотической теории представлено в монографии Бриллингера [63, гл. 6].= 1, 2,... , л) является асимптотически нормальным со средним и дисперсиями, определяемыми соотношениями (6.58) - (6.64) и (6.74), (6.75). Подробное изложение асимптотической теории представлено в монографии Бриллингера [63, гл. 6].Когерентность спектров. ОбозначимКогерентность спектров. Обозначимк уик уиуПф^)£ф^(ш)ф^ (ш)уПф^)£ф^(ш)ф^ (ш)(6.79)(6.79)ТогдаФ"(<о) = Ф^(<о)[1 -(к"(<о))2].ТогдаФ"(<о) = Ф^(<о)[1 -(к"(<о))2].(6.80)(6.80)Функцию кум(со) можно называть когерентностью спектров и рассматривать как (зависящий от частоты) коэффициент корреляции между входной и выходной 148Функцию кум(со) можно называть когерентностью спектров и рассматривать как (зависящий от частоты) коэффициент корреляции между входной и выходной 148

= Ф^(со) +

= Ф^(со) +

I ф^„(<0)|2 (Ф^ы))2

I ф^„(<0)|2 (Ф^ы))2

ф/v

ф/v

(со) - 2Re

(со) - 2Re

Ф^Мф"(ы)

Ф^Мф"(ы)

Фуи(^).

Фуи(^).

Здесь приближенное равенство следует из замены гладкой функции GN(e1^ в окрестности точки £ = со ее значением при £ = со. Следовательно, имеем

Здесь приближенное равенство следует из замены гладкой функции GN(e1^ в окрестности точки £ = со ее значением при £ = со. Следовательно, имеем

aw an |Ф^„(со)|2

Ф?(О) = Фу (со)7—

Ф^(ш)

aw an |Ф^„(со)|2

Ф?(О) = Фу (со)7—

Ф^(ш)

(6.78)

(6.78)

Асимптотически, при 7V-* оо и 7 -^оо^ когда в соответствии с (6.60) Сдг(-) ^ ^ 6’о( ), получаем, что оценка (6.77) стремится к (6.73). Асимптотические свойства (6.74) и (6.75) будут теми же и для (6.77) и (6.78). Кроме перечисленных уже свойств можно отметить, что оценки Ф^ (со) асимптотически некоррелированы с См(е1Ш). Более того, совместное распределение Ф^(сок), GN(elb3k^ (к =

Асимптотически, при 7V-* оо и 7 -^оо^ когда в соответствии с (6.60) Сдг(-) ^ ^ 6’о( ), получаем, что оценка (6.77) стремится к (6.73). Асимптотические свойства (6.74) и (6.75) будут теми же и для (6.77) и (6.78). Кроме перечисленных уже свойств можно отметить, что оценки Ф^ (со) асимптотически некоррелированы с См(е1Ш). Более того, совместное распределение Ф^(сок), GN(elb3k^ (к =

= 1, 2,... , л) является асимптотически нормальным со средним и дисперсиями, определяемыми соотношениями (6.58) - (6.64) и (6.74), (6.75). Подробное изложение асимптотической теории представлено в монографии Бриллингера [63, гл. 6].

= 1, 2,... , л) является асимптотически нормальным со средним и дисперсиями, определяемыми соотношениями (6.58) - (6.64) и (6.74), (6.75). Подробное изложение асимптотической теории представлено в монографии Бриллингера [63, гл. 6].

Когерентность спектров. Обозначим

Когерентность спектров. Обозначим

к уи

к уи

уПф^)£ф^(ш)ф^ (ш)

уПф^)£ф^(ш)ф^ (ш)

(6.79)

(6.79)

Тогда

Ф"(<о) = Ф^(<о)[1 -(к"(<о))2].

Тогда

Ф"(<о) = Ф^(<о)[1 -(к"(<о))2].

(6.80)

(6.80)

Функцию кум(со) можно называть когерентностью спектров и рассматривать как (зависящий от частоты) коэффициент корреляции между входной и выходной 148

Функцию кум(со) можно называть когерентностью спектров и рассматривать как (зависящий от частоты) коэффициент корреляции между входной и выходной 148

последовательностями. Если на некоторой частоте этот коэффициент равен 1, то на этой частоте имеет место полная корреляция между входной и выходной величинами. Следовательно, на этой частоте шума нет, что подтверждается соотношением (6.80).

Заключение

В этой главе было показано, как простые способы анализа переходных процессов и реакции на гармоническое воздействие могут существенно прояснить свойства линейных систем. Была введена эмпирическая оценка передаточной функции

aYn (со)

cw(^) = 77—(6.81) Un (ш)

основанная на данных из интервала 1 < г < ^. Здесь

1 N1 лг

Yn (") = S у(Г>е-“ш, UN М = — S и^е-иш.

s/N f=1Vn f=1

Эмпирическая оценка передаточной функции является асимптотически несмещенной, но имеет конечную дисперсию величиной Фи (<о)/Щу(со) | 2 (см. лемму 6.1). Было показано, как сглаживание эмпирической оценки передаточной функции приводит к оценке, получаемой в спектральном анализе:

GN(e^) = -^—n(6.82)

7 W^-g^Uk^V^

Соответствующая оценка спектра шума равна

Ф»(^) = / ^a-^ir^^-G^)^^)!2^.(6.83)

— я

Свойства этих оценок кратко подытожены соотношениями (6.58)-(6.64) и (6.74), (6.75).

Эти свойства зависят от параметра 7, который описывает ширину выбранного частотного окна И^. Узкое окно (большое 7) приводит к маленькому смещению, но большой дисперсии оценки, в то время как для широких окон имеет место обратная ситуация.

Комментарии к библиографии

Раздел 6.1. Общий обзор непараметрических методов идентификации систем был сделан Уэстедом [427]. Обзор методов, основанных на анализе переходных процессов, дан Раке [334]. Различные способы определения численных характеристик по реакции на ступенчатое входное воздействие обсуждаются в работе Шварце [355]. Обзор корреляционных методов сделал Годфри [136].

Раздел 6.2. Частотный анализ, являясь классическим методом идентификации, описан во многих учебниках по управлению. Более детальное описание содержится в работах Раке [334] и Острема [23], где также изложен ряд интересных примеров.

Раздел 6.3. Общие методы гармонического анализа Фурье также обсуждаются в [334]. Термин ’’эмпирическая оценка передаточной функции” для G введен в данной главе, однако подобная оценка хорошо известна.

Разделы 6.4 и 6.5. Спектральный анализ является стандартным предметом в учебниках по временным рядам. См., например, книги Гренандера и Розенблатта [147, гл. 4—6], Андерсона [14, гл. 9] и Хэннана [163, гл. 5]. В них рассматриваются прежде всего вопросы оценивания спектров. Среди специальных работ по методам в частотной области, включающих оценивание передаточных функций, отметим всестороннее аналитическое исследование в монографии Бриллингера [63], хорошо продуманное обсуждение как статистических свойств, так и прикладных аспектов в книге Дженкинса и Уоттса [193], а также ориентированный на приложения подход в книге Бендата и Пирсона [41]. Другое обширное изложение содержится в монографии Пристли [329]. Обзоры различных методов в частотной области даны в книге Бриллингера и Кришнайя [65], а ориентированный на управление обзор сделан Годфри [136]. Приведенное здесь изложение основано на работе Льюнга [251 ]. Первое использование идеи сглаживания периодограмм с целью получения лучшей спектральной оценки, по-видимому, сделано в работе Дэниела [91]. Критическое обсуждение окон для спектрального анализа проведено Геклини и Явузом [130] и Папулисом [317].

Оценивание передаточных функций методами спектрального анализа широко использовалось, например, в эконометрике Грэнгером [144], в геофизике Робинсоном [344], в промышленных приложениях Густавссоном [153] и во многих других областях. В литературе имеется огромное количество примеров.

Кроме прямых методов в частотной области для оценивания спектров, многие эффективные методы основаны на параметризации: некоторые из них обсуждаются в следующей главе. Так называемые методы максимума энтропии нашли широкое применение в приложениях по обработке сигналов. Впервые идея изложена Бургом [68], а Кэй и Марпл [211] дали сравнительный обзор различных подходов.

Задачи

. Рассмотрим систему

y(r) = Go(^)u(f) + v(O, управляемую регулятором

u(r) = -Р^укП*г^,-

где г (г) - внешний эталонный сигнал. Процессы г и и независимы и имеют спектры Ф^(си) и Фу(и) соответственно. Обычная оценка передаточной функции Go на основе спектрального анализа задается формулой (631), а также (6.46). Покажите, что при стремлении Nh 7 к бесконечности оценка GN(elu)) будет сходиться к

„ iG> С^е^ФгМ-ЕСе'^ФиМ

G*(e) = : .

Фг(ы) + 1Ле‘ш)|2Фи(Ш)

Что произойдет в двух частных случаях Фг = 0 и F = 0 соответственно? Указание: сравните с задачей 2Е.5.

Предварительная фильтрация. Входная и выходная величины предварительного фильтра

uFm = Lu(q)u(t), yFm = LyWtO .

Если имеет место (6.32), то профильтрованные переменные подчиняются уравнению

Ур^ = cf(<7)uF(r) + »FU\

р Lyi,q^

Gq(<7)= G0(q), vF(t) = Ly(q)u(t).

Lu (q)

Примените спектральный анализ к uF> yF> образуя, таким образом, оценку G^(eiu)V Тогда 150

оценка исходной передаточной функции будет равна а

Определите асимптотические свойства G^ito) и обсудите, как следует выбирать Lu и Ly для получения наименьшей среднеквадратичной ошибки (ср. с [251 ]).

6G.3. На рис. 6.3 амплитуда эмпирической оценки передаточной функции, по-видимому, систематически превышает истинную амплитуду, несмотря на несмещенность оценки в соответствии с леммой 6.1. Однако несмещенность оценки G передаточной функции Go не означает, что |G| будет несмещенной оценкой |G0|. Докажите, что фактически в предположениях леммы 6.1

А ььW

Я1 Сдг(^ )12 = I G0(* )l2 +

I C/^/v(o>)l3 асимптотически при

Спектральная оценка Кули-Тьюки определяется как

М

ф„м = - s । г^мр,

М к=1 к

где I У^\ш1\2 - периодограмма k-й подгруппы данных:

ИЧШ) = 2 v«k - ПК*1)е-1ш!.

R VR 1=1

См. работы Кули и Тьюки [85] или Хэннана [163, гл. 5]. Оценка взаимного спектра определяется аналогичным образом. Эта оценка имеет преимущество эффективного применения быстрого преобразования Фурье, если R является степенью двойки. Покажите, что оценка (6.70) равна отношению двух соответствующих спектральных оценок Кули-Тьюки.

6G.5. "Повторения" или "замирания". Величина смещения p^N> в (6.36) может быть уменьшена за счет повторения, или зацикливания данных. Пусть V^ (о>) определяется как

N.

где {Аг}^- последовательность чисел ht (функция повторения), для которой N

Пусть

N .

Нм<ш) = S к,е-Иш.

t= 1

Покажите, что в условиях леммы 6.2

еху^Ч^х1- / 1//м^-01гФ0а)^«-

Покажите, что наша стандартная оценка периодограммы, использующая ht = Hxflt, приводит к равенству

.1 sin^/2 I21

1ЯдЛ^)12 = - —•

N sina>/2

Другие коэффициенты повторения (или ’’замирания”, или ’’факторы сходимости”) могут привести к функциям |Яд^(о>)|2, которые более похожи на 6-функцию, чем в предыдущем уравнении (см., например, табл. 6.1). Периодограмма повторения, конечно же, может также использоваться для получения сглаженных спектров. Они обычно приводят к уменьшению смещения и (небольшому) возрастанию дисперсии [63, теорема 5.2.3 и раздел 5.8].

Определите оценку (^(е^), основанную на оценках импульсной реакции (6.4). Покажите, что эта оценка совпадает с эмпирической оценкой передаточной функции (6.24).

Рассмотрим систему

У(О = С0^и<П + и(П,

замкнутую пропорциональной обратной связью по выходу

и^» -Ку(О.

Пусть эмпирическая оценка передаточной функции д^^1и)) вычисляется непосредственно по формуле (6.24). Какой будет эта оценка? Проведите сравнение с леммой 6.1.

Пусть w^ (к = 1,2,... ,М) - независимые случайные величины со средними значениями 1 и дисперсиями E^w^ - I)3 = Х^. Рассмотрим

М

w= ^akwk.

Определите а^ (к = 1,... ,М) так, чтобы

(a) Ew = 1.

(b)E(w - I)3 было минимальным.

, 6Т.1. Общий подход к трактовке соотношения между скалярным параметром 7 н временным окном w^(t) и частотным окном IV ^(а>) (см. (6.53)) может быть следующим. Возьмем гладкую функцию w(x) такую, что w(0) = 1 и w(x) = О (|х j > 1), имеющую преобразование Фурье

^(X) = / w(x)e-ix\ix.

Пусть

% =2” Л W2(X)dX,

М= J~X2W(X)dX.

Определим тогда временное окно

w7(t) = w(rhy

Оно приводит к частотному окну

W^ld) = Z w^T>e”^TW‘

Покажите, что для больших 7

IV^(u>) « ylV(7w),

М(7) « M/у2,

IV(7) «Wy,

где Л/(7) и W(y) определены в (6.56). Более того, вычислите и сравните tVT(a>) viyW^yu?) для w(x) = 1 - |х | (| х | < 1) (окно Бартлетта). (Сравните с (6.57). См. также монографию Хэннана [163, раздел V.4J .)

6Т.2. Пусть {v(f)} - стационарный случайный процесс с нулевым средним и ковариационной функцией Яи(т), причем

2j tRu^ I

Пусть

1 N

SN = —^ afv(/), latKCV

N t = 1

Покажите, что для некоторой константы С2

e\sn\2<-^.

6D.1. Докажите (6.52) при соответствующей интерпретации величин вне интервала 1 С < t < N.

6D.2. Докажите более слабую версию леммы 6.2 с | р^СУ)| <C/\jN путем непосредственного применения теоремы 2.1 и использования свойств периодограмм белого шума.

6D.3. Докажите (6.63), используя выражения, аналогичные (6А.З) и (6А.4).

6D.4. Докажите (6.62), используя (6.63) и

Im G(e )—,

2/

6S.L Напишите макропроцедуру

[GH,PHIVH] = 8РА(Л и. GAMMA), которая использует (6.46) и (6.77). Из табл. 6.1 выберите конкретное число у = GAMMA. Простейший способ - использовать (6.9) и (6.10) для | г | С у, затем (6.55) (и такие же соот- А N aN

ношения для Фу(ы), ФуМ(ы)) и, наконец, (6.51) и (6.78). В результате GH и PHIVH должны вычисляться на заранее заданных частотах как векторы.

Приложение 6А. Вывод асимптотических свойств оценки спектрального анализа. Рассмотрим оценку передаточной функции (6.46). Выведем в этом приложении асимптотические свойства (6.58) и (6.59). Чтобы избежать слишком технического изложения, некоторые элементы вывода будем давать на эвристическом уровне. Напомним, что здесь {и(Г)| подразумевается детерминированной квазистационар- ной последовательностью и, следовательно, справедливо (6.47).

Тогда, используя сначала лемму 6.1, а затем соотношение (6.47), и пренебрегая исчезающим членом р t (/V), получим.

д_J W^-b^UN&WYG^e^p^

EG^» )*

/ lV7(^-Gj0)|^(f)|2^ — Л

/^(5-Шо)Фи(е)00(е'$)^

-.(6А.1)

/ И^-с^Ф,, ($)«??

Разлагая теперь в ряд Тейлора (штрих обозначает дифференцирование по со)

G»^) * G0(e^<>) + « - ш0^(е!ш») + у « - coo)2G^^),

Фи (?) « Фы (w0) + (? - ш0) Ф„ (ш0) + у (? - w0 )2 Ф„' (w0 ) и замечая, что в соответствии с (6.56а)

j(e-wo)^7(5-wo)^ = o,

— Л

/ tf-coo)2^?'^)^^), — Л

находим, что числитель в (6А.1) приблизительно равен

(?о(е'Шо)Фи(ыо) + Л/(7)(?о(е'Шо)Фи(ыо) + Л/(7)y<^Go+ yG0X+<Wy<^Go+ yG0X+<W

(?о(е'Шо)Фи(ыо) + Л/(7)

(?о(е'Шо)Фи(ыо) + Л/(7)

y<^Go+ yG0X+<W

y<^Go+ yG0X+<W

а знаменатель —

ШН yAf(T) 1Ф»1;

здесь мы пренебрегли эффектами порядка С3(у) (порядок, более малый по величине, чем Л/(у) при у ->оо- см. (6.56b)). Таким образом, уравнение (6А.1) принимает вид

EG^EG^iu>iu>^*М^ — Gote^VG^^*М^ — Gote^VG^Ф^о) 1Фи(ы<>) ]’Ф^о) 1Фи(ы<>) ]’

EG^

EG^

iu>

iu>

^*М^ — Gote^VG^

^*М^ — Gote^VG^

Ф^о) 1

Фи(ы<>) ]’

Ф^о) 1

Фи(ы<>) ]’

что представляет собой (6.58).

Для того чтобы получить выражение для дисперсии, сначала на основе (6.28) запишем равенство

Лл 2 ^(t - ^о) I М912М№£

Gn<е1ш-) - EGn(e'wо) = —L_.(6А.2)

/ И^-соо)! UN^\2d$

Изучим числитель этого выражения. Запишем его приближенно как сумму Римана (см. соотношение (6.41а); можно было бы все время сохранять дискретную форму):

ТикNТикNXX"-А 2я Nil

Тик

N

Тик

N

X

X

/ W^-<^Wn£Wn^^7 2

-яN к= \-Nfl

(6А.З)

Суммируя от 1 - N(2 до Л/2, используя (6.31) и пренебрегая членом pi^N), получаем

-4л2/ 2тгк \/2л/\ -- / Ink \

EAnAn ~2 S ( с^о )(^о) ^дг( ) X

N1 к i ^\ N / 7 \N / X N /

4тг2N24тг2N2UNUN2тгк \|N /I2тгк \|N /I(6А.4)(6А.4)

4тг2

N2

4тг2

N2

UN

UN

2тгк \|

N /I

2тгк \|

N /I

(6А.4)

(6А.4)

Таким образом, возвращаясь к интегральной форме и используя (6.47), (6.56) и тот факт, что для больших у функция IV 7(£) сконцентрирована около 5=0, получаем

- 2л ".1 -

EAnAn^— У 1Р^(е-со0)Фиа)Фи(0^«— ^(7)Фи(со0)Фи(соо). N-itN

По тем же причинам знаменатель (6А.2) приблизительно равен Фм(со0). Итак, находим

VarlGjV(e<w«)]»VarlGjV(e<w«)]»_0/УУ)ИЧ7)ФЛ^1Фи(^о)]2_0/УУ)ИЧ7)ФЛ^1Фи(^о)]2

VarlGjV(e<w«)]»

VarlGjV(e<w«)]»

_0/УУ)ИЧ7)ФЛ^

1Фи(^о)]2

_0/УУ)ИЧ7)ФЛ^

1Фи(^о)]2

и справедливость (6.59) установлена.

Глава 7

МЕТОДЫ ПАРАМЕТРИЧЕСКОГО ОЦЕНИВАНИЯ

Предположим, что выбрано параметрическое множество возможных моделей с вектором параметров 0, задающее структуру модели (см. раздел 4.5). Тогда поиск наилучшей модели в этом множестве представляет собой задачу определения, или оценивания 0. Существует много возможных способов организации такого поиска и также много различных взглядов на то, что необходимо искать. В настоящей главе внимание концентрируется на последнем аспекте: как следует понимать слова ’’хорошая модель”? Вычислительным вопросам (т.е. как организовать текущий поиск) будут посвящены гл. 10 и 11. Оценка свойств моделей при различных условиях и использовании различных методов производится в гл. 8 и 9. В гл. 15 снова рассматриваются методы оценивания и производятся выводы по рекомендуемым процедурам, ориентированные в основном на пользователя.

Основные принципы формирования

методов параметрического оценивания

Методы параметрического оценивания. Рассмотрим теперь ситуацию, когда выбрана определенная структура модели Л с конкретными моделями ^(0), определяемыми вектором параметров 0 6 D,n CRd. Следовательно, так определенное множество моделей записывается в виде

31* = {J^(0)|0GDu} .(7.1)

Напомним, что каждая модель представляет собой способ предсказания будущих значений выходной переменной. Как отмечалось в гл. 4 предсказатель может быть линейным фильтром

JH6y уЩ(Г)=™у^Ь ^y^W^q, O)u(t).(7.2)

Он соответствует предсказанию на один шаг вперед при описании исходной системы в виде

У^ = G(q, 0)u(t)^H(q, O)e(r),(7.3)

когда

Wy to, 0) = 11 - H-1 Vb 9) 1,Wu^0) = H-4q,0^G<q,ey(7.4)

но к нему также можно прийти другими рассуждениями.

Предсказатель может также представлять собой нелинейный фильтр, как обсуждалось в гл. 5, и в этом случае он записывается в виде общей функции прошлых даных Zt- 1:

^(PY yW^g^Z^VOy(7.5)

Модель ЛСкб^ может также учитывать (модельные) предположения о характере соответствующих ошибок предсказания, как, например, их дисперсии (Х(0)) или их распределение вероятностей /е(х, 0).

Рассматриваемая ситуация состоит также в том, что мы имеем или будем иметь группу данных системы

Z"HHl),u(l),^2),u(2),...,y(W,u№(7.6)

Необходимо теперь ответить на вопрос, как использовать содержащуюся в ZN информацию, чтобы выбрать соответствующее значение 0N вектора параметров и, следовательно, соответствующий элемент 31 (0N ) множества^*. Говоря формаль-

но, необходимо определить отображение множества данных ZN на множество D^ :

ZN-0n^D^.(1Л\

Такое отображение является методом параметрического оценивания.

Оценивание возможных моделей. Рассмотрим задачу определения критерия, с помощью которого можно было бы оценивать возможность различных моделей ’’описывать” данные наблюдений. Выше подчеркивалось, что сущность модели заключается в ее способности предсказания, и судить о ее характеристиках следует также в этом отношении. Так, пусть ошибка предсказания для определенной модели Jt(6*^ задается равенством

€(<f,O#)=y(<t)-y(t\Ollt').*(7.8)

Если набор данных ZN известен, эти ошибки можно вычислить для t = 1, 2,. .., N.

Будем называть ’’хорошей” ту модель, которая хорошо предсказывает, т.е. порождает малые ошибки предсказания для имеющихся данных наблюдений. Заметим, что имеется значительная свобода в выборе различных функций предсказания, а это обусловливает соответствующую гибкость в определении ’’хороших” моделей в терминах качества предсказания. Таким образом, основной принцип параметрического оценивания следующий:

На основе Z1 можно вычислить ошибку предсказания е(Г, 0), используя (7.8).

В момент времени t - N выбираем 0N так, чтобы ошибки предсказания e(r, 0N) (Г = 1, 2,... ^) были по возможности малыми.(7.9)

Вопрос заключается в том, как определить, что означает ’’малость” ошибки предсказания. В этой главе будут описаны два таких подхода. Один состоит в формировании скалярно-значной нормы, или критерия, оценивающего размер е. Этот подход развивается в разделах 7.2-7.4. Другой подход заключается в требовании некоррелированности e(r, 0N) с имеющейся последовательностью данных. Он соответствует требованию того, чтобы определенные ’’проекции” ошибок е(г, Ь^) были нулевыми, и далее обсуждается в разделах 7.5 и 7.6.

Минимизация ошибок предсказания

Последовательность ошибок предсказания (7.8) может рассматриваться как вектор в К^. '’Размер” вектора может оцениваться какой-либо нормой в R^, квадратичной или неквадратичной. Это предоставляет существенную свободу выбора. Мы отчасти ограничим ее рассмотрением только следующего способа оценивания того, ’’как велика” последовательность ошибок предсказания. Пусть последовательность ошибок предсказания преобразуется линейным устойчивым фильтром L (д):

eFV,0) = Uq)e(t,0y Kt<N.(7.10)

Тогда используем норму

W")^ l(eF(/,fl)),(7.11)

N t= i

где /( * ) - скалярно-значная (обычно положительная) функция.

Функция Vn^> ZN ) ДЛЯ Данного ZN является корректно определенной скалярнозначной функцией вектора параметров 0. Она представляет собой естественную меру правильности модели Jt(py Тогда оценка 0N определяется минимизацией (7.11):

0№0w(Z'v) = argmin 1^(0,ZN).(7.12)

о е оИ

Здесь arg min означает ’’аргумент, минимизирующий функцию”. Если минимум не единственный, arg min обозначает множество минимизирующих аргументов. Таким образом, отображение (7.7) определяется посредством (7.12) неявно.

Этот способ оценивания 0 содержит много хорошо известных и часто используемых процедур. Для семейства подходов, соответствующих (7.12), будем использовать общий термин методы идентификации по ошибке предсказания. Конкретные методы со своими специальными ’’именами” получаются из (7.12) как частные случаи в зависимости от выбора / (* ), предварительного фильтра L ( • ), структуры модели и, в некоторых случаях, от выбора метода минимизации. В следующих двух разделах будет уделено внимание двум особенно хорошо известным представителям семейства (7.12). Сначала, однако, обсудим некоторые вопросы выбора !(д) и /( • ) в (7.10) и (7.11). См. также раздел 15.2.

Выбор!. Действие фильтра L состоит в придании дополнительной возможности учета свойств ошибок предсказания, относящихся к разным моментам времени. Ясно, что в случае линейного стационарного фильтра и скалярных у и и результат фильтрации е будет таким же, если сначала подвергнуть фильтрации данные входных и выходных величин, а затем применить предсказатель.

Действие L легче всего понять интерпретацией (7.12) в частотной области; полное обсуждение этого будет отложено до гл. 13. Ясно, однако, что за счет использования L могут быть устранены несущественные при моделировании эффекты высокочастотных возмущений или медленного дрейфа и т.п. Также представляется разумным, что с помощью соответствующего выбора L некоторые свойства моделей могут быть усилены или подавлены. Фильтр L действует, таким образом, как частотное взвешивание.

Важно отметить следующий аспект фильтрации (7.10). При использовании модели (7.3) пропущенная через фильтр ошибка €p(t, 0) имеет вид

eF(r, 0) = Ц<Пф, 0) = \L"4q)H(q, б)]’1 [у (Г) - G^q, 6X01 • (7ЛЗ)

Таким образом, эффект предварительной фильтрации идентичен изменению модели шума с H(q, 0)на

Нь^.в^Ь'Чц^н^еу (7.14)

При описании и анализе методов, которые используют общую модель шума в линейных системах, будем, как правило, ограничиваться !(^)=1, поскольку свобода выбора предварительного фильтра учитывается при выборе H(q, 0). Обсуждение практического использования и действия L(q) будет дано в гл. 13.

Выбор/. Первым кандидатом при выборе /( •) должна быть квадратичная норма, т.е.

Це>=^ег, (7.15) и это, действительно, стандартный выбор, который удобен как для вычислений, так и для анализа. Вопросы робастности относительно плохих данных могут, однако, служить оправданием использования других норм, некоторые детали которого будут обсуждаться в разделе 15.2. Можно также представить себе ситуации, когда ’’наилучшая” норма не известна заранее, поэтому разумно параметризовать саму норму:

Z(e,0). (7.16)

Часто параметризация нормы не зависит от параметризации модели:

/0'\,

): Z(e(r,0),0) = Z(e(t, 0'),«).(7.17)

\а /

Исключение из этого случая сформулировано в задаче 7Е.4.

Нестационарные нормы. Может оказаться, что измерения, рассматриваемые в различные моменты времени, обладают различной достоверностью. Причина может быть в том, что степень искажения шумом изменяется или что некоторые измерения являются менее представительными в отношении свойств системы. В таких случаях есть основания рассматривать норму Z, зависящую от времени:

^(0,7^ = ^- S Z(e(r,0),0,r).'(7.18)

Таким способом можно менее достоверным измерениям придать меньший вес в критерии.

Мы будем часто работать с критерием, в котором взвешивание производится полностью за счет весовой функции 0(N, ty

N

yN(6,ZN)= 5 0(N,t)l(e(t,0),0).(7.19)

Для фиксированного N зависимость j8(M t) от N является, конечно же, несущественной. Однако когда производится сравнение оценок 0N для различных N, как, например, в рекуррентной идентификации (см. гл. 11), представляет интерес обсуждение того, как 0(N, г) изменяется с ростом N. Этот вопрос будет рассматриваться в разделе 11.2.

Частотная интерпретация квадратичного критерия ошибки предсказания для линейных стационарных моделей. Рассмотрим квадратичный критерий ошибки (7.12) и (7.15) для стандартной линейной модели (7.3)

1 N 1

^6,ZN) = — S — еЧМ),(7.20)

N t-1 2

e(r, 0) = Я-* (q, в) [y(z) - G(q, 0)u(t)].

Пусть E^tlnklN, 0) {к = 0, 1,... 9N - 1) - дискретное преобразование Фурье ошибки е(г, 0) (г=1,2,... Л):

1 N

EN(2itk/N, fl) = S e(z, 0)e'l1,kitlN.

r=i'

Тогда по равенству Парсеваля (2.44)

yN(e,zN) = ^-Ni' [^(2пк/^е)\2.(7.21)

2^ k = 0

Пусть теперь

w(t,e) = G(q)u(0.

Тогда дискретное преобразование Фурье от w(z, fl) в соответствии с теоремой 2.1 равно

WN(w, 6) = G(ei(4 9) UN^ + Ллг(со), где

I ^w(w) I < " •

VvV

Отсюда дискретное преобразование Фурье от s (t, в) = у (t) - w (г, 0 ) равно''

SN(w,e)= YN^-G^eiw,9^UN^-RN^.

Наконец,

e(t, 0) = /r’(^0)s(r,0)

имеет дискретное преобразование Фурье в соответствии с той же теоремой 2.1

En (со) = Н"1 (е‘ш, 0)SN (со, 0 ) + RN (со), где | ^(со)^-^.

x/N

Подставляя эти соотношения в (7.21), получаем

yN(0, ZN) = — ^ '— I H^ell,lklN.O^V1 | YN(2nk/N)- N k=o 2

- G(e2ltik,N ,6)UN(2’nk/AT)\2 + ~RN,

где | RN I ^ C/xjN, или, используя определение эмпирической оценки передаточной функции Gn (6.24),

KN(9,ZN) = —*2 [— [ GN(e2vik/N) - G(e2”ik/N,9)^ X N к=0 I 2

x QN(e2fiikfN.9) + RNA,(7.22)

где

|^(се)|2■

QAr(co,0) =^^—-.(7.23)

|Я(е'“,0)|2'

Заметим сначала, что, кроме остаточного члена RN, выражение (7.22) совпадает с критерием взвешенных наименьших квадратов для модели

GN(e2wikfN') = G(e2l,ik,N,9V»(.ky' (7.24)

Сравните с (11.96) и (11.97). По лемме 6.1 дисперсия и^к) асимптотически равна Ov(2irklN)l\ Un^^I^^2 > откуда весовой коэффициент Qn^» 0) является обратной величиной дисперсии, т.е. в соответствии с (11.65) оптимален для линейных регрессий. В (7.23) неизвестный спектр шума Фи(<о) заменен спектром шума модели \H(etU), 0)|2. Следовательно, методы ошибки предсказания могут рассматриваться как методы подгонки эмпирической оценки передаточной функции к передаточной функции модели по взвешенной норме, соответствующей модельному отношению сигнал/шум на рассматриваемой частоте. Для удобства обозначений поучительно переписать (7.22) приближенно через интеграл:

VN(9,ZN^^-^ /vl^v(e'“)-G(e'“,9)l2(2^(7.25)

2л — тг 2

Сдвиг интервала интегрирования с (0, 2л) к (— л, л) возможен в силу периодичности подынтегральной функции.

Эта интерпретация описывает оценку в терминах ошибки предсказания как альтернативный способ сглаживания эмпирической оценки передаточной функции,

показывающий тесную концептуальную связь с методами спектрального анализа из раздела 6.4. См. задачу 7G.2 о прямой связи этих методов.

Если ограничиться случаем временных рядов (нет входа и G^q, 0) = 0), критерий (7.25) принимает вид

м IяYn (cd)

VN(P,ZN) = J т-2— dw.(7.26)

2л Л Н(е ,0)7

Такие параметрические оценки спектров известны как ’’оцениватели Уиттла” [430].

Многомерные системы^*\ Для систем с многомерным входом квадратичный критерий принимает вид

/(б)= у е^е(7.27)

для некоторой симметрической положительно полуопределенной р X р-матрицы Л, которая устанавливает веса относительной важности компонент е.

Можно было бы обсудить, какой выбор нормирующей матрицы Л является наилучшим. В некоторых деталях это будет сделано в разделе 15.2. Здесь же заметим только, что, как в (7.16), вектор параметров О можно расширить, включив в него компоненты матрицы Л, и функция / тогда будет соответствующей функцией от 0.

Как вариант критерия (7.11), где скаляр 7(e) формируется для каждого г, можно прежде всего образовать матрицу

QnK^V 4г ^ е(Л0)ег(г,0)(7.28)

N j

и ввести критерий скалярно-значной функции этой матрицы:

KN(6,ZNy = h(QN(0,ZNyy.(7.29)

Тогда критерий (7.27) получается при

^e^ytr^A*1).(7.30)

Линейные регрессии и метод наименьших квадратов

Линейные регрессии. В разделах 4.2 и 5.2 было установлено, что структуры линейных регрессионных моделей очень полезны при описании основных линейных и нелинейных систем. Линейная регрессия использует предсказатель (5.34)

y(t\6) = ^(tye + д(0, (7.31)

который линеен по 6. Здесь ф - вектор регрессоров, или регрессионный вектор. Напомним, что для ARX-структуры (4.7) имеем

Ф(0 = [-УО - 1) —yU -2)... -y^t - na)u(t - 1)... u(t - nb)V- (7.32)

В (7.31) д(Г) - известный зависящий от данных вектор. Далее в этом разделе для простоты обозначений полагаем д(Г) = 0, что совершенно допустимо. См. задачу 7D.1.

Линейная регрессия является стандартным направлением исследований в статистике. Основные свойства читатель может найти в Приложении И. Однако настоящий раздел может быть прочитан независимо от Приложения И.

Критерий наименьших квадратов. С учетом (731) ошибка предсказания принимает вид‘

e(t, 9) = у (0 - /(09,

и критериальная функция из (7.10), (7.11) при L (^) = 1 и 1^ = е2/2 равна

1 N 1

vN<e,zN) = - s -\y(O-Z(oeV.(7.зз)

N t = i 2

1 NJ N•— 2 <^(r)ZW— 2 ф(0у(0(7.34)N t= iI N t= i1 NJ N•— 2 <^(r)ZW— 2 ф(0у(0(7.34)N t= iI N t= iЭто - критерий наименьших квадратов для линейной регрессии (731). Уникальным свойством этого критерия является его квадратичность по 0, получающаяся в результате линейной параметризации и квадратичное™ критерия. Следовательно, минимум может быть найден аналитически при условии, что существует указанная обратная матрица:

1 NJ N•

— 2 <^(r)ZW— 2 ф(0у(0(7.34)

N t= iI N t= i

1 NJ N•

— 2 <^(r)ZW— 2 ф(0у(0(7.34)

N t= iI N t= i

0wS “ argminKjv(0, ZN^ =

- оценка метода наименьших квадратов (МНК) (см. задачу 7D.2).

Введем d X d-матрицу

1 N

RW = — 2 ф(0/(0(7.35)

N i

и d-мерный вектор-столбец

1 N

fw = — 2 ^(r)^(r).(736)

N t = i

В случае (7.32) ^p^t) содержит задержанные входные и выходные переменные, а компоненты величин (735) и (736) будут иметь вид

n

[^ (ЛО] tf = ~ 2 у (г - i)y(t - /), 1 < ij < па N t = i

и аналогичные суммы произведений u (г — r)u(t — s) или u(t — t)y(t — s) для других элементов R(N). Другими словами, эта матрица и вектор-столбец будут состоять из оценок ковариационных функций (у(г)} и {и (г)} . Таким образом, оценка МНК может быть вычислена только с использованием этих оценок и, следовательно, имеет отношение к корреляционному анализу, описанному в разделе 6.1.

Свойства оценок МНК. Метод наименьших квадратов представляет собой частный случай метода идентафикации по ошибке предсказания (7.12). Анализ его свойств, таким образом, охватывается общим рассмотрением в гл. 8 и 9. Однако, полезно провес™ здесь эвристическое исследование оценки МНК.

Предположим, что наблюдаемые данные генерируются в соответствии с уравнением

у(0 = /(О^о +ио(0(7.37)

для некоторой последовательное™ (ио(О^ • Можно мыслить 0о как ’’истанное значение” вектора параметров. Подставляя (737) в (734), получаем

Ат о1 N

^ = [Я(Л0Г*~ 2 ф(О(/(О6о + иь(01 =

JV t = i

1 N

= 0O + mi'1;? 2 <^(0^>(0.(7.38)

Желаемые свойства 9N должны быть следующими:

Оценка близка к О 0.

Оценка стремится в пределе к 0О ПРИ N

Заметим прежде всего, что если и0 (г) в (7.37) малы по сравнению с ср (z), то ошибочный член

N

М"1- 2 ^Wvo^ N t = i

будет мал, и, таким образом, 6N будет близка к 0О. Чтобы исследовать, что происходит в пределе при W^«>, удобно предположить, что (u0(z)} является реализацией стационарного случайного процесса, и ограничиться случаем (7.32). Предположим, что входная последовательность квазистационарна, т.е. сходятся суммы типа•

Л1 N_

Ru У) = — 2 u(t)u<t - т) RM(T) = ^(z - r)u(z) N t = i

при N 00. Тогда матрица R (AQ (которая состоит из таких сумм) будет сходиться (с вероятностью 1):

RW R\ yE<p(t)<pT(t)) при N

Аналогично при слабых предположениях с вероятностью 1

£-

— 2 ^(Z)uo(O ^*, (=£\p(Z)uo(O) ИРИ AZ оо.

N t — 1

(Ср. с теоремой 2.3.) Таким образом

0^ 0О f ^R*Yxh* при ^ ^ оо(7.39)

при условии, что R* не вырождена. Следовательно, для того чтобы оценка МНК была состоятельна» т.е. чтобы 9N сходилась к 0О, мы должны потребовать:

R* невырождена. Это будет иметь место, например, если (u(f)} и { Vo (О) независимы, a m X m-матрица, имеющая в качестве /, /-элемента RUQ — /), невырождена. В этом случае входную последовательность называют постоянно возбуждающей порядка пъ (подробное обсуждение этого понятия дается в разделе 14.2).

h* = 0. Это будет выполняться, если либо

(Из) { Uq (Z) } является последовательностью независимых случайных величин с нулевыми средними значениями (белый шум). Тогда и0 (О не зависит от того, что происходило до момента времени t — 1 включительно, и, следовательно, Ер (Z)и0 (г) = 0;

либо

(iib) входная последовательность (u(f)} не зависит от последовательности шумов {и0 (О) , имеющих нулевые средние значения, и па = 0 в (7.32). Тогда ф (г) содержит только члены с и и, следовательно, ^(f)u0 (f) = 0. Если па > 0, так что ^(z) содержит ^(А;), t - па < к < t - 1, а {и0 (f)} не является белым шумом, то (обычно) Ev0 (t)<p(t) Ф 0. Это обусловлено тем, что ^^ содержит y(t - 1), а у (t - 1) содержит член и0 Q - 1), т.е. коррелирует с и0 (z). Следовательно, состоятельность можно ожидать только в случаях (iia) и (iib).

В случаях (i) и (iia) можно показать (см. гл. 9), что последовательность случайных величин

VN(6n - 0О)

сходится по распределению к нормально распределенной случайной величине с нулевым средним и матрицей ковариаций Хо [Л*]"1» где Хо - дисперсия и0^У В связи с этим вопросы планирования эксперимента (т.е. выбор свойств {и (г)} ) сводятся к задаче обеспечения ’’большого” значения R* с учетом заданных ограничений. Эти вопросы обсуждаются в гл. 14.

Взвешенные наименьшие квадраты. Так же, как и в (7.18) и (7.19), в критерии наименьших квадратов различным измерениям могут быть назначены различные веса:

N

VN(6,ZN) = — 2 аДу(О - Z(0^]2(7.40)

N t = i

или N

MUN)=-/lOep.(7.41)

Выражение получающейся при этом оценки полностью аналогично (7.34): NN

6n = I 2 P(N, O^CO^tOJ-1 2 0(N, ПфО)уО).(7.42)

И = IГ = 1

Многомерный случай ^*\ Если выходная переменная у (Z) является р-мерным вектором и используется норма (7.27), критерий наименьших квадратов принимает вид

N 1

VN(0, ZN) = — 2 -Vy(t) - ^(ООГЛ'Ч^Ю - Л)0Ь (743) N t= i 2

Он порождает оценку

AI О Г 1 N1-1 1 N

9n = — 2 ^(OA'VtO — 2 y(r)A-*y(0.(7.44)

t- iJ N t = i

В случае, когда мы используем конкретную параметризацию (4.53) с матричным г X р параметром 9,

y(t\9) = 9т^(0,(7.45)

критерий наименьших квадратов принимает вид

1

VN (9, ZN) = — S НПО ~ ^(Oll2,(7.46)

N i

а оценка

als Г 1^I"1 1 N

9n = 77 2 *(0^(0— 2 ч^у1^(7.47)

LW r= iJ N t= [

(см. задачу 7D.2). Выражение (7.47) выявляет преимущества структуры (7.45): чтобы определить оценку 0N г X р-матрицы, достаточно обратить г X г-матрицу. В (7.44) 9 -рг-мерный вектор, а обращению подлежит pr X рг-матрица.

Цветной шум(*). Метод наименьших квадратов имеет много преимуществ, наиболее важным из которых является возможность эффективного и однозначного нахождения глобального минимума критерия (7.33) (других локальных минимумов, кроме глобального, не существует). Его основной недостаток относится к асимптотическим свойствам, отмеченным ранее: если в разностном 6*из

уравнении

>>(0 + агу(г - 1) + .+ a„ay(t - На) =

= b^t - 1) + ... + b„bu(t - н6) + v(r)'

ошибка и (г) не является белым шумом, то оценка МНК не сойдется к истинным значениям а5 и Ь{. При рассмотрении этой проблемы можно ввести дополнительное уравнение, моделирующее ошибку и (г), как обсуждалось в разделе 4.2; пусть, скажем,

КО = К<7)К0,(7.49)

где е - белый шум, а к — линейный фильтр. Использование моделей (7.49) обычно приводит к методам, отличным от МНК, за исключением двух случаев, которые мы сейчас и рассмотрим.

Известные свойства шума. Если в (7.48) и (7.49) а^ и Ь; неизвестны, но фильтр к известен (не очень реальная ситуация), имеем

A(q)y(t) = B(qMt)+iWt).'(7.50)

Применяя фильтр к"1 (^) к обеим частям равенства (7.50), получаем

А^Уг^ = В^ир^ + е(г),(7.51)

где.

УгкО = К-1(^)^(О, ^р(0 = к"г^и^.(7.52)

Поскольку е — белый шум, можно применить МНК к (7.51) без каких-либо осложнений. Заметим, что это эквивалентно применению фильтра L (^) = к-1 (^) в (7.10).

Модели высокого порядка. Допустим, что шум и можно хорошо описать уравнением (7.49) с к (^) = 1/D(q), где£)(^) - полином степени г. (То есть и (г) предполагается авторегрессионным (AR) процессом порядка г.) Тогда

А (^(0 = В^и^ + -?— е(г),(7.53)

У to) ИЛИ

A^D^yQ^ = B^D^u^ + КО-(7.54)

Применение МНК к (7.54) с порядками пА = па + г и пв = пь + г дает состоятельные оценки AD и BD, поскольку е - белый шум. Следовательно, передаточная функция от и к у

в^р^ = в^

А^Р(я) А to).

оценивается правильно. В [28] этот подход был назван МНК с повторением. См. также [367] и [387].

Статистическая трактовка параметрического оценивания

и метод максимального правдоподобия

До сих пор мы не использовали какую-либо статистическую аргументацию для оценивания. Действительно, принцип подгонки моделей к данным имеет смысл безотносительно к статистической трактовке данных. Однако полезно и поучительно в данном случае кратко описать основные аспекты статистического параметрического оценивания и соотнести их с вышеизложенным.

Оценивание и принцип максимального правдоподобия. Область теории статистических выводов также, как идентификация систем и параметрическое оценива- 164

ние, представляет собой проблему извлечения информации из наблюдений, которые сами могут быть не достоверными. При этом наблюдения рассматриваются как реализации случайных величин. Допустим, что наблюдения представляют собой случайный вектор yN = (^(1), у(2),..., y(7V)), принимающий значения в ^.Предполагаем, что существует функция плотности распределения вероятностей, равная

f(e;xl,x2,...,xN)=fy(.9-,xN),(7.55)

т.е.

P(yN е А) = Г fy(9- xN)dxN. ’(7.56)

xNe а

В (7.55) 6 — d-мерный вектор параметров, описывающий свойства наблюдаемых величин. Он предполагается неизвестным, а цель наблюдений фактически состоит в оценивании вектора О по yN. Эта цель реализуется оценкой

е (yN),(7.57)

которая является функцией, отображающей R^ в Rd. Если наблюдаемое значение yN является вектором у^,то, следовательно, получающаяся оценка равна 8, = = ^).

Можно использовать много таких функций оценивания. Оценка, максимизирующая вероятность наблюдаемого события, была введена Фишером в [117] и получила название оценки максимального правдоподобия. Она может быть определена следующим образом. Функция плотности совместного распределения вероятностей наблюдаемого случайного вектора задается (7.55). Таким образом, вероятность того, что реализация (= наблюдение) действительно должна принять значение у* , пропорциональна

М;у?у

Это детерминированная функция 0, поскольку вместо yN подставлены численные значения у* . Она называется функцией правдоподобия и отражает ’’правдоподобие” того, что наблюдаемое событие имеет место на самом деле. Разумной оценкой вектора 0 тогда может быть выбрана такая величина, при которой наблюдаемое событие ’’наиболее правдоподобно”. Таким образом, ищем

УмьО") = arg max/^(б; у?),(7.58)

е

где максимизация производится при фиксированном у^. Эта функция известна как оценка максимального правдоподобия (оценка ММП).

Пример. Пусть y(i), г = 1N, ~ независимые нормально распределенные случайные величины с (неизвестными) средними Оо (не зависящими от Z) и (известными) дисперсиями X,:

у^ ^ N(0Qi Хд.(7.59)

Обычной оценкой Оо является текущее среднее

А1 N

^SmCF ) = — Sy(i).(7.60)

N i = 1

Чтобы вычислить оценку ММП определим сначала функцию плотности совместного распределения (7.55) для наблюдений. Поскольку для у У) она равна

a _y(/) независимы, имеем.

Nn 1(xi - 9)2 1

fyk9*x ^ = П —=exp’’ .(7.61)

У‘ = 1 xfbiXi 12Х/ J

Таким образом, функция правдоподобия равна fy (6; yN>. Максимизация функции прав до- подобия эквивалентна максимизации ее логарифма. Таким образом,

^ML^) = arg max In fy(в; yN) =

I N „£ i1 £ 0- (i) - 9)2 1

= arg max< — — In 2л - S -InX,- — TI ,(7.62)

у I 2i= 1 22 t = 1 X/ j

откуда находим

JVI = 1 X .•.

i^x (1/X,)

Связь с оценкой максимума апостериорной вероятности. Байесовский подход дает близкую, но концептуально отличную трактовку задачи параметрического оценивания. В байесовском подходе сам параметр рассматривается как случайная величина. Основываясь на наблюдении других случайных величин, коррелирующих с параметром, можно извлечь информацию о его значении. Допустим, свойства наблюдений могут быть описаны в терминах вектора параметров 9. С позиций байесовского подхода вектор 9 рассматривается, таким образом, как случайный вектор с некоторым априорным распределением (’’априорный” означает заданный до наблюдений). Очевидно, наблюдения yN коррелируют с 9. После того, как наблюдения получены, можно сформировать апостериорную функцию плотности распределения вероятностей для 9. Используя ее, можно определить различные оценки 9, например, величину, для которой плотность распределения вероятностей достигает своего максимума (’’наиболее вероятное значение”). Эта оценка известна как оценка максимума апостериорной вероятности.

Предположим, что условная плотность распределения вероятностей для yN при заданном 9 имеет вид

fy(6; xN) = P(yN = xN 16),

а априорная плотность распределения для 9 имеет вид

Seto = Р(9 - z).

(Здесь P(AlB) - условная вероятность события А при заданном В. Мы допускаем несколько нестандартное обозначение.) Используя правило Байеса (1.10), при некоторой неточности обозначений находим, таким образом, апостериорную плотность распределения для 9, т.е. условную плотность распределения вероятностей для 9 при заданных наблюдениях:

„ P(vN 15) • Р(в)„

P(6\yN)= ~™^ч —~fy(e;yN) ge(5).(7.64)

Таким образом, апостериорная плотность распределения вероятностей как функция 9 пропорциональна функции правдоподобия, умноженной на априорную плотность распределения. Часто влияние априорной плотности распределения незначительно. Тогда оценка максимума апостериорной вероятности

5марО^) = arg max {fy (6;yN) ‘ ^(5)}(7.65)

близка к оценке ММП (7.58).

Неравенство Крамера—Рао. Качество оценки можно определить ее матрицей

(7.66)(7.66)среднеквадратичной ошибки:

(7.66)

(7.66)

E\9(yN) - SoHS^) - Sof.

Здесь 6о обозначает ’’истинное значение” 0, а (7.66) вычисляется в предположении, что плотность распределения yN равна /^(0О; УКУ

Представляет интерес выбор такой оценки, для которой Р мала. Причем интересно, что существует нижний предел значений Р для любых несмещенных оценок. Это - так называемое неравенство Крамера-Рао:

Пусть 0(yN) - оценка 0, для которой Е6 (yN) = 0о, где Е означает среднее, вычисляемое по плотности распределения fy(0o; yN) (равенство должно выполняться для всех значений 0О), и предположим, что у^ принимает значения в подмножестве R^, граница которого не зависит от 0. Тогда

A[S (yN) - So] [S (^) - eof > М"1, (7.67)

где

6 = 606 = 60(7.68)(7.68)Л/= ^[^Ь/Дб;^) ^-lnfy(0;yN) L“уLии.

6 = 60

6 = 60

(7.68)

(7.68)

d2м I

I 0 = 0П

Поскольку О является d-мерным вектором, (d/dO^iufy (0; yN>) — d-мерный вектор-столбец, а гессиан (d2/d02)ln/^ (6; yN) — d X d-матрица. Матрица М называется информационной матрицей Фишера. Заметим, что для вычисления матрицы М обычно требуется знать 0О, поэтому точное значение М может быть недоступно пользователю.

Доказательство неравенства Крамера—Рао приводится в Приложении 7А.

Асимптотические свойства оценки максимального правдоподобия. Обычно установить свойства оценки, например вычислить (7.66), трудно. Поэтому определяют асимптотические свойства, когда размер выборки (в рассматриваемом случае число А) стремится к бесконечности. Классические результаты подобного рода для оценки максимального правдоподобия в случае независимых наблюдений были получены Вальдом [418] и Крамером [87]:

Предположим, что случайные величины {у(/)} независимы и одинаково распределены, так что

N

/уф; х1? .. ., xN) = П /у^ф; х,).

Допустим также, что распределение yN определяется плотностью Гуфо; xN) для некоторого значения 0о. Тогда случайная величина 0ml (.У^) стремится к 0О с вероятностью 1 при А -► «>, а случайная величина

VnV6Ml(PN) - So]

сходится по распределению к нормальной с нулевым средним и матрицей ковариации, равной нижней границе неравенства Крамера—Рао (АГ1 в (7.67) и (7.68)).

В гл. 8 и 9 эти результаты будут установлены для оценок ММП, используемых при идентификации динамических систем. В этом смысле оценка ММП является наилучшей возможной оценкой. Однако следует сказать, что оценка ММП иногда '167

подвергается критике за недостаточно хорошие свойства при малых выборках, и что существуют, кроме (7.66), другие способы задания критерия качества оценки.

Вероятностные модели динамических систем. Предположим, что рассмотренные в разделе 7.1 модели содержат как функцию предсказания, так и предполагаемую функцию плотности распределения вероятностей для соответствующих ошибок предсказания, как описано в разделе 5.4:

М(9): ^(Н 5) = g(t, Z*- 1; 9),(1.69)

e(t, 9) = y(t) — y(t I 9) независимы и распределены в соответствии с fe (х, t; 9).

Напомним, что модель типа (7.69), содержащая плотность распределения для е, называется (полной) вероятностной моделью.

Функция правдоподобия для вероятностных моделей динамических систем. Заметим, что в соответствии с моделью (7.69) выходная величина равна

J(r) = g(t, Z* - 1; 6) + e(t, 9),(7.70)

где е(г, 0) имеет плотность распределения fe (х, t; в). Тогда совместная плотность распределения наблюдений yN (для заданной детерминированной входной последовательности uN^) определяется леммой 5.1. Заменяя фиктивные переменные х, соответствующими наблюдениями, получим функцию правдоподобия:

„NN

Гу (9; yN) = П fe (у (t) - g(t, Z'" *; 9), f, 9) = П fe(e(t, 9), t; 9).

Г = 1r = 1

ж(7-71)

Максимизация этой функции эквивалентна максимизацииv

_1 jv•

— In4,(0; yN) = — Z ln4(e(r, 5), t; 9).(7.72)

NN t= i

Если определить

Це, в, г) = -ln/e(e, t; 0),(7.73)

то можно записать

A1 N

^mlO^) = arg min — S ЦеЦ, 0), 0, r).(7.74)

0 N t = i

Таким образом, метод максимального правдоподобия может рассматриваться как частный случай критерия ошибки предсказания (7.12).

Следует подчеркнуть, что (7.33) и (7.74) реализуют точный метод максимального правдоподобия для сформулированной задачи. Иногда отмечают чрезвычайную сложность функции правдоподобия в задачах анализа временных рядов, из-за чего часто приходится прибегать к ее аппроксимации (см., например, [5,108,210]). В определенных случаях это так. Причина состоит в трудности представления, скажем, ARMA-модели в форме предсказателя (7.69) (обычно это требует использования нестационарных калмановских предсказателей). Проблема, таким образом, относится не к самому ММП как таковому, а к нахождению точного предсказателя. Если используются стационарные предсказатели, то предполагают известными все предыдущие наблюдения (см. (3.24)) и обычно заменяют соответствующие начальные величины нулями. Тогда это соответствует функции правдоподобия как условной по отношению к этим величинам, а метод называют условным ММП (см., например, [210]).

Гауссовский случай. В случае, когда ошибки предсказания предполагаются гауссовскими с нулевыми средними значениями и (не зависящими от г) диспер- 168

сиями X, имеем

(7-75)(7-75)11 е2

(7-75)

(7-75)

/(е, 0, t) = 1п/е(е, Г; 6) = const + — 1пХ + — — 22X

Если X известна, то функция (7.75) эквивалентна квадратичному критерию (7.15). При неизвестной дисперсии X (7.75) представляет собой пример критерия параметризованной нормы (7.16). В зависимости от положенной в основу структуры модели, X может быть или не быть параметризована независимо от параметров предсказателя. Для иллюстрации этого см. задачу 7Е.4. Сравните также с задачей 7Е.7.

Информационная матрица Фишера и граница Крамера - Рао для динамических систем. Зная выражение логарифма функции правдоподобия (7.72) для рассматриваемой структуры модели, можно вычислить информационную матрицу (7.68). Для простоты далее предполагаем, что плотность распределения fe — известная (не зависящая от 0) и не зависящая от t функция. Пусть /0 (е) = “1п/е (е). Следовательно,

d _n

— ^fy{e-yN) = s iMt. s)) • ^C. У),

duг = i

где, как и в (4.118с), d Аd

ше) = ^^^'^ =" ^е<г’ ^ dodo

- d-мерный вектор-столбец, /о - производная /0 (е) по е. Чтобы найти информационную матрицу Фишера, вычисляем математическое ожидание случайной матрицы

d - Г d „ м 1Г

— In/H9^ ) — In ^(0;^)■

dodo_

при 0 = 0о в предположении, что истинная плотность распределения для yN на самом деле равна fy(0o; yN)- Последнее предположение означает, что е(г, 0О) - = е0 (О будет рассматриваться как последовательность независимых случайных величин с плотностью распределения fe(x). Обозначим это математическое ожидание MN. Таким образом,

JV JV

MN = Е ^2 /<^o(r)Wo(s))M 0<>)V/T(s, 0О) =

f = 1 5=1

N

= s Ш(0)]2 • ^(г, W4s, у0), t -- 1

поскольку е0 (О и е0 (О независимы при s Ф t. Кроме того, имеем Zo W ~ = [1пЛ(х)]' = Ге(х)//Дх), И

/*xxi2 f t/e(x)]2 £ z ч , г 1А(ХЯ, △ГП

М'оМОЯ = J/ -dx = —.(7.76)

/а(х)-оо /Дх)Ко

Если е0 (г) — гауссовская величина с дисперсией Хо, то, как легко проверить, к0 = = Хо. Следовательно,

JV■

MN = — 2 E^V. e0^T(t, 00).■(7.77)

Ко t= 1

Неравенство Крамера - Рао утверждает, что для любой несмещенной оценки 0N параметра 0 (т.е. такой оценки, что E6N = 0о при произвольном истинном значе-

НИИ 0О)

Cov 0jy ^ ^N^ •

(7.78)

Заметим, что эта граница, применима при любом N и для всех методов оценивания параметров. Таким образом, имеем

an

Cov6N > к0[ S Еф(г, е0)фт(г, So)]"1, t = I

к0 = ^о для гауссовских обновлений.

(7-79)

Многомерный гауссовский случай ^*\ В случае, когда ошибки предсказания являются р-мерными векторами и имеют гауссовское совместное распределение с нулевым средним и матрицей ковариаций Л, получаем из выражения для многомерного гауссовского распределения

1 т

t;0) = const + — In det Л + — e'Ae.(7.80)

Тогда логарифм правдоподобия, взятый с минусом, принимает вид

N1 N

VN(0t Л, ZN) = const + —In det Л + — 5 ет^, 0)X~le(t, 0).(7.81)

2 г = i

Если матрица ковариаций Л полностью неизвестна и не зависит от параметра 0. можно аналитически минимизировать (7.81) по Л для любого фиксированного 0;

А1 N

arg min Р^(0, Л, ZN) = XN(0) - — S e(t, 0)cT(t, 0). лN t = 1

(7.82)

Тогда

0N = ar8 min Vn (в,(0), ZN) = arg min — In det XN (0) + —p

оо 22 .

(7.83)

(см. задачу 7D.3), где p = dime. Следовательно, в этом частном случае можно использовать критерий

0ы = arg min det — S e(r, 0)eTQ, 0) о LW r = i

(7.84)

Действительно, к этому выражению приводит критерий типа (7.29), (7.30) с И (Л) = det А.

Меры информации и энтропии(*\ В (5.36) и (5.37) была дана общая формулировка модели как предполагаемой функции плотности распределения вероятностей для наблюдений ZT;

(7.85)

Пусть /0(f> ^f) обозначает истинную плотность распределения для наблюдений. Соответствие между двумя распределениями может измеряться в терминах информационного расстояния Кулъбака-Лейблера [220]:

H/o;7m) = J7oU*')ln ^-*’ Х ^ dx*. (7.86) fm kt. X1)

Здесь хг используется в качестве переменной интегрирования для Zr. Это расстояние равно также энтропии /0 по отношению к /т, взятой со знаком минус: *

Sa^fmV-IU^fm^.(7.87)

или негэнтропии. Естественной формулировкой задачи идентификации является отыскание модели, максимизирующей энтропию по отношению к истинной системе или, иначе, минимизирующей информационное расстояние до истинной системы. Этой формулировкой в различных интересных ее комбинациях занимался Акаике [4], [6], [8].

Таким образом, при параметризованном множестве моделей fjvi^e^ (^, ^r) = = / (0; г, Zr) , и необходимо определить'

0Ar = argmin/(7o(W,ZAf); / (0;W,/")).(7.88)

0

Мера информации может быть переписана в виде /(70; 7) = -/in [7(9;/v,х^)] • 70^.х")^ + + /ln[70(Mx")] .f0(N,xN)dxN = = — A’oln / (0; N, ZN ) + независящие от 0 члены, где Ео означает математическое ожидание по отношению к истинной системе.

Задача (7.88) эквивалентна, следовательно, задаче

6N = arg min [- Eoln 7 (0;N, ZN )].(7.89)

0

Конечно же, проблема здесь состоит в том, что математическое ожидание невозможно вычислить, поскольку истинная плотность распределения неизвестна. Наиболее простая оценка математического ожидания состоит в замене его наблюдением

/;01п 7 (5; n. zN)«in 7 (в; n, zn ).(7.90)

Это приводит к логарифмической функции правдоподобия, и тогда (7.89) совпадает с оценкой ММП. Следовательно, подход к идентификации, основанный на максимизации функции правдоподобия, может также интерпретироваться как стратегия максимизации энтропии или метод минимизации информационного расстояния.

Расстояние между получаемой в результате моделью и истинной системой равно, таким образом,

ia^N,ZNY 7{6n-N,Zn)).(7.91)

Это — случайная величина, поскольку 0^ зависит от ZN. В качестве основного критерия подгонки Акаике [8] предложил использовать среднее информационное расстояние, или среднюю энтропию

ESnIUo(N.ZN); 7 (6N; N, ZN^.(7.92)

Этот критерий должен быть минимизирован как по множеству моделей, так и по 0N. Акаике предложил следующую несмещенную оценку величины (7.92):

In 7(6N; N, ZN ) - dim 6.(7.93)

Вычисления, приводящие к этой оценке, будут даны в разделе 16.4.

Выражение (7.93), используемое в (7.89) с учетом (7.72) и (7.73), приводит к оценке

a vf 1 £dim в 1

0Aic(ZW)=argmin — S Це(Аб\ Г, 0) + —-- .(7.94)

в I N t=i^)

Это - теоретический информационный критерий Акаике. Если он используется для фиксированной структуры модели, получаемая оценка совпадает с оценкой ММП той же структуры. Однако преимущество (7.94) состоит в том, что минимизация может быть проведена по отношению к различным структурам модели, учитывая, таким образом, общую теорию идентификации. Дальнейшее обсуждение этого аспекта см. в разделе 16.4.

Подход, развитый Риссаненом и названный принципом описания минимальной длины, концептуально связан с информационными мерами. В соответствии с этим подходом следует искать такую модель, которая допускает наиболее короткий код или описание наблюдаемых данных; см. [338] и [341], При заданной структуре модели результат вновь совпадает с оценкой ММП. См. также раздел 16.4.

Прагматическая точка зрения. Безусловно, хорошо известно, что общие и основные принципы, такие как максимизация правдоподобия, максимизация энтропии и минимизация информационного расстояния, приводят к критериям типа (7.11). Однако в конечном счете мы располагаем последовательностью чисел, которую следует сравнить с ’’отгадками” модели. Кроме того, всегда существует вопрос, применимы ли вероятностный подход и абстрактные принципы, поскольку мы наблюдаем только конкретную последовательность данных, а подход основан на предположении, что эксперимент, порождающий этот набор данных, может быть повторен бесконечно много раз при ’’одинаковых” условиях. Важно, таким образом, что минимизация (7.11) имеет смысл даже безотносительно к вероятностному подходу и без ’’алиби”, обеспечиваемым абстрактными принципами.

Корреляция ошибок предсказания с прошлыми данными

В идеале ошибка предсказания е(Г, 0) для ’’хорошей” модели не должна зависеть от прошлых данных. Прежде всего это условие является неотъемлемой частью вероятностной модели типа (7.69). Другой, более прагматический способ понять это условие состоит в том, что если 6(Г, 0) коррелирует с Zt-X, то в Zt-X содержится больше доступной информации о у (г), чем представлено величиной у(Н0)- Предсказатель, таким образом, не является идеальным. Это приводит к определению хорошей модели, которая порождает ошибки предсказания, не зависящие от прошлых наблюдений.

Проверка, является ли е(Г, 0) независимой от всего (причем возрастающего) набора данных Zt-X, равносильна проверке того, является ли произвольное нелинейное преобразование ошибки е(Г, 0) некоррелирующей с любой возможной функцией от Zt-1. Конечно же, практически это не осуществимо.

Вместо этого можно образовать из Zt-X конкретную последовательность конечномерных векторов {f (г)} и потребовать ее некоррелированности с некоторой преобразованной величиной ошибки {е (Г, 0)}, что привело бы к уравнению

N

— S Г (г) « (е (г, ^)) = 0» (7.95)

N

а удовлетворяющее ему значение 0 могло бы считаться наилучшей оценкой 0N„ основанной на имеющихся наблюдениях. Здесь а(е) - выбранное преобразование е, и обычно берут а(е) = е.

Эту идею можно было бы в значительной степени обобщить. Во-первых, можно было бы заменить ошибку предсказания преобразованной с помощью линейного фильтра величиной (7.10). Во-вторых, имеется, очевидно, значительная свобода выбора последовательности f (г). Представляется вполне возможным, что наилуч-

ший выбор f (г) должен зависеть от свойств системы. В таком случае следует допустить зависимость f (г) от О, и мы приходим к следующему методу.

Выбираем линейный фильтр L (д) и полагаем eF (г, 0) = £ (<?)е(г, 0).

(7.96a)

Выбираем последовательность корреляционных векторов

(7.96b)

образованных по прошлым данным и, возможно, зависящих от 0. Задаемся функцией а(е). Затем вычисляем

6N = sol \fN(6,ZNVO\.(7.96с)

fN(0,ZN)=— 2 f (r, 0) a (eF (r, 0)).(7.96d)

N r=i

Здесь использовано определение sol[f(x)=0] — решение (решения) уравнения /М=0.

Обычно, размерность f следует выбирать так, чтобы In был бы d-мерным вектором (это означает, что f — dXp-матрица, если выходная величина — р-мерный вектор). Тогда (7.96b) содержит столько же уравнений, сколько и неизвестных, В некоторых случаях полезно рассмотреть расширенную корреляционную последовательность £ большей чем d размерности, когда (7.96 b) представляет собой переопределенную систему уравнений, обычно не имеющую решения. Тогда в качестве оценки выбирается значение, минимизирующее некоторую квадратичную норму fN:

0^ = arg min |/jv (0, Zw) |,<7-97)

Эти корреляционные подходы, очевидно, формально связаны с минимизационным подходом раздела 7.2 (см. также задачу 7D.6).

Процедура (7.96) представляет собой концептуальный метод, принимающий различные формы в зависимости от того, для каких структур моделей он применяется, или от конкретного выбора f. В следующем разделе мы обсудим возможно наилучший известный метод из семейства (7.96) — метод инструментальных переменных. Сначала обсудим псевдолинейные регрессионные модели.

Псевдолинейные регрессии. В гл. 4 отмечалось, что различные общие модели могут быть записаны в виде

у (t \ ewT и, в) в(7.98)

(см. (4.21) и (4.45)). Если вектор данных ^(t, 0) не зависит от 6, это соотношение представляет собой линейную регрессию. Отсюда происходит название псевдоли- нейная регрессия для (7.98) [380]. Для модели (7.98) ’’псевдорегрессионный вектор” у? (Г, 0) содержит соответствующие прошлые данные, частично перестраиваемые с использованием текущей модели. Таким образом, разумно потребовать от модели, чтобы получающиеся в результате ошибки предсказания не коррелировали с у? (Г, ОУ Другими словами, выбираем в (7.96) f (Г, 0) = у? (г, 0) и а(е) = е и приходим к оценке

А( 1^Ч

0£LR = soil —- S ^(г, 0) [у (г) - у7* (г, 0) 0] = 0 ,(7.99)

которую называем оценкой псевдолинейной регрессии.

Для моделей, подчиняющихся (7.98), применимы также различные варианты (7.99), соответствующие в основном замене <£(?, 0) на векторы, у которых перестраиваемые (зависящие от 0) элементы определяются несколько иначе. См. раздел 10.4.

Методы инструментальных переменных

Инструментальные переменные. Рассмотрим снова линейную регрессионную модель (7.31):

(7.100)(7.100)у^\9^=фт ^е.

(7.100)

(7.100)

Напомним, что эта модель включает в себя несколько типичных моделей линейных и нелинейных систем. Оценка 0 методом наименьших квадратов задается соотношением (7.34) и может также быть выражена в виде

(7.101)(7.101)Л ,( 1 N)

(7.101)

(7.101)

6^ = sol — S Ф(Му(.О - У>г (0 0] = 0 .

IW Г=1)

Следовательно, альтернативная интерпретация оценки МНК состоит в том, что она соответствует (7.96) с L (^) = 1 и f (Г, 0) = ^ (?).

Предположим теперь, что данные действительно описываются соотношением (7.37):

у(О = Фт(г)ео +wo(O-(7.102)

В разделе 7.3 было обнаружено, что в типичных случаях оценка МНК 0^ не будет стремиться к 0О из-за корреляции между и0 (?) и ^(г). Попробуем тогда применить общий корреляционный вектор £ (?) в (7.101). Следуя общепринятой терминологии в области идентификации систем, будем называть такое применение (7.96) к линейной регрессии методом инструментальных переменных. Компоненты вектора f называют при этом инструментами или инструментальными переменными. Отсюда

(7.103)(7.103)(7.104)(7.104)0^v = sol — 5 f (г)[^(О-^г(г)0] =0 , '

(7.103)

(7.103)

(7.104)

(7.104)

17V r=iJ

или

pv wpv wI AT1 -1 | N

pv w

pv w

— ^и0Фт(П\ — 2П0Я0

N t = \J N r = i

при условии, что указанные обратные матрицы существуют. Для того, чтобы О^схо- N

дилась к 0о при Л^°°, как видно из (7.103), достаточно, чтобы (l/W) S f (?)и0 (?) r=i

стремилась к нулю. Для успешного применения метода (7.103) к системе (7.102) нужно, таким образом, потребовать выполнения следующих свойств инструментальной переменной f (?) (заменяя выборочные средние математическими ожиданиями) :

Е £ (?) <рт (?) - невырожденная матрица,(7.105)

(7.106)(7.106)Е*И0ио(?) = 0.

(7.106)

(7.106)

Другими словами, инструментальные переменные должны коррелировать с регрессионными переменными, но не должны коррелировать с шумом. Обсудим теперь возможные варианты выбора инструментальных переменных, которые могли бы удовлетворить (7.105) и (7.106).

Выбор инструментальных переменных. Предположим, что (7.100) является ARX-моделью:

^(r) +а, ^(Г- 1) + .. .+а„д ^(Г- na) = 6iU (Г - 1) + ... +bnfu (t - nb) + u(r).

(7.107) Допустим также, что истинное описание (7.102) соответствует (7.107) с ’’нулевыми” индексами у коэффициентов. Естественная идея состоит в генерации инструментальных переменных аналогично (7.107) так, чтобы обеспечить (7.105), но в то же время не позволить им быть зависимыми с {и0 (?)}. Это приводит к

И0 = к (q) [-х(г - I)-x(t - 2) . .. -x(r - па)и (t - 1) ... и Q - и»)] г,(7.108) где К - линейный фильтр, а х(Г) порождается входной последовательностью, пропущенной через линейную систему:

(7.109)(7.110)форми-величин(7.111)что она(7.109)(7.110)форми-величин(7.111)что онаN(q)x(0 = M(q)u(0.

(7.109)

(7.110)

форми-

величин

(7.111)

что она

(7.109)

(7.110)

форми-

величин

(7.111)

что она

Здесь

N(q) = 1 + nxq 1 + .. . *n„nq ",

М (q) = m0 +m1q-1 + .. .*mnmq~nm.

Большинство используемых на практике инструментальных переменных руются таким способом. Очевидно, £ (г) получается из прошлых входных посредством линейной фильтрации и, в принципе, может быть записана как

U0=Ut.u‘-'y

Если входная последовательность генерируется в разомкнутой цепи так,

не зависит от шума ио(О» присутствующего в системе, то, очевидно, (7.106) выполняется. Поскольку векторы ^> Г формируются из одной и той же последовательности (р зависит, кроме того, от ио), можно ожидать, что условие (7.105) тоже, ’’вообще говоря”, должно выполняться. Мы вернемся к этому вопросу в разделе 8.6.

Простой напрашивающийся выбор инструментальных переменных состоит в первоначальном применении МНК к (7.107) с последующим использованием оцененной модели для N и М в (7.109). Тогда инструментальные переменные выбираются в соответствии с (7.108) при K(q) = 1. Для систем с замкнутой обратной связью и для автономных систем требуются другие идеи. Некоторые намеки содержатся в задаче 7G.3.

В задачу 7D.5 вынесено утверждение о том, что использование инструментального вектора (7.108)- (7.110) эквивалентно применению вектора

Г(г)=4^[«(г-1)м(г-2)...и(г-ла-Иь)]т.(7.112)

Таким образом, оценка метода инструментальных переменных 6$ (7.104) является для f * такой же, как и для f (7.108) и не зависит, например, от фильтра М (7.110).

Инструментальные переменные, зависящие от модели <*\ Качество оценки 9Xn зависит от выбора £ (г), В разделе 9.5 будет приведен вывод общих выражений асимптотической матрицы ковариаций 6Х^ , а дальнейшее их исследование будет проведено в разделе 15.3. Оказывается, может быть желательным выбор фильтра (7.109), равного фильтру истинной системы: A^(^) = Aq^^ M(q) = BQ^qy Понятно, что эти полиномы не известны, но можно допустить зависимость инструментальных переменных от параметров следующим образом:

№ 0) = ^(^) [-х(г — 1,0) ...-х(г - ла, 0)м (г - 1) .. .и (г-и*)] г, (7.113)

А (flf)х(Г, в) = В (q)и (Г)..

Вообще, можно записать закон генерации f (Г, 0) в виде

(7.114)(7.114)ИЛ 6) = Ки^ 0)u(t),

(7.114)

(7.114)

где Ku(q, 0) — d-мерный вектор-столбец линейных фильтров.

Таким образом, учитывая предварительный фильтр (7.96а) и ’’формирующую” функцию а( • ) ошибок предсказания, метод инструментальных переменных может быть подытожен в следующем виде:

eF(t, е)=ь(я) ly^O-^^eL

(7.115a)

eXNV= sol [М0-^) = О], где—

„ 1 N

(7.115b)

fN(e,ZNV — S f(r,0)a(eF(r,0)), N r = i

(7.115c)

Ht.evKu(q,e)uW.‘

(7.115d)

Расширенные методы инструментальных переменных <*>. До сих пор в этом разделе размерность f была равна dim0. Можно также работать с расширенными векторами инструментальных переменных размерности dimf > d. Получающийся в результате метод, соответствующий (7.96) и (15)1), будем называть расширенным методом инструментальных переменных-, он дает оценку

0nW- аг8 min 00nW- аг8 min 0(7.116)(7.116)(7.117)(7.117)I N2

0nW- аг8 min 0

0nW- аг8 min 0

(7.116)

(7.116)

(7.117)

(7.117)

— S ^ (t, 0)a(eF (t, 0))

N r=i/1

Нижний индекс Q обозначает соответствующую норму: \x\2q=xtQx.

В случае, когда f не зависит от 0 и а(е) = е, может быть найдено точное решение (7.116). См. задачу 7D.7.

Частотная интерпретация^*^. Критерий (7.115b), полностью аналогичный соотношениям (7.20) —(7.25) для случая ошибки предсказания, может быть выражен в частотной области с помощью равенства Парсеваля. Предположим, что используется линейная генерация инструментальных переменных (7.114), и а(е) = е. Тогда

fN (0, Z") »/ [Сл, (е'ш ) - G (е1ш, 0)] | UN (cd) |2 X

(7.118)(7.118)2тг -я

(7.118)

(7.118)

X A (е^, 0) L (eiuD) Ки «iu\0)du>.

Здесь A (q, 0) — полином Л, соответствующий 0 в модели (7.107).

Многомерный случай (*\ Предположим теперь, что выходная переменная р- мерная. Тогда инструментальная переменная f(r) — dXp-матрица. Линейную генерацию ^(t, 0) по-прежнему можно записать в виде (7.114), интерпретируя z-й столбец f (Г, 0) как

^‘Чг.в^к^^, е)и<0,(7.119)

где К^ ^q4 0) - d X m-матричный фильтр. (^u(^, 0) в (7.114) представляет собой, таким образом, тензор, ’’трехиндексное образование”.) Если а(е) — функция из Rp в R₽, a L (q) - р Хр-матричный фильтр, то метод инструментальных переменных по-прежнему задается соотношениями (7.115).

Заключение

Существуют различные способы подгонки моделей из заданного множества под наблюдаемые данные. В этой главе было уделено внимание двум основным процедурам. Обе они формируют ошибки предсказания {е(Г, 0)}, вычисляемые в соответствии с используемыми моделями и с учетом наблюдений, а целью обеих процедур является стремление сделать эти последовательности ’’малыми”.

Подход к идентификации, основанный на ошибке предсказания, или метод ошибки предсказания, определяется соотношениями (7ЛО) — (7.12):

0N = arg min VN (6, ZN ),

^^*(7.120)

1 N

VN(6,ZN) = — 5 1<е^0\0,0. N r=i

Он охватывает такие хорошо известные процедуры, как метод наименьших квадратов (МНК) и метод максимального правдоподобия (ММП) и, в то же время, близок к байесовскому методу максимума апостериорной вероятности и к подходу, основанному на информационном критерии Акаике.

Корреляционный подход определяется соотношениями (7.96):

eF (г, 0) = L ^e<t, 0),

6N= sol [/лг(9.^ЛГ) = 0],(7.121)

fN(0,ZNV — 5 Цг,0)«(ер(г,0)). N r=i

Он включает в себя метод инструментальных переменных, а также различные методы, ориентированные на модели с рациональными передаточными функциями.

Идентификация систем часто описывалась как область казалось бы несвязанных друг с другом эвристических методов и приемов. Без сомнения, список названий известных и предлагаемых методов очень велик. Наша цель — показать в этой главе, а также в главах 8—11, что основополагающих идей в действительности очень мало и что можно без труда ориентироваться в вопросах идентификации систем, опираясь на эти основные идеи как на отправные точки.

Комментарии к библиографии

Все методы параметрического оценивания, описанные в этой главе, восходят к основным методам статистики. По темам общего характера отсылаем читателя к монографиям Крамера [87], Рао [335] и Линдгрена [237].

Раздел 7.2. Термин ’’метод ошибки предсказания” возможно впервые употреблялся Льюнгом [239], но давно было понято, что общие методы идентификации систем нацелены на то, чтобы сделать ошибку предсказания малой. С вычислительной точки зрения критерий (7.120) может рассматриваться как метод нелинейной регрессии; см., например, [194] и [165]. Обсуждались различные нормы (см. раздел 15.2). В работах Миланезе и Темпо [291] (ср. также с задачей 7G.7) и Фогеля и Хуанга [119] обсуждалась /«,-норма (относящаяся к ’’неизвестным, но ограниченным” возмущениям); кроме того, см. [356]. Выражения критерия ошибки предсказания в частотной области восходит к работе Уиттла [430], в которой рассматривался случай автономной системы. Среди многих ссылок можно упомянуть [163, гл. VI] для детального изучения (также случая систем без входа). Соответствующие формулы представлены и в работах Соло [380], Льюнга и Главера [259], Вальберга и Льюнга [417].

Раздел 7.3. Статистические истоки метода наименьших квадратов рассматриваются в Приложении II. Применение к временным рядам впервые было изложено Юлом [452] и Уолкером [421], а первый асимптотический анализ был проведен в статье Мэнна и Вальда [276]. Приложение к динамическим системам со входом было осуществлено независимо несколькими авторами, первое всестороннее описание и анализ изложены Остремом [19], а несколько более подробное исследование - Остремом и Эйкхоффом [28]. Хороший обзор различных вариантов МНК представлен в монографии Хсиа [183].

Раздел 7.4. Впервые методы максимального правдоподобия для AR и ARMA- моделей с использованием частотных терминов применил Уиттл [430]. Затем принцип максимального правдоподобия применялся для динамических систем Остремом и Бохлином [27] (структуры ARMAX-моделей) и Боксом и Дженкинсом [62] (структура модели (4.31)). Затем этот подход изучался во многих статьях. Их обзор представлен в статье Острема [24].

Частотные и аппроксимационные варианты представления функции правдоподобия широко использовались Уиттлом [430], Хэннаном [163] и др. Байесовский подход максимума апостериорной вероятности разносторонне изложен в работах Петерки [321], [322]. Вычисления, приводящие к (7.84), впервые были представлены Итоном [109] и Акаике [5]. Энтропийный и информационный критерии широко обсуждались Акаике и Риссаненом; можно рекомендовать работы [6], [8] и [340], [431]. Основной ссылкой по вопросам энтропии и статистики является монография Кульбака [219]. Использование взаимной энтропии для оценивания обсуждается в [359] и всесторонне рассматривается в [302].

Разделы 7.5— 7.6. Здесь представлен новый способ описания ’’корреляционного подхода”, хотя различные методы хорошо известны. Метод инструментальных переменных был введен в статистике и эконометрике Рейерсьюлом [336] и применялся для решения большого числа задач параметрического оценивания (см., например, книгу Кендалла и Стюарта [212]). Применение в области управления динамическими системами впервые было осуществлено в работах Вонга и Полака [441], Янга [444] и Мейна [279]. По вопросам применения к ARMA-моделям см. [398]. Предыстория вопроса изложена в статье Янга [446]. Среди последних обобщающих работ см. книги Седерстрема и Стойки [374] и Янга [448].

Задачи

7G.1. Методы входной и выходной ошибки. Рассмотрим структуру модели

У (0 = Ст (q, 0)и (f)

без определенной модели шума. В обзоре Острема и Эйкхоффа [28J приведены методы идентификации, минимизирующие ’’выходную ошибку”

AN

. 0yv=argminS [ у (t) - G (q, 0) и (Г)12 r=i

и ’’входную ошибку”

0jV=argminS [u (f) - G-1 (q, 0)y (t)]2- r=l

Покажите, что эти методы представляют собой методы ошибки предсказания, соответствующие определенному выбору модели шума Н (q, 6).

7G.2. Спектральный анализ как метод ошибки предсказания. Рассмотрим структуру модели

G (е™, 9) = 2 Uk*‘8k> ^7 <ш - шкХ

k = I

0 ~ I £i > £1 > • • • »8п » ^п 11

и пусть Н (е^, п) - произвольно параметризованная модель системы. Пусть вы - оценка пои пусть Н (е^, п) - произвольно параметризованная модель системы. Пусть вы - оценка поошибке предсказания, полученная минимизацией (7.23) и (7.25):ошибке предсказания, полученная минимизацией (7.23) и (7.25):„я xGn^-G^,^^ 11^ MleN = arg min J„я xGn^-G^,^^ 11^ MleN = arg min J0,П -я0,П -я|Я(е|Я(е<ш, 4)l2<ш, 4)l2dw.dw.

и пусть Н (е^, п) - произвольно параметризованная модель системы. Пусть вы - оценка по

и пусть Н (е^, п) - произвольно параметризованная модель системы. Пусть вы - оценка по

ошибке предсказания, полученная минимизацией (7.23) и (7.25):

ошибке предсказания, полученная минимизацией (7.23) и (7.25):

„я xGn^-G^,^^ 11^ Ml

eN = arg min J

„я xGn^-G^,^^ 11^ Ml

eN = arg min J

0,П -я

0,П -я

|Я(е

|Я(е

<ш, 4)l2

<ш, 4)l2

dw.

dw.

Рассмотрим частный случай Ще"^, 17) г 1 и

,ч-1 ^ 1«1<"/(2л), 7(ш)- | 0> ^^^q.^

(к - 1) я

“к =•

А /о)^ А

Покажите, что в этом случае G \в ,6^ определяется соотношением (6.46).

Предположим, в общем случае, что

Н (,е1ш. П) и^ (W -шк)«Н (е“к, Ч) и^ (си - ык),

G (е‘ш, в) И^ (ы - шк) * G (еШк,в) W7 (ш - ык).

Покажите, что при этом (6.46) выполняется приближенно.

7G.3. Инструментальные переменные для замкнутых систем. Рассмотрим систему

^0 (9)У (О = Во W и (О + "о Ю’

замкнутую обратной связью ио выходу

и (О = F, (q)r (t) - F, (q)y (t).

Пусть x (t) и f (t) задаются соотношениями

$(.t) = K(q) V-x (t - 1)... -x (t - na)r (t- 1).. .r (t -nb)]T.

Покажите, что для этих инструментальных переменных выполняется (7.106), и убедитесь в справедливости (7.105) для простого случая системы первого порядка.

Допустим, известно, что и0 (Г) - MA-процесс порядка s. Введем инструментальные переменные

НО = [-у (f- 1-J). . .-у (f -па -s)u (I- 1 -S). ..и »-Пь-$ЯТ.

Покажите для этого случая справедливость результатов части а). См, также [378].

7С,4. Допустим, что Ум ~ [ У (1) » • ♦ -. у (TV) ]т - гауссовский TV-мерный случайный вектор

с нулевым средним и матрицей ковариаций R^(0). Пусть

RN (9) = Ln (9) EN (9)2.^ (9),

где LN^e) - нижняя треугольная матрица с единицами на диагонали, а Лу(0) - диагональная матрица с Xg (Г) в качестве Г, Г-элемента. Положим

En (9) = Ln (9) Yn, En (9) = [e (1, 9)e (N, 9)] T.

Покажите, что если требуется оценить параметр 6 по наблюдениям У^ то логарифмическая функция правдоподобия со знаком минус равна

N 11т

-1п2я+ у In 461^(9)+ -Y^Rn49>Yn.

Покажите также, что она может быть записана в виде

TV. 1 — In 2 я + — 2 2TV. 1 — In 2 я + — 2 2N1N^(t

TV. 1 — In 2 я + — 2 2

TV. 1 — In 2 я + — 2 2

2 тхв(г)+| S 1Лг-

r=l2r=l^ev)

где e(t, в) — независимые нормально распределенные величины с дисперсиями Хд (О- Как это соотносится с вычислениями (7.69)- (7.75)?

7С,5. Пусть два случайных вектора X и У являются совместно гауссовскими с

ЕХ ~ Шх» EY * Шу,

Е {X -mx) {X - тх>т=Рх> Е^У-туИУ- mY)T = Ру,

Е (X - тх) (У - т у)Т = РХу.

Покажите, что условное распределение X при заданном Y определяется следующим соотношением:

(Х/У)е Я (тх* РХуРу (Г - ту), Рх - РхуРуРХуУ

7G.6. Рассмотрим структуру модели

где IV и Е - два независимых гауссовских вектора с нулевыми средними значениями и единичными матрицами ковариаций. Заметим, что модели без входа, представленные в пространстве состояний подобно (4.81), могут быть записаны в этой форме при ХТ - [хг(1)хг(2) ... хт(АГ) ] И Ут= [у (1) у (2) ... у (Я)]. Пусть

R (e) = I+H(e)F(e)FT(е)Нт(е).

Покажите следующее.

При наблюдении Y значение логарифмической функции правдоподобия со знаком минус (без учета слагаемых, не зависящих от параметра 0) равно

1 т1

К (0) = — 1пр (У | 0) = - Y1 R*40)Y* ylndet/?(0),

а оценка ММП

0ML = arKmin ^W е

(ср. с задачей 7G.4).А

Пусть математическое ожидание X при заданных Y и9 равно Xs (0). Покажите, что

Е^х । У, 9) = £$(9) = [Г(е)Гг(0)Яг(в)] R-1 (е> Y(7.123)

И ЧТО

- In р (X | У, в) = 1 (X - Xs (9)) TS '* (9) (X - X s (9)) + 1 In de t S (9 ),

22(7.124)

S(9) = F(9)FT(9)-F(9)FT (e)HT (9)F "* (9)Я (9)F (9) FT (9)

(ср. с задачей 7G.5) (Xs (0) определяет сглаженную оценку состояния, положенной в основу модели в пространстве состояний; см. |11]).

Допустим, что априорное распределение 0 - равномерное (р(0) ^ не зависит от 0). Покажите тогда, что совместная оценка максимума апостериорной вероятности (7.65) величин 0 и X при данном Y, т.е.

(0MAP, 2Гмар) = ar8 max р (9, X | У)

6.Х

равна

arg min [- Inp (У, X I 0)], х,е

где

-1пр(У,У |0)= у| Y-H^X^* J IF"1^)^ |2 + lndetF(0).(7.125)

Покажите, что значение X, минимизирующее (7.125) при фиксированных Y и 0, равно Xs (0) (7.123). Следовательно,

«МАР = arg min Н | У - Н (9) Xs (9) Р + ^ | F"1 (9) Xs (9) Р + In det F (9) I, 0 (22J

-£mAP = £$(0MAP)-

Установите равенство

- Inp (У | 0) = - Inp (У, X |0)+lnp(Jf |0, У).(7.126)

f ) Докажите, что

-1пр(У|9)= у [|y-tf(9)Xs(9)p+ IF"1 (9)Х$ (9) Р + In detF (9)].(7.127)

(Указание: используйте матричное тождество (ср. с (7.124))

$«?) = [^"7’(0)F"1(e)+//г(0)//(0)] "

и тождество для детерминантов

det (/г + Л5) = det Us* ВА\

где А и В - г X s- и $ X r-матрицы, а 1Г - единичная г X т-матрица.)

g) Покажите, что в общем случае ^ml * 0МАР-

Замечание. Задача иллюстрирует соотношение различных выражений функции правдоподобия, задачи сглаживания и оценок максимума апостериорной вероятности. ’’Логарифми- чсские функции правдоподобия” типа (7.125) обсуждались, например, в [350] и [356, раздел 14.3.2].

7G.7. Рассмотрим структуру линейной регрессии

у Ю = ц)Т (О 0 + и(Г).•

В работах [291 ] и [292] па основе теории оптимальных алгоритмов аппроксимации операторов (см. [407 ]) была предложена следующая оценка. Для заданных 6, yN и {<р (Г)} , определим множество

А^ = {# 11 yVO - ^Т(О0\<Ь для всех t = 1,. .. , N\

Считая А д ограниченным и непустым, определим его ’’центр” 0с (Лд) как вектор,/-я компонента которого имеет вид

1М>1б)](')= Т [ su₽ 0(0 + inf е(01

2 б^А^ ОеА^

а5

(верхний индекс (/) обозначает /-ю компоненту). За оценку 0^ берем 0с(А^ • а5

Допустим, что dim 0 = 1. Докажите, что 6^ не зависит от 6 при непустом и ограниченном а5

Если dim0 > 1, 0^ может, вообще говоря, зависеть от 6. Предположим, что при убывании 6 до значения 5* множество Л д стягивается в точку

^•=(П-

а5*

Тогда ясно, что -6*. Покажите, что

А Д*

6N = arg min max I у (Г) - ^ (r)0 I. 0 t

Таким образом, эта ’’оптимальная оценка” соответствует оценке метода ошибки предсказания (7.12) с нормой lw:'

/«(e^-.O)^ maxi е(Г,О)|. г

Это в свою очередь можно рассматривать как предел при р -*« критериальных функций

/(е) = |е|р в (7.11).■

Оценивание AR-части ARMA-модели. Рассмотрим ARMA-модель

A^ym = C^em

с порядками полиномов па и пс соответственно. Метод оценивания AR-части определяется следующим образом. Положим

N1 N

Ry(T) = ~ yU)yU-T).

ZN t — r

Затем решаем относительно a, = a^ систему уравнений

. AWA^AN

Ry (т) + ах Ry (т — 1)+... + ^Пц Ry (т — па^ — 0»

т = пс + 1, пс + 2пс + па.

Покажите, что это (ио существу) есть применение метода инструментальных переменных. Каких? (См. [71 1 и [402].)

Гармонический сигнал с шумом. Рассмотрим смесь гармонического сигнала с белым гауссовским шумом:

y(t) = aeiu, + eV).

Для простоты используется алгебра комплексных чисел. Константа а является, таким образом, комплексной. Амплитуда, фаза и частота неизвестны: 0 = (а, со). Предсказатель, следовательно, имеет вид

.V (Г I e) = ac<wt.

Если е(г) имеет дисперсию 1 (действительная и мнимая части независимы), то функция правдоподобия порождает критерий ошибки предсказания

N

Vn(6,ZN)=- Y ly(l)-y(t\0)l2..

t=l

Покажите, что оценка ММП

0/V=^ | = arg min VN(0.ZN>

L o^J подчиняется соотношению C)N = arg max I YN<wW , GO

где /^(co) - преобразование Фурье yVO (2.37).

7E.3. Модель с шумами в наблюдениях. Эконометрические модели часто включают в себя помехи в наблюдениях как входных, так и выходных величин (сравните с комментарием к

Рис. 7.1. Модель с шумами в наблюдениях

рис. 2.2 раздела 2.1). Рассмотрим модель, представленную на рис. 7.1. Истинные входные и выходные пременные равны, таким образом, $ и х, в то время как измерениями являются и и у. В случае системы первого порядка имеем

x(r) + ax(r - 1) = bs<t- 1),

у(О = х(О + е(О,

u(t) = s(t)*wU).

Предположим, что w и е - независимые белые шумы с неизвестными дисперсиями. Обсудите, как по наблюдениям у и и можно оценивать параметры а и b и дисперсии шумов.

Замечание. В предположении известной цветности шумов задача относительно проста. Без этого предположения (’’предубеждения”) задача еще не решена. См. [9, 206, 370].

Рассмотрим вероятностную модель, явно заданную в пространстве состояний:

xU* 1)=лх(О + wU),(7.122а)

где £w(Г)} и {е(0} предполагаются независимыми белыми гауссовскими шумами с дисперсиями £'w2(0 = r1,(7.122b)

' Ь'е2 (t) = 1 (предполагается известной) .

Положим вектор параметров

[

а 1 .(7.122с)

Предположим, что начальные условия х(0) (среднее и дисперсия) таковы, что предсказание уЩО) является стационарным процессом для каждого 0 (т.е. можно использовать устойчивый фильтр Калмана). Определите логарифмическую функцию правдоподобия для этой задачи. Сравните с логарифмической функцией правдоподобия для явно параметризованной модели обновлений (4.88).

Рассмотрим нелинейную структуру модели из задачи 5E.L Обсудите, как можно применить для эгой структуры МНК, ММП, метод инструментальных переменных и оценку пссвдо- липейной регрессии. (Ссылка: [118].)

Рассмотрим структуру модели

УкП^ЛоО +и(/),

где регресс ионный вектор ^ (г) может быть измерен только с шумом:

чО) = lU) + wU).•

Шумы (и/(Г)} и {и(0}, вообще говоря, не белые и взаимно коррелируют. Предположим, известно, что вектор f (г) не коррелирует с {и (Г)} и {w(f)} , но коррелирует с ^ (г). Предложите способ оценивания 0 по у (f), т? (Т) и f (f) (f = 1/V).

Предположим, что в соотношениях (7.74),(7.75) X не зависит от 0. Определите Х^.

Рассмотрим структуру модели

у(П 0) = -ay (t - 1) + buU - 1)

и допустим, что истинная система описывается уравнением

yU) ■ О.ЭуМ ■ !) = //(/ 1) + е0(/),

где {е0 (/) } - белый шум единичной дисперсии. Определизе траниду Крамера - Рао для оценок параметров а и Ь. Какова ее зависимость от свойств и?

7Т.1. Предположим, что истинное описание некоторой системы задано уравнением

Я') + < У U 1) + . . .*0^*0 " ”а) = Ь°х и U - \ ) * . . . * b^uU - пь) + и0(О,

содержащим стационарный процесс {и0 (О }, не зависящий от входной последовательности. Пусть lU) определяется, как обычно, равенством (7.32), a J (Г) - равенством

?(0 = Гз’о^ 1)Иа)ы(г-1).К(г-н6)| г,.

где

>•„(/) + а®у„(Г ■ 1) + . . . + a?Ia v0U яа) = Ь® u<t - 1) + . . . + b^uU - nb>.

Докажите, что для любого вектора инструментальных переменных общего вида (7.108) имеем

кип-До=к^п5т.

7D.L Рассмотрим ARX-структуру (4.7), причем известно, что один параметр, скажем bxt имеет определенное значение Ь*. Покажите, что соответствующий предсказатель может быть записан как

.v(/IO) = o7V(0 + м(О

с соответствующими определениями 0, ^ и д (^ и д должны быть известными функциями времени). Получите оценку МНК и оценку метода инструментальных переменных для этой модели.

7D.2. Пусть Л - заданная симметрическая положительно-определенная матрица, а В и С - заданные матрицы. Установите, что

итд. -отв- втв*с = [a ^'aj^ie -/r*s]+c- втл'в>с втл хв,

и используйте этот результат для обоснования всех выражений раздела 7.3, относящихся к оценке МНК (т.е. (7.34), (7.42) и (7.44), (7.47)). Матричное неравенство D > В понимается в том смысле, что "D-В является положительно полуопределенной матрицей”.

Указание: для установления (7.47) перепишите (7.46) в виде

1 N ’

VNkO.ZN> = «— 2 |1.(0-97^)||>-(г)-9т^)Г.

N t = \

7D.3. Пусть Е - невырожденная квадратная р X /7-матрица с элементами Оу. Докажите формулу дифференцирования

—— det Е = det[E]

1

где д - обозначает /, /-элемент матрицы Е"1. (Указание: используйте разложение det (/ + еЛ) = = 1 + etr4 + члены более высокого порядка.) Пользуясь этим результатом, докажите (7.82) и (7.83).

7D.4. Покажите, что два вектора инструментальных переменных размерности d, ^ (/) и £2 (г), где Pi (/) = Тр2 (О, а Т - невырожденная квадратная матрица, порождают одну и ту же -IV

оценку в (7.104).

7D.5. Покажите, что если две переменные хим связаны уравнением (7.109), (7.110), то можно записать

-xU-1)

и U - 1)“(Г - 2)и U - 1)“(Г - 2)-x(t-nn)«(/-1)-x(t-nn)«(/-1)= SV-M>N)—^—N(q)= SV-M>N)—^—N(q)где (пп + nm) X (n„ + nm) -матрица - -m, -mt ...0-m0 ...где (пп + nm) X (n„ + nm) -матрица - -m, -mt ...0-m0 ...-m»m 0-m»m 00000S(.-M,N> =S(.-M,N> =-mx0-mx000...1nx ... иИи- матрица Сильвестра (см. [198]), являющаяся невырожденной тогда и только тогда, когда полиномы (7.110) не имеют общего множителя. Используя этот результат, докажите, что инструментальные неременные (7.112) дают ту же оценку метода инструментальных переменных, что и инструментальные переменные (7.108). Ссылка: [374].7D.6. Покажите, что оценка метода ошибки предсказания, получаемая из (7.11), (7.12), может также рассматриваться как корреляционная оценка (7.96) при определенном выборе £’?Иа-*EJV7D.7. Дайте явное выражение оценки 0N (7.116) в случае, когда f не зависит от 9, а а(е) =е.7D.8. Рассмотрим симметрическую матрицу Г Л 5 100...1nx ... иИи- матрица Сильвестра (см. [198]), являющаяся невырожденной тогда и только тогда, когда полиномы (7.110) не имеют общего множителя. Используя этот результат, докажите, что инструментальные неременные (7.112) дают ту же оценку метода инструментальных переменных, что и инструментальные переменные (7.108). Ссылка: [374].7D.6. Покажите, что оценка метода ошибки предсказания, получаемая из (7.11), (7.12), может также рассматриваться как корреляционная оценка (7.96) при определенном выборе £’?Иа-*EJV7D.7. Дайте явное выражение оценки 0N (7.116) в случае, когда f не зависит от 9, а а(е) =е.7D.8. Рассмотрим симметрическую матрицу Г Л 5 1Покажите, что если Н > 0, тоА - ВС ‘ВТ>0.Указание: рассмотритех ТНх для х = |хх -ххВСх ]при произвольном X, .Покажите, что если Н > 0, тоА - ВС ‘ВТ>0.Указание: рассмотритех ТНх для х = |хх -ххВСх ]при произвольном X, .

и U - 1)

“(Г - 2)

и U - 1)

“(Г - 2)

-x(t-nn)

«(/-1)

-x(t-nn)

«(/-1)

= SV-M>N)—^—

N(q)

= SV-M>N)—^—

N(q)

где (пп + nm) X (n„ + nm) -матрица - -m, -mt ...

0-m0 ...

где (пп + nm) X (n„ + nm) -матрица - -m, -mt ...

0-m0 ...

-m»m 0

-m»m 0

0

0

0

0

S(.-M,N> =

S(.-M,N> =

-mx0

-mx0

00...1nx ... иИи

- матрица Сильвестра (см. [198]), являющаяся невырожденной тогда и только тогда, когда полиномы (7.110) не имеют общего множителя. Используя этот результат, докажите, что инструментальные неременные (7.112) дают ту же оценку метода инструментальных переменных, что и инструментальные переменные (7.108). Ссылка: [374].

7D.6. Покажите, что оценка метода ошибки предсказания, получаемая из (7.11), (7.12), может также рассматриваться как корреляционная оценка (7.96) при определенном выборе £’?Иа-*EJV

7D.7. Дайте явное выражение оценки 0N (7.116) в случае, когда f не зависит от 9, а а(е) =е.

7D.8. Рассмотрим симметрическую матрицу Г Л 5 1

00...1nx ... иИи

- матрица Сильвестра (см. [198]), являющаяся невырожденной тогда и только тогда, когда полиномы (7.110) не имеют общего множителя. Используя этот результат, докажите, что инструментальные неременные (7.112) дают ту же оценку метода инструментальных переменных, что и инструментальные переменные (7.108). Ссылка: [374].

7D.6. Покажите, что оценка метода ошибки предсказания, получаемая из (7.11), (7.12), может также рассматриваться как корреляционная оценка (7.96) при определенном выборе £’?Иа-*EJV

7D.7. Дайте явное выражение оценки 0N (7.116) в случае, когда f не зависит от 9, а а(е) =е.

7D.8. Рассмотрим симметрическую матрицу Г Л 5 1

Покажите, что если Н > 0, то

А - ВС ‘ВТ>0.

Указание: рассмотритех ТНх для х = |хх -ххВСх ]

при произвольном X, .

Покажите, что если Н > 0, то

А - ВС ‘ВТ>0.

Указание: рассмотритех ТНх для х = |хх -ххВСх ]

при произвольном X, .

Напишите макропроцедуру TH = LS(y, и, na^b, пк).

вычисляющую оценку МНК (7.34) для ARX-модели (4.7)

y(O*axyU- 0 + • • • + anay(t-na) =

= bnkuU-пк)* .. .* bnk + nb_Au(t-nk *1 -nbHeUl.

Результат TH согласуйте по формату с задачей 4S.1, при этом значение X в TH должно быть равно 2VN<6N,ZN).

Напишите макропроцедуру

TH = W(y,u,na,nb,nk,N,M) > предназначенную для вычисления оценки метода инструментальных переменных (7.104), (7.108), (7.109) U<<q) = 1) Для той же модели, что и в задаче 7S.1.

Смоделируйте систему

q*1 + 0^g"2

У(О =u(D*eo(O

в течение /V тактов для случая, когда {и (г)} - случайный двоичный сигнал, а{ е0 (0} - белый гауссовский шум с дисперсией 1. Используйте полученные данные (Z^ = (у^, I/ )) для идентификации системы следующими способами:

определите спектральную оценку, используя различные значения 7 (задача 6S. 1),

получите оценку МНК для моделей различных порядков и сравните соответствующие диаграммы Боде со спектральной оценкой (и истинной диаграммой Боде). Почему аппроксимация модели становится точнее с ростом порядка модели?

с 1: с2:с 1: с2:определите оценки метода инструментальных переменных для различных инструментов, порождаемых в соответствии с (7.108) - (7.110) при п0 = пь = 2 и

с 1: с2:

с 1: с2:

*(g)= 1, ЛЧд)= 1, M^ = q"\

K{q}~ 1, N иМ - оценки МНК полиномов А и В,

сЗ:сЗ:Kkq> =Kkq> =1 -1,5g"1 + 0,7д1 -1,5g"1 + 0,7д1

сЗ:

сЗ:

Kkq> =

Kkq> =

1 -1,5g"1 + 0,7д

1 -1,5g"1 + 0,7д

N(.qW -1,5 g"1 *Mq’1,

M^q1 + 0^q~2.

Попробуйте также взять па = пь = 3. Что происходит?

Попробуйте варианты N = 100 и N = 400 для нескольких различных реализаций, чтобы почувствовать изменяемость результатов.

Смоделируйте систему

ут - 0,9 у (/ - 1) = «(Г - 1) + 0,5 к (/ - 2) + ео(О

при тех же и и е0, что и в задаче 70.1. Положите N = 100. Рассмотрите две структуры модели Лх- y<n*ayU-l) = u<t- l) + bu(f-2) + e(0, q~x + bq-1

Лг- y^=—^-T-u(t)^e(t).

Для каждой из них примените подход квадратичной ошибки предсказания и получите петлеобразные графики критериальных функций от (а, Ь) и (/, Ь) соответственно.

Приложение 7А. Доказательство неравенства Крамера —Рао. Предположение EG(yN) = 60 можно записать в виде

0о= Г 6(xN)fy(60,xN)dxN.(7А.1)

По определению также имеем

1= ffy(.60,xN)dxN.(7А.2)

Дифференцирование этих двух выражений по 60 дает

a м Г d1= J flCx^ R^ I ^0a м Г d1= J flCx^ R^ I ^01 тfy(60,xN) I dxN =1Г1 тfy(60,xN) I dxN =1Г= LQ^-^-infy^.x14) fy(e»,xN^dx KN Vd6ti y J y= LQ^-^-infy^.x14) fy(e»,xN^dx KN Vd6ti y J yN =N =(7А.З)(7А.З)

a м Г d1= J flCx^ R^ I ^0

a м Г d1= J flCx^ R^ I ^0

1 тfy(60,xN) I dxN =

1Г

1 тfy(60,xN) I dxN =

1Г

= LQ^-^-infy^.x14) fy(e»,xN^dx KN Vd6ti y J y

= LQ^-^-infy^.x14) fy(e»,xN^dx KN Vd6ti y J y

N =

N =

(7А.З)

(7А.З)

= E0(xN)= E0(xN)угуг

= E0(xN)

= E0(xN)

уг

уг

(/ — единичная d X (/-матрица) и(/ — единичная d X (/-матрица) ио= Zvf^r-A^’^l dxN=о= Zvf^r-A^’^l dxN=‘ т‘ т[d——]nf (0o,xN') f (,0(),xN)dx dOo Л J[d——]nf (0o,xN') f (,0(),xN)dx dOo Л JГ dvF= E —-In/y(0o,yN) .<70oJГ dvF= E —-In/y(0o,yN) .<70oJлг =(7А.4)лг =(7А.4)Математическое ожидание в этих двух выражениях вычисляется, следовательно, по распределению у N.Умножим теперь (7А.4) на 60 и вычтем из (7А.З). ПолучимМатематическое ожидание в этих двух выражениях вычисляется, следовательно, по распределению у N.Умножим теперь (7А.4) на 60 и вычтем из (7А.З). Получимл „ Id1Г^(У^-М — in^CSo,^) =1L d0o-JОбозначим «/-мерные вектор-столбцы« = 0^-6», p=-^-lnf (0o,yN),л „ Id1Г^(У^-М — in^CSo,^) =1L d0o-JОбозначим «/-мерные вектор-столбцы« = 0^-6», p=-^-lnf (0o,yN),(7А.5)(7А.5)(7А.6)(7А.6)откудаEa@T = I.Таким образом, г 1 г 1тоткудаEa@T = I.Таким образом, г 1 г 1т(7А.7)(7А.7)b'L^J bb'L^J bEaaT II EPPTEaaT II EPPTгде положительная определенность следует по построению. Применяя результат задачи 7D.8, получаем неравенствоЕаат> [ЯДОГ]-1,где положительная определенность следует по построению. Применяя результат задачи 7D.8, получаем неравенствоЕаат> [ЯДОГ]-1,которое совпадает с (7.67). Остается только доказать равенство (7.68). Дифференцирование транспонированного выражения (7А.4) дасткоторое совпадает с (7.67). Остается только доказать равенство (7.68). Дифференцирование транспонированного выражения (7А.4) даст0= /0= /Г d1—-^\nfy(0(i,xN) fy(0o,xN)dxN + duQJГ d1—-^\nfy(0(i,xN) fy(0o,xN)dxN + duQJ/ ln/v(50,^ )R1V d0o JyV ° V/ ln/v(50,^ )R1V d0o JyV ° VИ (Z1г। —- In 4,(0о,^) fyk0^xN>dxN, J L d0o z -1И (Z1г। —- In 4,(0о,^) fyk0^xN>dxN, J L d0o z -1

(/ — единичная d X (/-матрица) и

(/ — единичная d X (/-матрица) и

о= Zvf^r-A^’^l dxN=

о= Zvf^r-A^’^l dxN=

‘ т

‘ т

[d

——]nf (0o,xN') f (,0(),xN)dx dOo Л J

[d

——]nf (0o,xN') f (,0(),xN)dx dOo Л J

Г dvF

= E —-In/y(0o,yN) .

<70oJ

Г dvF

= E —-In/y(0o,yN) .

<70oJ

лг =

(7А.4)

лг =

(7А.4)

Математическое ожидание в этих двух выражениях вычисляется, следовательно, по распределению у N.

Умножим теперь (7А.4) на 60 и вычтем из (7А.З). Получим

Математическое ожидание в этих двух выражениях вычисляется, следовательно, по распределению у N.

Умножим теперь (7А.4) на 60 и вычтем из (7А.З). Получим

л „ Id1Г

^(У^-М — in^CSo,^) =1

L d0o-J

Обозначим «/-мерные вектор-столбцы

« = 0^-6», p=-^-lnf (0o,yN),

л „ Id1Г

^(У^-М — in^CSo,^) =1

L d0o-J

Обозначим «/-мерные вектор-столбцы

« = 0^-6», p=-^-lnf (0o,yN),

(7А.5)

(7А.5)

(7А.6)

(7А.6)

откуда

Ea@T = I.

Таким образом, г 1 г 1т

откуда

Ea@T = I.

Таким образом, г 1 г 1т

(7А.7)

(7А.7)

b'

L^J b

b'

L^J b

EaaT I

I EPPT

EaaT I

I EPPT

где положительная определенность следует по построению. Применяя результат задачи 7D.8, получаем неравенство

Еаат> [ЯДОГ]-1,

где положительная определенность следует по построению. Применяя результат задачи 7D.8, получаем неравенство

Еаат> [ЯДОГ]-1,

которое совпадает с (7.67). Остается только доказать равенство (7.68). Дифференцирование транспонированного выражения (7А.4) даст

которое совпадает с (7.67). Остается только доказать равенство (7.68). Дифференцирование транспонированного выражения (7А.4) даст

0= /

0= /

Г d1

—-^\nfy(0(i,xN) fy(0o,xN)dxN + duQJ

Г d1

—-^\nfy(0(i,xN) fy(0o,xN)dxN + duQJ

/ ln/v(50,^ )

R1V d0o JyV ° V

/ ln/v(50,^ )

R1V d0o JyV ° V

И (Z1г

। —- In 4,(0о,^) fyk0^xN>dxN, J L d0o z -1

И (Z1г

। —- In 4,(0о,^) fyk0^xN>dxN, J L d0o z -1

откуда следует (7.68).

Глава 8

СХОДИМОСТЬ И СОСТОЯТЕЛЬНОСТЬ

Введение

В гл. 7 был описан ряд методов определения моделей по данным. Чтобы использовать эти методы на практике, необходимо изучить их свойства: насколько хорошо идентифицированная модель описывает реальную систему? Являются ли какие-либо методы идентификации лучше других? Как следует выбирать переменные, связанные с определенным методом?

С формальной точки зрения такие вопросы относятся к отображению (7.7) множества данныхZN на множество оценок параметров 0N:

Zn^6n^Dx'(8.1)

Ответы на вопросы относительно свойств этого отображения в основном могут быть получены двумя способами:

Генерируем данные ZN с известными характеристиками. Применяем отображение (8.1) (соответствующее конкретному методу идентификации) и оцениваем свойства 6N. Этот способ известен как моделирование.

Предполагаем определенные свойства данных ZN и пытаемся установить, какие свойства унаследует оценка 6N. Этот способ известен как анализ.

В этой главе мы проанализируем свойства сходимости 6N приТУ-х». Поскольку невозможно наблюдать бесконечно много данных, такой анализ имеет характер ’’мысленного эксперимента”, при этом следует сделать некоторые предположения о соответствующей бесконечной последовательности данных Z00. Существуют различные возможности таких предположений (см. задачу 8Т.1) . Здесь, как и в гл. 2, будут рассматриваться наблюдения стохастической природы. Таким образом, данные будут считаться реализациями случайного процесса с детерминированными компонентами. Было бы интересно понять, в чем в действительности состоит анализ при таких предположениях. Вероятностный подход имеет отношение к следующим вопросам. Что должно происходить при повторении эксперимента? Следует ли ожидать совершенно другой результат? Будет ли предел бы зависеть от определенной реализации случайных величин? Даже если эксперимент никогда не повторится, очевидно, что такие вопросы уместны для уверенности, необходимой при получении оценки, а это придает смысл анализу. Другое дело, что предположение вероятностной структуры, которое делается для ответа на эти вопросы, может существовать только в воображении анализирующего и не может быть жестко связано с реальным экспериментом.

Следует заметить, что условленное стохастическое описание возмущений не свободно от проблем. Например, предположим, что измеряется расстояние с помощью грубой измерительной линейки, а ошибка измерения описывается как случайная величина с нулевым средним, которая не зависит от ошибки, получаемой при повторении эксперимента. Это предположение означает, что по закону больших чисел расстояние может быть определено с произвольной точностью, если только измерения повторяются достаточно много раз. Ясно, что такой вывод может быть подвергнут критике с практической точки зрения. Таким образом, интерпретация результатов теоретического анализа при его применении к практической ситуации должна быть осторожной.А

Очевидно,вопрос о поведении 6N при возрастании ЛГимеет отношение к вопросу о том, как ведут себя существующие критериальные функции VN^6/ZN^ и fN(Q^ZN) . При стохастической трактовке они представляют собой суммы случайных величин, 187

а их свойства сходимости будут следовать из закона больших чисел. Нашим основным техническим средством в этой главе будет, таким образом, теорема 2В.1. Для того чтобы основные идеи не утонули в технических трудностях, мы рассмотрим полные доказательства только для линейных стационарных моделей (тех же, что и в главе 4) и при квадратичном критерии. Способы доказательства и результаты переносятся, однако, на более общие случаи.

Организация главы следующая. Предположения о Z” бесконечной последовательности данных содержатся в разделе 8.2. Сходимость оценок метода ошибки предсказания изучается в разделе 8.3. Вопросы состоятельности (т.е., удается ли определить в пределе истинную систему) обсуждаются в разделе 8.4. Частотная характеризация предельной оценки дается в разделе 8.5. Наконец, в разделе 8.6 представлены соответствующие результаты для корреляционного подхода.

Предварительное замечание. В данной главе выводится общий и естественный результат: оценка 0N. полученная по методу ошибки предсказания (7.120), будет сходиться к величине, минимизирующей средний критерий El(e(t, 6), 0). Здесь Е может эвристически рассматриваться как усреднение по времени или по ансамблю (возможных реализаций), или и то и другое. В jлаве представлены формальные условия для установления этого "очевидного” результата, а также дается различная характеризация предельного значения UN. Критически настроенному по отношению к теории читателю следует сконцентрировать свое внимание на понимании основного результата - уравнения (8.29) - и на частотной характеризации предельной модели в разделе 8.5.

Условия на последовательность данных

Набор данных•

= (и(1),у(1),... ,u(jV),y(jV)}

— основная отправная точка. Выше отмечалось, что анализ сводится к предположению определенных свойств данных и определению получающихся в результате свойств 6N. Поскольку анализ GN будет проводиться для ^ ->°°, естественно, что условия, накладываемые на данные, относятся к бесконечной последовательности Z°°. В этом разделе будут введены такие условия, а также будут даны некоторые определения.

Техническое условие D1^*V Будем предполагать, что реальные данные генерируются по схеме, изображенной на рис. 8.1. Входная переменная и может формироваться (частично) как выход цепи обратной связи или в разомкнутой цепи (u = w). Сигнал е0 представляет собой возмущения, действующие на процесс. (Нижний индекс 0 отличает этот "истинный" шум е0 от "подставного" шума е, который используется в модельном описании (7.3).) Главной целью введения условия D1 является описание замкнутой системы, представленной на рис. 8.1, как устойчивой, в силу чего различие между далеко отстоящими друг от друга данными исчезает. Наиболее ограничительное условие состоит в предположении линейности (8.2). Можно провести анализ при более общих предположениях ценой его усложнения; см. [245], условие S3. В нашем случае будем использовать следующие технические предположения.

D1. Последовательность данных Z°° такова, что для некоторых фильтров

у(0= 2 (/г^СДОм^"^^ 5 dt^Uc^eoO-k),•

к = \к =0_

00ОО z4)(^-2)

и(.0= S 4 WH^-^) + 2 d; Ш(^ к =0к =0

где

l){w(r)} - ограниченная детерминированная последовательность внешних воздействий;(8.3)

{ео(О} - последовательность независимых случайных величин с нулевыми средними и ограниченными моментами порядка 4 + 5 при некотором 5 > 0;

(О -(84)

семейство фильтров { d^ (Л)} к = i, z = 1—4; t = 1, 2,.. . равномерно устой

чиво;(8.5)

сигналы {у (г)}, {и (г)} совместно квазистационарны.(8.6)

Напомним определения устойчивости (2.29) и квазистационарности (2.58) —

(В задаче 2Т.4 показано, что равномерная устойчивость имеет место, даже если замкнутая система проходит ’’кратковременную неустойчивость”.)

Рис. 8.1. Схема генерации данных

Замечание. Говоря, что ( w(/) } — ’’детерминированная” последовательность, просто подразумеваем, что она рассматривается как заданная последовательность, которая (в противоположность е0) может быть воспроизведена при повторении эксперимента. Стохастические операторы и квалификаторы такие, как Е, с вероятностью 1 и AsN будут, таким образом, относиться к распределению {е0(г)} при фиксированной последовательности {w(r)}. Конечно, это не исключает того, что конкретная последовательность в действительности является реализацией случайного процесса, независящего от возмущений системы. В этом случае иногда удобно полагать математическое ожидание оператором усреднения также и по вероятностным свойствам {w(/)}. Ниже (см. уравнение (8.27)) будет дан комментарий того, как это делается.

Истинная система. Иногда будем использовать следующее более определенное предположение об ’’истинной системе”:

Последовательность данных Z^ генерируется в соответствии с

у^ = G^u^ + Я0(<7Ыг),(8.7)

где (^о(О) — последовательность независимых случайных величин с нулевыми средними значениями, дисперсиями Хо и ограниченными моментами порядка 4 + 5 при некотором 6 > 0, а Я0(7) — обратимо устойчивый монический фильтр.

Итак, обозначаем истинную систему буквой S. Если задана структура модели (4.4)

Л; iG^^H^^ED^ ,(8.8)

то естественно проверить, принадлежит ли истинная система (8.7) множеству, определяемому (8.8). Введем, таким образом,

От(§, Л) = (У GD^С(е‘ш, У) = G0(eiw);(8 9)

HQ{e^ ,6^ = H^etwY -л<а><л}.'

Это множество не пусто именно тогда, когда структура модели допускает точное описание истинной системы. Это можно также записать в виде

&G.X(8.10)

Хотя такое предположение в практических приложениях, безусловно, не реально, оно раскрывает во многих отношениях полезные свойства оцениваемых моделей.

При выполнении предположения S1 можно дать более точный вариант условий DL

Лемма 8.1. Допустим, имеет место S1, а входная переменная выбирается по правилу

и<0= -Fto)y(r) + w(r),

причем фильтры

[1 + G^F^ -vG<AqY [I + G^F^

и

^)[l+G'oto)^)]'1 Go(9), ^)[1 +Goto)/-’to)]"1//oto)

устойчивы, a {w(t)} - квазистационарная последовательность. Тогда условие D1 выполняется.

Доказательство. Для замкнутой системы имеем

ЯО = [1 + ^(^Л ^?)] ~! О^^+ G’oC^)^’^)] -^o^ieoCO -(8.11)

Условия устойчивости означают, что фильтры в (8.11) устойчивы. Таким образом, (8.6) следует из теоремы 2.2. Кроме того, (8.2) и (8.5) непосредственно вытекают из (8.11) и предположений устойчивости.

Информация, содержащаяся в данных. Набор данных ZN представляет собой источник информации об истинной системе. К нему должна подгоняться выбранная структура модели Л. (Читатель, если необходимо, мог бы в этом месте вновь просмотреть раздел 4.5.) Структура Л описывает множество моделей Л*. содержащее отыскиваемые наилучшие модели. Идентифицируемость структур моделей касается вопроса, могут ли различные векторы параметров описывать одну и ту же модель в множестве Л*\ см. определения 4.6—4.8. Связанный с этим вопрос заключается в том, позволяет ли последовательность данных Z°° различить две разные модели в множестве. Напомним, что, следуя определению 4.1 (линейная стационарная) модель задастся фильтром W^. Будем называть набор данных информативным, если существует возможность различить разные модели. Таким образом, введем следующее понятие.

Определение 8.1. Квазистационарная последовательность данных Z00 является вполне информативной по отношению к множеству моделей Л \ если для любых двух моделей Wv (г/) и W2 (р) из этого множества равенство

^К ^ to) - ^2 to)) 2 (r)J2 = 0(8.12а)

выполняется только в случае Wi (e,LJ) = WT (ezu;) при почти всех gj.

С учетом того, что

WxW- W2(<7)= [A^fo) А^^)],.

(8.12a) можно переписать в виде

h [ Д И/„ to) U (Г) + Д Wy (q) у (г)]2 = 0.(8.12Ь)

Заметим, что предел в (8.12) существует в силу (8.6) и теоремы 2.2. Напомним также (4.109) и определение равенства моделей (4.113).

Определение 8.2. Квази стационарная последовательность данных Z* является информативной, если она вполне информативна но отношению к множеству моделей, состоящему из всех линейных стационарных моделей.

Понятие информативных последовательностей данных очень тесно связано с понятиями ’’постоянно возбуждающая”, ’’достаточно общая” входная последовательность и т.д. Оно будет детально обсуждаться в гл. 14 в связи с планированием эксперимента. Здесь приведем непосредственное следствие определения 8.2.

Теорема 8.1. Квазистационарная последовательность данных Z* является информативной, если спектральная матрица для z (г) = [и (г) у (t) ] т строго положительно определенная для всех со.

Доказательст в^). Рассмотрим (8.12) для произвольных линейных моделей Wx и W2. Обозначим И/(<7) = Wx (q) — W2 (ty). Тогда, применяя теорему 2.2 к (8.12), получаем

0= J W^y^^) WT(<lu,)<kD,

где

Ф2 (со) =Ф2 (со) =*Фм(со) ФиИ^)'*Фм(со) ФиИ^)'(8.13)(8.13)

Ф2 (со) =

Ф2 (со) =

*Фм(со) ФиИ^)'

*Фм(со) ФиИ^)'

(8.13)

(8.13)

Поскольку Ф2 (со) является строго положительно определенной, отсюда следует, что W (е^) = 0 почти всюду, что доказывает теорему.

Некоторые дополнительные понятия и обозначения ( \ В определении 4.3 структура модели была определена как дифференцируемое отображение, для которого предсказатели и их градиенты устойчивы для каждого О Е Dx . Чтобы облегчить анализ, усилим это условие.

Определение 8.3. Будем говорить, что структура модели Л равномерно устойчива, если семейство фильтров { W^q, 0), ^(q, 0) и (d/dO) Ф(б/, 0); 0 С D^} является равномерно устойчивым.

При выполнении S 1 определим аналогично (4.106)

Хо(О =Хо(О =МО .МО .(8.14а)(8.14а)

Хо(О =

Хо(О =

МО .

МО .

(8.14а)

(8.14а)

Т^= l^oto) Но^.(8.14b)

Система (8.7) может, таким образом, быть записана в виде

у(0 = TWtxoVy

Разность будем обозначать

T(q, 0) = T0(q)-T(q, 0)= ^(q, 0) H(q, 0)].(8.15)

Подход ошибки предсказания

Основной результат. Оценка по ошибке предсказания определяется соотношением (7.12)

0w = arg min VN(6,ZN).(8.16)

е d„ М.

Определение предела, к которому сходится 0N при стремлении N к бесконечности, очевидно, связано с предельными свойствами функции VNQ) ,ZNy Для квадратич-

кого критерия и линейной равномерно устойчивой структуры модели ЛЬ имеем ^(0,7^)= 2_ 5 -^^(8.17)

N t= i 2

и, используя (7.2),

е(Г, 6) = [1 - Wy(q, 0)] y(r)- Wu(q, 0>и^.(8.18)

При выполнении предположения D1 можно заменить у (г) и и (г) в предыдущем выражении на (8.2), что дает

е(г, 0) = f d^Xk^wQ -к) + 5 d <6\к, 9) е0(/ - к).(8.19)

Л = 1 Гк = О г

Далее, фильтры в (8.18) равномерно (по0) устойчивы, так как ЛЬ равномерно устойчива. В предположении (8.5) фильтры в (8.2) равномерно (по г) устойчивы. Следовательно, образующиеся в (8.19) фильтры { d^ (к\ 6) } (/ = 5, 6) также равномерно (как по 6 , так и по г) устойчивы (см. задачу 8D.2). Другими словами

U<°(*,0)i<|3* V г, V9€D^ , /=5,6, 2^<~(8.20)

Наконец, при выполнении предположения (8.6) теорема 2.2 обеспечивает квазистационарность {e(f, 0)}.

Таким образом, все условия теоремы 2В.1 выполняются, и ее применение к (8.17), (8.19) приводит к следующему результату.

■ Лемма 8.2. Рассмотрим равномерно устойчивую линейную структуру модели ЛЬ (см. определения 4.3 и 8.3). Допустим, последовательность данных Z00 удовлетворяет условию D1. Тогдадля функции Vn(0 ,ZN>), определяемой (8.17),

sup I VN(0,ZN) - У(9у^ 0 при N^~,(8.21)

6

где

V(0) = Ё^ e2(t,0\(8.22)

Итак, критериальная функция И^(0, Z^) сходится равномерно по 0 G DH к предельной функции И(0). Это обеспечивает также сходимость точки минимума 6N функции 1^(0, ZN) к точке 0* минимума V. Заметим, что для этого действительно нужна сходимость, равномерная по 0 , и это существенно (см. задачу 8D.1) .Может случиться, что И(0) имеет не единственный глобальный минимум. В этом случае определяем множество минимизирующих значений, т.е.

Dc = arg min F(0) = {0 | 6ED„ , K(0) = min Й(0') }.(8.23)

Таким образом, сформулируем следствие из леммы 8.2 как наш основной результат по сходимости.

Теорема 8.2.Пусть 6N задается соотношениями (8.16) и (8.17),где €(t,0) определяется в силу равномерно устойчивой структуры модели ЛЬ. Допустим, что последовательность данных Z00 удовлетворяет условию DL Тогда

9N^DC п.н. npuN^o°,(8.24)

где Dc задается соотношениями (8.22) и (8.23).

Замечание. Сходимость в множество типа (8.24) должна пониматься в смысле

inf I ^tv — ^ I 0 при Л^^00.(8.25)

6edc

Функция И(0) будет зависеть, вообще говоря, как от истинной системы, так и от свойств входных сигналов. При квадратичном критерии и линейной структуре модели, как следует из теоремы 2.2, она зависит от данных только через спектральную матрицу Ф2 (си) (8.13). (Подробные выражения будут даны в (8.61)—(8.65) .) Это имеет важное следствие, состоящее в том, что сходимость оценок обеспечивается только свойствами данных второго порядка.

Средние по времени и по ансамблю. Исходными сигналами для e (t, 0) являются w и е0, как следует из (8.19). Напомним, что w = м в случае работы в режиме разомкнутой цепи. Символ Е обозначает, как определено в(2.60), усреднение по ансамблю реализаций (’’статистическое математическое ожидание”) случайного процесса {^(г)} и усреднение по времени детерминированного сигнала (w(r)}. Функция К(0) представляет собой, таким образом, ’’среднее значение” от е2 (г, 0) в этих двух отношениях.

Причиной временного усреднения по (w(r) }, как несколько раз отмечалось, является то, что не всегда может оказаться удобным описание этого сигнала как случайного процесса. Однако когда {w(r) } в действительности выбирается как реализация стационарного случайного процесса (не зависящего от е0), теорема 2.3 показывает, что при слабых ограничениях временное усреднение по {xv(г)} будет с вероятностью 1 совпадать с усреднением по ансамблю:

1 £

Нт — S w(r)w(r- t) = Ew w(r)w(r-r) п.н.(8.26)

лг * N г = I

Здесь Ew обозначает статистическое математическое ожидание по отношению к процессу w.

Это^означает, что усреднение по во-ансамблю и w-временнбе усреднение посредством Е будет с вероятностью 1 эквивалентно взятию статистического математического ожидания как по е0 > так и по w:

” E-EwE€q с вероятностью 1 ’*,(8.27а)

т.е.

И(0)=£е2(г, 0) = Е^Е^е1Q, 0) с вероятностью 1.(8.27b)

Для ’’ручного вычисления” зачастую легче применять это полное математическое ожидание: см. примеры 8.1,8.2.

(Наоборот, можно было бы заменить усреднение по ^0-ансамблю временным усреднением, чтобы полностью исключить вероятностное описание: см. задачу 8Т.1.)

Общий случай. Результаты леммы 8.2 и теоремы 8.2 ценой несколько больших технических усилий могут также быть установлены для общих норм Z(e,0) (7.16); в этом случае предел определяется как

Р(0)=^(б(Г,0),0).(8.28)

Результат может быть также распространен на нелинейные нестационарные модели и на менее ограничительные предположения о последовательности данных, чем D1. Таким образом, окончательно имеем -

^N arg min El(eQ, 0), 0) п.н. при N^^.(8.29)

е D^

Этот результат о сходимости является совершенно общим и интуитивно привлекательным. Он утверждает, что оценка будет сходиться к наилучшему возможному приближению системы, существующему в множестве моделей. Качество аппроксимации измеряется при этом величиной критерия К(0) (8.28). В следующих двух разделах мы подробно остановимся на вопросе о том, что в действительности означает ’’наилучшее возможное приближение”в более практических терминах. Сначала рассмотрим два примера.

Пример 8.1.

Предположим, что система задана уравнением

ЯО + ^оЯ' 0= b^uVt - 1) + eo(O + coeo(f - 1),(8.30)

где {и(0} и {e0(f)} - независимые белые шумы с единичными дисперсиями. Пусть структура модели определяется уравнением.

[

а 1

.(8.31)

Среднеквадратичная ошибка предсказания равна

Р(0) = £’[ у (f) + ay (г - 1) - bu(t - I)]2 = г0(1 + а2 -- 2м0) + 62 - 2ЬЬ0 + 2ас0,(8.32)

где

, »о +<,о(Со -до)-»осо + 1

г о = Ну (О = :5

(см. задачу 2Е.7). Легко убедиться, что значения а и Ь, минимизирующие (8.32), т.е. О* = = [л *6*) т, равны

b*= bQ.

Эти значения дают среднеквадратичную ошибку предсказания

К(в*)=1+с„2- —,(8.34)

которая меньше, чем для "истинных значений" 0О = [л0, bQ ] Т в (8.32):

П0О) = 1+с£.. (8.35)

При применении метода ошибки предсказания к (8.30) и (8.31) , оценки а^ и Ь^ будут в соответствии с теоремой 8.2 сходиться к значениям, задаваемым (8.33) . Тот факт, что а*^ а0, обычно выражается как "смещение" оценки. Однако из (8.34) и (8.35) ясно, что смещение полезно для качества предсказания моделью (8.31) . При а = а* предсказатель строго лучше, чем для а -

Пример 8.1 подчеркивает, что алгоритм действительно дает наилучший возможный предсказатель, который реализуется при соответствующих значенияхпараметров. Однако важно помнить, что наилучшее аппроксимационное описание системы само, вообще говоря, зависит от используемой входной последовательности. Проиллюстрируем это следующим простым примером.

Пример 8.2.

Рассмотрим систему

У<П=Ьои(т - 1) + е0(г),(8.36)

где

и (t) = dou (г - 1) + w^t),(8.37)

а {^о (Г)} и {^(f)} - независимые бслошумные последовательности с единичными дисперсиями. Пусть структура модели задается уравнением

у (t $ 6) = bu V - 2), 6 = Ь.(8.38)

Среднеквадратичная ошибка предсказания, соответствующая (8.38), равна

^[^(Г) - bukt ■ 2)]2 =E\boukt - 1) - bu^t - 2)12 + Ee^t) =

= E\(bede-b)uV-2)*bew(t ■ 1)|2 + 1 = ^l^" + b£ + l-

След о вательно,

b^^b^d^ п.н. при N-**,

поскольку эго приводит к паилучшей среднеквадратичной ошибке предсказания. Далее, предсказатель

y(t\t- \^ = bodou(t 2)(8.39)

достаточно разумный для системы (8.36) при входной последовательности (8.37). Он дает среднеквадратичную ошибку предсказания 1 + Ь^ но сравнению с оптимальной величиной 1 для правильной модели, и дисперсию выходной переменной

Заметим, однако, что идентифицированная модель сильно зависит от входного сигнала, использованного в процессе идентификации. Для белошумишю входного сигнала {«(f)} , <d0 = = 0) модель (8.39) бесполезна: она даст среднеквадратичную ошибку предсказания I + Ь* + Ь^о» превышающую дисперсию выхода I + Ь* .

Состоятельность и идентифицируемость

Допустим теперь, что выполняется предположение S1, т.е. имеем истинную систему § . Обсудим, при каких условиях существует возможность восстановления этой системы с помощью идентификации по ошибке предсказания.

Ясно, что прежде всего следует предположить, что 8 € Л; другими словами, множество DT(§, Л} (8.9) непусто.

Квадратичный критерий при $ G Л . Основной результат по состоятельности почти очевиден.

Теорема 8.3. Допустим, последовательность данных Z °° удовлетворяет предположениям D1 и S1. Пусть Л - линейная равномерно устойчивая структура модели, причем 8 Е Л. Предположим также, что Z°° вполне информативна по отношению к Л . Тогда

Dc = DT{$,Jl),(8.40)

где Dc определяется соотношениями (8.22), (8.23), a Dy^S, *М ) - соотношениями (8.9). Если, кроме того, структура модели глобально идентифицируема при во Е е^т(8 , ^), то

1\ = Юо) •(8.41)

Следовательно, теоремы 8.2 и 8.3 утверждают, что для оцениваемых передаточ- ных функций выполняется

G(e,w. 0л)^Со(е1ш)-, HCe^.e^Hote^) пл. при N ^~.(8.42)

Доказательство теоремы 8.3. Пусть 6 0 Е DT\ рассмотрим для произвольного 6 Е D u

Й(0) Й(0о) = Ё|е(г, О)-е(г, 90)1 е(Л 0о) + ^ AW 0)- е(Г, М2-(8-43)

7*7*195

7*

7*

Поскольку 60Е DT, то в соответствии с S1

е(Л б0) = Яо 1 to) Goto) и^ Я51 toW) = е0(4

Более того, разность

е(г,0)-с(г,0о) = у(г|0о)-^(М^)

зависит только от входо-выходных данных до момента времени t — 1 включительно и, следовательно, не зависит от е0 (О (ср- с (8.2)). Первый член в (8.43) равен, таким образом, нулю. Второй член, равный

0о)-Ал«)]2

строго положителен, если 6 и 0О соответствуют разным моделям, так как последовательность данных достаточно информативна; см. (8.12). Результат (8.41) следует из гого, что глобальная идентифицируемость ЛИ в 0О обеспечивает равенство DT = = { ^0 } (СМ. (4.132)).

Квадратичный критерий при Gq G У . Часто более важно иметь хорошую оценку передаточной функции G, чем формирующего фильтра шума Я. Изучим теперь ситуацию, в которой множество передаточных функций модели

достаточно большое и содержит истинную передаточную функцию

G0g9, (8.44)

но истинное описание шума Яо точно не соответствует ни одной из возможных моделей. Таким образом, $^ Л . Тогда справедлив следующий результат.

Теорема 8.4. Допустим, что последовательность данных Zw удовлетворяет предположениям D1 и SL Пусть Л - линейная равномерно устойчивая струк-

тура модели такая, что G и Н параметризованы независимо;

9= Pl, Gto,0)=Gto,p), H^q, e) = H(q,n\

L 7? j

(8.45)

и такая, что множество

DG($,Jl)= {p\G(e^,p)=G0(eiw) V w)(8.46)

не пусто. Предположим, что Z^ вполне информативна относительно Л, а система разомкнута, т.е.

{«(.г)) и {^о(О1 независимы.(8-47)

Пусть оценка

л - ['

“ А TIN получена методом ошибки предсказания (8.16) и (8.17). Тогда

Рк^Вс^Л^ пл. при N ->~..(8.48)

Результат (8.48) может быть условно записан в виде

Gtelu\ 0^ -> ^(е^) пл. при N -* «>.(8.49)

Доказательство. Рассмотрим функцию V (8.22). Из S1 имеем

eQ, 6) = H"4q. Г)) [y(t)-G(q, p)u(f)] =

= H-1(q,Tf) [(Goto) -° to, р))и^О*Но(я)ео<О1 =

= uF^t, -n,p)*eF(t, ??)

с очевидным обозначением. 196

Так как ми е0 независимы, получаем

И(9)= И(р,т?)=- lEu^(t,Ti,p) + E4(t,7i)l.

Прир Е Dg($, Л^ первый член точно равен нулю, а второй член не зависит от Я. Следовательно,

arg min V (р, ту)- Во^,Л) р

безотносительно к Н, что в силу теоремы 8.2 и завершает доказательство.

Можно добавить, что как предположение (8.45), так и (8.47) существенны для справедливости результата. См. пример 8.1 и задачу 8Е.З.

Случай независимой параметризации (8.45) охватывает модель с ошибкой на выходе (4.25) и варианты модели с фиксированной ошибкой

yQ^G^O^u^^H^e^)(8.50)

(которая иначе может рассматриваться как модель с ошибкой на выходе, исподь- зующей предварительный фильтр L (q) = \(НХчУ см. (7.13) и (7.14)). Он также охватывает структуру модели Бокса - Дженкинса (4.31). Эти модели имеют, таким образом, то важное преимущество, что передаточная функция G может быть состоятельно оценена, даже если множество моделей шума слишком простое, чтобы допустить совершенно точное описание системы.

Пример 8.3.

Рассмотрим систему (8.30) из примера 8.1, и пусть структура модели соответствует модели первого порядка с ошибкой на выходе:

abq-1■

У (Г М) = ——— и(П.

1

В этом случае из теоремы 8.1 следует, что оценки Луу и Ь^ будут сходиться к истинным значениям а» и60.

Общая норма /(е) при 8 Е Л ^*\ Для общей нормы I (е), не зависящей от 6, в соответствии с (8.29) оценка сходится в множество Dc:

0n^Dc = arg min £/(e(r, 0)).(8.51)

e g d^

Вообще говоря, множество Dc будет зависеть от /. Однако при $ Е ^желательно, чтобы Dc = DT($, Л) для всех разумно выбранных I. Ясно, что на I надо наложить некоторые условия, и задача 8D.3 показывает, что не достаточно требовать возрастания / (е) по | e |. Приходится требовать выпуклость /(е) , чтобы иметь возможность доказать результат, справедливый для всех распределений обновления е0(/). Таким образом, имеем следующее расширение теоремы 8.3.

Теорема 8.5. Пусть I (х) - дважды дифференцируемая функция такая, что

Е1\е^У = ^.(8.52)

Г(х)>6>0 Х/х.(8.53)

Здесь во (О - обновления в предположении S1. Тогда в предположениях теоремы 8.3 О^П^ЛУ

гдеDc определено в (8.28) и (8.23).

Доказательство. Пусть 6 0 Е DT; обозначим, как обычно,

eV> 0o) = eQ(t).

Тогда для всякого 6 ^ DT

eV- 0) = МО+ ?(L в\

где Е [у (Г, в)]2 > 0, так как последовательность данных достаточно информативна. Следовательно, из разложения Тейлора получаем

/(е(Л 0))= /(e0(r)) + y(J, 9)lWt)V - \у (Л О)]2/'^^

где ^(г) - величина, заключенная между е0 (О и е (/J0 - Поскольку е0 (О иу^г,9) независимы, это выражение с учетом (8.52), (8.53) и £[ у(г, 0)]2 > 0 дает

Ё1^, 0))= Ё^е»^ + 0 + 2 Ё([М О)]2 /"«(г))} >

> ЁКе^*ЬЁ\у<1.0^ >l^{t)).

Доказательство завершено.

Очевидно, можно дать аналогичное расширение теоремы 8.4.

В методе максимального правдоподобия норма / выбирается как логарифм плотности распределения обновлений со знаком минус (7.73):

Z(x)=-ln/e(x).(8.54)

Можно показать, что для этой нормы соотношение (8.52) выполняется автоматически, и теорема 8.5 имеет место без условия (8.53) . См. задачу 8G.3.

Общая норма / (е, а) при 8 Е ЗС^*\ Рассмотрим теперь случай, когда норма параметризована посредством а независимо от параметризации предсказателя, как в (7.17) . Имеем, таким образом, следующие предельные значения 0 и а:

(0*, а*) = arg min И(0,а)=а^ min E l^^t. 0\a\(8.55)

0 . а0, а

Если S E J£ и для всех а выполняются условия теоремы 8.5, то ясно, что 0* Е Е DT (^8 s^) безотносительно к а.Это означает, что

а* - arg min ЕЦе0^), а).(8.56)

Исследуем выражение предельного значения а* (8.56). Прежде всего имеем следующий результат.

Лемма 8.3. Рассмотрим норму (7.17),нормализованную так, что

7 е-Цх,а')(1х=х Va(857)

Пусть функция плотности распределения вероятностей с*о (О есть fe (х) и предположим, что для некоторого а0

/(х, а0)=-1пЛ(х)..(8.58)

Тогда в (8.56) а* = а0.

Доказательство. Положим

к^ = е"1<х-аК

Отсюда

fA*^fA*^/а(^о(О), г /а(*)In к= - In / Л (МО)Ш*)/а(^о(О), г /а(*)In к= - In / Л (МО)Ш*)fe^<bc = - In J/a(x)Jx = 0.fe^<bc = - In J/a(x)Jx = 0.Е1(е^. “) - Е1<еМ «о) = - Е In ТГ^

fA*^

fA*^

/а(^о(О), г /а(*)

In к= - In /

Л (МО)Ш*)

/а(^о(О), г /а(*)

In к= - In /

Л (МО)Ш*)

fe^<bc = - In J/a(x)Jx = 0.

fe^<bc = - In J/a(x)Jx = 0.

Здесь использовано неравенство Йенсена (см. [78]) (поскольку 1п х является выпуклой функцией), а равенство имеет место тогда и только тогда, когда/а(х) = = const • feW- Это и доказывает лемму.

Таким образом, эвристически можно сказать, что

минимизация по а в (8.55) - попытка сделать норму/(б,а) похожей на логарифм с обратным знаком от функции плотности распределения вероятностей истинных обновлений.(8.59)

Пример 8.4

Пусть l(c,ot) задается выражением (7.75):

Це, а) = -— + In а .

2 [ а J

Находим, что минимум функции

Е\Це0 V), а)] = ^ [ 2^J2L + 1п а 1 = 2 Г .2»- + in а] 2 [ аJ 2 [ а J

достигается при а = Хо. Оценка а^ будет, таким образом, сходиться к дисперсии обновлений при N->00. См. задачу 7Е.7.

Если предсказатель и норма Z(e, 0) имеют общие параметры, то утверждение, что 0* = arg min£7(e(/; 0), 0)

будет давать компромиссное решение между стремлением сделать ошибки предсказания (е(г,0)} равными истинным обновлениям {е0(/)} и (8.59), т.е. стремлением сделать норму похожей на - 1п/е (х). В случае, когда эти две цели не могут быть достигнуты одновременно, состоятельность может быть утрачена при непустом DT(§ ,Л0. См. задачу 8Е.2.

Многомерный случай (*\ Результаты по сходимости и состоятельности для многомерных систем полностью аналогичны скалярному случаю. Результат (8.29) справедлив при тех же обозначениях и в многомерном случае. Контрпримеры к теоремам 8.3 и 8.4 с квадратичным критерием .

(8.60)

имеют место при той же формулировке, только с очевидными изменениями обозначений в доказательствах. Условие (8.53) теоремы 8.5 принимает вид положительной определенности р X р-матрицы Г (е).

Линейные стационарные модели:

частотное описание предельной модели

Теорема 8.2 описывает предельные точки оценки 0* ,6* ^Dc как величины, минимизирующие среднеквадратичную ошибку предсказания среди всех моделей структуры Л. В случае 8 Е Л это означает, что 0* = 0О - истинное описание системы (см. теорему 8.3), а в противном случае модель будет отличаться от истинной системы. В этом разделе остановимся на некоторых выражениях, характеризующих это расхождение между предельной моделью и истинной системой для случая линейных стационарных моделей. См. также задачу 8G.4.

Функция V^ для разомкнутой системы. Используя фундаментальное выражение (2.65) можно записать

-- 11 ”

У(6) = Е — е2(г, 0) =— / Фе(ш,е)аш,(8.61)

24тг -л

(8.62)(8.62)(8.63)(8.63)где Фе(о>, 0) - спектр ошибок предсказания { е(г, 0)}. При выполнении предположения S1 имеем

(8.62)

(8.62)

(8.63)

(8.63)

у(О = со(?)ы(О + «о(О’

где аддитивный шум { ио(О } имеет спектр Фи(<а) = Хо|Яо(е,м)|2.

Тогда для линейной структуры модели получаем ошибки предсказания

e^t, 9) = H~\q, 0) [у(Г) - G(q, 0)и(О1 = H"4q, в) U.G0(q)-G(q, 0))м(Г) + ио(О] •

(8.64)

Применяя теорему 2.2 к (8.64), приходим к выражению для Фе(о>, 0):

Фе(о>,0) =Фе(о>,0) =(8.65)(8.65)I 6(е™,())|2Ф» + Ф»| Я^^,0)|2

Фе(о>,0) =

Фе(о>,0) =

(8.65)

(8.65)

при условии, что и0 и и независимы. Здесь G - разность в (8.15). Следовательно,

V(9Vb’^-e2G,6) = 4- J ^\G0(etw3— G(elu)'б^^Фи^ш) * Фц^о^Х

24тг -п

Отсюда получаем характеризацию

Dc = arg min К(0)(8.67)

в частотной области.

Модель с фиксированным шумом. Для модели с фиксированным шумом Щд, 0) = H\q) V0, соотношения (8.66), (8.67) можно переписать в виде

Dc = argmin J | Go(e,“)-G(e/W>0)i2e*(w)dw,(8.68а)

6 -я . Фм(Си>)

.<868ь)

где члены, независящие от 0, отсутствуют. Пусть 0* Е Dc. В этом случае предельная модель

G^e^^G^^*)

является наилучшей среднеквадратичной аппроксимацией G0(e,CD) с частотным взвешиванием Q*, зависящим от модели шума Н* и от спектра входного сигнала Фм, которая может интерпретироваться как модель отношения сигнал/шум.

Независимая параметризация модели шума^*\ Рассмотрим теперь модель с независимой параметризацией модели шума (8.45), (4.125). Пусть 9* EDC. Тогда можно записать

р* = arg min J I G0(e1^) - G(etu\ p)| ^Q^ *n*)dco,(8.69a)

P -я

^u(^)

(8 69b*

*» ^ErG^P*)

’ "аГ8Т7.Т??Ч^‘,“'(8-70a)

где

»er(w,P)=I G0(e/w)- б^.Р^Ф^ + Ф»^)(8.70b)

- спектр ошибки, т.е. спектр ошибки на выходе у^ - G^q. p)u(tY В этом случае видно, что производится подгонка G*^^) под G0(etw) в Q(oo, т?*)-норме, которая априори неизвестна, но косвенно определена соотношением (8.70) через модель шума H(elw,q*Y

Чтобы лучше понять задачу минимизации (8.70), факторизуем спектрошибки

*er(4P*) = V lW,P*)l2(8.71)

для монической устойчивой и обращаемо устойчивой N(q, р*). Заметим, что если G(q, Р*) = G0(q),TO N(q, р*) равняетсяНо(q); см. (8.70b) и (8.63). Тогда

Фек(^Р') = х. | _^1ZL 2 = х. j + ^е^.р^-Ще^.п) 2 = |Я(е/ш,т?)|2 I Я(еЧт?)Я^Чт?)

= X*U + |Л(е'ш)|2 +«(e^) + /?(efw)],(8.72)

где

N(etw ,р*) — Н(е<ш ^А

R(e,w)^—(8.73)

Я(е'ш,т?)V ’

(R зависит от q и р*, но мы опускаем эти аргументы). Так как Ми И монические и так как Н^е1^ .q^ обращаемо устойчива, можно записать

«(?“) = S г^е"1^; к = 1

важно отметить, что член суммы, соответствующий к = 0, равен нулю. Таким образом,

1 Rte^du^.

Заметим также, что

R(eiw) = -

1

. N(eiw,p*)

^ Я(е/М,р*) . Н(е1ш,^ J

В итоге (8.70) можно переписать в виде "II1

т? = arg mm Г ::

п I ^е‘ш,р»)Н<е1ш,^

2

Фед(<^, P*)<7w,

(8.74)

(8.75)

который показывает, что обратная модель шума \ (Н аппроксимирует обратное значение спектрального множителя спектра ошибки \)N (определенного в (8,71)) в смысле квадратичной нормы, определяемой спектром ошибки. Менее формально, ту* таково, что спектр модели шума | Н(е1^, п*)12 наиболее близок к спектру ошибки Феи (со, р*) в выбранном множестве спектров модели шума. (8.76)

Общий случай. В общем случае (8.66), когда модель шума имеет общие параметры с передаточной функцией, невозможно дать четкую формальную характеризацию получаемых в результате оценок. Полезно, однако, и интуитивно привлекательно посмотреть на предельную оценку 6* как на компромисс между подгонкой С^е1и\(Ц к G0(e/u>) по квадратичной норме в частотной области,

Фм(со)

Q(ax О*) =(8.77)

\Ще ,0 )\2

и подгонкой агектра модели | //(e/GJ,0)|2 к спектру ошибки,

Фкк(ш. О *) = I G0(e'“ ) - G (е^, 0 * )|2 Ф„ (ш) + Ф^),(8.78)

как это описано соотношением (8.75). Эта интерпретация, хотя и приблизительная, полностью проясняет суть дела.

Пример 8.5.

Рассмотрим систему•

укП = Go^uvn

0.00k"2 (10 + 7.4^- + 0.9 24^2 + 0.1764<3)

1 -+ 1.553^'2 - 0.4387^"3 +0.042^"4*

На систему не действуют возмущения. Входной сигнал является псевдослучайной двоичной последовательностью (см. гл. 14) с основным периодом порядка длины выборки, откуда Фи( со) ~ 1 для всех си.

Эта система идентифицировалась методом ошибки предсказания с квадратичным критерием и без предварительной фильтрации Ц, (<?) = 1) ошибки на выходе модели, имеющей структуру

аЬ .а-*1 + Ь^а-2

Диаграммы Боде истинной системы и получающейся в результате модели, представлены на рис. 8.2. Видно, что модель дает хорошее описание низкочастотных свойств, но она плоха на высоких частотах. В соответствии с (8.68) предельная модель характеризуется параметром

e* = argmin / | G^e1^ ■ Gte'^ti^Vduj,(8.81)

О — -п

поскольку H*(q) = 1 и Фм(си) г 1. Так как амплитуда для истинной системы падает в 100 - 1000 раз для си > 1, ясно, что ошибки на более высоких частотах дают крайне малый вклад в критерий (8.81); как следствие • хорошее низкочастотное приближение.

Рассмотрим теперь вместо (8.80) ARX-структуру.

х bxq"x + b.q"21

у«>= ; 1~1 2 "-i “W + ~i^Г eW(8.82)

1 + axq 1 + a1q 21 + axq 1 + a2q"2

соответствующую предсказателю линейной регрессии

yU I У) = - axy(t - 1) - a2y(t - 2) + Ьхи^ - 1) + b2u(t - 2).

При применении тех же данных эта структура даст описание модели, представленное на рис. 8.3, имеющее лучшее низкочастотное приближение. В соответствии с обсуждением, проведенным в этом разделе, эта предельная модель представляет собой компромисс между подгонкой \)\ 1 * axeiu3-Кце2^\2 к спектру ошибки и минимизацией (я* и а^ - компоненты предельного вектора оценок 0*)

7 |G0(e‘“)- С^.е)!2 -1 I *a*eito -vaXe1^?^.(8.83)

Рис. 8.2. Диаграммы Боде истинной системы и идентифицированной модели (8.80) .Сплошные линии - графики амплитуд, штриховые линии - графики фазы, жирные линии истинная система, тонкие линии - оценкаРис. 8.2. Диаграммы Боде истинной системы и идентифицированной модели (8.80) .Сплошные линии - графики амплитуд, штриховые линии - графики фазы, жирные линии истинная система, тонкие линии - оценкаРис. 8.3. Диаграммы Боде истинной системы и идентифицированной модели (8.82). Обозначение кривых аналогично рис. 8.2

Рис. 8.2. Диаграммы Боде истинной системы и идентифицированной модели (8.80) .Сплошные линии - графики амплитуд, штриховые линии - графики фазы, жирные линии истинная система, тонкие линии - оценка

Рис. 8.2. Диаграммы Боде истинной системы и идентифицированной модели (8.80) .Сплошные линии - графики амплитуд, штриховые линии - графики фазы, жирные линии истинная система, тонкие линии - оценка

Рис. 8.4. Функция веса | Л*(с,си)|2 в (8.83)

Функция ХА^е1^^ = I 1 + а*хе1и> + а^е11^ |2 изображена на рис. 8.4. Она придает высоким частотам в I04 раз больший вес, чем низким. Следовательно, по сравнению с (8.81) критерий (8.83) штрафует высокочастотные отклонения гораздо больше. Это объясняет различные свойства предельных моделей, полученных для структур моделей (8.80) и (8.82).

Корреляционный подход

В разделе 7.5 корреляционный подход к идентификации был определен специально для методов псевдолиней ной регрессии и инструментальных переменных. Анализ сходимости для этих методов совершенно аналогичен анализу для методов идентификации по ошибке предсказания, проведенному в нескольких предыдущих разделах.

Основные результаты по сходимости. Рассмотрим функцию

1 N•

fN(9,ZN) = — 5 £(t, 9)€F(t, 9),■■(8.84)

N t = 1; .

где eF задается уравнением-

eF^e^ = HqWn '(8-85)

а вектор корреляции f (Л 0) формируется посредством линейной фильтрации поступивших данных:

№КДдЖ№^^^^а(8.86)

(оба фильтра содержат одну задержку). Определяя оценку 6^ как корень уравнения fN (0, ZN ) = 0, получаем корреляционный подход (7.96). При этом имеем здесь общие инструментальные переменные (7.96b) для линейного случая (8.86).

Анализ сходимости для (8.84) полностью аналогичен идентификации по ошибке предсказания. Таким образом, из теоремы 2В.1 имеем:

Лемма 8.4. Пусть последовательность данных Z00 удовлетворяет D1, и пусть ошибки предсказания вычисляются посредством равномерно устойчивой линейной структуры модели. Предположим, что семейство фильтров

{Ky(q,0yKu{q,0y OGD^ ’

равномерно устойчиво. Тогда

sup \fN(°'2N) -f(0)MO п.н. при N^oos(8.87)

где __

Д0) = Е^(г, O^kU, 6 У(8.88)

Таким образом, для оценки ОN имеем следующий результат.

Теорема 8.6. Пусть 0N определяется как

0N = sol [/H0,Z") = O].

Тогда в предположениях леммы 8.4

0N ~^Dcf п.и. при N^^,(8.89)

где_

D^UHOGD^ , Я0) = О}.(8.90)

Здесь теорема представлена для частного случая а(е^) = eF в (7.96d). Опа непосредственно распространяется на общий вид а( • ).

Этот результат по сходимости наиболее общий и, кроме того, совершенно естественный. Предельная оценка О* G Dc^ характеризуется тем свойством, что пропущенная через фильтр ошибка предсказания {eF(Z, 0* )} уже не коррелирует с инструментальными переменными { f (г, 0*)}. Это служило также основной идеей при выборе оценки 0ы . Теперь охарактеризуем Dc^ более практическими терминами для некоторых специальных случаев.

Состоятельность при $ G Л (*\ Предположение, что S G Л должно приводить к существованию величины 0о £ Dj^ такой, что {е(Г, 0о) - ^о(^)} - белый шум. При L (q) = 1 находим, что f (0о) = 0, поскольку e0U) не зависит от прошлых данных и, в частности, от Цг, 0оу Следовательно, как и ожидалось,

0о GDcf.(8.91)

В общем случае не так просто проанализировать, содержит ли это множество другие элементы, когда данные информативны, а структура модели глобально идентифицируема при 0 = 0о.

Методы инструментальных переменных при Go ^ 59. Рассмотрим инструментальные переменные

^О^К^.ОУЛг),(8.92)

Лежащая в основе модель

v4(<zW) = S(<Z)w(0 + i40.

для которой предсказателем является

у(Г\9) = фт(г)0,

определяется так же, как в (4.11) и (4.12).•

В предположении S1 истинная система задается уравнением (8.7). Если существует О 0, соответствующее (Л о(<7), ^о to) ) такое, что

^’oto^ "”^ -[^0 G S ; ср. с (8.44)],

А о to)

то (8.7) можно записать в виде

5oto)

У ^ = ~Т7Т и W + "о to) ео(О,(8.93)

-4oto)

ИЛИ

У (г) = <рт(О0о + w0 (Г),•(8.94)

где

wo(r) = ^oto)//oto)eo(O-(8.95)

Предположим теперь, что система разомкнута, поэтому { w0(О) и {«(г)} независимы. Тогда

f^ = EUt, О)!^) lZ(Otoo -O + MOJ = 1% 0)^J(Ol too 0),(8.96)

где т

'M» = £to)</’(0-

Второе равенство в (8.96) справедливо в силу того, что ^L 0) полностью формируется по прошлым u(t), a L ^w^t^ не зависит от (м(г)} . В рамках сформулированных предположений имеем, таким образом, 0о £ Dc^ и ответ на вопрос, содержит ли это множество другие значения 0, зависит от того, является ли матрица E^t, 0)^(0 вырожденной.

Допустим теперь, что инструментальные переменные f не зависят от 0 и генерируются в соответствии с (7.108)(7.110). Тогда матрица

R=E^t)^(t)(8.98)

является постоянной, зависящей только от фильтров /,(<?), K(q). N(q) и M(q), от истинной системы и от свойств (м(г)} . Полное обсуждение невырожденности матрицы R проведено в [374]. Отметим сначала следующие факты. Пусть л®, и® - порядки истинного описания (8.93), и пусть па ,пь - соответствующие порядки модели. Положим порядки инструментальных фильтров (7.108)-(7.110) равными пп> пт. Тогда

если min(nfl - п®. пь - п£)>0, то R вырождена;(8.99а)

если min(nfl - и„, пь - пт)>0, то R вырождена.(8.99b)

Чтобы это понять, положим

Яо(<7)

М0 = ——^(О,(8.100)

Ло(^)

5W = [- z0(t - 1)- z0(j па) uQ - 1).. .u^t — л6)] г.

Пусть ^F (Г) = L(q)^p(Г). Если Ид > п^ и пь>п^. то из (8.100) следует существование (Ид + лй)-мерного вектора 5 такого, что <pT^t\S = 0. Тогда и q>F (t^S = 0. Теперь, поскольку (w0 (О) и (м(0) независимы, имеем

R ==(8.101)

откуда следует, что RS = 0 и R вырождена. Аналогично, (8.99b) приводит к существованию такого вектора 5, что 5Tf (г) = 0.

Когда не выполняется ни одно из условий (8.99), матрица R ’’как правило” невырождена. Чтобы показать это, рассуждаем следующим образом: для заданной

истинной системы и заданного входного сигнала обозначим коэффициенты фильтров L, Kt М и N через р. Матрица R является, таким образом, функцией р: Я(р). Теперь рассмотрим скалярнозначную функцию det/?(p). Это аналитическая функция р (см. [116]). Если такая функция равна нулю на множестве положительной меры Лебега, она должна быть тождественно равна нулю. Таким образом, если существует такое р*, что det R(p*) ^ 0, то можно утверждать, что det Z?(p) О для почти всех р (на множестве аналитичности det/?(p)). Такое р* можно найти, если спектр входного сигнала Фм(со) > 0 для всех со, а порядки фильтров N и М выбраны по крайней мере такими же большими, как соответствующие порядки модели па и пь (см. задачу 8Т.2). Имеем, таким образом, следующий результат.

Допустим, система задается уравнением (8.93), Фм(со) > 0, и что и и е0 независимы. Пусть инструментальные переменные f (г) определяются соотношениями (7.108) -(7.110). Предположим, что ни одно из условий (8.99) не выполняется. Тогда (8.98) невырождена для почти всех таких N, М, Ln К. (8.102)

Частотная характеризация Dcf для метода инструментальных переменных ^* \

Ошибки предсказания в предположении S1 можно, используя (8.93), записать в виде

ГB(q)'

e(Z, 0) = A(q)y(r)-B(q)u(r) = A(q) G0(q)u(t7H0(qHt)77™ UW • LЛ(<?)J

Для инструментальных переменных (8.92) аналогично (8.61)-(8.66) имеем

/(0) = ЛТ(лО)еДлО) = -^ / [<^(е'~) - ^(е'~,^

— л

(8.103)(8.103)X А^'уЦе^'уК.Де -^,0)dw.

(8.103)

(8.103)

гдеG(eiw,0) =гдеG(eiw,0) =В^е1ш)А(е^)В^е1ш)А(е^)

где

G(eiw,0) =

где

G(eiw,0) =

В^е1ш)

А(е^)

В^е1ш)

А(е^)

Здесь Ки(е 1Ш ,0) - (/-мерный вектор-столбец.

Предельные оценки O^v ^ Def охарактеризованы, таким образом, тем, что определенные скалярные произведения в частотной области с ошибкой ^©(е'00) - - G(e1^, Oiv) равны нулю.

Заключение

В этой главе выяснялся вопрос, что произойдет, если наблюдается все больше и больше данных. Ответ естественный: для идентификации по ошибке предсказания (7.120)

0N -►arg min El(e(t, 0),0) п.н. при N-^»,(8.104)

а для корреляционного подхода (7.121)

0^^ sol [^(r, 0)a(eF(t, 6)) = 0] п.н. при N^°°.(8.105)

6eD«M

Эти результаты сформулированы в теоремах 8.2 и 8.6 соответственно.

Таким образом, предельные модели такие же, какие получились бы при вычислении наилучших аппроксимаций системы в случае, когда известны по крайней мере ее вероятностные свойства.

В случае, если истинное описание системы охватывается множеством моделей, модель будет сходиться к этому описанию при выполнении естественных условий на 7 и при вполне информативной последовательности данных. Это демонстрируется теоремами 8.3—8.5.

Если точное описание не может быть получено, модель будет приближена к системе таким способом, который можно охарактеризовать в частотной области следующим образом (см. (8.68) - (8.76)):

предельная оценка передаточной функции С*(е<из) частично или полностью определяется как функция, наиболее близкая к истинной передаточной функции по квадратичной норме в частотной области с функцией взвешивания Фм(со)/| Н(е1^, 0*)|2, в то время как получающаяся в результате мо- дельшума |//(eIW,0*)|2 наиболее близка к спектру ошибки Фек(оо).

(8.106)

Комментарии к библиографии

Анализ сходимости и состоятельности оценок имеет, конечно, большую историю в литературе по статистике. Представленный здесь анализ имеет некоторые корни в анализе метода максимального правдоподобия, начиная с [418] для случая независимой выборки и [27] в приложениях к динамическим системам. Анализ метода максимального правдоподобия в применении к временным рядам является, по существу, эквивалентным. Эта проблема описана в [14, 163, 343, 420] и во многих других работах. Другое исследование, относящееся к нашему предмету, - анализ нелинейных наименьших квадратов [194]. Асимптотический анализ, не использующий стохастических предположений, проведен в [308] и [255].

Анализ методов идентификации по ошибке Предсказания, когда распределение возмущений не обязательно гауссовское, был дан в работах [72, 166, 239, 242]. Ситуация, изученная в данной главе, когда истинное описание не обязательно присутствует в множестве моделей, была, возможно, впервые проанализирована в [240] и [245]. Подобные результаты представлены также в [12, 74, 196].

Характеризация предельной модели в частотной области обсуждается также в [417].

Сходимость и состоятельность оценок метода инструментальных переменных подробно излагается в [374]. Впервые вариант ’’общих” результатов состоятельности оценок метода инструментальных переменных (8.102) был дан в [116]. В применении к динамическим системам первый анализ состоятельности метода инструментальных переменных был, по-видимому, сделан в [441].

Можно отметить, что если метод ошибки предсказания применяется для линейной регрессии так, что в результате получается метод наименьших квадратов, анализ значительно упрощается. Первый анализ этой ситуации был сделан в [276]. Недавние работы по состоятельности МНК - [16, 225, 241, 346].

Задачи

8G.1. Локальные минимумы. Рассмотрим матрицу Г2(0), определенную в задаче 4G.4, и напомним, что условие

Г2(0)>О(8.107а)

обеспечивает локальную идентифицируемость структуры модели в точке 6. Покажите, что это условие вместе с условием

ФХо(со)>0 Vcu(8.107b)

(ФХо(си) - спектр x0(f), определенный в (8.14а)) обеспечивает выполнение неравенства Ёф(Г, 6)^T(t, 0) > О,

где ^^,6), как обычно, равно (dlde^y(t\ 0). Покажите также, что если с (Г, 0О) = е0(Г) ~ белый шум и если

Й’(ео(Г)) = 0, ЕГЧео(П)>0,

то из условия (8.107) (при 6 = 0О) вытекает, что К(0) - El^e^t, 0)) имеет строгий локальный минимум в точке 6 = Оо.

8G.2. Допустим, множество передаточных функций модели { G(q, 9)} состоит из передаточных функций линейных систем «-го порядка:

b.q~l + • •. + bnq^n•

G<q, 0) =-—.

l*axq-1 ^..^anq-n

И допустим, что входной сигнал равен сумме и гармонических сигналов разных частот и>^ (i = -!,...,«), 0 < uj^ < и.

Предположим, что модель шума является независимо параметризованной. Покажите, что предельная модель G*(eIU>) точно повторяет истинную систему G^e*^ на рассматриваемых частотах.

Предположим, что модель шума имеет параметры, общие с G(q, 0), но в системе шума нет: Ф^и»)'« 0. Покажите, что результат случая а) по-прежнему справедлив.

8G.3. Состоятельность метода максимального правдоподобия. Допустим, что выполняются условия теоремы 8.5, включая (8.52) и (8.53). Пусть

Z(x) = - ln/e(x),

где feW - функция плотности распределения вероятностей е0(Г). Покажите, что (8.52) и утверждение теоремы выполняются, даже если (8.53) не удовлетворяется.

8G.4. Рассмотрим выражение критериальной функции (8.61) в частотной области. Покажите, что альтернативное выражение Фе(и>, 0), справедливое также при генерации входного сигнала в цепи обратной связи, имеет вид

■ Т(е'ш,»)Фх (ы)ТГ(е_/%в)

ф'(“' "*

при обозначениях (8.15), где ФХо(си) - спектр хо(О в (8.14).

8E.L Примените теорему 8.2 к критерию наименьших квадратов (7.33) и проверьте эвристически полученный результат (7.39).

Рассмотрим задачу 7Е.4. Здесь критериальная функция Z(e(r, 0), 0) имеет параметризацию, зависящую от параметризации предсказателя. Допустим, что истинная система определяется уравнениями

х(Г + 1) = лох(Г) + wo(O,.

ЯО^О + и0(Г),

где{ % (Г)} и {и0(Г)} - независимые белые гауссовские шумы с дисперсиями EWqU) = 0.1 и Ev^(O = 10 соответственно.

Покажите, что при параметризации (7.122) существует 0*, для которого е(Г, 0*) = ео(О = истинным обновлениям. a ML*

Покажите, что оценка максимального правдоподобия 9"^ не сходится к 0 при N-* °°. с) Объясните этот парадокс.

Рассмотрим структуру модели с ошибкой на выходе АbГМ

го1”1-е-Ы' Предположим, истинная система та же, что и в примере 8.1:

У(О*аоуК -1) = 60м(Г - l) + eo(r) + coeo(r - 1) и что входная последовательность формируется по закону и(П = -^(г)+г(г), •.

где { г (Г)} - белый шум, а 1^0 ЧМ < Ь

Получите выражение характеризующее предел 0N. Будет ли он равен [я0, Ьо ] ? В каком месте нарушаются предположения теоремы 8.4?

Рассмотрим структуру модели

yUHayU- \) = Ьии - 1) + е(г),

Допустим, истинная система и входная последовательность определяются так же, как в задаче 8Е.З. Пусть 0^ - оценка метода инструментальных переменных для параметра 0 с инструментальными переменными

[ м(Г - 2) ] *

Сходится ли eN к 0О = KAI7?

Рассмотрим выражение для Фе задачи 8G.4. Допустим, что обратная связь может быть описана как

и(П = K<q)e<0 + W).

Хо +Хо +Покажите, что тогда спектр ошибки можно записать в виде I S(e'“>0)l2*vv(w) + | С(.е‘ш,е^К<е*ш^ + Н(е'ш, 9) |=Л,

Хо +

Хо +

\Н(е'ш,0) |

8ТЛ. Рассмотрим квазистациопарную последовательность {«(/)} и равномерно устойчивое семейство фильтров { G(q, 0), O^D^}. Положим

zU.O^GVq.O^u^.

— 2 N t=i— 2 N t=iz2<L 0)- Rp(0)z2<L 0)- Rp(0)О при NО при NsupЗдесьsupЗдесьДокажите, что имеет место следующее усиление теоремы 2.2: для всякого О G D^ последовательность {z(/, 0)} - квазистационарная и

— 2 N t=i

— 2 N t=i

z2<L 0)- Rp(0)

z2<L 0)- Rp(0)

О при N

О при N

sup

Здесь

sup

Здесь

-1 п ♦

Используя этот результат, получите невероятностный дубликат теоремы 8.2: для любых квазистационарных детерминированных последовательностей {у (г)} и { и (Г)}

гдегде0 л,arg min Be2 (Г, 0), 9eD^

где

где

-1 N

Ec2(t,O) = lim — ^ е2(Л Oy

N-*■ 00 N t={

Соответствующую дискуссию см. в [255].

8Т.2. Рассмотрим ситуацию (8.102). Пусть истинная система задается уравнением (8.93), и допустим, что фильтры выбраны следующим образом:

L^ = KW= 1,

N(q) = Ло(^), M(q) = B0(q>.

И пусть Фм(и>) > 0 для всех си. Покажите, что при таком выборе р матрица R(p) положительно определена (и, следовательно, не вырождена).

8Т.З. Пусть система задается как

§ : ^(Г) = С0(^)м(Г)+Я0(^)е0(Г), а модель -.

J< : yltVGlq.O^uWlHq.eWf).(8.108)

Допустим, что

Pr(#,J?)={90}

и что данные информативны. Пусть теперь

y(t |Г — к; 0)

- предсказатель на к шагов вперед, вычисляемый из (8.108), и пусть 0N определяется как

6N = arg min — L \y(O - yU \ t - к; 6>p. 6 N f=I

Покажите, что O^-^ 0o при N-* 00, если входной сигнал формируется независимо от выхода системы. Что будет при наличии обратной связи? Что будет, если обратная связь есть, но между входным и выходным сигналами существует задержка на к шагов? (Указание: заметим, что предсказатель на А' шагов вперед представляет собой частный случай линейной модели, поэтому теорема 8.2 применима; постарайтесь повторить технику доказательства теоремы 8.3.)

8D1. Покажите, что если sup UNW "f^'H-O -11

и

xN = arg min -1 Ca^1

TO

x^-arg min/(x).’

возрастания I (x) noвозрастания I (x) no8D.2. Покажите, что (8.20) следует из (8.18), (8.2) и (8.5).

возрастания I (x) no

возрастания I (x) no

80.3. Чтобы показать, что в теореме 8.5 не достаточно требовать | х |, рассмотрим следующий контрпример:

ZW =ZW =0,2|* I,1,0,2|* I,1,0 < I* I < 1/2,0 < I* I < 1/2,€V. 0о) = М') =€V. 0о) = М') =1/2,с вероятностью 1/2, с вероятностью 1/2.1/2,с вероятностью 1/2, с вероятностью 1/2.

ZW =

ZW =

0,

2|* I,

1,

0,

2|* I,

1,

0 < I* I < 1/2,

0 < I* I < 1/2,

€V. 0о) = М') =

€V. 0о) = М') =

1/2,

с вероятностью 1/2, с вероятностью 1/2.

1/2,

с вероятностью 1/2, с вероятностью 1/2.

следующее распред e-следующее распред e-обсуждаемых в нейобсуждаемых в нейДопустим, существует значение 0 такое, что y(z | 0) - y(t ) 0о) имеет ление:

следующее распред e-

следующее распред e-

обсуждаемых в ней

обсуждаемых в ней

I + 1 с вероятностью 1/2,

( -1 с вероятностью 1/2.

Проверьте, что

условие (8.52) теоремы 8.5 выполняется, а (8.53) - нет;

kW, 6) Же1^, 0О);

£7(е(/, 0» <El(€(t, 0О)), откуда 0N—(-*6o.

8С.1. Рассмотрим задачу 7С.2. Нарисуйте графики Й(0) для двух случаев.

Глава 9

АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ ОЦЕНОК ПАРАМЕТРОВ

Введение

Поскольку свойства сходимости оценки 0N изучены, возникает вопрос, на сколько быстро сходится оценка к своему пределу. Если предел обозначить О *, следует, таким образом, исследовать разность 6N - О* Как и в предыдущей главе, будем подходить к задаче оценивания с тех же стохастических позиций. Это означает, что 0N —0* будет случайной величиной, а ее ’’размер” может быть охарактеризован ее матрицей ковариаций или, более полно, ее распределением вероятностей. Нахождение распределения в общем случае для произвольного N является очень сложной задачей и нам придется довольствоваться асимптотическими выражениями для больших Nt Оказывается) что (0N — 0*) обычно убывает как IS/N, а распределение

случайной величины

при этом сходится к гауссовскому при слабых предположениях.

В этой главе будут получены выражения этих асимптотических распределений. По структуре глава аналогична гл. 8. Так, в разделе 9.2 даны основные результаты для методов ошибки предсказания. Раздел 9.3 содержит точные выражения асимптотических матриц ковариаций в случаях, когда предел 6* дает правильное описание истинной передаточной функции. Выражения в частотной области для дисперсий, а также для дисперсии, получаемой в результате передаточной функции, представлены в разделе 9.4. Корреляционный подход к оцениванию параметров излагается в разделе 9.5, а раздел 9.6 посвящен практическому использованию результатов данной главы. Читателю, возможно, интересно будет ознакомиться сначала с исследованием, проведенным в разделе И.2 Приложения II, которое могло бы служить в качестве предварительного обзора техники и результатов настоящей главы.

Подход, основанный на ошибке предсказания: основная теорема

Эвристический анализ. Рассмотрим, как и ранее,

On = агё min VN (6, ZN ),(9.1)

N 1

VN<9,ZNV— 5 -e4t,9\(9.2)

N t = i 2

Тогда, обозначая знаком штрих дифференцирование по 9, получим

Vn<9n,Zn ^0.

Допустим, что множество Dc (8.23) состоит только из одной точки 0*. Разложение предыдущего выражения в ряд Тейлора в окрестности 0* дает

0= lN(9\ZN)+l^(l-N,ZN)(9N-9'Y(9.3)

где ^N -• точка ’’между*’ 0N и 6*. Знаем, что 6N ^6* с вероятностью 1. С помощью рассуждений, аналогичных лемме 8.2, можно показать, что Ifo" (0, ZN) сходится равномерно по О к F"(0). Тогда

Vn ^.n/Zn^ V ’\0*^ при /У->«>п.н.(9.4)

При условии невырожденности этой (d X d) -матрицы из (9.3) для больших N получаем разность

(0N-0*) = | F"^*)]-1^^*,/^).(9.5)

Второй сомножитель задается выражением 1 к

-V^9*,ZnV- 2 ПтП(9.6)

N t = i

где, как обычно, dId a I

шо*^- —^o)\ * = — ине) # d6x0-0d6 \o=6

- d-мерный вектор-столбец. По определению Г'(0*)=-Ё ф(Г,0*)е(1, 0*)=О.

Пренебрегая разностьюПренебрегая разностьюDn -ЕDn -Е11LwLwN_2 \Ht,0*W>6*VE >HL^e(t,0*^ t = iN_2 \Ht,0*W>6*VE >HL^e(t,0*^ t = i(9.7)(9.7)

Пренебрегая разностью

Пренебрегая разностью

Dn -Е

Dn -Е

1

1

Lw

Lw

N_

2 \Ht,0*W>6*VE >HL^e(t,0*^ t = i

N_

2 \Ht,0*W>6*VE >HL^e(t,0*^ t = i

(9.7)

(9.7)

которая предполагается сходящейся к нулю ’’быстро”, получаем выражение (96), представляющее собой, таким образом, сумму случайных величин ^(t, 0*)е (t, 0*) с нулевыми средними значениями. В случае их независимости отсюда сразу следовало бы по центральной предельной теореме, что

(9.8)(9.8)(9.9)(9.9)1 N

(9.8)

(9.8)

(9.9)

(9.9)

— 2 i//(r,9*)e(r,9*)€AsN(O,e), N t = 1

где

Q = lim A^£4[^(S*,ZN)][^(S*,ZN)|T}.

N — 00

Здесь (9.8) означает, что случайная величина, стоящая слева, сходится по распределению к нормальному распределению с нулевым средним и матрицей ковариаций Q (см. (L17)). Члены К^не являются независимыми, но в предположениях D1 и (8.5) зависимость между отстоящими друг от друга членами будет убывать. Представляется убедительным, что (9.8) справедливо.

Если (9.8) верно, из (9.5) непосредственно получаем, что

V"n\9n -0*)€ AsN(0,Pe),(9.10)

Ро = [Й"(б*)]’,С[Г "(б*)]-’..(9.11)

Асимптотическая нормальность. Предыдущий эвристический анализ может быть строго обоснован, как показано в Приложении 9.А. Результат можно сформулировать следующим образом.А

Т е о р е м а 9.1. Рассмотрим оценку 0N> определенную соотношениями (9.1) и (9.2). Предположим, что структура модели линейная и равномерно устойчива (см. определения 4.3 и 8.3) и что последовательность данных Z96 удовлетворяет условию D1 (см. раздел S.2) .Допустим также, что

On -^0* п.н. при УУ-><»,

F"(0*)>O

для единственной точки 0* внутри D^ и что

<NDn -> 0 при N -> <»

Dn определено выражением (9.7). Тогда

VN(9n - 9 *) G AsN(O, Ро),

гдеРо задается соотношениями (9.11) и (9.9).

С помощью более сложной техники этот же результат может быть доказан для ослабленных предположений относительно последовательности данных и структуры модели (см. [258]). Заметим, в частности, что результат остается верным и для общих норм / (б, 0, г) при условии, что / достаточно гладкая по е и 0. Однако вычисление производных Vn^V” становится более трудоемким. Для

м 1 N

VN(9.ZN) = - 2 l(e(t.0\9,t) N t = i

имеем

1 N'

V^e,ZN>=- 2 [-Ялв)/е(еМ).МЖИеМИ.О],(9.13)

где 7e'= (d/de)7 (e, 6,t^,ale - (<7 X 1)-вектор (d/d9)7(e, S, ?). Аналогично, v"^ =Ёфа, 9)i"e(е(л 0> e, r)фта,0)-

- Ё—-ф А, в)I* (e(r, 9), 9, r) - Ё ф(r, 9)lg9 (e(r, 0), 9, f ) -

-Ei^At, 9Х9,г)ФтА,е^ЁГ^АА.б\9,о(914)

с очевидным обозначением вторых производных. При необходимости будем использовать результат асимптотической нормальности в этой общей форме.

Матрица Ро в (9.11) является, таким образом, матрицей ковариаций асимптотического распределения. Когда нас в основном будет интересовать ковариация, будем писать

А 1

Cov9n~— Ре-(9.15)

В Приложении 9. В представлено формальное доказательство (9.15).

Вычисление асимптотической матрицы ковариаций Ре через (9.9), (911), (9.13) и (9.14) в общем случае достаточно сложно. В следующем разделе она будет определена для некоторых частных случаев.

Выражения асимптотической дисперсии

В этом разделе будем рассматривать асимптотическую матрицу ковариаций оценок метода ошибки предсказания в случае, когда истинное описание системы по существу содержится в множестве моделей.

§Е:Л; квадратичный критерий. Предположим, что выполняются условия теоремы 8.3. Тогда Dc = { 60} , а е(г, 0О) = е0 (О - последовательность независимых случайных величин с нулевыми средними значениями и дисперсиями Xq. Из (9.6) и (9.9) имеем

n N

Q= lim - 22 ЕфА> 0o)eo(r)eo(s) V^ts, 60) =

N — ~ N r = 1 $ = 1

1 N_

= lim -2 XofNAJ^.eoWMfloJ^fr.M(9.16)

N ^ <» N Г = 1

поскольку {e0 (t)}- белый шум (см. также задачу 9D.1). Аналогично,

у "(90)=Ёфа. 90)фта, м-E фта, e^ecAt) = Ёфа, еа ф'а, еоу

Последнее равенство вытекает из того факта, что xpf Q» Oq) формируется только из Z1. Следовательно, из (9.11) получаем

.Р^ММШ/Мо)]’1.(9.17~I

Этот результат имеет естественную интерпретацию. Так как ф- градиенту, видно, что асимптотическая точность оценивания определенного параметра связана с тем,

насколько чувствительно предсказание y(t |У) относительно этого параметра. Ясно, что чем больше параметр влияет на предсказание, тем легче будет определить его величину. Очень важной и полезной стороной выражений асимптотической матрицы ковариаций типа (9Л 7) является возможность оценивания ее по наблюдениям. Имея обработанные данные в N точках и вычисленную оценку У^/v, можно использовать

А А Г 1аг АА

(9.18)(9.19)(9.18)(9.19)^N-^N2 ф(г, 6n^ ФТ(Т> ^N^

(9.18)

(9.19)

(9.18)

(9.19)

[ N t = ।.

А1WА

An = — 2 e2(r, 6N)

N t= i

как оценку Pq. Относительно случая, когда S ’’почти” принадлежит множеству

моделей ^, см. задачу 9 G,3.

И р и м с р 9.1. Ковариация оценок МНК

Рассмотрим систему

$: ym*aoyU- 1) = и(г - 1) + e0UY(9.20)

Входная последовательность {и (г)}- белый шум с дисперсией М, не зависящий от последо

вательности { е0 (г)} . которая также является белым шумом и имеет дисперсию Хо. Допустим, что коэффициент при и (/ —1) известен, а идентификация системы производится с помощью структуры модели

^: у (О + ay(f - 1) = «(r-l) + e(Z), 0 = а, •

или

y(rl0) = -^y(z - 1) + н(г- 1),(9.21)

используя квадратичный критерий ошибки предсказания.

Таким образом, в этом случае получаем оценку МНК (7.34). Имеем

d А

Ф^^= —уа\0)= -y(t - 1).(9.22)

d0

Следовательно,

Р =— .(9.23)

Ey4t-U'

Чтобы вычислить ковариации, возводим обе части равенства (9.20) в квадрат и берем математическое ожидание. Эго дает

RyW + al0RyW + 2а0^ (1) = ц + \0

при стандартных обозначениях (2.61). (Здесь использовано соотношение (8.27) для вычисле

ния ЕЛ Умножая (9.20) на у (Z-1) и переходя к математическому ожиданию, получаем

^(1) +ао^^(0) = ^м(0) = о,

где последнее равенство вытекает из того, что и (г) не влияет на у (г) (благодаря временной задержке). Следовательно,

(9.24)(9.25)(9.24)(9.25)Ey4t- П = Ку№= ^^

(9.24)

(9.25)

(9.24)

(9.25)

Cov а^Cov а^АГ д + Хо ‘АГ д + Хо ‘1 -«2

Cov а^

Cov а^

АГ д + Хо ‘

АГ д + Хо ‘

П р и м е р 9.2. Ковариация МА (1) параметра. Рассмотрим систему

y(r) = eo(f) + coeo(r - 1),

где{е0 (Г) } - белый шум с дисперсией Хо. Используем структуру модели МА (1)

у(О = e(r) + ce(t - 1), приводящую к предсказателю (4.18):

y(t\c) + cy(.t - l\c) = cy(t- 1).(9.26)

Дифференцирование дает

V/ U, c^ + c^it - 1, с) = -у (t - 11 с) + у(г - IX

При с = с0 имеем

V/ (Л1 -1 ео('Х

Если с^ - оценка параметра с, полученная по методу ошибки предсказания, то в соответствии с (9,17) имеем

(9.28)(9.28)„ А Х0 1 _ 1-С?

(9.28)

(9.28)

04 сN ~N * Е^Чг.с^ N

S G ^ : Общая критериальная функция Це), ие зависящая от 6. Рассмотрим теперь общий критерий (9.12) с Це, 6, t) -Це) (нет явной зависимости от 6 иг). Предположим, что ЕЦ (e0(f)) = 0. Тогда, при условии $G Л из (9ЛЗ) и (9.14) непосредственными вычислениями находим

(9.29)(9.30)(9.29)(9.30)P0=m)VE Ш6о)фт^6о Ж1,

(9.29)

(9.30)

(9.29)

(9.30)

[с/Чмом*

Здесь 7' ъГ* — первая и вторая производные от 7 относительно ее аргумента.

Очевидно, для квадратичной функции Це) - е2/2,7'(e) = е, и Г (е) = 1, откуда к (7) = Eeo^t) = Хо. Это подтверждает (9.17) как частный случай (9.29) и (9.30). Интересно отметить, что выбор 7 в критерии влияет только на масштабирование матрицы ковариаций.

Асимптотическая граница Крамера—Рао. Граница Крамера-Рао (7.79) применяется для произвольной несмещенной оценки и любого N. Она может быть переписана в виде

Cov(VyV(6N-60))> к»Cov(VyV(6N-60))> к»Г 1 N — SL N 1= 1Г 1 N — SL N 1= 1EWW^t.MEWW^t.M(931)(931)

Cov(VyV(6N-60))> к»

Cov(VyV(6N-60))> к»

Г 1 N — S

L N 1= 1

Г 1 N — S

L N 1= 1

EWW^t.M

EWW^t.M

(931)

(931)

Обозначая плотность распределения вероятностей е0 (г) через /е(-), можно убедиться, что

к(-!п/е) = к0,

где Ко определяется соотношением (7.76), а функция к(7) - формулой (9.30). Таким образом, асимптотическая матрица ковариаций Ро (9.29) равна пределу {при N -^ °°) границы Крамера-Рао, если 7 (♦) выбрана как - 1п/( •). В этом случае оценка метода ошибки предсказания (совпадающая при таком выборе 7 с оценкой метода максимального правдоподобия) имеет наилучшие возможные асимптотические свойства, на которые только можно надеяться.

Go G У : Квадратичный критерий, G и Я параметризованы независимо (*). Вернемся теперь к случаю теоремы 8.4, когда G и Н параметризованы независимо, a Go может точно описываться моделью, что не обязательно выполняется дляЯ0. Пред-

положим, что выполняются все условия теоремы 8,4 и, кроме того,

(9.32)(9.32)Dg (8Л) = {р0)

(9.32)

(9.32)

иDc = {e*),иDc = {e*),9*9*(9.33)(9.33)

и

Dc = {e*),

и

Dc = {e*),

9*

9*

(9.33)

(9.33)

Положим

^) =^) =Н»^H<q, т?*)Н»^H<q, т?*)= 2 flQ-\i = О= 2 flQ-\i = О(9.34)(9.34)

^) =

^) =

Н»^

H<q, т?*)

Н»^

H<q, т?*)

= 2 flQ-\i = О

= 2 flQ-\i = О

(9.34)

(9.34)

где H(q, т?*) и Но (q) - предельная и истинная (в соответствии с (8.7)) модели шума. Тогда имеем

(9-35)(9-35)(9.36)(9.37)(9.36)(9.37)e<t.9*)=H Чч. q*)[y(t)-G(q, р0)ы(г)] = F(cf)e<AO

(9-35)

(9-35)

(9.36)

(9.37)

(9.36)

(9.37)

И

dт Н Vq.n^GpVq.Po^u^)

Ш9Ч= - — e(r,S) =

de 9=9U"' (q, q*) H^q. q*) F^ e»^

Более того, если /(e) = e2/2, то

V'\94 = Ё ф^г. 9* ) ФТи, 9* ) + Ё [^'(г, 9*) F(q) e0(t)].

Поскольку {и(г)} и {е0 (г)} независимы, внедиагональные блоки матрицы (9.37) будут нулевыми (блоки, соответствующие декомпозиции 6 на ри т?). Аналогично, Q (9.9) будет блочно-диагональной и, следовательно, такой же вид будет иметь Ро . Сосредоточим теперь внимание на блоке, соответствующем р. Обозначим

фр^Н'Чд. q4Gp (q, р»)м(О, (9.38)

представляющую собой детерминированную величину (не зависящую от е0(г)). Здесь Gp - градиент G относительно р. Тогда

1 NNm

Qp= lim — 22 фРи)фр (s)EF(q)eo(t)-F(q)eo(s) =

= lim - S S S S ^ри)Л^о(^-О^о($-/)Л ^r(s) = N^ooyVf=is=if=0/=0J p

1 N N-т N-t

= [t~i = s-j = T]= Um — Xo 222 ft фр(т + Of. ф J (r .+/)•

N-«■ N т = 1 i = 0 /= 01 и

Определим

(9.39)(9.40)(9-41)(9.39)(9.40)(9-41)Ф (т) = s fi$p(T Ч ). i = о

(9.39)

(9.40)

(9-41)

(9.39)

(9.40)

(9-41)

Тогда

Qp = X»E ШФтиУ

Аналогично, для верхнего левого блока (9.37)

VЁЧ6*)^p = Ёфp(OФтpu>).

Теперь можно сформулировать результат:.

! В предположениях теоремы 8.4 и (9.33)

! ^IPN-Po'tGAfiW.Ppy

I где

I Рр=МЁМ^^ГЧЁ Шфт(ОНЁфр^(9.42)

Оценки pN и ^ асимптотически не коррелируют.

Этот результат можно распространить на более общие нормы 1(e) аналогично случаю SEjIL.

Очевидно, когда $ Е Л, а значит F ^q) = 1, этот результат совпадает с (9.17).

Пример 9.3. Ковариации оценки по ошибке на выходе»

Рассмотрим опять систему (9.20), на этот раз вместе с моделью структуры

y(t) = 5 .. u(t) + e(t), 0 =f,(9.43)

ИЛИ

y(t\6) = «(г).

Это - модель с ошибкой на выходе- Очевидно, f - а0 даст правильное описание передаточной функции, в то время как свойства шума (9-20) не могут быть верно описаны моделью (9.43), поскольку

H0(.q) =^ и Н(я, 9)=1.

l+<z09'‘

Таким образом, в этой ситуации можно применить результат (9.42). Находим, что

V>p(r, 9) =А- уО< 9) = —^-u(r) =—-—— к (г - 2)(9.44)

4/(1 + А )(1 + л0<? )

при вычислении в точке 0*=ао. Для (9.34) имеем

Hq) = W+a^q^l = f k-a.Vq-i.(9.45)

11 = 0

Следовательно,

t(?)= .fo(-ao)^,p(r + ()^ f q(^ 4pW = t -^ ^ »Р(П.

Спектры имеют вид

откуда могут быть вычислены дисперсии, как в Приложении 2С. Это даст выражения

и, таким образом, в соответствии с (9.42) дисперсия

Многомерный случай (*). Рассмотрим случай, когда е (г) - р-мерный вектор, а

I N

VN^ZN)-- 2 Z(e(r,0)).

N г = 1

Формулы (9.9) - (9.14) по-прежнему применимы. Предполагая 0* = Оо» получим, что е(г, 0О) = ^о U) ~ последовательность независимых векторов с нулевыми средними, а ЕГе(ео(О) = О» тогда непосредственные вычисления дают

= [/7 ш OYY^Y. Ml "* [/7 Ф(г, в^фЧг, Ml X

X [й(Ш^7.М"'.(9.47)

Здесь ф(1, во) - d X р-матрица (<//</9) у(г|9),аЕи S - р Хр-матрицы:

5 =/7/"(МО),(9.48а)

2 = 7 /'(е0 (г)) [/’(МО)!Т-(9.48b)

Для квадратичного критерия (7.27),

7(e) — — е^1 е

находим, что

и

^Л-’ЛоЛЛ

где Ло = Е CqU^qUY

Если матрицу весов Л в критерии выбрать равной Л = Ло, из (9.47) получим j Ро = 1/7 Фи, 0о) ^UT(L 00)1 -1.(9-49)

См. также задачу 9Е.4 и обсуждение в разделе 15.2.

Выражения асимптотической дисперсии в частотной области

Дисперсия прн $ Е Л. В предыдущем разделе была найдена асимптотическая дисперсия (9.17) при $ EJZ. Ее можно выразить в таблицах функций частоты, если применить равенство Парсеваля (или теорему 2.2). Сначала необходимо получить выражение для фи, в) •

Получая Т' - градиент Т = [С7Я] по0, имеем из (4.118с) и (4.121)

1 ф(г, 0) = Т (9, 9)

Ж<?,9)

’ 1О'

. H-4q,0)G(q. 9) H-4q,9).

"uVY .yYY

(9.50)

При 0 = 0О, используя е U, 0о) = ^о U), получаем ф(Г, М = #-1(<?, МТ'(<7, МХо(О.

(9.51)

где ХоЮ определяется выражением (8.14). Пусть ФхО(со) - спектр Хо(О (2 X 2-матрица):

Фх0(ш) =Фх0(ш) =" Фи М. Феи (Ш)" Фи М. Феи (Ш)Фие(^)Фие(^)(9.52)(9.52)

Фх0(ш) =

Фх0(ш) =

" Фи М

. Феи (Ш)

" Фи М

. Феи (Ш)

Фие(^)

Фие(^)

(9.52)

(9.52)

Здесь Фие (со) - взаимный спектр между входным сигналом и обновлениями (кото- рые тождественно равны нулю, если система работает в режиме разомкнутой цепи обратной связи).

Из теоремы 2.2 и равенства Парсеваля имеем

^(г,ео)^т(г,во)= 2- HH^.eav1 т'(е/ш,90) х

(9.53)(9.53)(9.54)(9.54)2 л — я

(9.53)

(9.53)

(9.54)

(9.54)

X ФхО(^)Т,Т(е- ,ш,9о)^.

Теперь, используя выражение

Фи(Ш)=Ло|Яо(е'ш)|2

для спектра шума находим, что

Covew~^- [-^ /^TV\ 8о)ФхО(<«))Т^''и6о)^

N [ 2л - я Ф„ (со)

в предположении, что 8 ЕЛ и используется квадратичный критерий. Напомним определение Т' (4.121).

Дисперсия при Go G У (*). Аналогичными вычислениями выражение (9 42) может быть представлено в частотной области. Получаем

1 Cov pN - — R 1 QR,|

INi

; к"^№^^с;<,'“,")ф"^l9-5S) !

i1" Ф„(са)„I

।2л —я | Hye , У I

Дисперсия оценок передаточной функции при прямой параметризации (*). Во многих случаях оценки параметров 6N не представляют непосредственный интерес: они лишыюдразумевают определенное описание оценки передаточной функции. Этот подход был назван в гл. 4 моделированием черного ящика. Тогда более естественно оценивать свойства модели в терминах Т^е* w) = Т^е1 ^ 6N), нежели в терминах 0/у • Рассмотрим теперь эту проблему» начав с изучения конкретного вида параметризации T(q, 0), при которой T(eiu\ 0) представляется кусочно постоянной функцией частоты.

Положим

0 = lgW g{ h{gR h^ gR„ hRm g‘m ti' ]

(9.56)(9.56)И

(9.56)

(9.56)

G(ciG\6) = gRk + ig^ если ^k-i<^<^,

H(e^, 0) = hRk + ih1^ если cok._ j < co < GDk ,

где оз k = Ttkim. Значения для отрицательных co определяются комплексным сопряжением. Таким образом, функции частоты параметризованы как кусочно постоянные функции.

Допустим теперь, $€Ж тогда можно применить выражение (9 54). Находим, что для са> 0 градиент Т' (см. (4Л21)) равен

Ь 6(са, 1)

Ь Ь 6(са, 1) /• 6(са, 2)

(9.57)(9.57)T'(ef€d,0) = t-7-6(oj, 2)

(9.57)

(9.57)

/• 6(са, т) _г-1* 8(са, т\

где

j Ьеслиса^-! <ca<cafc, 8(соД) = 5

I 0, иначе,

а / - 2 X 2-единичная матрица.

Для отрицательных значений со матрица определяется комплексным сопряжением. Следовательно, используя (9.54),

А 1

Cov0N-~ Р0)(9.58)

N

где Ро - блочно-диагональная матрица с 2т 2 X 2-блоками вдоль диагонали. Ее (2к - 1)-й и 2£-й диагональные блоки суть 2 X 2-матрицы

^2k-h=^2k =/—^^——б/со] , к=\,...,т.(9.59)

L 2л wk_ J Фу(со) J

Если подынтегральная функция является гладкой и/или т велико, имеем приближенно

[

1Фуо(^к) 1

-(^k-^-i)———=т Фи(^)[Фхо(^)] •(9.60)

ЛФу(^) J

Следовательно, из (9.56) и (9.58)

-Re Gn (с^П

Соу ReHN^) ^[ ^(«Х^хоМГ1 01

Im G(e,4°) N I 0Ф^ш) (Фх0(ш)] "* J ’

LlmHN(e^)J

Более того, оценки для частот, принадлежащих различным интервалам (9.56), являютя некоррелированными.

По определению (1.13) ковариаций комплексно-значных случайных величин находим, что

Cov TN (е^)Т^ — ФУ (^)[Фхо(^)Г’, п = 2т.(9.62)

N

Напомним выражение (9.52) для Фх0. Здесь п = 2т можно трактовать как ’’порядок” модели (т.е. число параметров, используемых для описания каждой передаточной функции).

Выражение (9.62) говорит о том, что асимптотическая ковариация передаточной функции на каждой частоте определяется ’’отношением сигнал/шум” на этой частоте (v - шум, Хо - сигнал), умноженным на ’’отношение порядка модели к числу данных”. Если система работает в режиме разомкнутой цепи обратной связи, то Фх0 - диагональная матрица, и

А . П Фм(с^)z

ConGn^V-(9.63а)

Cov HN (е1^) ~ 7= 7 I Яо ) |2(9.63b)

с некоррелированными GN и HN.

Асимптотическая теория ’’черного ящика”. Результат (9.62) для конкретной параметризации (9.56) наводит на определенные рассуждения. Поскольку он касается входо-выходной величины 7jv(^,w) ,очевидно,что результат будет инвариантен при замене параметризации; это означает, что другая параметризация l\q, 0), которая может быть поставлена во взаимно-однозначное соответствие с (9.56), приведет к асимптотическому выражению (9.62). Далее, различные виды параметризации типа ’’черного ящика” для линейных моделей такие, как рассмотренные в разделе 4.2, в действительности равносильны определению G и Н на различных частотах; при общей структуре модели л-го порядка для G(^IU>, 0) можно всегда выбрать 0 таким, чтобы G(elu>k, 0) имела предписанные значения на л/2 заданных частотах ок (к = = 1,... ,п!2). Конечно, G не будет в точности постоянной между этими частотами, следовательно, у нас нет формального сведения параметризации к (9.56). Однако при возрастании и это должно становиться менее важным. Перечисленные аргументы наводят, таким образом, на мысль, что результат (9.62) справедлив также для общих способов параметризации типа ’’черный ящик”:

Соу^(е^)г~—Фи(<а)“у ',(9.64)

асимптотика для больших п и больших N\ п — порядок модели, N — число данных.•

Наши доводы были, конечно же, эвристическими, однако, используя несколько иной подход, результат (9.64) для общей структуры черного ящика (4.33) можно обосновать формально. Доказательство см. в [252]. Можно подчеркнуть, что при работе системы в режиме разомкнутой цепи обратной связи (Фме = 0) оценки G^ и HN асимптотически некоррелированные, даже при наличии общих параметров.

В части III будет показано, что (9.64) имеет широкое применение во многих вопросах планирования эксперимента. Интересно поэтому проверить, насколько хорошо (9.64) соответствует точному выражению для не слишком больших значений п.

Пример 9.4. Сравнение (9.64) с точными выражениями для конечных п.

Рассмотрим систему второго порядка

У (О + ^ ? X kt - 1) + о^у U - 2) = b^u (t - 1) + ЬХ и kt - 2) + е0 (Г).(9.65)

Предположим, что эта система идентифицируется методом наименьших квадратов с использованием модели следующей структуры:

укО +aty(t - 1) +. .. + a„ykt -nV btu(t - 1) + ... *bnukt - и) + e(f).(9.66)

Рис. 9.1. Графики зависимости (1/л) Ig^fcj) и IgP; (cj) от cd для различных систем, моделей и входных сигналов. Число п отмечено на рисунках, a "L” означает Р^ (cd). а) система: (3.65), (9.68); модель: (9.66); входной сигнал: белый шум; Ь) система (9.65), я? = - 0,8, а^ =0,2, 6° = 1, Ь^ = -- 0,9; модель (9 66) ; входной сигнал: белый шум; с) система (9.65), а® = - 1,8, а® = 0,81, b® = 1, Ь® = 0; модель (9.66); входной ситная: белый шум; d) система (9.65), д? = = - 1,4,а® = 0,98, Ь® = 1,6° = 0,5; модель (9.66); входной сигнал: белый шум; е) система (9.65), (9.68); модель: а -■ (9.66), b (9.69); п = 2; входной сигнал: белый шум; f) система (9-65), (9.68); модель: (9.69); входной сигнал: (9 70)Рис. 9.1. Графики зависимости (1/л) Ig^fcj) и IgP; (cj) от cd для различных систем, моделей и входных сигналов. Число п отмечено на рисунках, a "L” означает Р^ (cd). а) система: (3.65), (9.68); модель: (9.66); входной сигнал: белый шум; Ь) система (9.65), я? = - 0,8, а^ =0,2, 6° = 1, Ь^ = -- 0,9; модель (9 66) ; входной сигнал: белый шум; с) система (9.65), а® = - 1,8, а® = 0,81, b® = 1, Ь® = 0; модель (9.66); входной ситная: белый шум; d) система (9.65), д? = = - 1,4,а® = 0,98, Ь® = 1,6° = 0,5; модель (9.66); входной сигнал: белый шум; е) система (9.65), (9.68); модель: а -■ (9.66), b (9.69); п = 2; входной сигнал: белый шум; f) система (9-65), (9.68); модель: (9.69); входной сигнал: (9 70)igpigp22ОО0,10,1<o<o

Рис. 9.1. Графики зависимости (1/л) Ig^fcj) и IgP; (cj) от cd для различных систем, моделей и входных сигналов. Число п отмечено на рисунках, a "L” означает Р^ (cd). а) система: (3.65), (9.68); модель: (9.66); входной сигнал: белый шум; Ь) система (9.65), я? = - 0,8, а^ =0,2, 6° = 1, Ь^ = -- 0,9; модель (9 66) ; входной сигнал: белый шум; с) система (9.65), а® = - 1,8, а® = 0,81, b® = 1, Ь® = 0; модель (9.66); входной ситная: белый шум; d) система (9.65), д? = = - 1,4,а® = 0,98, Ь® = 1,6° = 0,5; модель (9.66); входной сигнал: белый шум; е) система (9.65), (9.68); модель: а -■ (9.66), b (9.69); п = 2; входной сигнал: белый шум; f) система (9-65), (9.68); модель: (9.69); входной сигнал: (9 70)

Рис. 9.1. Графики зависимости (1/л) Ig^fcj) и IgP; (cj) от cd для различных систем, моделей и входных сигналов. Число п отмечено на рисунках, a "L” означает Р^ (cd). а) система: (3.65), (9.68); модель: (9.66); входной сигнал: белый шум; Ь) система (9.65), я? = - 0,8, а^ =0,2, 6° = 1, Ь^ = -- 0,9; модель (9 66) ; входной сигнал: белый шум; с) система (9.65), а® = - 1,8, а® = 0,81, b® = 1, Ь® = 0; модель (9.66); входной ситная: белый шум; d) система (9.65), д? = = - 1,4,а® = 0,98, Ь® = 1,6° = 0,5; модель (9.66); входной сигнал: белый шум; е) система (9.65), (9.68); модель: а -■ (9.66), b (9.69); п = 2; входной сигнал: белый шум; f) система (9-65), (9.68); модель: (9.69); входной сигнал: (9 70)

igp

igp

2

2

О

О

0,1

0,1

<o

<o

В качестве входного сигнала { д (г)} выбирается белый шум с дисперсией 1, и возмущение е0(Г), действующее на систему (9.65), также предполагается белошумным с единичной дисперсией.

Пусть Ь^е^*, п) - оценка передаточной функции, полученная для модели и-го порядка. Поскольку истинная система (9.65) второго порядка, можно использовать (9.17) для оценивания Рп(^ в соотношении

Соу С^е'Ч п)~А-Р„(Ш)

для и > 2. Это соотношение дает явное, но сложное выражение для Р„( и>), которое является точным по п (но асимптотическим по ^). В соответствии с (9.64) имеем асимптотически по п

<2оуСк^ш,п>~-^Р^ =<2оуСк^ш,п>~-^Р^ =(9.67)(9.67)и ^иС^) _ п1м

<2оуСк^ш,п>~-^Р^ =

<2оуСк^ш,п>~-^Р^ =

(9.67)

(9.67)

N ФИМ | 1 *0^ ^aV^X1 '

Итак, сравним, насколько хорошо лР£(о>) приближает Рп. Сделаем это с помощью графиков зависимости Р^ (cd) и (МгдР^иУ) от и>. Сначала рассмотрим ’’систему Острема”:

(9.68)(9.68)^ = -1.5, а°г =0.7, &; = 1, 6? =0.5.

(9.68)

(9.68)

На рис. 9.1, а изображены графики зависимости lg(l/zi)P„(u>) для п = 2, 4, 6, 8, 10 и lg ^(cd) от lg u>. Рисунок ясно показывает сходимость к пределу при возрастании п. Можно сказать, что сходимость довольно медленная. Болес важно, однако, что даже для малых п предельное выражение дает хорошее представление о точной зависимости дисперсии от частоты. Для проверки этого проводилось оценивание выражения для ряда систем второго порядка с различными характеристиками. Результаты показаны на рисунках 9.1,Ь - 9.1, d.

В соответствии с асимптотическим выражением (9.64), дисперсия не должна зависеть от числа оцениваемых параметров, а определяется только порядком модели. Это несколько удивительный результат. Чтобы проверить, имеет ли место этот результат и для моделей малого порядка, была проведена идентификация системы (9.65), (9.68) моделью ARMAX-структуры

У(г) + o.y^t - 1) + a2y(t -2) = biu(t - l) + b2u(t ~2) + е(г) + схеЦ - 1) + c^t - 2), (9.69) которая использует на 50% больше параметров, чем (9.66) при том же порядке модели. На рис. 9.Id показана дисперсия передаточной функции, оцененная при л = 2 моделями структуры (9.65) и (9.69) соответственно. Совпадение поразительное.

Наконец, была проведена идентификация системы (9.65), (9.68) моделью ARMЛХ-структу- ры (9.69) при п = 2, 4 и 8 для низкочастотного входного сигнала со спектром

(9.70)(9.70)0.25

(9.70)

(9.70)

"'1.25-cos w

Результаты показаны на рис. 9.If. Сравнивая с рис. 9.1а, видим, что теперь согласованность асимптотического и точного выражений ухудшилась, особенно на низких частотах.

Корреляционный подход

Основная теорема. Корреляционная оценка 0N определяется соотношениями (7.96). Ограничимся случаем, исследованным в теореме 8.6, т.е. случаем а(е) = е и

линейно формируемых инструментальных переменных.

Таким образом, имеем

6N = sol lfN (0, Z") = 0],■(9.71 a)

1 N

fN(e.zN)=—^ Ut.e^F(t,e\(9.7ib)

N r=i

eF(7,0) = Z(9)e(z,0),(9.71c)

Ut. 9VKy<q. Q^y^^K^q, 6)u^.(9.71d)

Используя тейлоровское разложение, получаем

о=fN(eN,zN^ =fN(e*. ZN) + $N - e*)fN^N, zN).(9.72)

Это выражение полностью аналогично (9.3) с той лишь разницей, что ф(Г, 9*) в К^ (9* ,ZN ) заменяется на f (А 0* ) в f^(9*, ZN ). Анализ (9.72), таким образом, по существу идентичен случаю, уже изученному в разделе 9.2, и результат может быть сформулирован следующим образом.

Теорема 9.2. Рассмотрим 9N, определенную соотношениями (9.71). Предположим» что e(Z, 9^ вычисляется с помощью равномерно устойчивой модели линейной структуры и что

d d

Ky(.q,6yKu(q,0Y — Ky(q>e), -Ku(q,ey,6^

- равномерно устойчивое семейство фильтров. Допустим, что последовательность данных Z" удовлетворяет условию D1 (см. раздел 8.2). Допустим также, что 9^ 9* п.н. при N ^ °°, f'(9* ) невырождена (f определена формулой (8.88)) и

VNEfN(6*,ZNV0 при N^°°.

ТогдаVn(9n - 9 *) е AsN (0. Р9),ТогдаVn(9n - 9 *) е AsN (0. Р9),(9.73)(9.73)гдегдеPo=V\e*>vxQ\7<9’>\ "7Po=V\e*>vxQ\7<9’>\ "7(9.74)(9.74)Q= lim N-EfN(9*,ZN')fN(9*,ZN').Q= lim N-EfN(9*,ZN')fN(9*,ZN').ДГ -^ ооДГ -^ оо(9-75)(9-75)Из (9.71) находим, что•f'(0> = bte (t, 9)eF(t, 9) - E^t, 9) [L(q)ф (t, 9)1T,Из (9.71) находим, что•f'(0> = bte (t, 9)eF(t, 9) - E^t, 9) [L(q)ф (t, 9)1T,(9-76)(9-76)где ф, как и ранее, обозначает антиградиент е относительно 9.Выражение дисперсии при 8 Е Jl^ L (?) = 1 ^*\ В предположении 8 Е Л существует такое значение 90, для которого e(z, 90) = ^о(О - последовательность независимых случайных величин с нулевыми средними и дисперсиями Хо. Таким образом, получаем длягде ф, как и ранее, обозначает антиградиент е относительно 9.Выражение дисперсии при 8 Е Jl^ L (?) = 1 ^*\ В предположении 8 Е Л существует такое значение 90, для которого e(z, 90) = ^о(О - последовательность независимых случайных величин с нулевыми средними и дисперсиями Хо. Таким образом, получаем дляf'(90) = —E^(t, 90)фт(Г, 90)+Et(t, 90)e0U) = -ЕЦг, 9^фт(1, 9^(9.77)f'(90) = —E^(t, 90)фт(Г, 90)+Et(t, 90)e0U) = -ЕЦг, 9^фт(1, 9^(9.77)1 N N_Q = lim Е-Ъ Ъ ^(t,90)e0(t)el(s^T(t,90) = X0E^(t,90^T(t,90), (9.78)1 N N_Q = lim Е-Ъ Ъ ^(t,90)e0(t)el(s^T(t,90) = X0E^(t,90^T(t,90), (9.78)со N t = 1 S = 1со N t = 1 S = 1откудаоткудар9 = W, 90)Фти, M"vVKUt, 0o^T(t, 9о)1 l^(f, 0o)?r(t, МГГ.(9.79)р9 = W, 90)Фти, M"vVKUt, 0o^T(t, 9о)1 l^(f, 0o)?r(t, МГГ.(9.79)См. также задачу 9G.4.Пример 9.5. Ковариация оценки псевдолинейной регрессии.Рассмотрим опять систему и модель примера 9.2, но допустим, что е-оценка определяется методом псевдолинейной регрессии (7.99); это означает, чтоСм. также задачу 9G.4.Пример 9.5. Ковариация оценки псевдолинейной регрессии.Рассмотрим опять систему и модель примера 9.2, но допустим, что е-оценка определяется методом псевдолинейной регрессии (7.99); это означает, чтоЗдесь £V. 0) = <p(t, 0) = е(Г - 1, с) = ykt - 1) -yV — lie), 0 = с. При с = с0 имеем (см. (9.27))Здесь £V. 0) = <p(t, 0) = е(Г - 1, с) = ykt - 1) -yV — lie), 0 = с. При с = с0 имеем (см. (9.27))^LOa = eoV- I), ^Q.0a= ——ео('" О1 ^coq 1^LOa = eoV- I), ^Q.0a= ——ео('" О1 ^coq 1Сл е довател ьно,Сл е довател ьно,ESU. 9о)?Т(Г.О6) = Хо,Ё?и.б0)фт(г,е„) = к6,ESU. 9о)?Т(Г.О6) = Хо,Ё?и.б0)фт(г,е„) = к6,поэтому, в соответствии с (9.79),поэтому, в соответствии с (9.79),Сравните с (9.28). Заметим, что I с0 I < 1 всегда.Методы инструментальных переменных: Со € У . Представляет интерес применение теоремы 9.2 к случаю инструментальных переменных раздела 7.6. В этом слу-Сравните с (9.28). Заметим, что I с0 I < 1 всегда.Методы инструментальных переменных: Со € У . Представляет интерес применение теоремы 9.2 к случаю инструментальных переменных раздела 7.6. В этом слу-

Тогда

Vn(9n - 9 *) е AsN (0. Р9),

Тогда

Vn(9n - 9 *) е AsN (0. Р9),

(9.73)

(9.73)

где

где

Po=V\e*>vxQ\7<9’>\ "7

Po=V\e*>vxQ\7<9’>\ "7

(9.74)

(9.74)

Q= lim N-EfN(9*,ZN')fN(9*,ZN').

Q= lim N-EfN(9*,ZN')fN(9*,ZN').

ДГ -^ оо

ДГ -^ оо

(9-75)

(9-75)

Из (9.71) находим, что•

f'(0> = bte (t, 9)eF(t, 9) - E^t, 9) [L(q)ф (t, 9)1T,

Из (9.71) находим, что•

f'(0> = bte (t, 9)eF(t, 9) - E^t, 9) [L(q)ф (t, 9)1T,

(9-76)

(9-76)

где ф, как и ранее, обозначает антиградиент е относительно 9.

Выражение дисперсии при 8 Е Jl^ L (?) = 1 ^*\ В предположении 8 Е Л существует такое значение 90, для которого e(z, 90) = ^о(О - последовательность независимых случайных величин с нулевыми средними и дисперсиями Хо. Таким образом, получаем для

где ф, как и ранее, обозначает антиградиент е относительно 9.

Выражение дисперсии при 8 Е Jl^ L (?) = 1 ^*\ В предположении 8 Е Л существует такое значение 90, для которого e(z, 90) = ^о(О - последовательность независимых случайных величин с нулевыми средними и дисперсиями Хо. Таким образом, получаем для

f'(90) = —E^(t, 90)фт(Г, 90)+Et(t, 90)e0U) = -ЕЦг, 9^фт(1, 9^(9.77)

f'(90) = —E^(t, 90)фт(Г, 90)+Et(t, 90)e0U) = -ЕЦг, 9^фт(1, 9^(9.77)

1 N N_

Q = lim Е-Ъ Ъ ^(t,90)e0(t)el(s^T(t,90) = X0E^(t,90^T(t,90), (9.78)

1 N N_

Q = lim Е-Ъ Ъ ^(t,90)e0(t)el(s^T(t,90) = X0E^(t,90^T(t,90), (9.78)

со N t = 1 S = 1

со N t = 1 S = 1

откуда

откуда

р9 = W, 90)Фти, M"vVKUt, 0o^T(t, 9о)1 l^(f, 0o)?r(t, МГГ.

(9.79)

р9 = W, 90)Фти, M"vVKUt, 0o^T(t, 9о)1 l^(f, 0o)?r(t, МГГ.

(9.79)

См. также задачу 9G.4.

Пример 9.5. Ковариация оценки псевдолинейной регрессии.

Рассмотрим опять систему и модель примера 9.2, но допустим, что е-оценка определяется методом псевдолинейной регрессии (7.99); это означает, что

См. также задачу 9G.4.

Пример 9.5. Ковариация оценки псевдолинейной регрессии.

Рассмотрим опять систему и модель примера 9.2, но допустим, что е-оценка определяется методом псевдолинейной регрессии (7.99); это означает, что

Здесь £V. 0) = <p(t, 0) = е(Г - 1, с) = ykt - 1) -yV — lie), 0 = с. При с = с0 имеем (см. (9.27))

Здесь £V. 0) = <p(t, 0) = е(Г - 1, с) = ykt - 1) -yV — lie), 0 = с. При с = с0 имеем (см. (9.27))

^LOa = eoV- I), ^Q.0a= ——ео('" О

1 ^coq 1

^LOa = eoV- I), ^Q.0a= ——ео('" О

1 ^coq 1

Сл е довател ьно,

Сл е довател ьно,

ESU. 9о)?Т(Г.О6) = Хо,

Ё?и.б0)фт(г,е„) = к6,

ESU. 9о)?Т(Г.О6) = Хо,

Ё?и.б0)фт(г,е„) = к6,

поэтому, в соответствии с (9.79),

поэтому, в соответствии с (9.79),

Сравните с (9.28). Заметим, что I с0 I < 1 всегда.

Методы инструментальных переменных: Со € У . Представляет интерес применение теоремы 9.2 к случаю инструментальных переменных раздела 7.6. В этом слу-

Сравните с (9.28). Заметим, что I с0 I < 1 всегда.

Методы инструментальных переменных: Со € У . Представляет интерес применение теоремы 9.2 к случаю инструментальных переменных раздела 7.6. В этом слу-

чае имеем модель

y(t\e) = lpT(t)O(9.80)

и процедуру (7.115). Допустим теперь, что истинная система задается аналогично (8.93)-(8.95) уравнением

y^We +MWe6(t),(9.81)

где (ео(О } - белый шум с дисперсией Хо, не зависящий от {u(t)}. Тогда

ек(Г, 0о) = ^(^)Яо(^)Ло(^)^о(О

не зависит от {и(Г)} и, значит, от f (г, 0О), если система работает в режиме разомкнутой цепи обратной связи. Таким образом, 90 является решением уравнения

^(r,0)eF(z, 0) = О,

как было обнаружено в (8.96). Чтобы получить асимптотическое распределение, предположим единственность этого решения в D^ :

£f(r,0)eF(T,0) = O и 9ED^9=9O.(9.82)

Введем также монический фильтр.

F^q) = L(q)H0(q)A0(.q') = f fiq-‘.(9.83)

1 = 0

Подставляя эти выражения в (9.73)-(9.75) и повторяя полностью аналогичные вычисления при выводе (9.42), получаем следующий результат:

Для оценки 9^ метода инструментальных переменных в предположениях (9.81), (9.82) имеем, что

Ро = Хо т, М^(0Г* I^fU 9o^(t. 9» )] ^(Л 0о)^(О1 - Т, (9-84) где

^m=UqWkt\

м,в)= 2 г^жл 1 = 0

Пример 9.6. Ковариация оценки метода инструментальных переменных.

Рассмотрим снова систему (9.20) примера 9.1. Пусть моделью является линейная регрессия (9.21), и пусть а оценивается методом инструментальных переменных с использованием q*1

W) =г- ™ и^г-\> \A-a*q 1

в качестве инструментальной переменной, и L (^) = 1. Чтобы оценить (9.84), находим, сравнивая (9.81) и (9.20), что

F^WWA^VL.

Следовательно,,

^Ю=-У(Г- 1) =^— иц - 1)— e.V - 1), WM

И -1 я 11

2” Л 1 + аое'ш 1 +а«е~1ш1 - "о"»

—1 Я1н Я^^Jо

Значит,

(9.85)(9.85)Л IX, (1-аоа,У

(9.85)

(9.85)

Cov aN~—j м N м 1 - а.

Выражения дисперсии в частотной области (*\ Выражения матрицы ковариаций (9.79) и (9.84) в частотной области могут быть получены тем же способом, как для (9.54) и (9.55). Например, для (9.84) находим, что

CovfL—— R-1QR-T,

R=— ’{К^уК^уЦе"^(9.86) !

2л -™|

Q = ^- f Ku(eito)KRe-‘wYW“yHu^^I

2л —я

Здесь Ku и F задаются соотношениями (7.114) и (9.83) соответственно, а

Г So(9)"

q 1

q"1

_ q""b _

Заметим, что

^(0 = Ko^u^t) + (члены, зависящие от е0).

’’Асимптотический анализ черного ящика”, как в (9.64), может быть проведен и для оценок метода инструментальных переменных, и для псевдолинейной регрессии. Результат состоит в том, что для работы системы в режиме разомкнутой цепи обратной связи соотношение (9.63) по-прежнему справедливо. См. [253].

Использование выражений асимптотической дисперсии

В этой главе было получено несколько выражений асимптотической матрицы ковариаций оцениваемых величин. Теперь возникает вопрос, зачем они нужны? Существуют две основные возможности использования таких результатов. Одна из них состоит в использовании ковариационной матрицы Pq (или определяемой ею величины) как меры качества получаемых оценок. Тогда эти выражения могут использоваться для аналитического или численного исследования того, как различные планируемые величины влияют на результаты идентификации. Этот подход будет широко применяться в части III при обсуждении вопросов выбора пользователем алгоритма и его параметров.

Другое приложение результатов по асимптотической ковариации состоит в вычислении доверительных интервалов для обеспечения надежности конкретных

оценок, получаемых по наблюдаемым данным. Прокомментируем кратко это использование,.

Полученные выражения являются асимптотическими по числу наблюдаемых данных N. Развитая теория не говорит, как велико должно быть N для применимости результатов. Важность этого вопроса очевидна. Мы проиллюстрируем его в этом разделе результатами моделирования.

Доверительные интервалы. Если вектор 0N подчиняется условию

VN(6n - 0О) € AsN(0,^),(9.87)

то для к-и компоненты

VN(9^ -е^Ье^(О,Р^кк>)..(9.88)

где Pq^ -(к, к)-диагональный элемент матрицыPq. Это означает,что вероятностное распределение случайной величины VN(6^ — в^) сходится к гауссовскому распределению, и можно использовать предел, скажем, для оценки вероятности

РИв^ - е^ I > а) « -~ / e-xlN<2P6kk)dx.(9.89)

Таким способом можно построить доверительные интервалы для истинного параметра; другими словами, можно с определенной степенью точности сказать, что истинная величина 0О должна находиться в таком-то интервале вокруг оценки (при условии выполнения исходных предположений, разумеется),

Еще большее говорит нам векторное выражение (9.87). Если случайный вектор т) имеет гауссовское распределение

t?G^O,P), то скаляр

z^^P^-n

имеет х2-распределение с сИтя=^ степенями свободы:

zEx2(d).

Из (9.87), таким образом, приходим к выводу, что

4N=N(0N-eo№(eN -9o)€AsxW(9-90)

Это означает, что т?^ сходится по распределению к х2У)-распределению при стремлении N к бесконечности. Используя таблицы х2-распределения, можно, таким образом, получить доверительные интервалы для r}N , которые соответствуют доверительным эллипсоидам для 0/у(см., также, Приложение II.2).

Оценивание матрицы ковариаций. Для практического использования выражений (9.87)-(9.90) требуется знание матрицы Р^. Обычно выражение для Р$,в предположении 8 G ^ , например (9.17), (9.42), (9,79) и (9.84), содержат как 0О, Хо, так и символ ^, и, как таковые, неизвестны пользователю. Однако^ нетрудно получить естественные оценки PN матрицы Ро, непосредственно заменяя 0О оценкой 6N и Е эмпирической суммой, как в (9.18) и (9.19). Тогда при слабо ограничительных условиях по теореме 2.3 PN сходится п.н. к Ре, что определенным образом обосновывает применение асимптотических результатов с заменой Ре на PN . (Если 0^ имеет в точности гауссовское распределение для конечного М можно провести более изощренные вычисления, включая t- и F-распределение, для получения бопее точных неасимптотических доверительных интервалов. См. Приложение П.2.)

Можно отметить, что нахождение оценки матрицы Pq в более общем случае, когда $ G JK, более затруднительно. Замена 0* оценкой 0N в (9.9) приводит к три-

виальной и бесполезной оценке Q = 0. Заметим, в частности, что даже когда Go G У, выражения (9.42) и (9.84) содержат фильтр шума Яо(^), который обычно не должен быть известен пользователю..

Обоснование асимптотических выражений для конечных значений. Чтобы исследовать, насколько асимптотические выражения подходят для конечного N, следует обратиться к статистическому моделированию методом Монте-Карло. В следующем примере будет проведено сравнение эмпирических ковариаций с аналитическим асимптотическим выражением.

Пример 9.7. Оценки метода наименьших квадратов.

Рассмотрим систему

ЯО - 1.5ЯГ- 1)+0.7Я'-2) = Я/- 1)+0.5Яг-2) + ^(9.91)

(ту же, что и (9.65), (9.68)). Эта система моделировалась для г = 1, 2,..., N с использованием случайной двоичной входной последовательности u(t) = ± 1 типа белого шума. Моделирование повторялось М раз с одинаковой входной последовательностью, но с разными реализациями {в0(г)}, которые генерировались в виде гауссовского белого шума с нулевым средним и дисперсией Хо = 1. При каждой прогонке определялись оценки коэффициентов а^ и 6/ в модели линейной регрессии

у(Г I ^) = — лхЯГ — 1) -a^^t - 2) + btu^t - 1) + й2«(г-2)(9.92)

с помощью метода наименьших квадратов (7.34). Оценка в прогонке с номером / обозначается 0^.

Асимптотическая матрица ковариаций 0N задается выражением (9.17):

01— т .

?N =(ОГ1,(9.93)

где v>(r), как обычно, вектор регрессии. Граница Крамера - Рао (неасимптотическая) в соответствии с (7.79) равна

Гц = Х0[ 2 ^(ОЛОГ1.(9.94)

г=1

Заметим, что эти два выражения отличаются только тем, что {«(/)} является детерминированной последовательностью, на которую не распространяется действие оператора Е. (Если Е применяется также к стационарному процессу {и (г)}, то (9.93) и (9.94) совпадают.)

В рассматриваемом случае

Ry№

Rym

“ Ryu№

“ ^yw(O

£V(0¥>T(0 =

RyW

RyW

- *yu(-l)

- Ryu№

- RyuW

- ^u(-D

Ru№

_ - ^yu(l)

— Ryu№

RuM

Ru№ _

что приводит после некоторых

вычислений к

—

0.2165

-0.1933

0.0000

0.2165 “

я 1

X

0.2087

0.0000

-0.1933

Рм = —

.(9.95)

N N

' X

X

1.0000

0.0000

X

X

X

1.2165 _

Аналогично,

0.2314

-0.2070

0.0068

0.2057 "

„СК - 1

X

0.2288-

0.0181-

0.1992

15 050

X

X

1.0298

0.1744

X

X

X

1.2144 _

и

“0.2125

-0.1900-

0.0118

0.2180*"

CR _1

X

0.2060

0.0076-

-0.1983

10001000

X

X

1.0025-

0.0519 ’

(9.96)

X

X

X

1.2256

Можно заметить, что Р^ представляется более реалистичным выражением для использования, поскольку оно основывается на реальной конечной входной последовательности и^ а не на се асимптотическом среднем поведении. Разница, однако, важна лишь при малых N,

Имея результаты М различных прогонок, формируем теперь выборочные средние

Тогда для М = 500 получаем

-1.4827 0.6880 0.9962 0.5156-1.4827 0.6880 0.9962 0.5156-1.5

-1.4827 0.6880 0.9962 0.5156

-1.4827 0.6880 0.9962 0.5156

0.7 1

Ло = 50Ло = 500.3684XXX0.3684XXX-0.3312 0.3444 X X-0.3312 0.3444 X X-0.0864 0.1448 1.1019 X-0.0864 0.1448 1.1019 X0.2636-0.1623-0.03371.41260.2636-0.1623-0.03371.41260.5

Ло = 50

Ло = 50

0.3684

X

X

X

0.3684

X

X

X

-0.3312 0.3444 X X

-0.3312 0.3444 X X

-0.0864 0.1448 1.1019 X

-0.0864 0.1448 1.1019 X

0.2636

-0.1623

-0.0337

1.4126

0.2636

-0.1623

-0.0337

1.4126

5,5,-1.4989 0.6995 1.0000 0.5006

5,

5,

~ 0.2796

-0.2695

0.0037

0.2525

1

X

0.2919

0.0218

-0.2067

1000

X

X

0.9674

-0.2846

X

X

X

1.3624

Сравнивая с (9.95) и (9.96), видим, что теоретические величины достаточно хорошо показывают, чего можно ожидать при практическом моделировании. Очевидно, не следует смотреть

слишком пристально на десятичные знаки, поскольку они отражают свойства датчика случайных чисел, использованного при моделировании. (Этот датчик представлен в программном пакете PC-MATLAB.) Можно также отметить, что для более короткой выборки,^= 50, экспериментальная дисперсия еще больше, чем соответствующая граница Крамера - Рао, по сравнению с N = 1000. Это типично. В некоторых приложениях даже проявляется четкий ’’пороговый эффект” с резко ухудшающимся качеством оценивания при падении размера выборки ниже определенного уровня. В рассматриваемом примере такой эффект не наблюдается пpи^> 10.

Оценка Р^ матрицы Р^, основанная на /-й прогонке, вычислялась как в (9.18) и (9.19). Выборочное среднее и выборочное стандартное отклонение по 500 прогонкам для Р^р дает при N = 50

* 0.3085 ± 0.097

-0.2792 ±0.092

-0.0315 ± 0.057

0.2267 ± 0.068 ~

1

X

0.29 39 ± 0.096

0.0946 ± 0.062

-0.1501 ±0.051

"50"

X

X

1.0520 ± 0.219

-0.0398 ± 0.060

_ X

X

X

1.1815 ± 0.244

и при N = 1000

0.2306 ±0.017

-0.2049 ±0.016

-0.0130 ±0.009

0.2325 ± 0.017

1

X

0.2140 ±0.016

0.0374 ± 0.010

-0.1804 ±0.013

1000

XX1.045 6 ±0.05 3-0.1573 ±0.013

XXX1.2799 ±0.065

Согласованность полученных прн моделировании и теоретических величин очевидна.

Аналогичные статистические исследования методом Монте-Карло для асимптотического выражения (9.84) матрицы ковариаций оценок метода инструментальных переменных для системы (9.91) представлены в [374, табл. 5.1]. Выводы этой работы аналогичны. •

Заключение

В этой главе было показано, что оценки параметров, полученные с помощью метода ошибки предсказания или на основе корреляционного подхода, имеют асимптотически нормальное распределение при неограниченном возрастании числа наблюдаемых данных. Это установлено теоремами 9.1 и 9.2. Были получены различные точные выражения асимптотической матрицы ковариаций. Наиболее типичным результатом является (9.17):

Cov 6N ~ ^- \Еф (t, 0о)ф т(г, 6о)] -*(9.97)

N

- справедливый для оценки по методу ошибки предсказания с квадратичным критерием в предположении, что $ G JP. Он показывает, что матрица ковариаций оценки определяется обратной матрицей ковариаций градиентов предсказателя & умноженной на отношение дисперсии обновлений Ло к числу наблюдаемых данных N. Это выражение является также пределом нижней границы Крамера - Рао в том случае, когда обновления распределены нормально.Тогда это означает,что оценка 9^ асимптотически эффективна,

Соответствующее выражение (9.79) для корреляционного подхода:

Cov^ —Й(Л 9^фт^, М" [ЬТ(Г, 90^Т(Л Ml X

N

Х[%0о)'/'Т(Г,0о)ГТ.(9.98)

Получены также результаты для асимптотического распределения оценок передаточной функции при параметризации типа ’’черный ящик”. Они утверждают, чтоПолучены также результаты для асимптотического распределения оценок передаточной функции при параметризации типа ’’черный ящик”. Они утверждают, чтоCovCov6(^,9^ 1 п Г Фм(ы) А . А Н^^ 1 N uv4»ue(-^6(^,9^ 1 п Г Фм(ы) А . А Н^^ 1 N uv4»ue(-^Фие(<*>) Г*АоФие(<*>) Г*Ао(9.99)(9.99)

Получены также результаты для асимптотического распределения оценок передаточной функции при параметризации типа ’’черный ящик”. Они утверждают, что

Получены также результаты для асимптотического распределения оценок передаточной функции при параметризации типа ’’черный ящик”. Они утверждают, что

Cov

Cov

6(^,9^ 1 п Г Фм(ы) А . А Н^^ 1 N uv4»ue(-^

6(^,9^ 1 п Г Фм(ы) А . А Н^^ 1 N uv4»ue(-^

Фие(<*>) Г*

Ао

Фие(<*>) Г*

Ао

(9.99)

(9.99)

асимптотически как по порядку модели п, так и по числу данныхN.

Распределение случайного вектора 9^ подчеркивает тот факт, что результатом фазы параметрической идентификации является не модель; скорее это множество моделей. Основываясь на данных наблюдения, мы сужаем исходное множество^ моделей до, надеемся, меньшего множества возможных описаний вокруг Л (9N). Выражения (9.97) и (9.98) представляют собой ’’знак качества”, с которым модель J£(9N) вручается пользователю.

Комментарии к библиографии

Асимптотическое распределение оценок параметров в основе своей представляет, как было видно, результат применения соответствующей центральной предельной теоремы (ЦПТ). Литература по теории вероятностей предлагает широкий спектр ЦПТ при различных условиях (см., например, [67, 78, 107, 185, 439]). В этих результатах ключевое предположение состоит в том, что зависимость между выборочными данными, далеко отстоящими друг от друга, должна убывать по крайней мере с определенной скоростью. Для описания этого предположения обычно используются условия перемешивания. Здесь эту роль играет предположение устойчивости (8.5).

Асимптотическая нормальность оценок максимального правдоподобия в случае независимых наблюдений обсуждается, например, в книге Кендалла и Стьюарта [212]. Этот результат был распространен на ARMAX-модели Остремом и Бохлином [27].

В литературе по статистике асимптотическая нормальность оценок параметров ARMA-моделей временных рядов рассматривалась во многих статьях. Упомянем, в частности, работы Хеннана [163, 166, 168], Дансмира и Хеннана [104] и Андерсона^].

Ситуация, в которой 8 ф Л, исследовалась Кабай ла и Гудвином [196] и Льюн- гом и Кейнсом [258]. Кабайла в [195] изучал результат (9.42) для метода ошибки на выходе.

Выражения ковариационной матрицы в частотной области, подобные (9.54), использовались, например, Хэннаном [163] и Кабайла и Гудвином [196]. Выражение для параметризации типа ’’черный ящик” (9.64) было получено Льюнгом в [252]. Результаты, в которых порядок п является функцией числа данных N и возрастает до бесконечности, представлены для моделей системы с конечной памятью в [263] и для ARX-моделей (4.7) в [254]. Близкие результаты для AR-моделей спектров были получены Берком [44].

Асимптотическая нормальность оценок метода инструментальных переменных была показана Кейнсом [73], а всестороннее рассмотрение содержится в [374]. Для методов псевдолинейной регрессии результаты представлены в [401].

Обсуждение вопросов использования доверительных интервалов носит стандартный характер и содержится во многих учебниках (см., например, [101]).

Задачи

9G Л. Рассмотрим асимптотическое выражение (9.64). и пусть Фие (gj) = 0. Заметим, что в соответствии с (9.61), действительная и мнимая части нс коррелируют. Пусть

Лдг(си) = I <7;v (^1 ^) I, <w(w) = argG7v(e,CJ) (радианы).

Покажите, что

Ап ^„(си)

CovAn(gj) ~ -— —7—,'

А п <М“)

Покажите также, что

Ф (GJ

E\GNteiGJHl -l£<W“)l2 ~ — -^—-.

N Фы(ш)

9G.2. Сформируем оценку спектра шума на основе модели Ще1 ^ 6 ^ и оценки Xn дисперсии обновлений:

Ф^(ш) = XN | Н(е!ш, 0N) |2.

Используя асимптотическое выражение (9.64) покажите, что.

Var Фу (gj) ~ ~^” фи (^ gj ¥= 0, 2 л

в случае Фие (gj) = 0. (Отметим, что дисперсия оценки Хд^не возрастает с ростом порядка модели л; ср. с задачей 9Е.1.) Сравните с (6.75).

9G.3. Допустим, что 8 ^ Л, но $ ’’близко” к Л в смысле

е(М*) = е0(Г) + р(Г),

где {^о (0} - белый шум с дисперсией Хо, а Ер1 (Г) = а2. Покажите, что тогда матрица Pq

в теореме 9.1 может быть записана в виде

Ро = ХИЯфаХпЛг.е*)]'1 + RM,

где

|| RM || < С- а1.

От каких величин зависит значение С?Л

9G.4. Рассмотрим корреляционную оценку 0к, определенную соотношениями (7.96) для общей дифференцируемой функции а( ). Используя выражения (9.74) и (9.75), покажите, что в случае $ Е Л асимптотическая ковариация задается формулой (9.79) с заменой Хо на

^[а^о (Г))]2

[Яо7^ (Г))р *

Рассмотрим случай 0-параметризованной критериальной функции /(е, 0).

Предположим, что $ е Л ; получите выражение асимптотической матрицы ковариаций, используя (9.9) - (9.14). Примените это выражение к

е2^1

Л = arS ™п ^2 1ПХ’

L XNО, X ' 11

г 0 i.

о =.

Предположим, что е (Г, О0 )= е 0 (Г), где (е0(Г)} - белый шум с Ee^f) = Хо, Ее о (Г) ” О и Ее* (t) = д0. Покажите, что

CovXN ~ ~(Мо - X?).•(9.100)

(Из задачи 7Е.7 известно, что минимизация даст

Л 1.

Адг = 77 2 е2^’ ^nV

N t=i

Таким образом, (9.100) даст дисперсию оценки (9.19). Сравните также с (П .73).)

Рассмотрим сигнал, заданный уравнением.

yU) -аоуи - 1) = е0(Г),

где {е 0 (О) - белый шум с дисперсией Хо. Воспользуемся структурой модели к -шагового предсказателя (0 = а)

yU И - к,а) = aky(t - к).

Определите асимптотическую дисперсию оценки а^. При каком значении к дисперсия минимальна? (Рассмотрите к = 1 и к - 2, если общий случай окажется слишком трудным.)

Рассмотрим пример 9.1 и предположим, что используется следующая структура АКМАХ-модели:

Л\ y(t) + ayU- 1) = и(Г- 1) + е(Г) + ce(t - 1),

0 = [а с| Т.

Пусть 0 оценивается квадратичным методом ошибки предсказания. Покажите, что

АXq 1 ~ ^0

Какова будет дисперсия, если используется метод пссвдолинейной регрессии (7.99) ?

Примените многомерное выражение (9.47) к квадратичному критерию (7.27) /(е) = = е^А^е^, предполагая Ао = Ее 0 (Г) е ?(г). Пусть Pq (А) обозначает полученную матрицу ковариаций; покажите, что

Pq (А) = [Е фА"1 ф ^] 1 |Е ф А -1 Ао А"1 ф ^] [Е фА"1 ф ^],

Используйте задачу 7D.8, чтобы показать, что ^(Л) > /^(Лу) для всех симметрических положительно определенных Л.

9ЕЛ. Положим

1 NТ

VN<esZN> = det— L е(Г,0)е'(М)

г = 1

и определим 6N = argminK;v(0, ZN). Используйте формулы (9.9) и (9.11) для определения асимптотической ковариации 6^ в предположении $ Е ^ и Ее 0 (t)e? (Г) = Ло. Сравните с задачей 9Е.4.

9ТЛ. Предположим, что в критериальной функции используются нестационарные нормы /(е, 0 (как в (7Л8); при этом предполагаем отсутствие зависимости от 0). Покажите, что если $ Е ^ и ЕГ€ (е0 (Г), Г) = О для всех Г, то (9.29) и (9.30) по-прежнему справедливы с

^[/'(е0(г),г)Г

к (О = — =

\EV’^e0^nV

1 N

lim — 2 /[/e(x,r)]2fe(x, r)dx

N t= x

--_

lim — 2 Лёе(х, Of^Ax, r)dx

I N-* ” N t = 1J

где fe(x, t) - зависящая, вообще говоря, от времени плотность распределения вероятностей е0 (г).

9D.1. Пусть {е (Г)} - последовательность независимых случайных величин, и пусть z (Г) зависит от е (s), s < t - 1. Следовательно, z(r) не зависит оте($), s > L Покажите, что

A‘z(r)z(j)eU)eU) = Ez(t)z (г) * Ее(г)е(»).

9D.2. Допустим, что в теореме 9.1 условие \/^D^ -* 0 не выполняется. Определите неслучайную величину 6^ так, чтобы результат теоремы 9.1 был справедлив для VN (0 ^ - 0^).

Приложение 9А. Доказательство теоремы 9.1

В этом приложении будет использована техника доказательства асимптотической нормальности, которая очень полезна в задачах с сигналами рассматриваемого здесь типа. Идея состоит в расщеплении суммы (9.8) на две части, одна из которых удовлетворяет определенному условию независимости (.М -зависимости) между ее членами, а вторая достаточно мала. Исследование этих частей основано на использовании следующих двух лемм.

Лемма 9А.I ([311, 347]). Рассмотрим сумму случайных величин xN(k} с двойной индексацией:

N

^N = ^ Хдг(О,

(9А.1)

t = 1

где

ExN^ = 0.

(9А.2)

Допустим, что

{Хдг(1), ... ,X;v(s)} и lxN(0,... ,xN(n^

(9А.З)

независимы при t - s > М, где М - целое число,

N

lim sup 2 Е | х^ ^k) I2 <°°

Nоо k = 1

(9А.4)

и что

Пт

7V -► ОО

N

S £’|хдг(к)|2 + 6= 0 для некоторого 5 )

А = 1

>0.

(9А.5)

Положим

с =

lim EZN Z^.

(9А.6)

N -^ со

Тогда

ZN Е AsN(O,Q).(9А.7)

Доказательство. См. [311] или [347]. Заметим, что (9А.5) (условие Ляпунова) обеспечивает выполнение условия Линдсберга, которое используется в указанных ссылках. Последовательность {xiV№)}, удовлетворяющая (9А.З), называется ^/-зависимой.

Лемма 9А.2 ([99,13]).Пусть

SN = ZM<N)*XM(N), • M,N=\,2,...,

причем

ЕХ^ЦСм,limCM = 0,

M cc

(9A.8)

PUM(N) < z} = FM,N(z),

(9A.9)

Um FMiN(z) = FM(z), M -* oo

(9A.10)

Um FM^ = F^.

M -* co

(9A.11)

Тогда

lim P{SN < z} = F(z).

N -► ”

(9A.12)

Доказательство см. в [99] и [13].

Перейдем теперь к доказательству теоремы 9.1. Пишем для краткости ^(г)^ ^(^ #*Хе(0 = €(1^*^, и полагаем

N

SN = S (^(Г)е(г)-/Гф(г)е(О).(9А.13)

1

Тогда в соответствии с (9.6) и (9.7)

-V^.Z^ = — Sn-Dn.(9А.14)

Из (8.19)

е(0 = 2 d^5\k)w(t - к) + S d^64k)e0(t - к). а = 1а = о

Аналогично

ФЮ = Z d^\k)w(t - к) + S d^HkWt-k). А = 1А = О

Здесь

I d^\k) |<0£ для всех Г, i» a L Рк < 00

1

'(9A.15)

благодаря условию равномерной устойчивости. Положим теперь . ем^) = 2 d^5\k)w(r-к) + 2 dp\kWt - к),

(9A.16)

к = 1к = 0

~ем^ = е(0- eMW 1d^\k)e0(t - к).

(9A.17)

к = М + 1

Определим аналогичным образом фм ифм. Имеем SN = ZM(N) + XM(N^

(9A.18)

где

N / 1]х

ZM(N) = 2 (фм(Оем(О - E^M(r)eM(r)) ,

(9A.19)

' ■14\4vVn/

1N

XM^= 2 ^M^e^^M^eM^ -■

V/v r= 1

-E^M0)€(t) + фм^ем(О^.

(9A.20)

Применяем лемму 9А.2 к (9А.18). Сначала показываем асимптотическую нормальность Zм (ЛО с помощью леммы 9А.1. Члены Z j^ (AQ, очевидно, имеют нулевые средние значения и ЛГ-зависимы по построению. Таким образом, условия (9А.1) —(9А.З) леммы 9А.1 удовлетворяются. Для (9А.4) и (9А.5) находим, что

^М^ем^-Е^М^ем^^М^ем^-Е^М^ем^2 + 62 + 6

^М^ем^-Е^М^ем^

^М^ем^-Е^М^ем^

2 + 6

2 + 6

< — W-5/2(£" | ф^Сг) |4 + 25-Е | е^Сг) |4 + 26 )1/2 < С-А"(1+5/2), (9Л-21) N

где последнее неравенство следует из того факта, что фМ и еМ - ■ конечные суммы случайных величин с ограниченными моментами порядка (4 + 5). Выражение (9А.21) доказывает как (9А.4), так и (9А.5). Таким образом, для

Qm = Hm EZM(N)Z^(N)(9А.22)

JV -► оо

из леммы 9А.1 следует, что

(9А.23)(9А.23)ZM(N)e AsN(0,Qm).

(9А.23)

(9А.23)

AT "► ”

Рассмотрим член Хм (9А.20). Положим

М Xм

^X^\n) - S UM(r)e(O - Ефм(г)е(г)Г t = 1

Из следствия к лемме 2В.1 имеем

Е \^X^\n^ |2 < С- С\м • С2 • АГ,

где

С~м = S sup|df(8)(*)| < S 0к *к = М + 1 tк = М + 1

И

Се = 5 sup|Jf(6)(it)| < Z рк < С. к = 1 tк - \

Аналогичная оценка имеет место для других членов Хм (^N) (9А.20). Следовательно,

£-|WW)l2 < С[ 20к]2,

к = М + 1'

откуда получаем сходимость Хм (ЛО к нулю при М -> 00, поскольку ряд из 0Л сходится. Теперь, по лемме 9А.2, асимптотическое распределение SN й пределе по М -> 00 задается выражением (9А.23). Значит,

SN Е AsN(O,Q),

Q = Hm QM.(9A.24)

м -* «»

Поскольку VNDn 0, асимптотические распределения VN V*n (О *, ZN^ и SN совпадают, поэтому

x[N V*NV0*,ZN^ е AsN(O,Q).(9A.25)

Аналогично, из VNDn -> 0 и .

lim lim E\XM(N)\2 =0

M -+ oo N -* 00•

следует

Q= lim lim EZM(7V)Z^(W) = lim N-EV^fe\ZN) • [^(0*, Z^)] T.

м ~* °° n °°n -+ ж(9 A 26)

Это завершает доказательство соотношений (9.8) и (9.9). Осталось только проверить (9.4). Имеем

N•

V^e,ZN^=— S МСг.е^МЭ + ф'Сг.^еСМ)].(9А.27)

N г = 1

Так как множество моделей и система равномерно устойчивы, находим, как в (8.19) и (8.20), что е, ф и ф' формируются посредством преобразования белого шума равномерно устойчивыми фильтрами. Следовательно, как и в лемме 8.2, из теоремы 2В.1 получаем

sup I ^(O.Z^)-Г"(0)|->0 п.н. при W-*oo.(9А.28)

Отсюда, поскольку 0N 0*,

^n(^» z^) “* У’ЧО*) п.н. при jV-*»(9А.29)

если ^N принадлежит окрестности 0 * радиуса | 0N - 9 * |. (Техническое замечание: применение тейлоровского разложения в (9.3) в действительности может привести к ’’различным ^” в разных компонентах этого векторного выражения. Однако на результате (9А.29) это не сказывается.)

Теперь

x/N(9n-9^=\V^n,Zn^-vx(NV^^^

и (9А.29) вместе с (9А.25) завершают доказательство теоремы 9.1.

Замечание. Если 0^ принадлежит границе Вх , равенство (9.3) не применимо. Однако, как следует из (9В.11), вероятность этого события убывает достаточно быстро и не влияет на асимптотическое распределение.

Приложение 9В. Асимптотическая дисперсия оценки параметра

Результат теоремы 9.1 по асимптотическому распределению не обеспечивает свойства

Cov(VjV6N) = N-E^9N - E9N\9N - E9NV -* P9 при N-*~(9B.1)

для Pq, определяемой (9.11) и (9.9); левая часть (9В.1) может даже не существовать. В данном приложении рассматривается этот вопрос.

Введем следующие обозначения:

VN(9,ZN\ 6n и 9* - как в (9.1) - (9.3),

VN^ = EVN(9,ZN\

9^ = arg min VN(9\

9 DM

9N = E 9n-.

(9B.2)(9B.2)Тогда имеем, как в (9.3),

(9B.2)

(9B.2)

6n-9n 4№A1M,Zn).

Предположение теоремы 9.1, что К^(0*) > 0, и непрерывность К^(0) приводят к тому, что существует 5 > О, для которого-

(9В.З)(9В.З)¥п^>ЫV0, | 0 - 0* |<5.

(9В.З)

(9В.З)

Аналогично, предположение единственности точки минимума 0* обеспечивает существование 5 > 0, 5 * > О, для которых

5__

|0,—0*1 < — ^ Г(01) < V^-8*V0, |0-0* |>5.(9В.4)

(Величины 5,5 * в (9В.З) и (9В.4) как таковые не связаны друг с другом; для удобства они выбираются одинаковыми, что не ограничивает общность рассуждения.) Введем следующие подмножества пространства элементарных исходов:

(9В.5)(9В.5)П^ =| СО 11^-0* | < -

(9В.5)

(9В.5)

мм 85 1

^ ^colP^.-Z^ -7 VU.к -).(9В.6)

Пусть П^ — дополнительные события. Очевидно, в силу (9В.4)

С=(w|sup | FN(9,ZN)- У(9) 1 >

6*1

(9В.7)

1 в

2 I ‘

П? С n^ = (w|sup|| y^(9,ZN)-y"(9)ll :

5 1

2 }

(9В.8)

(здесь переменная со -- элементарный исход, функциями которого являются случайные величины ZN и 6NV Пусть P(^i) обозначает вероятность события ^i. Тогда P(S2^)^1 при N^°°, так как 6N 0* п.н., и ^(Q^)^! при N^°° в силу (9В.З) и равномерной сходимости VhN(0,ZN) к К"(0) п.н. (см. (9А.28)). Вычислим верхние границы вероятностей. Сначала отметим следующее усиление леммы 2В.2: в предположениях теоремы 2В.1 при условии ограниченности моментов {^(г)} восьмого порядка имеем

E(R?)4 < C(N-rf.(9В.9)

Для доказательства в случае у(и) = 1/и см. [250, следствие 2]. Тогда применение неравенства Чебышева к четвертым моментам дает оценки сверху

16 С

^(9В|0а)

И

„16 С

‘(9ВЛ°Ь)

Положим

nN = п1? С1 п^.

Тогда для дополнительного события имеем из (9В.10)

P^N^ < -£-(9В.11)

Рассмотрим теперь для (9В.2)

E\VN(9n-9*n)\4 < ^II^CU,^)]-* \\4 .\VNV'N(9^,ZN^4L

В правой части присутствует интегрирование по со. Разбивая область интегрирования на подмножества $2^ и £2^, находим, что на O.N

5

V’n&n^ > -I

(по определению множества £2^). Следовательно, используя символические обозначения,

EV/N^n-Q^X4^ / 2^-| V7V V'^ ,7^)|4 dw* / N2 \ 9N-9*N\4 dw <nN 5nN

< CE \VN V^(9„,Zn) |4 + N2 • C-P(Q.N) < C.

Второе неравенство вытекает из того, что 6N и 6^ принадлежит ограниченному множеству D^ . Последнее неравенство следует из (9В.11) и леммы 2В.2, примененной в своем усиленнбм варианте (9В.9) к сумме случайных величин N • ^(6^, ZN) с нулевыми средними значениями.

Теорема 4.5.2 из [78] обеспечивает теперь сходимость

N.E(9n-9^)(9n-9n)t Ре при N^~,(9В.12)

где Ре— матрица ковариаций асимптотического распределения.

Наконец, перепишем (9В.2) в виде

У^6^7к) = -У"(е^(6к-6^- \Vn^n.ZnVV49^\C9n-9^-

Взяв математическое ожидание, получаем

0= v"№(eN-e*N^*FA\v^(xN.zNv v4e*^9N-eeN^

или, используя неравенство Шварца,

i^-fl* I < щй'Че^)]-1 ii[fi-|i и;^,^)-к"(^)ц2 +

+ F||K"(U) - Й''№112]1/2 • [F 1^-0^12],/2.

Для среднего сомножителя правой части применяем леммы 2В.2 к первому члену, показывая его убывание как C/W, и используем (в предположении дифференцируемости V п )

II r"(U)-^4^)11 < CIU -6*N\< C\6n-6*n\

для второго члена, показывая, что он убывает как Е | ОN - 0^|2 (т.е. C/N в соответствии с (9В.12)). Отсюда получаем

1*^- <^1 < ^-(9В.13)

Очевидно, (9BJ2) и (9В.13) обеспечивают выполнение (9BJ). Таким образом, можно подытожить обсуждение этого приложения следующим образом:

рассмотрим оценку 0N в условиях теоремы 9.1 при дополнительных предположениях ограниченности Ви , ограниченности восьмых моментов {ео(О} в (8.4) и трижды непрерывной дифференцируемости К(0). Обходимся без предположения VNDn -► 0 при N^°°. Тогда имеют место соотношения (9В.1) и (9В.13).

Замечание. Предположение теоремы 9.1, что \/NDn стремится к нулю, приводит к достаточно быстрой сходимости 0*N^6*, что позволяет использовать 0 * в асимптотическом выражении вместо 6*N.

Глава 10

МЕТОДЫ ВЫЧИСЛЕНИЯ ОЦЕНОК

В гл. 7 были представлены две основные процедуры параметрического оценивания:

Подход, основанный на ошибке предсказания, когда некоторая функция Vn(0, ZN} минимизируется по 0 .

Корреляционный подход, в котором ищется решение некоторого уравнения fN(e, zN) =о по s.

В данной главе будут обсуждаться вопросы наилучшего численного решения этих задач.

В момент времени N, когда известен набор данных ZN, обе рассмотренные выше функции являются обыкновенными функциями конечномерного действитель-

ного вектора параметров 0. Следовательно, решение задач сводится к стандартным вопросам нелинейного программирования и численного анализа. Тем не менее, заслуживает внимания рассмотрение этих вопросов для задач параметрического оценивания, учитывающее специфику в структуре введенных выше функций.

Линейные регрессии и наименьшие квадраты

Нормальные уравнения. Для линейных регрессий предсказание задается в виде

у0\6) ='РТ^)6.(Ю-О

Применение к (10.1) подхода, основанного на ошибке предсказания и использующего квадратичную норму, приводит к методу наименьших квадратов, описанному в разделе 7.3. При этом параметр 0^s , при котором достигается минимум, может быть записан в виде (7.34) :

^s = R-чют,(ю.2)

где

1 N

RW= — 5 <Х0Л),'(Ю.З)

N t= i

N

№» — 5 ^(0^(0.(10.4)

N t = i•

Вектор 6 ^s можно также рассматривать как решение системы уравнений

RW^5 = f(N).(10.5)

Эти уравнения известны как нормальные уравнения. Заметим, что основное уравнение (7.104) метода инструментальных переменных совершенно аналогично (10.5), и большая часть того, что говорится в данном разделе о методе наименьших квадратов, применимо также и к методу инструментальных переменных с очевидными изменениями.

Матрица коэффициентов R (/V) в (10.5) может быть плохо облусловленной, в частности, если ее размерность велика. Существуют методы нахождения 0дг с более хорошим численным поведением, причем они не основываются на нормальных уравнениях. Это интенсивно обсуждалось в литературе по численному исследованию решения линейных задач методом наименьших квадратов. В качестве основной ссылки по рассматриваемой проблеме можно упомянуть книгу Лоусона и Хансона [228]. Основополагающая идея этих методов состоит в том, что не следует формировать матрицу R (ЛО, поскольку она содержит произведения исходных данных. Вместо нее строится матрица Q, обладающая свойством

QQT = R(N).'

Поэтому в инженерной литературе этот класс методов обычно называют ’’алгоритмами квадратного корня”. Термин не совсем подходящий, поскольку никакие квадратные корни не берутся. Возможно, при решении (10.5) более подходящим был бы термин ’’квадратичные методы”.

Нахождение оценки наименьших квадратов посредством ортогональных преобразований. Известно несколько различных подходов к построению Q, например, преобразования Хаусхолдера [182], процедура Грамма — Шмидта [52] и декомпозиция Холецкого.

В общем многомерном случае (4.53) и (4.54) положим

Гг = [^(О...^7^)], Y-NpXl,

Фг = [^(1)...^^)], Ф - NpXd.(10.6)

(Здесь р = dimy.) Тогда критерий наименьших квадратов можно записать (ср. с (ПЛЗ)) в виде

N

yN(.6,zN') = | Y-Фе I2 = ^ \у(П- ч>т(ое\2.(io.?)

t = 1

Очевидно, норма не изменится при ортогональном преобразовании вектора Y - ФО.

Следовательно, если Т — ортогональная (Np X Wp)-матрица, т.е. ТТт = /, то yN(9,ZN) = | T(Y -ФО) |2.

Выберем теперь ортогональную матрицу Т так, чтобы.

Г Q 1

ГФ = ---- ,(Ю.8)

L 0 J.

где Q - верхняя треугольная d X d-матрица. Так как Тортогональна, можно записать

Ф = Тт ,(10.9)

что представляет собой QR-факторизацию Ф. Существуют различные хорошие в численном отношении методы QR -факторизации, имеющиеся в большинстве программных пакетов по матричному исчислению. Один способ построения Т состоит в использовании произведения преобразований Хаусхолдера (см. задачу 10Т.1). Положим

ТУ =ТУ =L j dМ J Np - dL j dМ J Np - d(10.10)(10.10)

ТУ =

ТУ =

L j d

М J Np - d

L j d

М J Np - d

(10.10)

(10.10)

Тогда

yN(0,zN^ =yN(0,zN^ =(10.11)(10.11)(10.12a)(10.12a)-"- Is I = \L — Q9 |2 + |M|20 J I

yN(0,zN^ =

yN(0,zN^ =

(10.11)

(10.11)

(10.12a)

(10.12a)

и при

Q0n = L

достигает минимума

VN(0N,ZN) = \M I2.(10.12b)

Заметим, что из (10.8) следует, что

QTQ = ФтТтТФ = ФГФ = R(N).

Показатель обусловленности (отношение наибольшего собственного значения к наименьшему) матрицы Q равен, таким образом, квадратному корню из показателя обусловленности R (W). Следовательно, система линейных уравнений (10.12а) обусловлена значительно лучше, чем (10.5). Описанная процедура нахождения 0N является, таким образом, более предпочтительной благодаря своим лучшим численным свойствам. Однако следует также сказать, что во многих случаях непосред-

ственное решение (10.2) или (10.5) дает вполне удовлетворительную точность, если размерность вектора 6 не слишком велика.

Нахождение 0 одним из описанных методов требует выполнения количества арифметических операций, пропорционального Nd2 + d3. При этом не принимается во внимание возможная специфика внутренней структуры матрицы Ф .

Начальные условия: ’’вырезанные*’ данные. Типичная структура вектора регрессии ^(^) представляет собой структуру сдвинутых данных (возможно, после тривиального переупорядочения):

z(t- 1)

*40=*40=(10.13)

*40=

*40=

z(t-n)

Здесь z (t - 1) — r-мерный вектор. Например, ARX-модель (4.11) с па = пь = п дает

с■

z(t) =z(t) =' -у(0. «(0' -у(0. «(0

z(t) =

z(t) =

' -у(0

. «(0

' -у(0

. «(0

в то время как AR-модель для р-мерного процесса {у (г)} (ср. с (4.54), пь = 0) приводит к (10.13) сz (z) = -у (z).

Для структуры (10.13) матрица R(N) в (10.3) будет представлять собой блочную матрицу, у-блоком которой является г X г-матрица

(10.14)(10.14)1 ^

(10.14)

(10.14)

RiAN) = — 2 2 (t - i) z T(t - j).

N t = 1

Если имеются сведения относительно z (z) только для 1 < t ^N, возникает вопрос, как быть с неизвестными начальными условиями для t <0 в (10.14). Возможны два подхода:

Начинать суммирование в (10.3) и (10.4) в момент t = п + 1, а не при t = 1. Тогда все суммы в (10.14) будут содержать только известные данные. (После соответствующего переопределения величины N и начала отсчета времени, можно, конечно, сохранить обычные выражения, предполагая z (z) известными для t > - п.)

Заменить неизвестные начальные условия нулями (’’предварительное вырезание”) . Для симметрии опытные данные z (z) (z = W+ 1,.. . ,7V+ л) могут также быть заменены нулями (’’последующее вырезание”), а суммирование в (10.3) распространено до N -V п. В этом случае (10.5) известно также как уравнения Юла-Уокера. Чао то применяют другие способы модификации (’’повторение”; ср. с задачей 6G.5) на обоих концах записи данных с целью смягчения эффекта присоединенных нулей.

В работах по обработке речевой информации эти подходы известны как ковариационный и автокорреляционный методы соответственно [273]. Нет сомнения, с логической точки зрения подход 1 выглядит более естественным. Подход 2, однако, имеет особенность, состоящую в том, что блоки (10.14) зависят только от разности между индексами:

r^n^RAny T = i-j, (101

RT^N) =— S z^t - T)zT(t), т>0; аналогично для т < 0.

N t = т

Это делает R (N) блочной матрицей Теплица, что обеспечивает, как будет кратко показано, различные преимущества при решении (10.5).

Очевидно, при N > п различие между двумя подходами становится незначительным.

Алгоритм Левинсона <*\ Сдвиговая структура (10.13) придает специфическую структуру матрице R (W). Существует обширная литература по быстрым алгоритмам, которые используют такую структуру. Наиболее простым, но общим примером этих алгоритмов является алгоритм Левинсона [235], описание которого приводится ниже.

Рассмотрим случай AR-модели сигнала

Уп0 | 0) = -a'tyQ - 1) - .. .-a^y^t-n)(10.16)

(верхний индекс показывает, что производится подгонка модели и-го порядка). Это соответствует линейной регрессии с \p(t) (10.13) при z (г) = - у ОУ Если

А1 N

RT=Ry(T) = — Z y(t- т)у<0,т>0,.(10.18)

N t = т

а аргумент А" опущен. Уравнение (10.17) может быть записано в виде

"Ro я. R2

Rt

Ro

Ri

• ♦ • Rn

. .. Rn i

. . . Rn-2

r 1 "

5 1

_П

52

Vn "

0 0

.• (10.19)

_Rn

Rn- 1

...Ro_

_П _an _

_ 0

Здесь п последних строк идентичны (19.17), а первая строка представляет собой определение Уп.

Допустим, что найдено решение (10.19) относительно д”, и требуется отыскать решение для модели (10.16) более высокого порядка п + 1. Тогда оценки a ”+I будут определяться аналогично (10.19) . Чтобы найти их, заметим сначала, что

"Ro

Rx

... Rn

Rn+1

"1 ~

-vn-

Rt

Ro

... Rn—i

R„

51

0

R„

Rn—i

... Ro

Rt

_П an

0

(10.20)

_^n + l

R„

... Ri

Ro _

_0 _

Здесь первые п + 1 строк идентичны (10.19), а последняя строка является определением ап. Определение a”+I выглядит совершенно так же, как (10.20), с той лишь разницей, что все строки правой части, кроме первой, должны быть нулевыми. Таким

поскольку матрица коэффициентов представляет собой матрицу Теплица. Можно, кроме того, рассматривать последние п + 1 строк (10.20) как нормальные уравнения для регрессии

y^t - п - 1 | 0)= -a?y(r - n)-aiy(t - п + 1) - .. . - a”y(t - 1). (10.22)

Она представляет собой модель сигнала у (г) в обратном времени. Так как скалярный стационарный сигнал симметричен по отношению к направлению времени, коэффициенты в (10.22) совпадают с коэффициентами в (10.16). Это является теоретической причиной равенства между (10.20) и (10.21). См. также замечание в конце

ак Рпап — к*\»1, • • • > И,ак Рпап — к*\»1, • • • > И,[ ап*\ Pn^> ^Л + I — Vn + Рп^Пч1\(Ю.24) I[ ап*\ Pn^> ^Л + I — Vn + Рп^Пч1\(Ю.24) Ivnvnап R.ап R.+ S a^Rn+1_k. к = I+ S a^Rn+1_k. к = I

ак Рпап — к*\»1, • • • > И,

ак Рпап — к*\»1, • • • > И,

[ ап*\ Pn^

> ^Л + I — Vn + Рп^Пч1

\(Ю.24) I

[ ап*\ Pn^

> ^Л + I — Vn + Рп^Пч1

\(Ю.24) I

vn

vn

ап R.

ап R.

+ S a^Rn+1_k. к = I

+ S a^Rn+1_k. к = I

(Здесь шляпка обозначает действительную оценку, основанную на N данных, в противоположность параметрам модели а^)- Это выражение позволяет легко вычислить а£+1 по а^ . При начальных условиях

(10.25)(10.25)-Ri

(10.25)

(10.25)

Ro

имеем схему для вычисления оценок произвольного порядка. Заметим, что переход от ак к а*+} в (10.24) требует произвести 4л + 2 сложений и умножений и одно

деление. Вычисление а” требует, таким образом, количества операций, пропорционального 2 и2, что на порядок (по п) меньше, чем общие процедуры (10.8)—(10.12). Это объясняет термин ’’быстрый алгоритм”.

Алгоритм Левинсона (10.24) широко применялся и был распространен на случай векторной величины z, а также на случай ’’ковариационного метода”. См., например, работы Уиттла [431], Уиггинса и Робинсон [436] и Морфа и др. [299].

Замечание. Наиболее важное изменение при работе с векторной величиной z состоит в том, что соответствующая модель в обратном времени (10.20)

Ht- 1 -n\0V~bnxz(t-n>-...-b^t 1) (10.26)

порождает оценки параметров Ьь отличные от а^ Поэтому схема (10.24) должна быть дополнена аналогичной схемой для пересчета параметров bi* См. задачу 10G.1.

Рис* 10.1. Представление (10.31) решетчатым фильтром

Решетчатые фильтры <*\ Рассмотрим предсказатели (10.16) для порядков п и п + 1, вычисленные при

e = 6 = (eN\

(10.27)(10.28)(10.29)(10.27)(10.28)(10.29)yn(M9")=-a"y(t-V)-...-a^y(t-n\

(10.27)

(10.28)

(10.29)

(10.27)

(10.28)

(10.29)

yn+t(t | O^'V-a^^yCt- 1)- . . .-a^*ly(t-n)-a^i У<1 - n - 1).

Вычитая эти выражения одно из другого и используя (10.24) , получаем

Уп^ i(' I бп*х>)=Уп^ I о”) -аЛ(' -1), где

rn(.t- V)=y(t-n- 1)+а?у(t - п)+ .. Ла"у(3 - 1).

Выражение (10.29) представляет собой ошибку предсказания в обратном времени (10.22) . Учитывая определение (10.29), рассмотрим

Гп+1 (0 = У (I - п - 1) + аТ1 у (Г - п) + ... + д"+1 у (t - 1) + 2”t 1 у (t).

Вычитая отсюда (10.29) и снова используя (10.24), получаем

гя+1(0 -rn(t - 1)=Рп1У(0+а"У^ - 1) + ...+a"j(r-«)].(10.30)

Введя ошибку предсказания

en(t)=y<t)-yn(t | еп\

выражения (10.28)—(10.30) можно подытожить следующим образом:

®п*1 (О — ®п (0 "*" Рп ^п 0 О»(10.31а)

^+1(0-^^- О^Ри^яСО»(ю.з1Ь)

М) = го(.О=У(О-(10.31с)

Это простое представление ошибок предсказания (и предсказаний у n(t | 0") = у (г) — — ^nV)) графически изображено на рис. 10.1. В связи со структурен этого представления (10.31) принято называть решетчатым фильтром (иногда лестничным фильтром) .

Характерной чертой представления (10.31) является то, что величины еп и гп удовлетворяют следующим соотношениям ортогональности:

1

N

N

2 t = I

= I Vn I o,

, если k = 0, если k ^ 0,

1

N

ЛA( V„

, если

n = k,'

(10.32)

А7

t = 1

l o.

если

п фк.

1

N

, если n = к.

—

X

en^rk<t l) =

N

t -

i

I 0,

если n > к

(см. задачу 10D.1). Следовательно, коэффициенты отражения рп можно легко вычислить по формуле

N

5 епи>гп^- 1)

Р„ =•(Ю.ЗЗ)

Схема (10.31) вместе с (10.33) образует эффективный способ оценивания коэффициентов отражения рп, а также предсказаний как альтернативу алгоритму Левинсона. Важный аспект состоит в том, что схема порождает предсказания всех более низких порядков как промежуточный результат. Решетчатые фильтры широко применялись в приложениях по обработке сигналов. См., например, работы Макхоула [272], Гриффитса [148] и Ли, Морфа и Фридпандера [229]. По поводу рекуррентной версии см. также раздел 11.7..

Численное решение с помощью итеративных методов поиска

(10.34)(10.34)В обшем случае невозможно минимизировать функцию 1

(10.34)

(10.34)

VN^0,ZN)= — 2 HeV.03,0) N t - i'

аналитическими методами. Также невозможно, вообще говоря, найти точное решение уравнения.

1 N

(10.35)(10.35)0 = fNVO,ZN> = — 5 ^t.O^ateV.OK A7 ? - i

(10.35)

(10.35)

Решение в этом случае может быть получено с помощью итеративных численных методов. Существует обширная литература по численным задачам такого рода. Общие вопросы изложены, например, в работах Луенбергера [270], Бретсекаса [45] или Денниса и Шнабеля [97].

Численная минимизация. Методы численной минимизации функции И(0) пересчитывают оценку точки минимума итеративно. Обычно это делается в соответствии г уравнением

St<+|) = 0(/) + a/(<). (10.36)

где j v — направление поиска, основанное на информации о V (5), полученной на предыдущей итерации, аа - положительная константа, определяемая таким образом, чтобы получить соответствующее уменьшение значения И(0). В зависимости от имеющейся у пользователя информации для определения , численные методы можно подразделить на три группы:

Методы, использующие только значения функции.

Методы, использующие значения функции V, а также значения ее градиента.

Методы, использующие значения функции, ее градиента и гессиана (матрицу вторых производных).

Типичный представитель группы 3 соответствует алгоритмам Ньютона, в которых коррекция в (10.36) выбирается в ’’ньютоновском” направлении:

_ [И"(0(/’)] -‘ V\9WY(10.37)

Наиболее важный подкласс группы 2 состоит из квази-ньютоновских методов, которые формируют каким-либо образом оценку гессиана, а затем используют (10.37). Алгоритмы группы 1 либо формируют оценки градиента с помощью разностных аппроксимаций и действуют далее как квази-ньютоновские методы, либо имеют другие специфические особенности поиска. (См. работу Пауэлла [328].)

Разработано множество стандартных программ, использующих эти идеи. Наиболее простым для пользователя средством идентификации могло бы быть наличие такой программы, снабженной соответствующей информацией, и предоставление поиска минимума самой программе. В любом случае необходимо иметь возможность вычисления значений функции (10.34) в требуемой точке 0. При этом основная трудность связана с вычислением ошибок предсказания e(f, 0) (/ = 1, . . . ,Л).Эта задача сама по себе может быть как простой, так и сложной. Сравните, например, структуры моделей раздела 4.2 и примера 4.1.

Градиент функции (10.34) равен

N

V'N(0,ZN)=- — X {^(t,0)l'c^(t,0),0)-lo(e(t,0),0)}.(10.38)

N г = 1

Здесь, как обычно, ^(t,0) - d X р-матрица градиента yQ | 0) (р = dim у) по 0. Основные вычислительные сложности в (10.38) связаны с нахождением последовательности V/ (z > ^) G = 1,2,...,A).B разделе 10.3 обсуждаются способы вычисления для некоторых общих структур моделей. Однако для некоторых моделей прямые способы вычисления у могут быть запрещены, и тогда приходится обращаться к методам минимизации из группы 1 или формировать оценки ф с помощью разностных аппроксимаций. В работе Чел л стрема, Эсссбу и Острема [202] описан общий алгоритм LISPID идентификации такого типа.

Некоторые схемы поиска. Рассмотрим случай скалярной выходной величины и квадратичного критерия

1N1

^(0,2^) =—2-c2(z,0).(10.39)

Аг = J2

В численном анализеэта задачаизвестна как ’’нелинейная задача наименьшихквад

ратов”. Великолепное пользующееся авторитетом рассмотрение этой задачи представлено в книге Денниса и Шнабеля [97, гл. 10]. Критерий (10.39) имеет градиент

к

1^(9,ZN) =X V/(/, 0)e(f, 0).(10.40)

A7 г ~ i

Тогда общее семейство процедур поиска задается в виде

^'+1) =ZN\(10.41)

где 6^ означает i-ю итерацию; R^ - d X d-матрица, изменяюшая направление поиска (она обсуждается ниже), а размер шага g^ выбирается так, чтобы

^(^+1), ZN) < VN(%\ ZN\(10.42)

Следует также помнить, что обычно задача минимизации содержит ограничения: 6 Е D^ . Часто, однако, Э/)^ , граница множества D^, соответствует границе устойчивости предсказателя (ср. с определением 4.1), поэтому V N$,ZN ^ быстро возрастает при приближении 6 к dZ)^ . При этом ограничение легко может быть учтено соответствующим выбором g.

Наиболее просто в качестве R ^ взять единичную матрицу

R^ = 1,(Ю.43)

при этом (10.41) становится градиентным методом, или методом наискорейшего спуска. Этот метод очень эффективен вблизи минимума; но обычно при этом лучше алгоритм Ньютона. Для (10.39) гессиан равен

NJ N

V'n(6,Zn) = — 2 ф(1, 6)фт(г,0) - — 2 ф'О.^еОЛУ (10.44) N t = 1^ г = 1

где ф1 (Г, 0) — d X d-матрица Гессе ошибки предсказания е (f, 0).

Выбирая

=ZnY(10.45)

получим из (10.41) метод Ньютона. Однако вычисление всех элементов ф* может оказаться слишком дорогим. Допустим теперь, что существует такое значение 0О> при котором ошибки предсказания е (г, 0О) = е^ (О являются независимыми. Тогда это значение доставляет минимум EV N^6, ZN^. Вблизи 0О вторая сумма (10.44) будет при этом близка к нулю, поскольку Еф* (t, 0О) е0 (О = 0. Таким образом, имеем-

1

Vn(0,Zn>)^ — X ф(1, 0)фт& 0) ^ HN(0\(10.46)

N I

При решении задачи минимизации методом Ньютона необходимо иметь хорошее приближение матрицы Гессе только в окрестности точки минимума. Это объясняется тем, что методы Ньютона обладают одношаговой сходимостью для квадратичных функций. Если значения функции в промежутке между текущей итерацией и точкой минимума не могут быть достаточно хорошо аппроксимированы квадратичной функцией, эффект от использования гессиана в (10.37) не столь важен. Более того, опуская последнюю сумму в (10.44), получаем такую оценку гессиана, которая всегда является положительно полуопределенной матрицей. Это делает численную процедуру алгоритмом спуска и гарантирует сходимость к стационарной точке. Таким образом, приходим к выводу, что

R^ = HN(6^(10.47)

является очень удобным выбором для решения рассматриваемой задачи. Этот метод известен также как метод Гаусса - Ньютона. В литературе по статистике процедура получила название ’’метод накопления” [335]. В литературе по управлению также используются термины: модифицированный метод Ньютона — Рафсона и метод квазилинеаризации. Деннис и Шнабель [97] использовали термин ’’метод Гаусса - Нью- 248

тона” для (10.41) и (10.47) при g^ = 1 и предложили термин метод Гаусса - Ньютона с затуханием в случае регулируемого размера шага g.

Несмотря на то, что выражение (10.46) всегда является положительно полуопре деленным, оно может быть вырожденным или близким к вырождению. Например, это случаи перепараметризованной модели или недостаточно информативных данных. Тогда в (10.41) возникает ряд вычислительных трудностей. Известны различные способы преодоления этих трудностей, называемые методами регуляризации. Один общий способ представляет собой процедуру Левенберга - Марквардта [234, 278]. При этом в качестве аппроксимации гессиана используется

N

— S ф (Г, 0) ф Г(Г, 0) + 6/,(10.48)

N i

где 5 — некоторое малое положительное число.

Если в точке минимума ошибки предсказания зависимые, проведенные рассуждения не верны. В этом случае вторая сумма в (10.44) не обязана быть пренебрежимо малой вблизи точки минимума, а (10.46) не обязательно является хорошим приближением гессиана. Тогда обычно используют известную первую сумму аппроксимации гессиана и оценивают вторую сумму методом секущей (см. [98]) .

Корреляционное уравнение. Решение уравнения (10.35) полностью аналогично минимизации (10.34) (см., например, [97]). Стандартные численные процедуры представляют собой метод подстановки (соответствующий (10.41) и (10.43)):

9^ =* ^N $Г1 \ ZN\(10.49)

и метод Ньютона - Рафсона (соответствующий (10.41) и (10.45)):

%Р = 9^-4\^^~к\ zN^fN{o^~xl zNy(10.50)

Вычисление градиента

Чтобы использовать формулы, приведенные в предыдущем разделе, необходимо иметь выражения для V/(^, 0), градиента предсказания. Количество вычислений, требуемых для вычисления ^(t, 0) сильно зависит от структуры модели, и иногда приходится прибегать к численному дифференцированию. В этом разделе будут представлены выражения для некоторых общих структур модели.

Пример ЮЛ. Структура АКМАХ-модели.

Рассмотрим ARMAX-модель (4.14). Предсказатель задается соотношением (4.18) :

G<q)y(t 10) = ВМи(П* IC^-Atq^ y(t).(10.51)

Дифференцируя это выражение по а^, получаем

Э ак

С(<?) У У I 6) = - q ку«У(10.52)

3<zt.

Аналогично ,

Э A

С№ y(f |0) = ч “^ эьк

и

q"ky(t\6)*C(q) ~ y(t\e> = q^ky(O.

Если вектор vpV* 6} определены соотношением (4.20), эти выражения могут быть переписаны более удобным образом в виде

C(q)^(t. д) = ^(Г, 6).(10.53)

/Гаким образом, градиент получается посредством обработки ’’вектора регрессии” р(Г) фильтром UC(q). Этот фильтр устойчив для всех 0 , для которых устойчив предсказатель (10.51) .

Модель черного ящика с одним входом и одним выходом ^*\ Большинство формул для моделей черного ящика с одним входом и одним выходом будут содержаться в изложении общей модели (4.33). Предсказатель для этой модели задается соотношением (4.35):

DWBW

■ DWAW 14.

y(t IS) =. “(0 +

Qfl)W)

1yVY(Ю.54)

I CW J

Э А ~ y(t | 0) = -Э А ~ y(t | 0) = -O(Q)CWO(Q)CWy(t-k\y(t-k\(10.55a)(10.55b)y^t-k^ =(10.55c)^va-*,0),(lO.55d)w(t-k, 6\(10.55e)(10.55a)(10.55b)y^t-k^ =(10.55c)^va-*,0),(lO.55d)w(t-k, 6\(10.55e)Отсюда находим,как в примере 10.1,что

Э А ~ y(t | 0) = -

Э А ~ y(t | 0) = -

O(Q)

CW

O(Q)

CW

y(t-k\

y(t-k\

(10.55a)

(10.55b)

y^t-k^ =

(10.55c)

^va-*,0),(lO.55d)

w(t-k, 6\(10.55e)

(10.55a)

(10.55b)

y^t-k^ =

(10.55c)

^va-*,0),(lO.55d)

w(t-k, 6\(10.55e)

uV-k),uV-k),d aDW

uV-k),

uV-k),

.y<t | 9)—

ъьк cwfw

az.,_ DWBW „ ,x. DWAW y(t 9) =u(t - k) + dckcwcwfw cwcw

d ABWЛ(д)

тт--^ |S) = 77T77T “V*^ --~7 У^-Ц=-

MkCWFWCW

a„ Лч DWBW„ „ DW

yU । 0) =u(t - k) =

ЭЛ 'C^F^F^C(q)F(q)

где e, и и w используются в смысле определений (4.37)—(4.39). Таким образом, градиент ф (f, 0) в этом случае также получается обработкой вектора регрессии vp^t, 0) (определенного в (4.40)) линейными фильтрами, хотя различным частям vp в общем случае соответствуют различные фильтры. Очевидно, что все введенные здесь фильтры устойчивы для О 6 D^ , определенном в лемме 4.1, т.е. для тех же О, для которых устойчивы предсказатели.

В частном случае модели с ошибкой на выходе А (</) = C(q) = D^ = 1 (см. также (4.24)) получаем из (10.55b, е)

Р^Ф^, 0^ = ^, 0\(10.56)

Конечномерные линейные стационарные модели <*\ Линейная стационарная конечномерная модель всегда может быть представлена в виде

[

у (А м(г)(10.57)

yV\0)=W^(t, 0)

с соответствующим выбором матриц ^, У и JT и при dim ^ = п. Это справедливо для общей модели с одним входом и одним выходом (4.35), для которой ^(^,0) может быть выбран в виде (4.40) , а также для общей модели в пространстве состояний (4.83), для которой

(10.58a)(10.58b)(10.58c)(10.58a)(10.58b)(10.58c)$‘W = AW-FWCW, 3W=U<W BWL itW=cw, xM)=M

(10.58a)

(10.58b)

(10.58c)

(10.58a)

(10.58b)

(10.58c)

Устойчивость предсказателя (10.57) требует, чтобы параметр 0 принадлежал

Он= (0 | ^(5) имеет все собственные значения внутри единичного круга } . (10.59)

Теперь можно продифференцировать уравнение (10.57) относительно 0. Введя

(10.60)(10.60)(10.61)(10.61)Г г 9 т 9 г „ F

(10.60)

(10.60)

(10.61)

(10.61)

W, 0) = /V, У) — tTV. S) • • • — /V. 6) , Ou \O^d

можно записать для некоторых матриц Л (У), Si(0) и $(0)

Г у(^ 1

?(/ + 1,У)=^(У)?0,У)+^(У) I, L“(O J

Г у и I 0) 1

L * V» 0) 1

Нетрудно проверить, что (d + 1)и X (d + 1) и-матрица Л (0) будет содержать матрицу У(0) в каждом своем диагональном блоке и иметь всюду выше этой блочной диагонали нули. Следовательно, свойства устойчивости «Л(0) и ^(0) совпадают.

Для получения общих алгоритмов удобно использовать (10.61). Очевидно, эти уравнения, как таковые, не будут удобны для практических вычислений градиента, поскольку фильтр имеет порядок d (и+ 1) . Однако как показали Гупта и Мера [152], размерность подпространства управляемости (10.61) не превышает 4п независимо от параметризации и от значения 0. Таким образом, объем необходимых в (10.61) вычислений может быть существенно сокращен с помощью соответствующих преобразований.

Наконец заметим, что при использовании методов раздела 10.2, выражения для вычисления i//(£, 0^), представленные в настоящем разделе, должны применяться на каждой итерации. Это означает, что необходимо прогонять данные от / =1 до /V через фильтры типа (10.55) или (10.61) для каждой итерации в (10.41).

Рекуррентные методы задач оценивания по накопленным данным. Идея экономии работы в процедуре минимизации может быть реализована в виде объединения методов раздела 10.2 и 10.3 с тем, чтобы изменять оценку 0^ в (10.41) в тот же момент времени, в который вычисляются градиенты ошибки предсказания в (10.61) (т.е. ’’связать и дек с (z) с N”). Такие рекуррентные алгоритмы будут развиты в гл. 11 для использования в реальном масштабе времени. Однако они крайне полезны также и для задач оценивания по накопленным данным и представляют собой альтернативу (10.41). Тогда обычно дважды пропускают записанные данные через рекуррентный алгоритм; при этом можно показать, что такая процедура будет иметь те же свойства сходимости, что и (10.41). Дальнейшие подробности см. в работах Льюнга и Седерстрема [262, раздел 7.2] и Солбранда, Алена и Льюнга [379].

Двухэтапные и многоэтапные методы

Методы, описанные в разделах 10.2 и 10.3 следует рассматривать как основные численные методы параметрического оценивания. Их преимущества заключаются в гарантируемой сходимости (к локальному минимуму), эффективности и их применимости к моделям общей структуры. Тем не менее, в литературе содержится обилие альтернативных способов, как правило относящихся к специальным случаям общей модели линейной структуры (4.33)

5(g)с^

(10.62)(10.62)А(ч)у(П = -^ «(Г) + -^ е(0 ^(9)D(q)

(10.62)

(10.62)

(или ее многомерным вариантам). Основная идея тогда состоит в формулировке задачи как задачи линейной регрессии или как последовательности таких задач с тем, чтобы далее применить эффективные линейные методы, описанные в разделе 10.1. Обычно алгоритмы включают в себя два или несколько этапов МНК (или метода инструментальных переменных), используемых для разных подструктур, и, следовательно, они могут быть названы двухэтапными или многоэтапными методами.

В настоящем разделе будет дано краткое описание блоков, из которых строятся такие процедуры. Сочетание методов (инструментальных переменных, МНК, ошибки предсказания, псев дол инейной регрессии) и моделей (с конечной памятью, ARX, ARM АХ и т.д.) в процедурах, содержащих несколько этапов, приводит к огромному многообразию ’’методов идентификации”. Нет необходимости все их перечислять. Однако можно понять и исследовать различные их этапы, описанными здесь методами (см. задачи 10G.2 и 10Е.1). Излагаемая тема интересна вдвойне: она помогает глубже понять литературу по идентификации, а методы могут быть полезны при получении начальных оценок для основных схем раздела 10.2.

Методы бутстрепа. Рассмотрим формулировку задачи оценивания (7.96), соответствующую корреляционному подходу: решить уравнение

1 N

fN(e,ZN)= — 2 f(r, 0)e(r, 0) = О,(10.63a)

N r = i

где ошибка предсказания записывается в виде

е(Г, 0) = yV) - ^Г(С в) в.(10.63b)

Эта формулировка охватывает несколько общих ситуаций:

методы инструментальных переменных, когда f (г, 0) и ^(г, 6) = ^(г) определяются соотношениями (7.113) и (7.100) соответственно;

методы исевдолинейной регрессии, в которых f (?,0) = ^(Г,0),как в (7.99);

минимизация квадратичного критерия (10.39) для моделей, представимых в виде (7.98), при ^ (г, 0) = ^ (г, 0). Если оценка 0^_ D уже получена (на предыдущей итерации), то естественно определить следующую оценку как решение относительно вектора 0 системы линейных уравнений

w АА

’ /V г = 1А

Решение можно записать в виде

А Г 1а I"1 Г 1А1

е^= ~ 2 Ut.e^-^^t.e^-1^— 2 ^^-‘^(о .(10.64)

L W t = iJN t = 1J

Эта оценка по существу может быть представлена как оценка МНК (10.2) при соответствующем определении R(N) и f(N). Следовательно, способы, описанные в разделе 10.1, применимы также к (10.64). Алгоритм (10.64) называют методом бутстрепа, поскольку в нем чередуются вычисление в и формирование новых векторов ^ и f. Следует отметить, что он не обязательно сходится к решению уравнения (10.63). Анализ сходимости проведен Стойкой и Седерстремом [390] и Стойкой, Седерстремом, Аленом и Солбрандом [402].

Билинейные параметризации. Для некоторых структур моделей предсказатель билинеен по параметрам. Это означает, что вектор параметров может быть разбит на две части

0 = Р1

Ln J

гак, что выход предсказателя

j)(r I У) = У(Г I Р, т?)(10.65)

линеен по р при фиксированном 77 и линеен по 77 при фиксированном р. Типичной ситуацией такого рода является ARARX-структура (4.22):

yV \6) = B(q)D^)u(t)t [1 -Л(^)/?(^)] ^(г).(10.66)

Очевидно, если р соответствует Л- и 2?-параметрам, а 77 — D-параметрам, получаем случай билинейной параметризации.

В этом случае естественным способом минимизации функции

N

VNtO.ZN)=VN^p^,ZN) = — 2 (^(О-^СЛр.п))2(10.67)

/V г = 1

представляется последовательное решение квадратичных задач. Положим

р^ = arg min ^(р,°, ZN\(10.68а)

П^ = arg min У^\ И, ZN\(10.68b)

Каждая из этих задач является квадратичной задачей минимизации и может быть эффективно решена. Хотя эта процедура имеет некоторое сходство с методом бут- стрспа, она, действительно, является процедурой минимизации, приводящей, вообще говоря, к локальному минимуму (ср. задачи 10Т.З и 10Е.9).

АК(Х)-модели высокого порядка. Допустим, что истинная система определяется уравнением

У (f) = f'oUl) U (/) + Но(q) е0(Г),

а для ее идентификации используется ARX-структура порядка М

AM^y(,tVBMVl>uWcVY

Тогда можно показать (см., например, [171] и [254]), что если число данных N стремится к бесконечности вместе с порядком М (/V ’’быстрее, чем” М), то модель А^ , Br будет сходиться к истинной системе в следующем смысле:

fl (ez ^ )

—► G0(cluj) равномерно по со при N>M-*«\

А^(е^)

1

—-►H0(elw) равномерно по со при N>M->^.

A^le1^

Это означает, что с помощью ARX-модели высокого порядка можно сколь угодно точно аппроксимировать любую линейную систему. Желательно, конечно, привести эту модель высокого порядка к более удобным вариантам структуры (10.62), причем для этой цели существуют различные возможности:

определение G = В)А как рациональной структуры путем исключения общих множителей у Л^ и в^ [367];

применение основанного па балансе реализаций метода редукции модели к передаточной функции 2%/Л [415, 416];

применение ARX-модели к последовательности входо-выходных пар (z, м), где z(f) - выходной сигнал модели В^]А^, порожденный реально наблюдаемым входным сигналом и (см. [183,314]);

использование структуры модели

A (q)У (0 = В (q) и (г) + [С (</) - 1 ] ем (О + е (г)(10.69)

для оценивания А, В и С, где ем (О - невязки» соответствующие модели А™, В^; поскольку последовательность ем (О известна, модель (10.69) имеет ARX-струк- туру с двумя входами, а оценки определяются, таким образом, методом наименьших квадратов [280].

Разделение моделей динамики и шума. Для определения динамической части от и к у в общей линейной модели (10.62) всегда можно использовать метод инструментальных переменных. Расщепляя знаменатель полученной таким образом оценки на один множитель А (^), который предполагается общим со знаменателем передаточной функции от е ку, и на другой множитель F(^), специфичный только для динамики (обычно постулируется, что один из полиномов, Л или F, единичный), можно затем определить

v^ = A^y^-(Ю.70)

как оценку присутствующего в уравнении шума (ср. с (4.38)). Далее, этот шум можно рассматривать как измеряемый сигнал и применить ARMA-модель

А С G/)

и^=——е(Г)(10.71)

для следующего» отдельного этана идентификации. Этот способ разрабатывался в ряде работ Янга (см., например, [449] ).

Оценивание ARMA-моделей. Параметры ARMA-модели (10.71), конечно, можно оценить, используя основанный на ошибке предсказания подход. Возможны следующие две альтернативы, избегающие применения итеративных процедур поиска:

применение AR-модели высокого порядка к v(t) в (10.71) для формирования оценок обновлений е, с последующим построением ARX-модели

DMvV)= [Cto)- 1] e(O+e(z)(10.72)

с выходным и входным сигналами £(Г) и е(Г) соответственно и оцениванием D и С методом наименьших квадратов (ср. с (10.69) );

оценивание AR-параметров D{q) с использованием метода инструментальных переменных, как объясняется в задаче 7Е.1, и модели vv(r) = Z)(?)6(r) в качестве MA-модели; в работе Соло [383] описано, как это можно сделать посредством сравнения ковариационной матрицы модели и ее оценки, полученной методом факторизации спектра. Близкие способы описаны также в работах Дурбина [105] и Уолкера [419].

10.5. Локальные решения и начальные значения

Локальные минимумы. Общие численные схемы минимизации и решения уравнений, которые обсуждались в разделе 10.2, обычно обладают тем свойством, что при подходящем выборе длины шага д они будут сходиться к решению поставленной задачи. Это означает, что (10.49) и (10.50) будут сходиться к точке 0^, в которой

/^(^.Z^O,(10.73)

в то время как (10.41) с положительно определенной матрицей R сходится к локальному минимуму VN(0,ZN ).

В задаче минимизации нас интересует глобальный минимум. Теоретические результаты гл. 8 и 9 относились к свойствам оценки 0N, доставляющей глобальный минимум. Аналогично, уравнение (10.73) может иметь несколько решений. Очевидно, для итеративных поисковых процедур раздела 10.2 характерна лишь сходимость к локальному решению задачи, а достижение глобального решения не может, вообще говоря, гарантироваться. Обычно для нахождения глобального решения не существует другого способа, как запускать итеративную программу минимизации с различных возможных начальных значений и сравнивать получаемые при этом результаты. Ниже обсуждается важная возможность использования некоторой процедуры предварительного оценивания для получения хорошего начального значения при минимизации.

При подборе модели и ее проверке, как будет обсуждено в разделе 16.5, о модели судят все-таки по ее характеристикам. Значит, локальные минимумы не обязательно создают проблемы на практике. Если модель проходит проверочные тесты, она должна быть приемлемой моделью, даже если она не дает глобального минимума критериальной функции.

Проблема ’’ложных” локальных решений имеет два аспекта. Может оказаться, что предельная при N -> 00 критериальная функция И(0) имеет локальные минимумы. Тогда в соответствии с леммой 8.2 функция V^^ ZN) также будет иметь аналогичные минимумы для больших N. Существование локальных минимумов ^(0) можно проанализировать, но до сих пор известно лишь несколько результатов. Некоторые из них будут приведены ниже. Другой аспект состоит в том, что даже если И (0) имеет один локальный минимум (совпадающий с глобальным), функция ИдД0, ZN) может иметь другие локальные минимумы из-за случайного характера данных. Эта проблема значительно труднее для теоретического исследования. Исключение составляет МНК для линейной регрессии, когда по своей конструкции критериальная функция не имеет неглобальных локальных минимумов независимо от свойств данных.

Результаты для моделей ’’черного ящика” с одним входом и одним выходом. Единственные имеющиеся аналитические результаты по локальным решениям относятся к моделям ’’черного ящика” в предположении, что истинная система принадлежит множеству моделей*. $ GJT Перечислим эти результаты, снабжая их ссылками на доказательства. Все они касаются общей модели с одним входом и одним выходом (10.62) и относятся к

^ = Е -e^t.Oy

2

Для простоты неглобальный локальный минимум называем ’’ложным минимумом”.

Для ARMA-моделей (В = 0, D = F = 1) все стационарные точки V (0) являются глобальными минимумами [30].

Для ARARX-моделей (С = F = 1) не существует ложных локальных минимумов, если отношение сигнал/шум достаточно велико. Если оно очень мало, ложные локальные минимумы обязательно существуют [365].

Если А = 1 и nf = 1, ложных локальных минимумов не существует [368].

- Если А н С = D = 1, ложных локальных минимумов не существует, если входной сигнал - белый шум. Для других входных воздействий, однако, ложные локальные минимумы могут существовать [368].

Для ARMAX-модели (F = D= 1) не известно, существуют ли ложные локальные минимумы. Однако для подхода, основанного на нсевдолинейной регрессии (7.99),

можно показать, что

E^(t,0)eO,0) = O^0=0o (10.74)

в случае ARMAX-модели, где 0О обозначает вектор истинных параметров [265].

Практический опыт использования моделей различных структур показывает, что для ARMAX-моделей глобальный минимум обычно находится без особых проблем. (См., например, обсуждение по этому поводу в работе Бохлина [55].) С другой стороны, для структур модели с ошибкой на выходе сходимость к ложным локальным минимумам — обычная ситуация.

Начальные значения. Вследствие возможного наличия нежелательных локальных минимумов критериальной функции имеет смысл затратить некоторые усилия на выработку хороших начальных условий для итеративных процедур поиска. При этом, поскольку методы ньютоновского типа, описанные в разделе 10.2, обладают хорошей скоростью локальной сходимости, но не обязательно скорость сходимости велика вдали от минимума, эти усилия обычно окупаются уменьшением числа итераций и сокращением суммарного времени вычислений.

Для структур моделей, параметризованных на основе физических законов, наиболее естественно использовать физические представления и для определения различных начальных условий. Это позволяет также взаимодействовать с итеративной схемой поиска и контролировать ее работу.

Для структур моделей черного ящика существует несколько возможностей. Исходя из практического опыта, можно предложить следующие процедуры определения хороших начальных значений для модели общей структуры (10.62):

применение метода инструментальных переменных для оценивания передаточной функции B/AF, определяющей динамику; чаще всего один из полиномов Л или F является единичным: для системы, работающей в режиме разомкнутой цепи обратной связи, сначала определяют оценку МНК для ARX-модели, чтобы затем использовать ее при генерации инструментальных переменных, как в (7.109);

(10.75а)

определение оценки шума уравнения аналогично (10.70) (10.75b)

определение С и/или D в (10.71) посредством (10.72) после первоначального этапа нахождения е с помощью AR-модели высокого порядка (который не требуется при С = 1); порядок AR-модели может быть выбран как сумма порядков всех моделей в (10.62) с тем, чтобы сбалансировать вычислительные усилия. (10.75с)

Глобальная сходимость. Если система принадлежит множеству моделей, метод инструментальных переменных, как известно, будет сходиться при слабых предположениях к истинным значениям параметров (см. (8.102)). Аналогично оценки С и D в (10.72) могут быть сколь угодно точными при достаточно большом порядке модели на этапе AR-оценивания. Начальный этап будет, следовательно, давать сколь угодно точное приближение глобального минимума при условии, что мы имеем достаточное количество данных. Отсюда приходим к выводу, что методы раздела 10.2 будут эффективно отыскивать глобальный минимум. Таким образом, для случая $ G jy имеем процедуру, глобально сходящуюся к глобальному минимуму для достаточно больших N.

В том случае, если система не принадлежит множеству моделей, представленные в разделе 10.4 процедуры могут привести к аппроксимации, отличной от аппроксимаций, присущих методу ошибки предсказания. Тогда остается неизвестным, приведет ли процедура выработки начальных значений в область притяжения к глобальному минимуму критерия ошибки предсказания.

Заключение

Определение оценок параметров по данным наблюдений имеет два аспекта. Первый состоит в необходимости охарактеризовать отыскиваемую оценку либо как решение некоторого уравнения, либо как аргумент, минимизирующий некоторую функцию. Второй аспект связан с необходимостью формирования численного метода, вычисляющего эту оценку. Важно различать эти два вопроса. Комбинация нескольких различных подходов к характеризации требуемой оценки со многими способами ее действительного вычисления приводит к широкому, подчас беспорядочному разнообразию методов идентификации. Целью этой главы, как и главы 7, было показать основополагающие идеи.

Для задач оценивания параметров линейной регрессии (МНК или методом инструментальных переменных) были рекомендованы методы типа (^-факторизации (10.12), а также указывалось на возможности использования метода Левинсона и/или решетчатых методов ((10.24) и (10.31), (10.33) соответственно) для специальных структур.

Для общего метода ошибки предсказания в качестве основного был рекомендован итеративный метод Гаусса-Ньютона с затуханием (10.41), (10.42) и (10.47), дополненный процедурой (10.75) определения начальных значений параметров моделей черного ящика.

Комментарии к библиографии

Алгоритмы вычисления оценок являются темой многих статей и книг по идентификации систем. Основные методы также являются предметом многих исследований по численному анализу.

Для линейной задачи наименьших квадратов, описанной в разделе ЮЛ,прекрасный обзор дан в книге Лоусона и Хансона [228]. Алгоритм Левинсона и его разветвления представлены, например» в работе Кайлата [197]. Первые применения алгоритма Левинсона в задачах оценивания изложены Дурбином [106]. В связи с этим алгоритм с оцениваемой матрицей RC?) иногда называют алгоритмом Левинсона-Дурбина. Многомерный алгоритм Левинсона представлен в работах Уиттла [431] и Уиггинса и Робинсон [436]. Алгоритм Левинсона для ’’ковариационного метода” (для которого R(N^ не является матрицей Теплица, но отличается от ее структуры ’’немного”) был разработан Морфом и др. [299]. Эти идеи восходят к работе Морфа [297]. Общие методы решения линейных уравнений с матричными коэффициентами» ’’близкими к структуре матриц Теплица”, изложены в работах Фридландера и др. [125] и С. Льюнга и Л. Льюнга [266]. Алгоритм Левинсона широко применялся в геофизике (например, [344, 68]) и в обработке речевой информации (например, [277]), в то время как в приложениях по управлению он использовался меньше. Его численные свойства исследованы Цыбенко [88].

Решетчатые фильтры широко обсуждались в работах Маркела и Грея [277], Хонига и Мессершмидта [181] иРабинераи Шафера [3311, а также в работах, упомянутых в тексте. Вопросы численной устойчивости вычислений коэффициентов отражения в (10.31) и (10.33) исследовалась Цыбенко [89]. Значительное внимание уделялось процедурам рекуррентного пересчета коэффициентов отражения, к которым мы вернемся в гл. 11.

Для методов раздела 10.2 основной ссылкой является книга Денниса и Шнабеля [97]. Эта работа содержит много дополнительных ссылок, а также псевдопрограммы типичных алгоритмов. Варианты методов Ньютона в приложениях по идентификации систем обсуждались, например, в работах Острема и Бохлина [27], Гупта и Мера [152], Кашьяпа и Нэсбурга [209].

Градиенты ф = (Э/Э0)у, ^1^6)х и т.д. известны как функции чувствительности или коэффициенты чувствительности. Они изучались также в связи с анализом чувствительности в задачах управления. Простые методы вычисления этих градиентов для моделей в пространстве состояний обсуждались, например, в работах Денери [9 6] и Неймана и Суда [305], а также в работах Гупта и Мера [15 2] и Хилла [176]. Использование множителей Лагранжа для уменьшения объема вычислений описано Кашьяпом [208] и Ванзэ и Босгра [454]. Другая возможность состоит в применении равенства Парсеваля к У^ и HN в (10.40) и (10.46) и их оценивании в частотной области в терминах преобразования Фурье. См. [162] и [5]. Соответствующие выражения легко следуют из (7.25) и (9.53). Специальный метод максимизации функций правдоподобия, ЕМ-алгоритм, был разработан Дэмпстером, Лейрдом и Рубином [95]. См. задачу 10G.3.

Кроме ссылок, упомянутых в тексте, неединственность решений поставленной задачи идентификации изучалась в работах Стойка и Седерстрема [393], [394] (упрощенное доказательство в случае ARMA-модели и случай многомерной МА- модели соответственно) и [373] (дальнейшие результаты для модели с ошибкой на выходе А = С= D= 1); для ^-шаговых моделей, основанных на ARMA-o писаниях, этот вопрос рассматривался в [397]. Последствия возможного отсутствия единственности минимума обсуждались Бохл ином [54, 55].

Анализ методов бутстрепа выполнен Стойкой и Седерстремом [390] и Стойкой, Седерстремом, Аленом и Солбрандом [402].

Двух- и многоэтапные методы обсуждались во многих вариантах. Кроме методов, описанных в разделе 10.4, хорошо известны, например, методы Дурбина [105] и Уолкера [419]. Оба метода начинают с оценивания AR-модели высокого порядка. Коэффициенты этих моделей (соответствующие ковариационные функции в случае алгоритма Уолкера) приводят к системе уравнений для определения параметров скользящего среднего. См. также книгу Андерсона [14], раздел 5.7.2.

Задачи

10G.L Пусть z (? ) - р-мерный сигнал, а 2” и 6” ( р X р-матрицы) - оценки МНК моделей линейной регрессии

$а к» = -fl”z а - и ..-a„z а -п).

»»(10.76)

z U - п - 1 | 0) = - b^z U ™ 1) - • • • - b^z U - л),

основанные на данных z (г), 1 < t < N. Используя аргументы, аналогичные (10.16)- (10.25), покажите, что эти оценки могут быть вычислены с помощью уравнений ап , а гп ак ~ а к +Ь п-к+\^ а и+1 _ а °И+1 “ Pt!'

ьк ""+ PnOn-k + i»

bn+l ~ Pm

п

ап"^п+1 +akRn+\_k»

^и~^-и-1+ b^R-n-i + k» ап^

Рп = " аН l^nl ' »

Рп = “ Рп I ^п 1 1 •

Здесь

Rk =— ^ z(t*k)zT(t)

с г V) = 0 вне интервала 1 < t < N. (Это многомерный алгоритм Левинсона, полученный Уиттлом в [431 ].)

10G.2. Метод СтейглицаМакбрайдта. В [ 3861 был предложен следующий подход к идентификации линейных систем при условии белых помех измерений. Рассмотрим модель с ошибкой на выходе (4.25)

В^

У (г) =и (Г) + е (г).

F^•

Шаг 1. Применяем МИК к АВХ-модели

Flq^y (г) = В М^и (0 + е (г).

Получаем BN (q) и Fr (^).

Шаг 2. Обрабатываем данные предварительным фильтром:

1'1

У^(0 = у UY uFU^= —.

Fr (^)Fr (q)

Шаг 3. Применяем МНК к АВХ-модели

F (q)yF (О = В (^) uF (Г) + е (г).

Повторяем процедуру, начиная с шага 2, с новой оценкой F. Останавливаемся при обнаружении сходимости Fr и Br.

Этот‘метод можно интерпретировать как способ нахождения корреляционной оценки, как в (7.96), с предварительными фильтрами, зависящими от 6. Каковы вектор корреляции f (Г, 0) и предварительный фильтр L {q^}2

Посредством какого Численного метода (в соответствии с классификацией этой главы) вычисляется эта оценка?А л

Допустим, численная процедура сходится к единственному решению Br. Fr корреляционного уравнения. Используйте теорему 8.6 для обсуждения вопроса, будут ли эти оценки состоятельны, если истинная система описывается уравнением

Во^)

у (а =и (п+и^п,

где и0 (г) - белый или цветной шум соответственно Какой'вывод следует из теоремы 9.2 относительно асимптотической дисперсии оценки в случае белого шума {и0 (г)}? (См. также анализ в работе Стойки и Седерстрема [389].)

10G.3. ЕМ-ал го ритм. Рассмотрим задачу 7G.6 и выражение (7.126) для функции правдоподобия с обратным знаком:

Г(0) = -1пр(У |0) = -1пр(У, У | 0) + In р (У | 0, У).

Это выражение справедливо для всех X и, таким образом, может быть проинтегрировано по какой-нибудь вероятностной мерс/(У) без изменения левой части, нс зависящей от X;

V^=- J lnp(Y,X 10) f(X)dX + J lnp(X10, Y)f(X)dX.

X6RXeR

Пусть теперь, в частности f (У) - условная плотность распределения вероятностей для У при заданном У и в предположении 0 = а:

/(У) = р (У 1 У, а).

Тогда

V (0) = Я/У, 0,а)+Я2(У, 0, а),

HX(Y, O.aV- J Inp (У, У |0)р (У 1 У, a)dX - Е V— 1пр (У, У I а) I У, а), yeR"

Я2(У, 0,а) = Jlnp (У | У, 0) р (У I У, a)dx.

ЕМ-алгоритм минимизации Е(0) состоит из следующих шагов [95]:

Фиксируем ак и определяем условное среднее от -1пр(У, X | 0) относительно X при заданном Y в предположении, что истинное значение 0 равно а^ Получаем Нх (У, 0, а^. (Заметим, что параметр 0 в р(У, X | 0) опущен как свободная переменная.)

Минимизируем

Нх^.0,ак>.

относительно 0, получая при этом 6к.

Устанавливаем <4+1 = 6 к и повторяем с пункта 1.

Покажите теперь, что

^(^ ® к* ак) < Нг^У, ак- а^

и, как следствие,

VlOk^ v VakY

Другими словами алгоритм порождает убывающую последовательность значений функции правдоподобия со знаком минус.

Выпишите ЕМ-алгоритм для случая, описанного в задаче 7G.6.

(Шаг 1 - оценивание, а шаг 2 - шаг минимизации в ЕМ-алгоритме. Алгоритм полезен, когда функция правдоподобия при заданном Y сложна, а добавление вспомогательных измерений X должны привести к значительно более простой функции правдоподобия. Таким образом, рассматривается расширенная задача с этими сформированными измерениями и усреднением по ним; при этом используется их условная плотность при заданных действительных наблюдениях и предположение, что система описывается текущей оценкой 0. Заметим, что //2 (У, 0. а) нс формируется ни на каком этапе алгоритма.)

В книге Хсиа [183, раздел 6.71 описана следующая процедура идентификации. По- ложйм

рТ W \ - У ^ ' 1). . . - У и - па)и (г - 1).. .u (t - и6)|, рТ = [о, . .. аПа 6, . .. Ьпь\.

Тогда модель записывается в виде

?») = #[ tOp+eUY

Оценка р/у вычисляется как ’’компенсация смещения”

* _ LS a BIAS

PN~Pn ~ pN *(10.77)

aLS aBIAS,

где р и р вычисляются итеративно следующим образом:

Шаг 7. Полагаем

1 N•

^V = “ ^ li W) ур^ U)

и

1 N

0N^ = l^v’l ^ ^ЛОуиХ

A BIAS_ п

Шаг 2. Пусть

A _aLS aBIAS PN~Pn - PN *

Шаг 3. Полагаем

е Wy (t)-^V'Ipn

и определяем

Ч>1 (7) = [ - с (7)- в (Г - wd)J.

Пусть

R^= - S ^UWTUY R^2>=^ vpaOvpTuY

.Г=1t = Y

Вычисляем

ом=к^- П#2)1Г1'$)1 ‘«к^

p®IAS - i^0!" ^12)^* [^ ^(O-HO-i/^Vi^H^ ^юут

и повторяем с шага 2 до тех пор, пока процесс не сойдется.

Покажите, что эта процедура представляет собой алгоритм бутстрепа (10.64) для метода псевдолииейной регрессии (7.99) с использованием АRARX-модели (4.22).

Рассмотрим структуру модели из задачи 5Е.1. Получите выражение, позволяющее вычислять градиент

d а

V/ (Г, Ю = -^У (Г Ю). do

Примените метод Гаусса-Ньютона (10.41) и (10.47) к задаче оценивания линейной регрессии (10.1) с квадратичным критерием. Возьмите д = 1.

ЮЕ.4. Введите аппроксимацию

с и, 0) * е (t. 0U-1^* фТ «,0(1-П) (0 —*));

используйте ее в

VNV.ZNV - L --е2 V.O)(10.78)

? = 1 2

и решите задачу минимизации но 0. Покажите, что это приводит к методу Гаусса-Ньютона (без демпфирования) (10.41) и (10.47).

В задаче 1 0Е.4 минимизируйте (10.78) при ограничении

II о - II <4 Сб.

Обсудите связь с методом Левенберга-Марквардта (10.48).

Пусть Vn определяется соотношениями (10.24) и (10.25). Покажите, что

1 NаJ N

V„ - - 2 (у U) у (ПО))2 - — 2 е^П, r = iГ=1

где уп задается выражением (10.16).

Рассмотрим ARX-модель

У (О + л, у At - 1) + . . . + а„у U - п) = bxu (f - 1) + . . .+ 6„м (Г - л) + е (Г).

Введите

, х [“^(П 1

L ]

и покажите, как вычислять оценки д/ иЬ^ с помощью многомерного алгоршма Левинсона, описанного в задаче 10G.1.

Покажите, что для решетчатого фильтра

Уп U I о )Р|^1(^“1)—р2^*2^“ 1 ) — . . . — pfl гп it — 1 ).

Вычислите матрицу ковариаций для р( (i = 1, .... л).

Примените метод (10.68) к ARARX-модели (10.66). Проследите его работу шаг за шагом и покажите, что он состоит из последовательности задач нахождения оценок МИК в сочетании с простыми процедурами фильтрации. (Это - обобщенный МИК, исследованный Кларком ] 82]. См. также ] 365 ].)

MXV Л. Преобразования Хаусхолдера. Преобразование Хаусхолдера задается матрицей

Q = l- 2wwT,

где w - вектор-столбед с единичной нормой. Покажите следующее:

5 - симметрична и ортогональна.

Пусть х - произвольный вектор. Тогда существует такая симметрическая ортогональная матрица Q, для которой

г11О

Qx = \x\

Пусть Л - п X /«'матрица, и > т. Тогда существует ортогональная матрица Q ~ Qm Qm-1 • • ♦ 5i ♦

которая является произведением матриц, задающих преобразования Хаусхолдера, и для которой

где R - квадратная верхняя треугольная т X/n-матрица (см. книгу Лоусона и Хансона [228]). 10Т.2. Рассмотрим систему

Aokq)y kt) = Bokq)u (f)+ C0(?)e0(D'

и модель ARMAX-структуры

6 ~ Iй 1 ♦ • • anJ}\ • • • Ьп^Сх • •. сп^

A kq) у U) = В kq)u (О + С kq)e kt)•

с полиномами, порядки которых не меньше порядков соответствующих полиномов истинной системы. Положим

D = I О•ai ]D = I О•ai ]Ckeiw)

D = I О

•ai ]

D = I О

•ai ]

Re:> О V си

С0(е‘“)

Покажите, что критерий ошибки предсказания Г(0) = £ е2(Л 0)

не имеет ложных локальных минимумов новей ; это означает, что

_В (q)B0(q) Ciq) Со(<?).

Г'(О)=Ои0&О - = ,= .

•* A (q) Ло№ A (q) A^q)

10Т.З. Рассмотрите метод (10.68) минимизации (10.67) для билинейной параметризации. Запишите (10.68) в виде (10.41) с блочно-диагональной матрицей R^. Таким образом, (10.68), действительно, является методом спуска, который будет сходиться к локальному минимуму.

Докажите соотношения (10.32). Указание: но определению

1 * л

— X ert kt) у kt - к) = 0, 1 < к < п

N Г=1

(невязки нс коррелируют с регрессорами; см. рис. П. 1).

Используя задачу 10G.1. получите решетчатый фильтр для многомерного сигнала z kt).

Напишите макропроцедуру

[psi, е] = GRAD (у, и, ТПХ

вычисляющую ошибки предсказания е и 1’радиенты ^ для заданного вектора параметров TH в структуре (4.34) (см. задачи 4S.1 и 4S.2 и (10.55)).

Напишите макропроцедуру

g = GNDIR (psi, е).

вычисляющую направление Гаусса- Ньютона

NN•

g= [ S V- V)*T т Г’ Sj, (?)е(О'

r=l

(ср. с (10.40), (10.41) и (10.46)). Если показатель обусловленности обращаемой матрицы

превышает некоторый порог, включите регуляризацию (10.48). Эго удобно сделать, образовав

матрицу

<v = R (1)t (W)]r

и вектор

£=[e(l),...,eW]T■

и решив относительно £ переопределенную систему линейных уравнений

4fg = E

с помощью МНК из раздела 10.1.

Напишите макропроцедуру

ТН1 = SEARCH (Л «я ТН,£),

оценивающую У^ (О, ZN) при

6 = ТН' = ТН + * *g, к = 1, 1/2, 1/4,. ..

до тех пор, пока не найдется TH' = ТН1, для которого ^(THl, Z^) < ^(ТН, Z^) (см. (10.42)). Напомним, что X = Куу(ТН, Z^) должна быть компонентой TH.

Объедините эти три макроподпроцедуры в одну макропроцедуру

ТН1 = GN (^, и, TH, eps, maxiter),

реализующую (10.41) до тех пор, пока норма g не станет меньше, чем eps, или пока не будет достигнуто максимальное число итераций. Начальное значение 6^ = TH. При выходе из ТН1 получаем также оценки матрицы ковариаций (9.18) и (9.19).

Напишите макропроцедуру

THI = INIVAL (у, и, па, nb, пс, nd, nf пк^,

которая реализует процедуру определения начальных условий (10.75) для модели общей структуры (4.34). Используйте ваши макропроцедуры, реализующие МНК и метод инструментальных переменных. Объедините INIVAL и GN в макронроцедуру

TH = РЕМ (у, и, па, nb, пс, nd, nf, пк>

для идентификации общей структуры (4.34) методом ошибки предсказания.

10С.1. Используя ваши данные из задачи 7С.1 и ваши программы из задачи 10S.2, получите оценки моделей различных структур семейства (4.34).

Глава II

МЕТОДЫ РЕКУРРЕНТНОГО ОЦЕНИВАНИЯ

Введение

Во многих случаях необходимо или полезно иметь в распоряжении модель системы, способную работать в реальном масштабе времени. При этом модель не должна основываться на будущих измерениях. Необходимость в формировании таких моделей обычно возникает из-за того, что модель нужна для вынесения некоторых суждений о системе во время ее работы. Вопросы могут быть следующими:

Каким следует выбрать входное воздействие на следующем шаге?

Как следует настраивать параметры подобранного фильтра?

Каковы наилучшие предсказания нескольких следующих значений выходной переменной?

Имеет ли место разладка и, если да, то какого тина?

Методы, предназначенные для решения подобных проблем с использованием настраиваемых моделей некоторого типа, обычно называются адаптивными (см.

рис. 11.1). В этом смысле говорят об адаптивном управлении, адаптивной фильтрации, адаптивной обработке сигналов и адаптивном предсказании.

Вычисление результатов работы модели в реальном масштабе времени должно производиться таким образом, чтобы обработка измерений на каждом шаге всегда завершалась до начала следующего шага. В противном случае, построенная модель не сможет справиться с потоком информации.

Методы идентификации, удовлетворяющие этому требованию, будут здесь называться рекуррентными методами идентификации, поскольку измеряемые входовыходные данные обрабатываются рекуррентно (последовательно), в порядке их

Рис. 11.1. Адаптивные методыРис. 11.1. Адаптивные методы

Рис. 11.1. Адаптивные методы

Рис. 11.1. Адаптивные методы

поступления. Часто для таких методов используют также термины идентификация в реальном масштабе времени или по текущим данным, адаптивное оценивание параметров или последовательное оценивание параметров. Кроме использования рекуррентных методов в адаптивных схемах, они важны также по следующим двум причинам:

Обычно, как будет видно, они порождают свою оценку дисперсии параметров. Это означает, что можно контролировать поступление данных и обрабатывать их до момента достижения достаточной точности модели.

Оказывается, что алгоритмы этой главы составляют, кроме того, достойную конкуренцию оценкам параметров в ситуациях, когда оценивание производится по накопленным данным, (см. раздел 10.3.)

В данной главе будут рассмотрены вопросы формирования рекуррентных алгоритмов идентификации, выяснения их свойств, а также вопросов их практического применения. Для начала опишем формальное требование вычисляемости за конечное время.

Структура алгоритма. Определим общий метод идентификации как отображение множества данных Z1 в пространство параметров (7.7):

6t=F(t,Zt)) (11.1)

где функция F может быть задана явно (например, как аргумент, минимизирующий некоторую функцию). Такого рода общее выражение (11.1) не может быть использовано в рекуррентном алгоритме, поскольку подсчет значения функции F может включать необозримое количество вычислений, которые, возможно, не будут завершены до начала следующего шага. В противоположность этому рекуррентный алгоритм должен подчиняться следующим соотношениям:

X(t) = H(t,X(t-D,y(t),u(O),

A U

=й(^(0).

Здесь ^(r) — вектор фиксированной размерности, представляющий некоторое ’’информационное состояние”; функции Н и h заданы явным образом, и их значения могут быть вычислены посредством конечного числа вычислительных операций, известного априори. Таким образом, можно быть уверенным, что 0t вычислится до начала следующего шага алгоритма.

Так как информация, содержащаяся в последней паре измерений у^, и (г), обычно мала по сравнению с информацией, полученной в результате обработки предыдущих измерений, алгоритм (11.2) как правило принимает более конкретный вид:

ot = o,_t +Tt09WO, уО), “(0), (1] 3)

XWXQ-lVHtQx(X(t-V),yQ\u(.t)),

где 7 и д - малые числа, отражающие относительное количество информации в последних измерениях.

Рекуррентный алгоритм наименьших квадратов

В этом разделе будет рассмотрен метод наименьших квадратов как простой, но в то же время наиболее типичный случай. Полученные алгоритмы и понимание их специфики послужит основой рассуждений в следующих разделах.

Взвешенный критерий наименьших квадратов. В разделе 7.3 вычислялась оценка, минимизирующая взвешенный критерий наименьших квадратов;

Аt

0f=argmin S ^t, k^ ^У^кД ^Vk^QV • 0 k = l

(И.4)

Она задается соотношением (7.42): 0,=R-4rW).

(11.5а)

R(t)= 5 ^t,k^^T^, k = l

(11.5b)

K0 = 5 ^t,k)^y(ky k=l

(11.5с)

Чтобы произвести вычисления (11.5), следовало бы в момент времени t образовать указанные матрицу и вектор по данным 7? и затем найти (11.5а). Если бы ранее была вычислена оценка ^t_x > непосредственной помощи от этого не было бы. Однако из рассматриваемых выражений ясно, что 0Г и Qt„x взаимосвязаны. Попытаемся использовать эту взаимосвязь.

Рекуррентный алгоритм. Допустим, что последовательность весов имеет следующие свойства:

^л>=\^-\ду i<fc<z-i,

№0 = 1.1 ’

Это означает, что можно записать

№*)=ПХ(/). Л + 1

(11.7)

Позднее мы обсудим значение этого предположения. Заметим, однако, что при этом R(t) = Х(0R(r - 1) + (О Vт(0,(11 -8а)

fVVXWV 1) + ^(г)р(О .(Ч.8Ь)

Отсюда

О, =R"'(г)Дг) = R"1 (г) [Х(г)/(г - 1) + ^(0^(0) =

= Я-’(г)[Х(г)Л(г- l)0f_, + ^(г)р(О1 =

^-'(oiwo-^o^oiOr-i -^wem = = 0,_! ^WtO [т(0-^Г(ООг-1].

Имеем

0, = ^ + *‘W(OlJ(O-Z(O0r-d.(11.9а)

R(j) = Х(/)Я(г - I) + ^Vt) ,(11.9b)

что и представляет собой рекуррентный алгоритм, удовлетворяющий требованию (11.2): в момент времени Z - 1 запоминается только конечномерный информационный вектор X^t - 1) = (ot_x,R^t -!))• Так как матрица R симметрична, размерность X равна d + d{d + 1)/2. В момент времени Z этот вектор пересчитывается в соответствии с (11.9), что требует определенного фиксированного количества вычислений.

избежатьизбежать(11.10)(11.10)(11.11)(11.11)Вариант алгоритма с рекуррентным обращением матрицы. Чтобы обращения матрицы R (г) на каждом шаге, удобно ввести

избежать

избежать

(11.10)

(11.10)

(11.11)

(11.11)

Р(П = 1ГЧО

и применить к (11.9Ь) лемму об обращении матриц

[Л +BCD]-' = Л"* - A"1 BVDA"'В * С"1 рЛ’1.

Выбирая А = X(t)R(t — 1), В = DT = ^(г) и С = 1, получим PO-V^p/lOPy-l)

U X(z)+ iT(0/>(z —1)^(0

P(f)

МО

Более того, имеем

n-lzx/x 1 Ш XX <х 1 M'-IMO^OM'-IMO

R ч01(0 =М? ~ О МО-

Х(0^х’ X(z) X(r) + ^(f)P('-IM')

= P<t-AW^

X(r) + ^(O^(r-l)^(O '

Таким образом, приходим к следующему варианту алгоритма:

0(0 =

0(г-1) + £(О ^(0-^(00(г-1)],

(11.12а)

Р(г-1)^(/)

^(0 =

(11.12b)

X(r)+ ^(г)/>(г-1)^(0 ’

ГPKt-\wWkWt-\>\\/x

(11.12с)|

PVtV

P(f-!). , X Т, П/ .х/МО-

LХ(О + «рг(О^О - 1)^(0 У

Здесь мы перешли к обозначению 0(г) вместо 0t) чтобы подчеркнуть определенное их различие из-за влияния начальных условий (см. далее).

Вариант алгоритма с нормализацией коэффициента усиления. Величина матрицы R^r) в (11.5b) и (11.9) будет зависеть от Х(г). Для более ясного выявления степени изменения, которому подвергается оценка 0t_x в (11.9а), поучительно нормализовать следующим образом:*

R(t) = y(t)R(t), Ш = \№0]'* •(1113)

Хс = 1

Заметим, что в соответствии с (11.6)

1

7(0

Х(о

= —2^— + 1.(11.14)

70 "D

и R(0 равна теперь средне-взвешенному арифметическому величин ^(£)^Г(^)- Из (11.9b) и (11.14)

RV) = 7(0 Х(0 ——— R(t - I) + ^О^П L T(f-i)

(11.15)(11.16) ’(11.15)(11.16) ’= RV - I) + 7(0 МПчЛо -RV-DL

(11.15)

(11.16) ’

(11.15)

(11.16) ’

Тогда (11.9) можно переписать в виде е(О=У(О-1РТ(О0(г - I), 5(0 = 00 - 1) + 7(г)/?'*0М0е(0,

. R(t) = R(t- l) + 7(0M0*r(0-*(r- I)].

Заметим, что е(/) является ошибкой предсказания, соответствующей текущей модели. Поскольку матрица R^O нормализована, переменная у (г) может рассматриваться как пересчитываемый размер тага или коэффициент усиления алгоритма (1 1.16). Сравните также с (11.3).

Начальные условия. Чтобы воспользоваться рекуррентными алгоритмами, необходимо определить их начальные условия. Правильными начальными условиями в (1 1.9) в момент времени г = 0 должны бы быть R(0) = 0, 0о - произвольно, что соответствует определению R. Однако их нельзя использовать. Тогда можно начинать алгоритм только в момент t^ когда К^Го) становится обратимой (обычно Г о > d). и затем использовать

го

p-\t^ = RUO = 2 0ММОЖ(П-17)

А

Ot, = P(M S р(г0,кЫк)у(к).■(11.18)

Болес простая возможность состоит, однако, в использовании Р(0) = Ро и 5(0) = = 5, в (11.12). Это даст

(Ц/Ы^гО)^* + S ^WVW1 X к-1■

X [ 0(г. О^о1©/+ £ 0(z, к)^(к)у(к)],(11.19)

к I

где 0(t, 0) определена соотношением (11.7). Очевидно, если Ро велика или велико г, то разница между (И 19) и (Н-5) незначительна.

Многомерный случай<*). Рассмотрим теперь многомерный случай взвешенных наименьших квадратов (ср. с (7.43) и (7.44))

0, = argmin — i Khk)WWT(k)0y’Aj;4y(kWT(W(11.20)

е 2 k = i

где 0Сг> *) удовлетворяет (11.6). Проводя вычисления, полностью аналогичные сделанным ранее, получаем многомерный вариант (11.12)

Г 6(t) = 0(t-\) + L(t) \y(t)-*T(t)O(t -1)], i L(z) = P(r-l)*)[Mz)A( + /(z)P(f^;

1(11.21) I

PW {P(t-\)-P(t-i)^t)X'

X(r)

L X[X(z)Af + ^T(z)/’(z-l)^(Z)]-1^T(z)/>(z- 1)}I

и (11.16):

€(0=^(0-^T(z)0(z - 1), euv^t- 1) + т(')Я"1('М')Лг-'е(г),(11.22)

R(O = R(t - 1) + 7(0 MO A," V(0 - RV - I)].

Заметим, что эти выражения полезны также для скалярных систем, когда в (11.4) используется взвешенная норма с.

0(Ц)=ПХ(/>.(11.23)

/с +1

При этом скаляр ак соответствует Л^1.л

Асимптотические свойства оценки. Так как оценка 0(г), вычисленная с помощью рекуррентного алгоритма наименьших квадратов, отличается от оценки по накопленным данным всего лишь начальными условиями, как показано в (11.19), ее асимптотические свойства будут совпадать со свойствами оценок, представленных в гл. 8 и 9.

Интерпретация с помощью фильтра Калмана. Фильтр Калмана, предназначенный для оценивания состояния системы

*(' + 1) = Л’(г)х(/) + w(z),

^(z) = W(z)x(z) + u(z),“

определяется уравнениями (4.91) и (4.92). Линейная модель регрессии

^(z|0) = ^T(z)0,

лежащая в основе наших вычислений, может быть представлена в форме (11.24):

0(J + I) = S(Z), (=0),

^(z) = </>r(z)5(z) + v(z).'(11-25)

Применяя к (11.25) фильтр Калмана с F (t) = 7, Я (Г) = чрт (г), R}(t) = = 0[= Ew(t)wT(t)^, Ev(t)vT(t) = Я2(г) получим теперь в точности (11.21) с Х(/)=1 и А, = Я2(/).

Это дает важную информацию, а также некоторые практические-рекомендации:

Если шум и (г) в (11.25) белый и гауссовский, то, как следует из теории кал- мановской фильтрации, апостериорное распределение 6 (г) при заданном Zt-X является гауссовским со средним значением 0 (г) и матрицей ковариаций P(t), определяемой выражением (11.21) с Х(г) = 1 и Лг = Я2(г).

Более того, начальные условия можно интерпретировать таким образом, что 0(0) является средним, а Р(0) -^матрицей ковариаций априорного распределения. Проще говоря, это означает, что 0 (0) является предполагаемым значением вектора параметров до наблюдения данных, а Р (0) отражает нашу уверенность в этом значении.

Кроме того, естественный выбор нормирующей матрицы состоит в том, что она полагается равной матрице ковариации шума в уравнении ошибки. В скалярном случае при переменном at = Еи2^ в качестве весов в критерии (11.4) следует использовать 0(k,k) = ak (ср. с (11.23)).

Отслеживание нестациоиарностей. Важной причиной использования адаптивных методов и рекуррентной идентификации на практике является то, что свойства системы могут изменяться со временем, и алгоритмы идентификации должны отслеживать эти изменения. Это достигается естественным образом путем назначения в критерии (11.4) меньших весов более старым измерениям, которые уже мало информативны. В терминах (11.6) это означает, что выбирается XU) < 1- В частности, если X (/) = X, то

PV. k) = X,-k, - (11.26)

и старые измерения в критерии экспоненциально затухают. В этом случае X часто называют фактором забывания. Тогда, в соответствии с (11.14), величина у (г) равна

7(г) = 7=1—X. 1 (11.27)

Все это приводит к тому, что в алгоритме (11.12) или (11.16) размер шага, или коэффициент усиления, не будет убывать до нуля. Более детально это обсуждается в разделе 11.6.

Другая, более формальная альтернатива учета нестационарности состоит в постулировании того, что истинный вектор параметров в (11.25) не является постоянным, а изменяется по закону случайного блуждания:

0(t + l) = 0(z) + w(0, £'w(0wr(0 = «i(0. (11.28)

где w - белый шум, а Еи2^ = Ri(t). При позволяет вычислить условное математическое

этом фильтр Калмана по-прежнему ожидание и ковариацию 0 (г) как

10(0 = 0(t - 1) + L(t) [ДО- ^T(O0(r - 1)],

(11.29а)1

(11.29b)■

'R2(r) + ^T(t)P(t - 1)^(0 ’

;pm=P(t _ n _ j^lM^I^^^

+ Я1(0-(11.29с)1

L._ ^wwa-iMo

Отсюда видно, что в (11.29с) появился аддитивный член R ((г), не позволяющий коэффициенту усиления L (г) стремиться к нулю.

Рекуррентный метод инструментальных переменных

Оценка для фиксированных (не зависящих от модели) инструментальных переменных определяется выражением (7.104). Вводя веса аналогично (11.5), получим

е^д-ЧОЛО,(изо)

где

Я(0= ЬшММ

(11.31)

Д0= 2 Kt-kW^y^V к = \

Эти соотношения тесно связаны с (11.5), поэтому рекуррентное вычисление 0jv полностью аналогично вычислению 0^s. Вместо (11.12) получаем

0(0 = би - 1) + L (»)| у (г) - vr(0 0(f - 1 я,

(11.32а)

1

1

(11.32b)

1