МНОГОМЕРНЫЕ ВРЕМЕННЫЕ РЯДЫ

Перевод с английского А. С. Холево

Под редакцией Ю. А. Розанова

ИЗДАТЕЛЬСТВО «МИР» МОСКВА 1974

УДК 519.2

Монография Э. Хеннана представляет собой подробное и весьма полное изложение теории и методов статистического анализа временных рядов. В первой части излагаются вероятностные основы, включающие спектральную теорию, а также теорию прогнозирования и фильтрации многомерных стационарных процессов. Вторая часть посвящена статистическим проблемам; в ней рассматривается спектральное оценивание, статистические процедуры для рациональных спектров и регрессионные методы. Высокий математический уровень сочетается с наглядностью и доступностью изложения. Автор не ограничивается доказательством теорем и уделяет много места обсуждению и сравнительному анализу статистических процедур, дает конкретные рекомендации по их применению.

Книга предназначена как для специалистов по теории вероятностей и математической статистике, которые найдут в ней квалифицированный обзор многих результатов, разбросанных по периодическим изданиям, так и для аспирантов и студентов-старшекурсников, специализирующихся в этой области. Она будет полезна также специалистам по прикладной статистике, работающим в геофизике, технике, экономике и других областях.

20203-012041(01)-74 12-7420203-012041(01)-74 12-74Редакция литературы по математическим наукам

20203-012

041(01)-74 12-74

20203-012

041(01)-74 12-74

© Перевод на русский язык, «Мир», 1974

От редактора перевода

Книга известного австралийского статистика Э. Хеннана посвящена обзору различных стационарных моделей многомерных временных рядов и статистических методов их исследования. Среди них и разнообразные параметрические модели типа «регрессии» или «авторегрессии», которые находят самые широкие применения (например, в технике, экономике), и представляющие большой интерес (например, в геофизике) модели со скрытыми периодичностями, и многое другое. Большое внимание уделяется исследованию различных параметрических схем с помощью статистического спектрального анализа.

Предлагаемые здесь статистические методы (скажем, общие методы оценивания спектра) существенно опираются на результаты теории многомерных стационарных процессов. Элементы этой теории, а также «математическое приложение», занимают значительное место в книге. Хотя их изложение, на наш взгляд, несколько неровно и фрагментарно, оно дает весьма полное представление о тех чисто математических вопросах, знакомство с которыми будет полезно специалистам, занимающимся приложениями статистических методов.

Книга едва ли может служить учебником для начинающих (автор предполагает, например, знакомство читателя с известным учебником Г. Крамера [1946]), но она представляется нам очень полезным руководством по статистическим методам анализа временных рядов, особенно для статистиков, уже имеющих определенный опыт в применении таких методов.

При переводе был обнаружен ряд опечаток и мелких погрешностей, которые были исправлены после уточнений, любезно присланных автором. В список литературы добавлено несколько работ (они отмечены звездочкой).

От редактора перевода

Хеннан уже знаком советскому читателю по переводу его предшествующей книги «Анализ временных рядов» («Наука», М., 1964), в которой рассматривались одномерные процессы. Нужно сказать, что многомерные процессы, исследование которых в свое время натолкнулось на ряд принципиальных трудностей, представляют все более возрастающий интерес для приложений, и с этой точки зрения новая книга Э. Хеннана кажется весьма своевременной.

Ю. Розанов

Предисловие

Предмет анализа временных рядов тесно связан с широким кругом вопросов, среди которых можно назвать статистическую теорию связи, теорию прогноза и регулирования и статистический анализ временных данных. Последний играет в какой-то мере вспомогательную роль по отношению к первым двум теориям, ибо в его задачу входит разработка рекомендаций, существенных для применения этих теорий. Однако статистический анализ существует и независимо от них, поскольку он необходим в тех областях, где пока нет хорошо разработанных точных методов регулирования (например, в экономике).

В этой книге мы будем иметь дело именно с анализом временных рядов, но ее содержание несколько шире в двух отношениях. Прежде всего (что наиболее существенно) в первой части книги весьма полно рассматривается лежащая в основе всего изложения вероятностная теория стационарных процессов второго порядка. Эта теория в значительной мере является классической и излагается во многих книгах, однако она служит необходимым введением при изучении анализа временных рядов и обойтись без нее было бы невозможно. Я включил и некоторый материал сверх необходимого минимума, например нелинейные фильтры и случайные процессы не только во времени, но и в пространстве. Статистические исследования в последней области в настоящее время носят фрагментарный характер, однако вскоре могут приобрести важное значение.

Второй дополнительной темой является теория прогноза, интерполяции, выделения сигнала и сглаживания временных рядов. Включение этого материала представляется обоснованным по двум причинам. Во-первых, оно обусловлено тем пониманием структуры случайного процесса, которое дают классические «теории Винера — Колмогорова». Такое понимание необходимо по крайней мере для

некоторых статистических исследований (например, в задачах идентификации и в вопросах, касающихся связи между спектром и собственными значениями матрицы ковариаций). С другой стороны, эти исследования приобретают сейчас важное значение для многих людей, занимающихся статистикой и имеющих дело с временными рядами (например, при оценивании параметров траекторий или в экономике). Конечно, в этой области имеются и новые, практически более полезные работы, для надлежащего изложения которых потребовалась бы отдельная книга, однако некоторые упоминания об этом необходимы.

Есть одна особенность, которой должна отличаться любая современная книга о временных рядах,— это обобщение теории и методов на случай, когда в каждый момент времени производится несколько измерений, как это обычно и бывает.

После того как установлено содержание книги, автор должен определить манеру и уровень изложения. Задумывая эту книгу, автор надеялся дать такое изложение теории методов, представляющих интерес для анализа временных рядов, которое позволит овладеть этими методами и понять, когда следует применять тот или иной метод на практике. Как правило, приводятся лишь окончательные формулы: подробности вычислений зачастую не обсуждаются и нигде не приводятся программы для вычислительных машин (многие из обсуждаемых методов уже запрограммированы, и программы имеются в готовом виде). Численные примеры почти не приводятся.

Эта книга посвящена не «практическому спектральному анализу», но теории предмета. Конечно, книги первого типа необходимы, но нужны и книги второго типа, ибо любой статистик, занимающийся анализом временных рядов, испытывает потребность в руководстве, где можно было бы найти четкое изложение теории того или иного метода.

Некоторые трудности возникли при выборе уровня изложения, так как рассматриваемая теория является глубокой и ее математическая сторона мало знакома статистикам. По-видимому, вероятностные основы можно было бы изложить проще, если бы ограничиться более частными предположениями (или поступиться строгостью изложения).

Чтобы сделать книгу более доступной, был избран другой путь: наиболее трудные или технические доказательства вынесены в

приложения к главам, а несколько параграфов, которые можно- опустить, отмечены звездочкой. Предполагается, что читатель знаком с теорией вероятностей и статистикой на уровне, который характеризуется знанием классического труда Гаральда Крамера «Математические методы статистики». В математическом приложении дается краткий обзор необходимых сведений из функционального анализа и теории Фурье.

Некоторые вопросы рассмотрены неполно, отчасти из-за направленности моих интересов, отчасти из-за необходимости удержать объем книги в разумных пределах. Совсем мало сказано о спектрах высших моментов, в основном потому, что полезность такой спектральной теории еще не была продемонстрирована (см. обсуждение в § 8 гл. II).

Не много сказано также о нестационарных процессах и особенно об их статистической обработке. Этот раздел теории в настоящее время является еще фрагментарным, возможно, он таким и останется.

Совсем кратко рассматриваются «квантованные» наблюдения (например, «пороговые» сигналы, регистрирующие только превышение некоторого фиксированного значения). Фактически отсутствует рассмотрение свойств траекторий гауссовских процессов, ибо мастерское изложение этого предмета имеется в недавней книге Крамера и Лидбеттера [1967], и отпала необходимость включать его в эту книгу.

Не затронуты также те статистические процедуры для точечных процессов, которые основаны на моментах наступления событий. Они рассматриваются в недавней книге Кокса и Льюиса [1966].

Наконец, во второй части этой книги (посвященной статистическим проблемам) рассматривается только случай дискретного времени. Это оправдывается преобладающей ролью, которую играют цифровые машинные методы.

Я не пытался дать полный список литературы по временным рядам. Весьма полный перечень работ до 1959 г. имеется в книге Вольда [1965]. Я надеюсь, что приведенные здесь ссылки позволят читателю проследить основные направления развития предмета вплоть до настоящего времени.

Я многим благодарен за помощь. Эта книга возникла из курса лекций в Университете Джонса Гопкинса (Балтимор, Мериленд), и значительная часть работы финансировалась ВВС США. Книга

появилась отчасти благодаря ободряющей поддержке д-ра Дж. С. Ватсона. Д-р К. Роуд из Университета Джонса Гопкинса и Р. Д. Террел, П. Томсон и Д. Ничоле из Австралийского национального университета прочитали различные части этой книги и исправили ряд ошибок в ее предварительном варианте.

Канберра, Австралия

Э. Дж. ХЕННАНЭ. Дж. ХЕННАНАпрель^ 1970

Э. Дж. ХЕННАН

Э. Дж. ХЕННАН

Часть I

ВЕРОЯТНОСТНЫЕ ОСНОВЫ

Глава I

Вводные сведения

ВВЕДЕНИЕ

Во многих статистических приложениях обрабатываемые данные представляют собой временной ряд, т. е. ряд наблюдений Xj (п); ] = 1, . . ., р; /г = 1, . . м N, производящихся последовательно во времени. Здесь индекс / нумерует различные измерения, выполняемые в каждый момент времени ти Совокупности наблюдений такого рода преобладают в некоторых геофизических науках (таких, как метеорология, сейсмология, океанография и геоморфология) и в социальных науках (особенно в экономике). Они играют важную роль и в других областях; например, в медицинских исследованиях (электрокардиограммы и электроэнцефалограммы) и в связи с задачами оценивания траекторий ракет. Хотя до сих пор мы предполагали, что величина п измеряет время, существуют ситуации, в которых юна может быть и пространственной переменной. Величины х3 (п) могут быть результатами измерений, производящихся в равноотстоящих точках протяженного образца какого-либо материала (например, полосы газетной бумаги, прядильного волокна или угольного среза). Другой пример: п может измерять расстояние вдоль реки (в каких-нибудь единицах) от какой-либо определенной точки, a Xj (п), / = 1, 2, 3, могут быть результатами измерений, скажем, скорости и направления течения.

Важная особенность этих ситуаций, отличающая их от ситуаций, рассматриваемых в классических разделах статистики, состоит в том, что величины х5 (т) и х5 (п) могут не быть независимыми, даже если т ^п. В самом деле, почти всегда наблюдения, производимые в равноотстоящие моменты времени, образуют выборку из процесса, допускающего в принципе непрерывное наблюдение х). Тогда представляется неправдоподобным, что при сближении s и t величины Xj (s) и xj (£) будут оставаться независимыми, так что отказ от независимости диктуется таким фундаментальным фактом, как (видимая) непрерывность природных явлений. Хотя, как мы уже говорили, многие дискретные временные ряды возникают в результате выборки

Мы используем обозначение .гу (7), когда рассматриваются процессы с непрерывным временем, но иногда и для процессов с дискретным временем. Обозначение xj (я) мы используем для процессов с дискретным временем, когда необходимо подчеркнуть различие между этими случаями.

значений некоторой непрерывной функции времени, мы иногда будем рассматривать такие ряды как самостоятельные вероятностные объекты, отвлекаясь от непрерывности лежащего в их основе явления. Символ х (f) без индексов обозначает векторный процесс с компонентами Xj^fy Разумеется, x^f) может быть, в частности, скалярным.

Наблюдаемую величину х^ следует рассматривать как случайный вектор. Таким образом, мы предполагаем, что для любого конечного множества ^, t^ . . ... tr значений t задано совместное распределение вероятностей всех компонент векторов хУЦУ ] = = 1, . . ., г. Это же распределение можно получить и иначе. Мы можем отправляться от множества временных точек ^, £2, . . ., tri tr+1 и соответствующего распределения вероятностей компонент х (1}У 7 — 1» • • •» г + 1» и получить из него маргинальное распределение компонент х (15у / = 1, . . ., г. Если полученное таким образом распределение отличается от первоначального, то наши исходные предположения, очевидно, противоречивы. Поэтому естественно считать, что подобная несогласованность не может иметь места, и тогда можно показать, что существует вероятностное (выборочное) пространство Q «элементарных событий» со, на котором могут быть определены все случайные величины Xj (i). Таким образом, на а-алгебре ^ подмножеств Q задана вероятностная мера Р, в терминах которой выражаются все вероятностные утверждения о Xj (ty Это пространство Q можно считать пространством всех «траекторий» или «реализаций» векторной функции х (ty и чтобы подчеркнуть, что наши случайные величины при любых фиксированных /, t представимы в виде измеримых функций на Q, мы иногда вместо Xj (£) будем писать х3 (I, со). [Дальнейшее обсуждение можно найти в книге Биллингслея [1968], стр. 228 х).] Когда со фиксировано, а £ меняется, мы получаем одну из траекторий. Меняя со, мы получаем разные траектории (из которых может наблюдаться лишь одна, да и то частично).

Семейство всех таких траекторий вместе с соответствующей вероятностной структурой мы называем стохастическим (или случайным) процессом, а термин временная функция (или временной ряд в дискретном случае) обозначает отдельную траекторию (или «реализацию») случайного процесса. Мы часто опускаем переменную со, например, заменяя явное выражение для интеграла по Q относительно вероятностной меры Р символом математического ожидания Е.

В основном мы будем иметь дело со случаем, когда все вторые моменты

Е (ж,- (s) xk (t)) = ум (s, 0

См. также Дуб [1953], стр. 11—15, 49—51. [При ссылках на работы, переведенные на русский язык, страницы указываются по русскому изданию.] — Прим, перев.

конечны. При j = к мы для краткости пишем у у ($, ^). Из этих величин урк ($, £) мы формируем симметричную р х /^-матрицу Г (s, /)г которую называем ковариационной, даже если величины не центрируются. Кроме того, в случае непрерывного времени мы почти всегда предполагаем, что у ри Xs, f) непрерывны по своим аргументам.

В связи с этим имеет место следующая теорема:

Теорема 1. Для того чтобы урк (s> ^)> 7> к = 1, . . ., р, были непрерывны, необходимо и достаточно, чтобы yj (s, t); j = = 1, . . ., p, были непрерывны при s = t.

Доказательство. Необходимость очевидна. Докажем достаточность. Используя неравенства Шварца и Минковского х), имеем:

|W.Hs + w, t + v) — т,-. fe(s, 01 =

= | Е {я, (s + u) а (< + у)} — Е {z, (s) хк (0} | =

= IЕ {(ж,- (s + и) — х3 (s)) хк (t + у)} +

+ E ^.Xj (s) (xk (t + y) — xk (0)} | <

С [E {(xj (s + u) — Xj (s))2} Th (t + y, t + y)]V2 4-

+ [E {(xfe (i + у) — xk (0)2} ^j (s, s)]1^ •

Если условие теоремы 1 выполнено, то у^ (t + и, t + и) равномерно ограничена по и, когда и изменяется в любом конечном интервале,, и поэтому непрерывность урк (s, f) следует из условия, что для всех

limE{(^(s + ^)~^(s))2} = 0,/ = 1, ..., р, (1.1)

и->0

но так как левая часть равна

Ит{у,($ + м, «+и)+ ?,(«, 0“2Yj(s + “> s)}’ u-*o

то утверждение следует из непрерывности у5 (s, t) при s = t.

Мы показали также, что непрерывность урк (s, t) эквивалентна условию (1.1), которое называется условием непрерывности в среднеквадратичном. Можно представить себе и более «беспорядочное» поведение временной функции, чем то, которое соответствует условию (1.1), однако оно, по-видимому, не может быть зарегистрировано из-за неспособности «записывающего» устройства адекватно реагировать на мгновенные изменения. Положим

|| х (<) II = [Е <х' (<) X (О}]1/2, где штрих означает транспонирование вектора. Далее нам придется ввести линейные комбинации векторов х (tj) с комплексными коэф-

J) См. математическое приложение в конце книги.

фицпентами; если z — такая комбинация, то положим

|| z || = [Е {z*z}]1/2,

где звездочка означает транспонирование вместе с переходом к комплексно сопряженному вектору. Эта величина называется нормой z.

ДИФФЕРЕНЦИРОВАНИЕ II ИНТЕГРИРОВАНИЕ

СЛУЧАЙНЫХ ПРОЦЕССОВ

Пусть хЛ1 п = 1, 2, . . .,— последовательность случайных величин, таких, что Е (| хп I2) -< оо. Говорят, что хн сходится в среднеквадратичном г) к случайной величине х, если

lim Е (| х — хп |2) = Ит || х — хп ||2 = 0.(2.1)

пп

Мы пишем тогда хп —> х. Знак абсолютной величины использован здесь для того, чтобы охватить комплексные случайные величины хЛ1 когда каждая хп может рассматриваться как пара вещественных случайных величин. Необходимым и достаточным условием существования величины х, для которой выполняется (2.1), является критерий Коши

lim || жп — жт||=0.(2.2)

т, п-^оо

Предел х определен однозначно в том смысле, что любые две случайные величины х, удовлетворяющие условию (2.1), различаются лишь на множестве нулевой меры. Далее, функция Е(^) непрерывна по х и z/, так что если ||^п|| и Ц^пЦ конечны и хл ->- х, уп -> у, то Е (xnyn) ->- Е (ху) (см. математическое приложение). С другой стороны, если Е (хпхт) сходится к какому-либо пределу при т, п -> оо, то выполняется условие Коши, ибо || *^72 ^т ||" ~ || ^п ||2 Ч~ || ^т ||2 Е ^ХпХт^ Е ^ХтХп^.

Теперь нам нужно ввести операции дифференцирования и интегрирования случайного процесса с непрерывным временем.

Мы говорим, что скалярный процесс х (^) дифференцируем в среднеквадратичном в точке ^, если б-1 ^х (t + 6) — х (£)} имеет предел в среднеквадратичном, когда 6 стремится к нулю.

Мы сейчас рассматриваем 6 как непрерывную переменную. Однако, выбирая произвольную последовательность бп, такую, что бп-> 0 при п -^- 0, мы видим, что для дифференцируемости в среднеквадратичном необходимо следующее условие Коши:

lim || 6;1 {ж (7+ 6,) — ж(7)} — б^^^+бг) — ^(Ф|| = 0(2 3)

х) Дальнейшее обсуждение понятия сходимости в среднеквадратичном см. в математическом приложении в конце книги.

Это условие является также достаточным, так как если 6П и 6^ — две сходящиеся к нулю последовательности, то мы можем объединить их в последовательность 6^ и (2.3) гарантирует, что {^ (t + бу— — х (0}/6п также сходится в среднеквадратичном, причем предел не зависит от выбранной последовательности.

Из сказанного выше о среднеквадратичной сходимости следует, что необходимым и достаточным условием выполнения (2.3) является существование предела

lim Е [б^ ^х (t + 61) — ^ (0) 621 (^ (^ 4" 62) — ^ (0}1 =

б2~>0

6Ь 62^06162

Для этого в свою очередь достаточно, чтобы производная {dy (s, t^ds дЦ существовала и была непрерывна (см., например, Гурса и Хедрик [1904], стр. 13 х)). Мы видим, что ковариационная функция среднеквадратичной производной х (ф) равна

lim Е (бГ1 (ж (s + 6,) — ж (s)) 6”1 U (< + 62)-х (())} = -^ ° .

62-*008 01

Аналогично,

Теорема 2. Необходимым и достаточным условием среднеквадратичной дифференцируемости скалярного процесса х (t) является существование предела

61,62-^06^62

Если х (t) — среднеквадратичная производная, то ее ковариационная функция равна д2^ (s, t^lds dt и

Е (^ (s) х ^ = д^ (s, tydt.

) В связи с интегрированием мы рассмотрим сначала определение интегралов, которые символически будут записываться в виде 2)

J x^m^dt),(2.4)

где т есть cr-конечная мера, нормированная, например, так, чтобы соответствующая функция распределения была непрерывна справа.

Будем рассматривать только такие процессы х (t), которые непрерывны в среднеквадратичном и имеют ковариационные функции, удовлетворяющие условию

j j V (s> ^) (ds) т (dt) < оо.(2.5)

Определим сначала интеграл ь j x(t)m(dt)(2.6)

а

с помощью интегральных сумм

5ж(^){тп(($Н, S/1)},

где точки Sj делят интервал [а, 6] на подинтервалы длины меньше 8 и tj^(sj_1, Sj]. Если эти суммы сходятся в среднеквадратичном к одному и тому же пределу, когда п возрастает так, что 8 стремится к нулю, то мы называем этот предел интегралом от х (t) относительно т (^) по интервалу [а, Ы и обозначаем его символом (2.6).

Интеграл (2.6) существует, если х (I) непрерывен в среднеквадратичном. Доказывается это путем непосредственной модификации известного доказательства существования интеграла Римана — Стилтьеса от непрерывной функции на конечном интервале. Действительно, чтобы получить нужную модификацию, достаточно лишь заменить в доказательстве абсолютные значения на нормы (и рассматривать х (t) как непрерывную функцию). Теперь интеграл (2.4) может быть определен как среднеквадратичный предел последовательности интегралов вида (2.6) при а -> — оо, 5 -> оо. Достаточным условием существования (и единственности) такого предела является условие (2.5). В самом деле, из определения (2.6) вытекает, что

ьь

|| j х (^ т (dt) ||2 = j j у (s, t) m (ds) m (dt),

так что условие Коши, например при Ъ -> оо, принимает вид lim 1| f х (t) т (dt) ||2 = lim f £ у (s, t) m (ds) m (dt) = 0, bl, b»-*oo *Иbf, b^oo J J

biDi

а из (2.5) следует, что этот предел действительно равен нулю.

Мы можем сформулировать эти результаты в следующем виде:

Теорема 3. Если х (t) среднеквадратично непрерывен, а m(t) — некоторая о-конечная мера, то интеграл (2.6) однозначно определяется как среднеквадратичный предел интегральных сумм

Римана — Дарбу. Необходимым и достаточным условием того, что интеграл (2.4) существует как среднеквадратичный предел интегралов (2.6) при а-^ —оо, 6-> оо, является условие (2.5).

Конечно, определение (2.4) может быть обобщено на значительно более широкий класс функций, подобно тому как из интеграла Римана для непрерывных функций с компактным носителем можно получить интеграл Лебега для широкого класса функций, интегрируемых по Лебегу. Рассмотрение этого вопроса читатель может найти в книге Хилле и Филлипса [1957], гл. III. В нашей книге подобные обобщения не потребуются.

Мы хотим также определить интеграл, который обозначается символом

где теперь g (t) — комплекснозначная функция от t, а £ (£) — случайный процесс. Нас особенно будет интересовать случай, когда £ (^) — процесс с ортогональными приращениями, т. е. такой, что ковариация величин £ (^) — £ (£2) и £ (^) — £ ^ равна нулю, если интервалы [^, £2] и kb $2] не имеют общих точек. В ситуации такого рода мы не хотим делать предположение о том, что £ (^) непрерывен в среднеквадратичном. Очевидно, что

Е (^ (0 - £ (<0)Р) (2.8)

монотонно возрастает вместе с t при t ^ t0.

Имея в виду часто встречающийся далее случай, когда Е {^ ^>^а< оо, положим 7^ (£) = Е {£2 (£)}. Тогда выражение (2.8) может быть записано в виде F (f) — F (tQ); оно определяет меру Лебега — Стилтьеса на (— оо, оо), «приращение» которой на интервале (tQ, И равно F ^ — F ^tQy Мы снова можем определить интеграл (2.7) в случае конечного интервала [а, Ы как среднеквадратичный предел последовательности интегральных сумм

2 g й,) {I (^) - £ М),

если этот предел существует и однозначно определен. Так будет, например, если g (t) непрерывна (доказывается это прямой проверкой). Затем с помощью еще одного предельного перехода определение можно обобщить на бесконечные интервалы. Впрочем, существует более прямой и содержательный способ (см. приложение к этой главе), позволяющий определить интеграл (2.8) для любой функции g (t), измеримой относительно меры Лебега — Стилтьеса F(df) и такой, что

J \g^F^<eo.

НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ МОДЕЛИ

) Важный класс образуют скалярные временные ряды, порождаемые линейным механизмом вида

qs

2 Р(/)ж («--/) = Sa(*) е (" — *)> Ро = 1,(3.1)

оо

где Р(/) и а(Л) вещественны, а е(^г) удовлетворяет условию

Е (е (т) 8 (я)) = сг26^ 1).

Такого рода механизм, основанный на идее, что х (п) определяется своими значениями в ближайшем прошлом и прошлыми возмущениями, часто оказывается хорошим приближением к реальности. Конечно, линейность является удобным математическим упрощением. Как показывает опыт, модели типа (3.1) пригодны для широкого класса данных. Если s = 0, то (3.1) называется уравнением авторегрессии. При s > 0 иногда используется термин смешанная модель авторегрессии и скользящего среднего. Если q = 0, то говорят о (конечном) скользящем среднем.

Ясно, что если заданы q начальных значений х (—q^ . . .. х (—1), то соотношение (3.1) позволяет определить х (п) через 8 (п). Мы хотим исследовать структуру соотношения, выражающего х (п) через 8 (п^ 8 (п — 1), . . . . Рассмотрим однородное уравнение, которое получается, если заменить правую часть (3.1) нулем, и будем искать его решения в виде zH. Это приводит к характеристическому уравнению

q

2 Р (7)^ = 0.(3.2)

о

Каждому простому корню zu отвечает решение Ь^. Если корень zu имеет кратность ри, то, как легко проверить, решениями будут Ъи^пЧ1^ при / = 0, 1, . . ., ри — 1. Если zu — комплексный корень, то каждому из таких решений, очевидно, отвечает, комплексно сопряженное решение. Таким образом, мы получаем общее решение однородного уравнения в виде

г

2 2(з.з)

и=1 7=0

где q констант bu,j определяются q начальными условиями. Конечно, выражение (3.3) можно записать также как сумму слагаемых вида

^рП (&», i cos 0uw ь fe«, i sin 9un),(3.4)

Мы всегда будем считать, если по оговорено противное, что г^ — процесс с такими ковариационными свойствами. Здесь, конечно, б™ — симвот Кронекера.

где 2u = puexpZ0u, a bu, j = ^ (Ь'и, з ~ ^и,Д, если 0^0, л. (Если 0^=0. л, то, конечно, b^^^b^j и &u, j = 0.)

Постоянные buj могут быть выбраны так, что выражение (3.3) будет принимать любые заданные значения в q фиксированных точках, например в точках п = — q + к, к = 0, . . ., q — 1. В самом деле, если бы это было не так, то q последовательностей п3^ были бы линейно зависимы в этих q точках, откуда следовало бы, что ненулевой многочлен степени не выше q — 1 имеет q корней, а это невозможно. При условии, что пи один из корней zu не равен по модулю единице, можно найти последовательность / (п), удовлетворяющую уравнению

q

о

и такую, что | / (^) | экспоненциально стремится к нулю при | тг | -> оо. В самом деле, при этом условии ряд Лорана функции (ЕМ/И"1 сходится в некотором кольце, содержащем внутри единичную окружность. Если

2 /(n)zr‘

— этот ряд, то / (тг) удовлетворяет требуемому соотношению, поскольку 2 Р (/) ^2Л W ^ = 1 Для всех 2 в этом кольце. Очевидно, / (я) экспоненциально стремится к нулю, как и требуется.

Теорема 4. Если е (п) — последовательность случайных величин с ковариациями Е (е (т) е (п)) = б^ст2, а х (—q), . . ., х (—1) — заданные начальные значения, то существует единственная случайная последовательность х (п), удовлетворяющая соотношению (3.1) и принимающая указанные начальные значения. Если ни один из корней zu не равен по модулю единице, то это решение имеет вид

ж(п) = 2 2 Ьа, jn’^-V^ аЦй 2 f(n — О е(у — ^)- и = 1 7 = 0/i=0г= —оо

Доказательство. Очевидно, что если заданы начальные значения, то х (п) однозначно определяется по этим значениям и по последовательности е (п); если, например, Р (q) ^0, то

ж( — q — 1)= — Р^)'1 2 PGM — /)+2а№е(-9 — ! — kY

о

и х (п) для п < —q может быть определено путем итерации этого соотношения. Сумма

N

jkn—vVku — kY

очевидно, сходится в среднеквадратичном, когда М, N стремятся к бесконечности, так как | / (п) | экспоненциально убывает при возрастании | п |. Поэтому выражение для х (п) корректно определено. Кроме того, нетрудно проверить, что

22 / (га —V) е (v —А:)

h=0D—-00

удовлетворяет (3.1). В самом деле,

2 Р СО IJm / кп -1 — v) 8 (у — к^

={2 Р (0 Цп — » — /)} е (у — к) = 8 (п — ку

так как выражение в фигурных скобках равно пулю при п — и =£0 и единице при v = п. Поскольку bUip как мы знаем, можно выбрать так, чтобы удовлетворить любым q начальным условиям, доказательство завершено.

Полагая

М0 = 2 a-WfU — k^

мы можем переписать решение в виде

^(0 = 22 «V" Фи, з с°8 Ф™ + Ф, 5 sin 0цм) + 2 к (/) 8 (п — /).(3.5)

U j-ОО

Для решения хкп) вида

X (п) = 2 к (j) е(п — j)(3.6)

имеем

(х (я) х куп)) — о2 ^ X (/) X у + | т — п |) = у (т — п).

Случайный процесс х кп), ковариации которого зависят только от куп — п), называется стационарным в широком смысле (или стационарным второго порядка) т).

Наиболее важный случай теоремы 4 — это случай, когда pu < 1 для всех и, ибо в этом случае / (п) = 0 при п < 0, т. е. X (/) — 0 при j < 0. Тогда стационарное решение (3.6) уравнения (3.1) представ-

х) Таким образом, в стационарном случае у (т, и) = у (0, п — т)1 и мы полагаем, несколько непоследовательно, у (и — т) = у (0, п — ту Подобные обозначения используются всюду в дальнейшем. В скалярном случае, конечно, у (/2 — т) = у (т — п).

ляет собой (бесконечное) скользящее среднее прошлых значений процесса 8 (п). Этот случай, очевидно, должен быть наиболее интересен, ибо если мы «моделируем» уравнением (3.1) какую-либо реальную систему, то мы обычно предполагаем, что 8 (п) — возмущение, впервые воздействующее на систему в момент п. Кроме того, в этом случае решения однородного уравнения стремятся к нулю при п —>■ оо, так что любое решение сближается с временным рядом (3.6) *).

Случай, когда pu = 1 для некоторых и, также представляет интерес в связи с задачами экономики и системного планирования (см. Оркут [1948]; Бокс и Дженкинс [1962]). Разложим многочлен 2 Р U) ^q-3 на Два множителя, первый из которых соответствует корням, равным по модулю единице, а второй — всем остальным. Пусть ^ и ^2 — степени этих многочленов, так что q = q^ + q^. Пусть р' (у) и Р" (у) —коэффициенты этих многочленов, причем Р' (0) = р" (0) = 1. Для уравнения

2 Р"(/)У(и —/) = SaW6^ —(З-7) оо

можно найти стационарное решение вида (3.6).

Первый многочлен можно записать в виде

П (z-e,e“), 0u=i

где, в силу вещественности Р' (у), вместе с 0и содержится и —0и, если 0и 5^0, л. Обозначим через Si оператор, который преобразует последовательность вида у (п) в

yiW=sUjk^ = 2 г/(/) е1014"-^, п>—qv

Тогда

у^ (п) — е^у^п — 1)=у(п),— ^ + 1.

Определяя теперь Su через ехр 1би подобно S^ мы можем образовать последовательность у^ (n) = S2yY (п), которая удовлетворяет соотношению

z/2 W — (ei01 + е^ у2 (п — 1) + e^iWy2 ^п — 2) = у (п),

2.

Повторяя эту операцию q^ раз, мы видим, что

(П 8и) у (п)

1

Если s (у) = 0 при / < 0, то говорят, что преобразование (3.6) является неупреждающим (или физически осуществимым).— Прим. ред.

является решением (3.1) при п ^ 0. Таким образом, при подходящем выборе bu>j последовательность

2 2 п3Ри (buncos 9ап -Vbuj sin 0цп) + ( Ц Su)y(n), п>0,(3.8)

и )и= 1

будет удовлетворять уравнению (3 1) при я ^ 0 и любым q начальным условиям при п = —q, —q + 1, . . ., —1. Теперь уравнение (3.1) уже не имеет стационарного решения. Ситуацию в общем случае можно пояснить на простом примере. Полагая

Ая: (п — 1) = х (п) — х (п — 1)(3.9)

и рассматривая уравнение

^X (п — 1) = 8 (п), мы получаем решение

ж(п) = ж( — 1) + 2 6 (/),п>0.

о

В этом случае

Е ^х (п) — х (—1)) (^ (яг) — х (—1))} = or2 min (яг, я).

Таким образом, коэффициент корреляции между х (п) и х (т?) стремится к единице, если т и п стремятся к бесконечности так, что п — т остается постоянным. В силу этого реализация процесса будет выглядеть относительно гладкой. Обсуждение характера поведения подобных реализаций читатель может найти во второй главе книги Кокса и Миллера [1965].

) Рассмотрим теперь случай, когда х (я) — вектор. Зададим модель уравнением

qs

2 5(/)1(п-/)=2Л№е(п-6),B(0) = Zp, (3.10)

оо

где В (у) — квадратные матрицы, но А (к) произвольны *). Предположим, что 8 (я) удовлетворяет условию

Е (8 (я) 8' Н) = 6mG.(3.11)

Мы будем использовать ту же терминологию, что и в скалярном случае (авторегрессия, скользящие средние и т. п.).

Возможны более общие формулировки (представляющие интерес, в частности, в экономике); однако если х (п) однозначно определяется по своему прошлому и по величинам 8 (п — к), то система должна приводиться к указанному виду.

Теперь мы ищем решение однородной системы в виде b (и) z^, где b (и) — вектор, удовлетворяющий соотношению

q

о

a Zu, удовлетворяет уравнению

мДви^ГА-о.(3.12)

о

Если zu — кратный корень, то мы сможем найти более чем одно решение b (и), отвечающее одному и тому же za. Обозначим эти решения Ь (t, и\ В общем случае, однако, мы должны будем также включить дополнительные члены вида пЧ^Ъ (I, и). Далее рассуждения проходят по прежнему плану, так что мы можем сформулировать теорему 4', доказательство которой помещено в приложении к этой главе.

Теорема 4'. Если 8 (п), п = 0, ±1, . • ., — последовательность случайных векторов, удовлетворяющая условию (3.11), то решение уравнения (3.10) однозначно определяется заданием q начальных значений х (—q), . . ., х (—1). Если ни один из корней zu уравнения (3.12) не лежит на единичной окружности, то решение (3.10) имеет вид

х (п) = 2 2 2 с (^ Л и) Wi?b (I, и) + 2 W 8 (п"ку и г 5k——оо

где элементы Х^ (&) матрицы Л (Л) экспоненциально стремятся к нулю при | Л: | ->■ оо.

Вновь, если | zu | < 1 для всех и, то первый член в выражении для х (п) в конечном счете становится сколь угодно малым и мы получаем решение вида

ж(п)= §Л(/)е(п — /),о

к которому приближается любое решение уравнения (3.10). Для этого решения имеем

Е (х (т) х* (п)) = 2 (/) (п— т + /) = Г (п — ту о

Легко видеть, что Г (п — т) = Г' (т — п\ Если матрицы ковариации процесса х (п) зависят только от (п — т), то мы вновь будем говорить, что х (п) стационарен в широком смысле т).

См. примечание на стр. 22. Мы вновь полагаем Г (п) = Г (0, и) в стационарном случае.

) Теперь мы можем построить модель, основанную на дифференциальном уравнении, во многом аналогичную примерам (i) и (ii). Мы не будем сейчас стремиться к общности и обсудим пример, который приведет к простой модели, важной для некоторых приложений. Процесс (с непрерывным временем), для которого Е (е (s) е (Z)) = — 6 (s — Z), называют обычно белым шумом т). Если е (s) и е (£) независимы, то иногда говорят о чистом белом шуме. Предыдущие рассмотрения приводят к модели

(0 + Р (О х (I) = а (I) г (t).(3.13)

Действуя формально и полагая

t

X (/) = exp | — j p (т) dx | ,о

мы получаем общее решение в виде

tt

х (t) = bX(t) + ^ a (t) exp { — j p (u) du } e (t) dx. (3.14) иT

К сожалению, эти выкладки математически неприемлемы, так как процесс е (I) не является интегрируемым в обычном смысле. Однако мы можем придать строгий смысл интегралу в (3.14), записав его в виде

tt

^ а (т) ехр | — j р (и) du } £ (dx),

От

где ^(t)— процесс с ортогональными приращениями, для которого t

Е(^(0)= j а2(т)^т,t>0.

О

(Если £ (t) — гауссовский процесс и a (t) = 1, то £ (t) называется процессом броуновского движения 2).]

Соотношение (3.14) принимает вид

t

^ = ЬМ1Н^4§Г^’<ЗЛ5)

О

и его еле ует интерпретировать как решение интегрального уравнения

х (t) + J Р (т) х (т) dx = £ (t), t^O.(3.16)

о

х) Здесь 6 (s — Z) — дельта-функция Дирака.— Прим, перев.

Если p(Z) = p, то (3.15) принимает вид

ос ^ = ЬХ ^ + f X (t — т) Е (с/т), X (/)о

и при р = 0 это равно Е(/)4-Ь. Если р>0 и

^ X2 (t— т) а2 (т) dx <С оо,

то решение приближается в среднеквадратичном к t

j X(t-xH(d^-(3.17)

Если, наконец, a2 (/) = о2, то ковариационная функция процесса (3.17) равна

о2 X (т) X(t — s + т) dx,о

т. е. процесс (3.17) является стационарным в широком смысле1).

Очевидно, что можно рассмотреть дифференциальные уравнения более высоких порядков и получить множество решений, которые в случае постоянных коэффициентов будут аналогичны рассмотренным в примере (i). Можно рассмотреть и системы уравнений, как в пункте (ii).

(iv) Робинсон [1962] называет импульсом (wavelet) функцию времени w (t), —сю < t < сю, такую, что

J w2 (/) dt < оо,

w (t) = О, К 0.

Тогда если £ (/) — процесс с ортогональными приращениями, такой, что Е (£2 (dt^ = dt, то процесс

t

^ w(t — x)^(dx)(3.18)

является стационарным. Функция w (t) = X (t), t ^ 0, где X (t) такая же, как в примере (iii), очевидно, является импульсом. К подобной терминологии приводит интерпретация процесса (3.18) как суперпозиции импульсов, испускаемых в последовательные моменты

х) См. примечание на стр. 22.

времени, причем все импульсы имеют одинаковую форму, но разные амплитуды х) £ (с/т). Вообще, мы могли бы рассмотреть функции w (t), удовлетворяющие условию (а), но не удовлетворяющие (Ь), и

j w (t — т) £ (с/т)(3.19)

по-прежнему будет корректно определенным стационарным в широком смысле процессом; однако, чтобы интерпретировать его как суперпозицию импульсов, теперь потребуется предположение (которое для временных рядов неправдоподобно), что импульсы распространяются в обоих направлениях времени. Мы часто называем (3.19) скользящим средним, добавляя эпитет «одностороннее», если w ^ — импульс. Односторонний случай, как мы увидим, чрезвычайно важен в теории прогнозирования.

Эта же (импульсная) терминология очевидным образом переносится на дискретный случай. Подобные определения можно обобщить и на векторный случай; например, назовем (р X д) -матричнозначную функцию W (t) импульсом, если

j Ж(0 W* (t)dt< оо,

17(0-0,i<0.

Интеграл в (а) следует понимать как матрицу, элементы которой получаются поэлементным интегрированием матрицы W (/) W* (t). Если £ (/) — векторный процесс с ортогональными приращениями, такой, что Е (£ (dt) g* (dt)) = G dt, то

t

J I7(t-T)№)

— векторный стационарный процесс. Мы можем вновь интерпретировать его как суперпозицию вкладов векторных импульсов, испускаемых в каждый момент времени и отличающихся друг от друга только благодаря случайным изменениям £ (с/т). Примером такой системы с конкретной W (п) = Л (п) в многомерном случае для дискретного времени является (3.10). Конечно, мы можем также рассмотреть двусторонние средние

j W(t-T)^(dx),

когда выполняется только (а), однако смысл физической интерпретации вновь теряется из-за того, что импульсы должны распространяться в двух направлениях времени.

9 На самом деле правильнее называть амплитудой | | (дт) |.

(v) Выше мы рассмотрели процесс второго порядка с дискретным временем, для которого kqx (м) является конечным скользящим средним. Аналогичное определение можно дать и для непрерывного времени; следуя Яглому [1952], скажем, что процесс х (^) имеет стационарные приращения порядка ^, если процесс

ДМО = 2 (/) ( —

О

стационарен для любого положительного h.

Если (скалярный) процесс х (£) непрерывно дифференцируем q раз, то, поскольку его производная порядка q является среднеквадратичным пределом величин h-q\qx (£) и имеет ковариационную функцию

0 = 1™ Щ/'Г29А?гс (s)

процесс х^ (£) стационарен, ибо его ковариационная функция зависит только от (s — t\

Представляет, однако, интерес и тот случай, когда этой производной не существует, как, например, для броуновского движения, когда процесс (очевидно) имеет стационарные приращения первого порядка, но не дифференцируем.

Мы закончим этот параграф следующим замечанием. Иногда делают вывод, что уравнение вида

«г (п) = 9Х (п — 1) + 8 (п^ р > 1,

не имеет стационарных решений. Это не верно, как показывает

решение я (п) = — 2 р-7-^ (^ + 7 + 1). Верно же, конечно, то, что о

не существует стационарных решений, выражающихся только через настоящие и прошлые значения 8 (тг). Часто физический смысл имеют только такие решения. Поэтому в дальнейшем, говоря, что х (п) — стационарное решение уравнения вида (3.10), мы имеем в виду стационарное решение, выражающееся через 8 (яг), т ^ п\ таким образом, употребляя этот термин, мы предполагаем, что все нули уравнения (3.12) лежат внутри единичного круга.

4. СТАЦИОНАРНЫЕ ПРОЦЕССЫ II ПХ КОВАРИАЦИОННАЯ СТРУКТУРА

Стационарным в узком смысле мы называем процесс х (^), такой, что для всех А, ^, . . ., tN п /г (в случае дискретного времени все эти числа целые, но для непрерывного времени только первое из них должно быть целым) распределения вероятностей семейств х (^), . . .

• • •, ^ (tx) и х (^ 4- HY . . ., х (tx + h) одинаковы. Если х ^

имеет конечные вторые моменты, то отсюда следует, что

Е (^ (s) х* (f)) = Е (^ (0) х’ (t — $)) = Г (0, t — s), и, как было условлено, мы обозначаем это Г (Z — s).

Так как наши статистические исследования будут весьма существенно основываться на свойствах второго порядка, то последнее условие, которое мы назвали стационарностью второго порядка, будет играть важную роль. (Впрочем, для некоторых целей нам будут нужны и более сильные условия.) Очевидно,

Е (^ (^) х* ($)) = Г' (t - s) = Г (s - /).

В частности, в скалярном случае у (s, t) зависит только от | s — t \. Мы видим также, что, в силу теоремы 1, для среднеквадратичной непрерывности необходимо и достаточно, чтобы функции у,- (Z) были непрерывны при t = 0.

Весьма важный класс статистических методов, которые будут рассмотрены во второй части книги, основывается на следующем результате.

Теорема 5. Пусть х (п) — векторный стационарный процесс с дискретным временем, порождаемый соотношениями (3.10) и (3.11), причем все корни урае нения (3.12) лежат внутри единичного круга*, тогда ковариационная функция процесса х (п) удовлетворяет уравнениям

ч[2 A (k) G;V (к——oo<<u^s,

2 В (у) Г (у — и) = { fc=max(0, и)

;==0(0,S<U.

(4.1)

Доказательство вытекает из соотношения

q8

2 В (у) Е {^ (n — j) х* (п — и)} = 2 А (Л)Е {е (п — к) х кп — и^. оо

Левая часть этого соотношения совпадает с левой частью (4.1) по определению, а правые части равны потому, что

х^ = 5л(/) е(п — /),о

как показано в § 3.

Из (4.1) видно, что в условиях теоремы 5 функция Г (п), как и Л (п), экспоненциально убывает при возрастании п.

Часто бывает удобно работать с безразмерными величинами

4jh W

pjkW- {T,(0)7fe(0)}1^ ’

которые мы называем коэффициентами корреляциит) процесса. Если у = к, то они называются коэффициентами автокорреляции и обозначаются Р; (п) = 7; (п)/у; (0).

Прямое решение уравнений (4.1) бывает иногда полезным в теоретических расчетах. Группа из первых (д + 1) уравнений (когда и пробегает значения от 0 до д) содержит только матрицы Г (0), Г (1), . . ., Г (д) или транспонированные Г (0)', Г (1)', . . ., Г (д)'. Следовательно, эти уравнения можно разрешить, и мы получим начальные значения для нахождения решений оставшихся уравнений (и >д). Проиллюстрируем это на простом примере, когда р = 1, д = 2, 5 = 0. Тогда е (£) можно также считать скаляром, и, полагая а0 = 1, мы обозначим его дисперсию о2. Получаем -уравнения

У (0) +Р(1)У (1)+Р(2) у (2)= о2,

у (1) +р(1)у (0)+р(2) у (1)= 0,

у (2) +р(1)у (1)+р(2) у (0)= 0,

решением которых является

; у (0)1 + Р(2) ’

7(0) “ 1 + р (2)

у(0) = (1 + ₽(1)р(1) + ₽(2)р(2)Го2.

Предположим, что дискриминант р2 (1) — 4р (2) отрицателен. Тогда все корни характеристического уравнения комплексны, и мы должны иметь

, , = a™ cos (On + ф)

Г \ /cos ф ’

где

а=[В(2)]1/2 cos0 =tg 0 tg ср = 1р—V .

v ’2[Р(2)]1/2a cos 6

Таким образом, р (п) осциллирует с затуханием, причем скорость затухания определяется только величиной р (2)1/2.

В этом простом примере нетрудно объяснить ковариационную структуру процесса, но в общем случае это сложная задача. Даже если известно, что процесс авторегрессионный, но неизвестен порядок авторегрессии, то определить этот порядок по функции Г (п) нелегко. (На практике, конечно, основные трудности возникают из-за выборочных флуктуаций в оценках Г (п), однако обсуждение этого вопроса мы отложим до второй части книги.) Впрочем, данную конкретную проблему можно разрешить, используя частные коэф-

х) Вновь мы используем несколько неточную терминологию, так как процесс не центрирован.

фициенты корреляции, которые мы сейчас рассмотрим в скалярном случае.

Пусть ^’ есть (т, + 1)-мерное вещественное линейное пространство, порождаемое случайными величинами х (]\ со), ] — п, п — 1, п — 2, . . ., п — т. Таким образом, ^ состоит из всевозможных вещественных линейных комбинаций

т

5 ар: (п —/),

5=0

где мы вновь, для упрощения обозначений, опустили со. Мы можем теперь рассмотреть регрессию х (zz) на х (п — /), 7 = 1, . . ., т, т. е. проекцию х (zz) на яг-мерное подпространство ^, натянутое на х (п — /),/ = !, . . ., щ. Положим

Рт = 1р (/ — &)], рт = (р (/)),

где Рт — матрица с элементами р (/ — /с) в j-x строках и к-х столбцах, а рт — вектор с /-й координатой р (/). Тогда вектор коэффициентов регрессии т) равен Р^рт. Коэффициент регрессии при х (п — т) равен

т

-Жгкг2(-1Г'р»*1(^",)

где Рт'т^ — матрица, полученная из Рт вычеркиванием z-й строки и т,-го столбца. Но, разлагая det (Рт^^) по элементам первого столбца, имеем

т

dot (Р^У^ = 2 (- l)i+1 Р (О Рт Л

1=1

так что рассматриваемый коэффициент регрессии равен

р (zzz | 1, . . ., т — 1)р (zzz | 1, . . ., т — 1)(-!)"-+! det (Р^+1))det (Рш)(-!)"-+! det (Р^+1))det (Рш)(4.2)(4.2)

р (zzz | 1, . . ., т — 1)

р (zzz | 1, . . ., т — 1)

(-!)"-+! det (Р^+1))det (Рш)

(-!)"-+! det (Р^+1))det (Рш)

(4.2)

(4.2)

Эта величина называется т-м частным коэффициентом автокорреляции. Если х (zz) порождается авторегрессией ) порядка т, то р (т | 1, . . ., т — 1) = —р (zzz). В самом деле, тогда

т

^W = —У>^и)^(п~]) + &(п),1

и так как все х (п — /), / ^ 1, ортогональны 8 (zz), то проекция х (zz) па х (п — 1), . . ., х (п — zzz) как раз равна — 2 Р (/) ^ (^ — /)•

х) Используемые здесь без доказательства формулы и результаты теории регрессии можно найти в книге Крамера [1946], гл. 23.

Таким образом, если р (т) равно нулю, то и р (т | 1, . . ., т — 1) равен нулю.

Тот факт, что р (т | 1, . . ., т — 1) одновременно является и коэффициентом регрессии, и частным коэффициентом корреляции, может показаться странным читателю, знакомому с классической теорией регрессии. Это обусловлено, конечно, весьма специальным видом матрицы Рт. Для дальнейшего исследования введем коэффициенты

Rm=PmPmPm;(4.3)

Rm есть сводный коэффициент корреляции между х (п) и х (п — /), / = 1, . . ., т. В самом деле, средний квадрат проекции х (п) на эти последние векторы (т. е. «средний квадрат регрессии») равен

РтРт^тРтРт,Гт = у (0) Рт1

так как Гш — матрица ковариации величин х (п — /), / = 1, . . ., т. Поэтому отношение среднего квадрата регрессии к полному среднему квадрату (а именно, у (0)) равно (4.3).

Теорема 6. Если Rm определено соотношением (4.3), а р (т | 1, . . ., т — 1) — соотношением (4.2), то

т

0-R^= II (1—р2(/11, ...J-1)),3 = 1

причем р (т | 1, . . ., т — 1) равен частному коэффициенту корреляции между х (п) и х (п — т) после устранения посредством регрессии влияний всех величин х (п — 1), . . ., х (п — т + !)•

Доказательство. Мы установим нужную формулу, если покажем, что

^-R^^^-R^,^^-^ (m | 1, . . ., m—1)).

В свою очередь это будет следовать из классического соотношения теории регрессии (Крамер [1946], стр. 338), если мы докажем, что р (т | 1, . . ., т — 1) — частный коэффициент корреляции, о котором говорится в теореме. Пусть х (п) — регрессия х (п) на х (п — 1), . . ., х (п — т + 1). (Таким образом, коэффициенты при этих величинах задаются компонентами вектора P^Pm-i-) Пусть (п — т) — регрессия х (п — т) на те же самые величины. Тогда квадрат частного коэффициента корреляции по определению равен отношению среднего квадрата регрессии х (п) — х (п) на х (п — т)— — х (п — т) к среднему квадрату х (п) — х (п). Последний, как мы видели, равен у (0) (1 — Rm-iY Числитель же равен произведению р2 (пг | 1, . . ., т — 1) на средний квадрат х (п — т) — х (п — т^ поскольку, как мы знаем, р (т | 1, . . ., т — 1) является коэффициентом регрессии. Поэтому наше утверждение будет доказано, если

мы установим, что средний квадрат х (п — т) — х (п — т?) также равен у (0) (1 —Rm-О или что 7?^-1 равен сводному коэффициенту корреляции между х (п — яг) и х (п — т + 1), . . ., х (п — 1). Но это является простым следствием того, что Гт (или Р^ не изменяется при одновременной перестановке строк и столбцов.

Таким образом, коэффициенты р (т | 1, . . ., т — 1) не только обеспечивают критерий для проверки гипотезы о том, что процесс порождается авторегрессией того или иного порядка, но и дают некоторое разложение дисперсии х (п) на компоненты, обусловленные влиянием прошлого. Как мы увидим далее х), оценки для этих частных коэффициентов автокорреляции обладают также простыми свойствами статистической независимости. Поэтому, например, график р (т | 1, . . ., т — 1) более информативен и легче объясним, чем график самих коэффициентов р (/). Следует, однако, подчеркнуть, что полезность подобного описания сильно зависит от того, насколько процесс х (п) близок к процессу авторегрессии не слишком большого порядка. Рассмотрим, например, случай, когда

х (n) = a cos nQ + Ъ sin nd 4- у (п^

У (и) = РУ (и — 1) + Е (и), I р I < 1, где а и b — независимые случайные величины с единичной дисперсией, не зависящие также от 8 (п). Тогда у (n) = cos п9 + о2рп и коэффициенты р (т | 1, . . ., т — 1) имеют чрезвычайно сложную структуру, которую было бы очень трудно объяснить, если бы эти коэффициенты были даны без каких-либо дополнительных указаний о характере процесса.

ВЫСШИЕ МОМЕНТЫ

Очень многие методы анализа временных рядов основываются на моментах первого и второго порядков, и до сих пор мы рассматривали только такие методы. Если, однако, х (t) стационарен в узком смысле, то функции

Е {^j (^i) Хк (^2) Х[ (t3) . . . Хг (tm)} = УЛ к, . . . (^It ^2? • •^т)

удовлетворяют условию

УЛ ki • • • (^1? ^2? • • м ^тп) = Yjt kt . . . (0» ^2 ^li • • м tin ^1) •

Аналогично, мы можем сказать, что процесс х (^) стационарный порядка т, если этому условию удовлетворяют все моменты до порядка т. Мы будем обозначать через к, r (^, t2l . . ., tm) семиинвариант m-го порядка величин х5 (^), xh (Z2), . . ., хТ ^1т\ Некоторые из индексов /, к, . . . могут совпадать. Конечно, моменты можно

4 См. § VI.3.

выразить через семиинварианты по известным формулам; мы приведем здесь лишь соотношение

Е{^- Ц^ хк Щ) xi (<3) хт Ц^ = ^jk Щ — t^ yim Щ — <з) +

+ Тя (^3 — ^1) Thm (<4 — ti + Yjm (<4 ~ <1) YhZ Цз ~ ^) +

+ Kjhlm U1, ^2, ts,(5-1)

Отметим очевидный факт, что для любого момента или семиинварианта можно переставлять аргументы t5l отвечающие одинаковым индексам, при этом момент или семиинвариант не изменятся.

ОБОБЩЕННЫЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ т)

Известен классический факт, впервые строго установленный Винером [1923], что реализации броуновского движения почти всюду недифференцируемы. Тем не менее интуитивно удобно представлять себе процесс броуновского движения £ (£) как интеграл от £ ^tY где § (/) — процесс, удовлетворяющий соотношению

Е (t (s) X (0) = 6 (s - Z).

He удивительно, что на самом деле процессу £ (Z) можно придать смысл, введя понятие обобщенного случайного процесса (ОСП), подобно тому как вводятся обобщенные функции (обзор необходимых сведений об обобщенных функциях см. в математическом приложении к этой книге). Мы следуем Гельфанду и Виленкину [1961].

Рассмотрим пространство К бесконечно дифференцируемых функций ф (t) с компактным носителем (т. е. равных нулю вне замкнутого ограниченного множества). Если бы процесс | (f) был уже корректно определен, то мы могли бы образовать интеграл

который после формального интегрирования по частям принимает вид

- j(6.1)

ибо ф (f) обращается в нуль в концах подходящего интервала. Последнее выражение несомненно определено корректно. Это наводит нас на мысль взять за основу определения обобщенного случайного процесса некоторое обобщение выражений такого рода и определить

х) Материал этого параграфа является специальным и почти не будет использоваться в дальнейшем. Поэтому при желании его можно пропустить.

производную броуновского движения, обратив ход рассуждений, которые привели нас от £ (Z) к (6.1).

Итак, определим ОСП как соответствие, сопоставляющее элементам ф £ К случайные величины Ф (ф), причем (а) Ф (ф) — линейный функционал от ф, т. е. для любых вещественных чисел а, р мы имеем Ф (аф! + рф2) = аФ (ф1) + рФ (ф2), фп ф2 £ К; (Ь) Ф (ф) — непрерывный функционал от ф. Под этим подразумевается следующее: если ф1, п, ф2, п, • • •» фг, п — любые г последовательностей элементов К, составленные из функций, равных нулю вне некоторого фиксированного компактного (одного и того же для каждой отдельной последовательности) множества (которое, однако, может зависеть от рассматриваемых последовательностей), и сходящиеся равномерно вместе со всеми производными к функциям фь ф2, . . ., фг (которые, следовательно, также принадлежат К), то совместное распределение Ф (ф1е п), Ф (ф2, ^ . . ., Ф (фг, п) сходится к совместному распределению случайных величин Ф (ф^, . . ., Ф (фг) (в обычном смысле сходимости последовательности функций распределения в любой точке непрерывности предельной функции распределения). Конечно, вновь требуется, чтобы совместные распределения Ф (ф) были согласованы в том смысле, что заданное распределение любого множества величин совпадает с маргинальным распределением, полученным из любого более широкого множества т).

Процессам, непрерывным в среднеквадратичном, а также процессам с ортогональными приращениями можно сопоставить ОСП по следующей формуле:

Фх (ф) — j x^t^^dt. (6.2)

Физическая мотивировка этих идей, помимо того, о чем говорилось выше, основывается на представлении, что мы неизбежно наблюдаем некоторый функционал от основного процесса, поскольку наблюдения производятся с помощью некоторого прибора. Таким образом, Ф в (6.2) может рассматриваться как характеристика прибора. Линейность функционала, конечно, является некоторым ограничением, удобным с математической точки зрения, и все же излагаемая концепция носит весьма общий характер, хотя бы потому, что х ^ в (6.2) может быть существенно нелинейной функцией от каких-либо, возможно, более фундаментальных случайных явлений.

Положим теперь, как подсказывают предыдущие рассмотрения,Ф' (ф) = —ф (ф')-

Из свойств пространства К вытекает, что любой ОСП можно продифференцировать и прийти к новому ОСП.

*) В книге Гельфанда и Виленкина [1961], гл. IV, § 2, обсуждается конструкция вероятностного пространства, на котором могут быть определены все величины Ф (ср).

Теперь мы определим стационарный второго порядка ОСП. Рассмотрим процесс Ф, для которого

уФ (ф, ф) = Е{Ф (ф) Ф (ф)} < сю, ф, ф £ К.

Положим теперь^ ф(8) (£) = ф (s + t). Процесс Ф называется стационарным второго порядка, если

Тф(<Р<»)» ■фт) = Уф (ф, 'Ф)

для всех 5 g (—сю, сю) и ф, ф £ К.

Очевидно, что тогда Ф' также будет стационарным второго порядка и его ковариационная функция равна уф (ф', ф').

В заключение приведем один пример. Рассмотрим обобщенный случайный процесс, ковариационный функционал которого равен

(6-3)(6-3)у {ф, ф} = J J ф (s) ф (z) min (s, Z) ds dt,

(6-3)

(6-3)

причем совместное распределение величин Ф (ф7), / = 1, . . ., к, гауссово с нулевым средним и матрицей ковариаций у (ф7-, ф^). Этот процесс можно отождествить со случайным процессом броуновского движения £ (/) по формуле

tф(ф)= j ф(т)£(т)с/т.

о

Тогда Ф', очевидно, также имеет гауссово распределение, и его ковариационный функционал равен

Ф (О Ф (О ^*

о

Это легко получить, если представить (6.3) в виде

ОО tООtОО

j j Ф (s)ds — j ф (s) ds| | j ф (s) ds— ^ ф (5)&| dt. 00оо0

Мы видим, что Ф' имеет ковариационный функционал производной броуновского движения; таким образом, введение обобщенных случайных процессов позволило определить процесс, которого в обычном смысле не существует. Очевидно, что Ф' стационарен.

УПРАЖНЕНИЯ

Пусть х (п) = х (п — т) + 8 (п), где х {п} — скаляр. Показать, что т— 1[п/т]

х^ = 2 e^i2nj*n^w + 2 £^п—ТП^1 П ^ 6,0.7 = 0

где aj могут быть выбраны так, чтобы х (п) удовлетворял т начальным условиям.

Пусть х (п) стационарен и порождается уравнением

q

О

показать, что

var (е (n)) =var (е (n)) =det Гд+idet Гдdet Гд+idet Гд

var (е (n)) =

var (е (n)) =

det Гд+idet Гд

det Гд+idet Гд

Найти вид ковариаций для

q

х (п) =2 (а ^ cos n^j + P (/) sin nXj^ Xj——!-,7=04

где а (/), P (у), 7 = 0, ..., g, — случайные величины, для которых

Е {а (7)2} = Е{р(7)2} = /у,

а все остальные ковариации равны нулю.

Пусть х (£) непрерывен в среднеквадратичном смысле, и пусть

С t

х (т) t/т, t ^ 0,

Доказать, что у (/) среднеквадратично дифференцируем и у (t) = х (0. (См. Манн [1953], теорема 1.4.)

Характеристический функционал ОСП определяется как L (ф) = = Е {ехр /Ф (ф)}. Доказать, что если Ф — гауссов (т. е. совместные распределения Ф (ф), ф X, гауссовы), то L (ф) = ехр {—V2Y (ф, ф)}.

ПРИЛОЖЕНИЕ

Гильбертовы пространства1) случайных величин и интегрирование относительно процесса с ортогональными приращениями

Рассмотрим скалярный случайный процесс х (Z, со), для которого Е (х (t)2) < «< 00, —00 <; t << 00. Предположим сначала, что х (£) среднеквадратично непрерывен. Таким образом, каждая величина х (t, со) принадлежит пространству 1,2 (Q, JL Р) всех комплекснозначных функций на Q, квадратично интегрируемых относительно Р. Пусть <^—замкнутое подпространство пространства Р2 (^, «^, ^Ъ порождаемое элементами х (£, со). Оно состоит из всех конечных комплексных линейных комбинаций

^ а,ж((,)(1)

7=1

х) Обзор необходимых сведений из теории гильбертовых пространств см. в математическом приложении в конце книги.

и среднеквадратичных пределов сходящихся последовательностей таких линейных комбинаций. Обозначим через ^х1 у^ х1 у £ 961 скалярное произведение в ^. Разумеется, ^xt у) = Е (дл/), х, у £ 96^ и, в частности,

lx^x^ = -^ t).(2)

Пространство ^ сепарабельно. В самом деле, величины х (t), где t рационально, образуют счетное множество, а в силу среднеквадратичной непрерывности ими можно сколь угодно точно аппроксимировать любой х вида (1).

Множество 9I/L ^ 96 называется (замкнутым) подпространством, если оно является линейным пространством, замкнутым относительно сходимости в среднеквадратичном, т. е. по норме, соответствующей скалярному произведению. Множество всех элементов х С 96 ортогональных всем элементам с^, которое обозначается о^-, также является замкнутым подпространством, и любой элемент z ^ <54 однозначно разлагается по формуле z = х + у, х ^ сП/Цу £ оМА-. Операция, которая сопоставляет элементу z элемент х^ называется ортогональным проектированием на оХ (аналогично для операции, сопоставляющей у £ оХ^- элементу z). Она, конечно, является некоторым обобщением понятия регрессии, введенного в § 4.

Определения существенно нс изменятся, если мы позволим исходному процессу х (Z) принимать комплексные значения 1). Рассмотрим частный случай, когда х (/), обозначаемый теперь £ (t^ имеет ортогональные приращения, т. е.

Е {[g м - £ (^)1 OlbTwT} = 0, t2 > s2 > ti > Sp

Положим

Р№-Р^1Ц\Ш-Ш p),

где F ^ — всюду конечная неубывающая вещественная функция.

Легко видеть, что £ (/) имеет в каждой точке односторонние пределы, например предел справа. В самом деле,

lim E{|g(^)-U^)l2} = Ит И ^-F (^)] = О, В, Wк, t2H

где обозначения указывают па то, что предел берется при tVl t2, стремящихся, убывая, к t. Таким образом, любая последовательность £ (^), tj ^ t, где fy, убывая, стремится к t, имеет среднеквадратичный предел, который может совпадать с ^ (0? но может и не совпадать, если £ (/) имеет «скачок» в t. Конечно, предел, который мы обозначим £ (^+)? в любом случае определен однозначно, ибо если tj и sj — две убывающие последовательности, стремящиеся к t. то

lim Е {| g (Zj) - g (s,) p } = Um | F (i,) - F (sy) | = 0.

В большинстве случаев можно без каких-либо последствий для конечных результатов переопределить процесс £ (/) так, чтобы он был непрерывен справа, т. е. чтобы lim £ ($ 4 £) = 6 (s) в среднеквадратичном смысле. В дальнейшем мы t; 0

будем считать, что это уже сделано. Сейчас мы не предполагаем, что £ (/) среднеквадратично непрерывен. Однако если мы построим по £ (0 пространство <^, как оно раньше строилось по х (/), то это пространство вновь будет сепарабельным. Это следует из того факта, что F (£) имеет не более чем счетное число скачков, так что значения £ к^ в точках скачков F (t), вместе со значениями £ (0 для рациональных С не являющихся точками скачков, образуют счетное множество, плотное в 96.

х) Существование (Q, ^, Р^ очевидно, так как комплекснозначный скалярный случайный процесс можно рассматривать как вещественный векторный процесс с двумя компонентами.

Рассмотрим теперь функции ф (0 вида

{

0,t < tOl

Cj, tj_v<t<tj, / = 1, N,(3)

0, ^y <

и установим соответствие

N

ф (<)<->. ф= J ф (<) g(dt) = ^ ciM —()

1

В левой части мы рассматриваем ф (/) как элементы полного линейного пространства Л2 (/7) функций, квадратично интегрируемых относительно F (dt^ тогда как в правой мы имеем случайные величины, принадлежащие гильбертову пространству 5€^ определяемому процессом £ (^). Конечно, L2 (F) само является гильбертовым пространством, и, как легко проверить,

Ф1 (0 Фг (i) ^(^) = (<Р1. Фг)(5)

для любых двух функций вида (3).

Следовательно, указанное соответствие сохраняет скалярное произведение. Поэтому его можно продолжить на все функции, квадратично интегрируемые относительно F^ ибо если фп (/) — последовательность функций указанного типа, такая, что

lim С | фт (#) — Фп(0 I2 F (dt)—O,

т, и-*оо J

то Фт № сходится по норме L2 to к функции ф (0, квадратично интегрируемой относительно F^ а (5) гарантирует, что соответствующая последовательность фт сходится к элементу пространства Ж. Кроме того, ступенчатые функции (3) «плотны» в L2 to в том смысле, что все квадратично интегрируемые функции могут быть получены из сходящихся в среднеквадратичном последовательностей таких функций. (На самом деле мы можем считать, например, что точки разрывов tj рациональны, так что L2 (F) содержит счетное плотное множество, т. е. L2 to «сепарабельно».) Таким образом, соответствие (4) позволяет для любой ф (^), принадлежащей L2 toi определить случайную величину, которую мы обозначим символом

ф (г) £ yty

Такие же рассуждения позволяют определить интеграл

ф w £(6)

где £ (/) теперь — векторный процесс с ортогональными приращениями, т. е.

Е ([£ fe) - g fo)l [6 to - g (51)]*) = 0, t2 > s2 > h > я.

Здесь, конечно, Ф (0 — матрица, у которой число столбцов совпадает с размерностью |, а элемент ^tj W матрицы Ф (0 должен принадлежать L2 (F^ где

Fj ^ - Fj ^ = Е {| ^ ^ - ^ ^ р}.

В самом деле, (6) определяется как вектор с компонентами

Доказательство теоремы 4'

В § 3 мы ввели модель (3.10), которая привела нас к рассмотрению решений системы уравнений

[28(/)Я-)]б=0.(1)

о

Пусть zu— корень уравнения

(2)(2)det [35(7) Z’-4 = 0;о

(2)

(2)

обозначим соответствующие решения системы (1) через b (i, и), I = 1, . . ., su Существование таких решений и их кратности как собственных векторов устанавливаются теорией эквивалентности матриц, элементы которых являются многочленами от переменной z (см., например, Макдаффи [1956], стр. 40, или Бохер [1907], гл. XX). Доказывается, что для матрицы в левой части (1), которую мы обозначим С (z), существуют матрицы Р и Q, элементы которых являются многочленами от z, с определителями, равными ненулевым константам, такие, что

'^1 (z)

кг (z)

PC ^Q =

hp к^.

где недиагональные элементы равны нулю, 1ц (z) — многочлен от z степени р^ причем Уц делит /^+1 для любого г. (В общем случае внизу на диагонали могут быть нулевые элементы, но для С это невозможно, поскольку мы предположили, что В (0) — единичная матрица.) Многочлены hj (z) называются инвариантными множителями. Пусть zu — корень h^ (z), не являющийся корнем h^x (z); тогда, учитывая, что Р-1 — также матрица многочленов от z, мы видим, что существует su = (р — г + 1) решений Ъ (t, и), i = 1, . . ., su1 уравнения С (zu) b = 0; именно, подставим значение z = zM в Р, С и <2 и возьмем в качестве b (z, м) последние (р — z + 1) столбцов получающейся матрицы Q. Эти решения, очевидно, линейно независимы, поскольку определитель Q равен ненулевой постоянной. Таким образом, каждому zu мы сопоставили su решений уравнения С (zu) 6 = 0, а именно, указанные выше b (z, uY Пусть р^ и — степень множителя (z — zu) в инвариантном множителе, соответствующем b (z, uY Построим тогда систему векторов:

b (1, и) z^Y и = 1, ..., $,

— 1 > ..., su,

/ = 0,(Pi.u—^Y

где 5 — число различных корней zu. Отметим, что число таких векторов совпадает со степенью pq определителя С (z) как многочлена от z. Образуем теперь выражение

с (”)=2 2 ^j с(3>

где с (I, j, и) должны быть выбраны так, чтобы этот вектор удовлетворял q начальным значениям при и = —1, . . ., — q. Вектор с (nY очевидно, удовлетворяет уравнению

q

3 5 (/) с (п —/) = 0.(4)

о

(То, что z^^b (i, и) удовлетворяет (4) при / > 0, можно проверить, дифференцируя / раз обе части соотношения С (z) Q = Р~гН и полагая z = zu.) Остается только доказать существование чисел с ^Ц Г и) Для заданных начальных условий, а это сводится к проверке того, что матрица, у которой в /с-й группе из р строк (к = 1, . . ., q) столбец с индексом (г, /, и) равен

zuh( — kVb V’ и'><

имеет ненулевой определитель. Но если бы этот определитель был равен нулю, то можно было бы найти ненулевые с (I, Г и), такие, что с (п) = 0, при п = = —1, . . ., —q, а это, очевидно, невозможно, так как компоненты вектора с (п) являются многочленами степени не выше (q — 1).

Теперь мы можем завершить доказательство теоремы 4'. Пусть y-1(z-1) = = 2 QjZ~i и Р (z-1) = ^ Pjz-i. Тогда, переходя к новому процессу у^п) — = ^ Qjx(n — /) и заменяя правую часть (3.10) выражением

^Р^А^ь^-к-П,

мы сводим доказательство существования единственного решения уравнений

к доказательству того же факта для системы скалярных уравнений с производящими функциями h ^ для левых частей. Таким образом, остается только вторая часть доказательства, и мы предположим теперь, что ни один из корней уравнения (2) не лежит на единичной окружности. Тогда для (^В ^ z3yx имеет место разложение Лорана в кольце, содержащем единичную окружность; записывая его в виде

мы приходим к выражению

^ F кп — и) A W 8 (и — к\

U=—оо

Это выражение определено корректно как предел в среднеквадратичном, посколь ку элементы F (п) экспоненциально стремятся к нулю при возрастании п; но тогда, в силу соотношения

а

о

имеем

2 В|У) { 2 F(n — и—j)A(k)e(u — A:)}=A(fc)e(n — к) оj = — ОО

И

У] 2 F (п — и) А (к) е (и — к)

h=0 и=—оо

является решением (3.10). Полагая

А(/)= 2 FU-k)AW,

h=0

мы можем записать это решение в виде

2 А(/)е(го—/).(5)

Комбинируя (3) и (5), получаем теорему 4'.

Глава II

Спектральная теория векторных процессов

ВВЕДЕНИЕ

Эта глава посвящена анализу Фурье для временных рядов. Методы Фурье тесно связаны с понятием стационарности, так что случайные процессы, обладающие этим свойством, будут находиться в центре внимания, хотя мы рассмотрим также и некоторые отклонения от стационарности. Пожалуй, сначала стоит пояснить, почему методы Фурье играют такую существенную роль в рассматриваемой теории. Наложенное нами фундаментальное условие стационарности для скалярных процессов имеет вид у (s, /) = у (t — s). Таким образом, мы рассматриваем ограниченный класс ковариационных функций, которые инвариантны по отношению к группе сдвигов вещественной прямой, т. е. у (s, 0 — V (s-J-т, ^ + т)« В связи с этим возникает вопрос: нельзя ли заменить функцию времени х (t) какой-нибудь новой функцией х ^, которая линейно выражается через х (t) и для которой ковариационная функция имеет более простую, а именно диагональную, форму: у (s, £) = 0, s ^ t. (Это может показаться маловероятным из-за того, что у (s, t) определенно должна быть разрывной, однако в нашем эвристическом вступлении мы не будем касаться таких подробностей и отложим их обсуждение на последующее.) В примере (iii) § 3 гл. I мы уже встретились с подобным преобразованием, когда рассматривали представление вида

^(0= j ^(t — T^^dT), (1.1) о

справедливое для некоторого специального класса стационарных процессов. Здесь процесс х ^ выражен линейно через новый случайный процесс £ (/), хотя и не стационарный, но имеющий стационарные и, более того, некоррелированные приращения; таким образом, рассуждая очень нестрого, можно рассматривать £ {dt)ldt как

Однако представление (1.1) не дает того, что нам нужно, так как оно не может быть реализовано, если нам известно лишь, что у (s, t) = = у (Z — s), но функция у (/) в целом не известна. Мы же ищем преобразование, которое диагонализирует у (s, t) и задано a priori, если только известно, что у (s, £) = у (t — s) (но сама функция у (t)

не известна). Не удивительно, что такое преобразование выполняется методами Фурье, ибо в некотором смысле, который мы здесь не уточняем r), exp ИХ является собственной функцией оператора U (т), действующего по формуле U (т) j ^ = / (t + т) и, следовательно описывающего стационарность процесса.

Прежде чем продолжить обсуждение намеченной процедуры, мы рассмотрим пример, в некоторых отношениях более простой и более общий, который иллюстрирует сказанное выше. Рассмотрим непрерывный в среднеквадратичном скалярный случайный процесс х (£), ковариационная функция которого у (s, Z) известна, и ограничимся сначала случаем интервала [О, Г]. Тогда по теореме Мерсера (Рисе и Надь [1956], стр. 265)

у (8, 0 = 2^Фг($)фг (;),о

где фг (s) —- собственные функции ядра y(s, t\

Т

j Y(S, ^i(O^ = P-^i(s), О

и т

5 Ф< (s) Ф, (s) ds = 6i.

и

Двойной ряд для у (s, /) сходится к своему пределу равномерно по s и t. Образуем теперь ряд

ооТоо

2 Фг W ^ х (s) Фг (s)ds = 2 W-

00о

Коэффициенты czf являются случайными величинами (определение их как среднеквадратичных пределов интегральных сумм обосновано в п. 1 приложения к гл. I). Они удовлетворяют соотношениям

т

Е (а^у) = j j Е {ж (s) х (/)} срг (s) <р, (<) ds dt =

= j j Y (s- 0 Фг (s) ф, (0 ds dt = ц$.о

Таким образом, они «ортогональны». Кроме того, т

Е (ж (/) а,) = j у (s, t) фг (s) ds = |*гф/ (0,о

!) См. § 10.

откуда следует, что

NN

в [{я (0 — 3»^ (0)21 =Т (^ O-Sh/TKO-оо

а это выражение, как нам известно, равномерно сходится к нулю. Итак, имеем

О

в смысле среднеквадратичной сходимости частичных сумм1). Этот результат остается верным, например, в случае, когда [О, ТА заменяется на (—оо, оо), у (s, Z) квадратично интегрируема на плоскости и интегралы по [О, ТА заменяются на интегралы по (—оо, оо). Двойной ряд для у (s, Z) будет сходиться теперь только в среднеквадратичном, т. е.

ооN

Ит j [y(s, <)- 2 РгФг(«)ф<(0]2^Л = 0>

хотя, если у (s, Z) непрерывна, сходимость будет равномерной на любом конечном интервале.

Мы получили здесь некоторую диагонализацию ковариационной матрицы (новые переменные — это величины аг«), которая имеет, однако, ограниченную применимость, поскольку требует полного знания у (s, t). Некоторое обобщение этих идей читатель может найти в работе Парзена [1961].

В § 2 мы сформулируем и докажем основные теоремы, касающиеся анализа Фурье для х (t), В § 3 мы обсудим связь с аналогичным анализом Фурье для временных рядов с дискретным временем. В § 4 обсуждаются линейные фильтры; некоторые специальные модели рассматриваются в § 5. Нелинейные фильтры и некоторые формы отклонений от стационарности, которые все еще позволяют использовать спектральные методы, рассматриваются в § 6—И, где также затрагиваются другие спектральные теории.

СПЕКТРАЛЬНЫЕ ТЕОРЕМЫ ДЛЯ СТАЦИОНАРНЫХ ПРОЦЕССОВ

С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ

Докажем сначала следующую теорему.

Теорема 1. Если Г (s, t) = Г (t — s)— ковариационная матрица стационарного процесса второго порядка, то

Г(0 = j(tZA) = j (cos ZXC (cZA) 4-sin <Х<? (<ZX)},(2.1)

— ооО

Полученное разложение называется разложением Карунена—Лоэва. — Прим, перев.

где F (X) — матрица, приращения которой F (Xt) — F (Х2), Xj ^ Х2, эрмитовы и неотрицательны. Функция F (X) определяется однозначно, если мы дополнительно потребуем, что (i) lim F (X) = 0, (ii) F (К) непрерывна справа. Матрицы С (X) и Q (X) вещественны и являются соответственно симметричной и кососимметричной, причем С (Х^ — — С (Х2) неотрицательна при Xt ^ Х2.

Матрица F (X) называется матричной спектральной функцией, а С (X) и Q (X) — соответственно коспектр альной матричной функцией и квадратурной спектральной матричной функцией. Правая часть (2.1), конечно, представляет собой матрицу интегралов относительно комплекснозначных мер Лебега — Стилтьеса, порождаемых элементами Fjk (X) матрицы F (X).

При доказательстве теоремы 1 мы используем классические «теоремы единственности и непрерывности для характеристических функций» (см., например, Крамер [1946]), утверждающие, что последовательность функций распределения сходится к собственной функции распределения тогда и только тогда, когда соответствующая последовательность характеристических функций сходится поточечно к функции, непрерывной в нуле, которая оказывается характеристической функцией предельного распределения, и что эта характеристическая функция однозначно определяет функцию распределения, нормированную, например, условием непрерывности справа. Мы будем использовать эти теоремы в случаях, когда верхний предел всех функций распределения равен одному и тому же положительному числу (не обязательно равному единице); очевидно, что указанные теоремы применимы и в этом случае.

Чтобы доказать теорему 1, построим сначала скалярный процесс £а (О = «*£ (f),

где а — фиксированный вектор из р комплексных постоянных. Положим

7а (£) = Е (^а GO Ха (^ + 0) = а*Г (0 «.

Тогда имеет место основная

Лемма 1. Функция уа (0 неотрицательно определенна в том смысле, что для любых п, t^, . . ., tn и комплексных постоянных Р1, • • Рп

У §РАТа(0~М^0.(2.2)

7=1 /1=1

Это следует из простых преобразований п пп п

? ^ Р>Р^?а Ud ^h) = 5 ^j РуР^Е (^a Vk) Xa kt^ = 7 = 1 k=l7 = 1 &=!

= E {| 3 P^a Gj) I 1

3

Для продолжения доказательства теоремы 1 положим

\ тО,\ тО,

\ т

О,

\ т

О,

е~^^р (£) dt.

ПосколькутПосколькут-т-тТТт। j e-^-^a^s — t^dsdt,т। j e-^-^a^s — t^dsdt,

Поскольку

т

Поскольку

т

-т

-т

Т

Т

т

। j e-^-^a^s — t^dsdt,

т

। j e-^-^a^s — t^dsdt,

то /(аГ) (Х)^0. ибо правая часть может быть с любой точностью аппроксимирована суммами вида (2.2) (где Р7- = exp (itjX) б£, a tj— равноотстоящие точки). Образуем теперь чезаровское среднее функЦИИ 1а\Ху

м

Ё" t (t-^)/?»)^^(2.3)

-М

которое сходится к у^ (£) при М -> оо. (См. § 3 математического приложения.) Так как (2.3) является характеристической функцией (подинтегральный множитель перед ехр ИХ положителен), то YaT) (0 как предел сходящейся последовательности характеристических функций, непрерывный при t = 0, также является характеристической функцией. Теперь, устремляя Т к бесконечности, мы видим, что функция уа (£) также является пределом последовательности характеристических функций, и так как она непрерывна при t = О, то является характеристической функцией:

?а(0 = J е^Еа^Ху

Единственность Еа (X) при выполнении условий (i), (ii) теоремы 1 следует из теоремы единственности для характеристических функций.

Выберем теперь вектор а так, чтобы его /-я компонента равнялась единице, а все остальные — нулю. Тогда получаем

Т/(0 = J е^Е^.

Если мы положим

■^ат (0 = Xj (f) 4- xk ^ty яа(2) (Z) = Xj (t) + ixk (ty то, учитывая, что

у [?««> W — V/ (О — Тй (01 +4 fVa<2) (0 — V/ (0 — Th (0) = Тл h (0,

имеем

Тл/=(О= j e«^Fjk(dX),

где

Fjh (X) = 1 [^<i> (X) - Fj (X) - Fh (X)] + 4 ^«<2> W -Fj (X) - Fh (X)].

Обозначим через F (X) матрицы с элементами Fjk(X). Из того что 4juW =4hA — t)i следует, что F (Х) = F* (X), ибо

j e^F*(dX) = j e-^F' (dX)^V(-t)^r(t).

Из доказательства видно, что a*F (X) а = Fa (X), откуда следует, что F (X) эрмитова и имеет неотрицательно определенные приращения. Так как

Г(-0 - J e-^F(dX) = r (0= J e^F' (dX),

то мы видим, что F' (— X) = Г (0) — F (X) во всех точках непрерывности, или, что равносильно,

F^-F^-F^-^^-F^-^-Y ^^(2.4)

где, например, F'(— 2^ — ) = lim F' (X). Мы будем сокращенно запи-

X < — X i

сывать (2.4) в виде F (dX) = F' (сЦ—Х)), что равно, конечно, F(d( —X)). Используя обозначения Re для вещественной части, Im для мнимой части, положим

( 2Re (Fjk(dX)},Х>0,

[ F^dX),Х=0,

Qjk (dX) =— 21m {F jk (dX)^X>0.

Эти соотношения определяют две вещественные функции ограниченной вариации Cjk (X) и Qjk (X). Как и в § 1, гл. I, мы опускаем один из индексов, если эти индексы совпадают. Тогда Qj (X), очевидно, равны нулю, а С j (X) имеют неотрицательные приращения. Соотношения F (X) = F* (X), F (dX) = F' (d (—X)) показывают, что С (dX) — симметричная матрица и ее можно определить так, чтобы она была четной функцией от X, тогда как Q (dX) — кососимметричная матрица и ее можно определить так, чтобы она была нечетной функцией от X. Имеем

Г (/) = у j cos tXC (dX) + у j sin ^^ (^) — у cos ^Q (^) + и0b

oooooo

+ у j s*n ^^ ^^ +y j cos tXC (dX) ~ у ^ siR ^^ (^) +oob

4" у J cos tXQ (ДЦ + у j sin tXQ (dX) = о0

= cos tXC (dX)-\- ^ sin £XQ(dX). о0

Это завершает доказательство теоремы 1.

Для матрицы F (X) имеет место разложение Лебега

F (X) - F^ (X) 4- F^ (X) -'г F^ (X).

Здесь F^1) (X) абсолютно непрерывна (относительно меры Лебега на прямой), так что

F^^= j fQ^dX,

где / (X) — матрица с элементами fj, k (X), называемая матричной спектральной плотностью. Пусть / (X) = V2 (с (X) — iq (X)); тогда с (X) и q (X) называются соответственно матричными коспектральной и квадратурной спектральной плотностями. Функции fj, к (X) для 7 ^к называются взаимными спектральными плотностями. Компонента F^ (X) может возрастать только скачками в конечном или счетном множестве точек интервала (—оо, оо), не имеющем предельных точек (помимо ±оо).

Элементы матрицы F^ (X) непрерывны и имеют почти всюду равные нулю производные относительно лебеговской меры. Было бы трудно придать им какой-либо физический смысл, и мы часто будем предполагать, что эта третья компонента отсутствует. На самом деле, как мы увидим дальше, в случаях, когда стационарная модель адекватно отражает всю сложность реальной ситуации, часто (но, возможно, не всегда) можно считать, что F^ (X) является единственной, присутствующей компонентой. Ниже мы обсудим это более подробно.

Теперь мы должны пояснить физический смысл утверждения теоремы 1. Для этого рассмотрим сначала несколько искусственный частный случай. Предположим, что х5 ^ = х5 (^ + 2 Ал), / = 1, . . . ...,/>, к = 0, ±1, . . ., т. е. что наблюдается периодическая случайная функция. Например, х5 (^) при —л < t ^ л может соответствовать некоторому измерению, производимому на некоторой фиксированной широте и долготе t, причем результаты измерений продолжаются просто по периодичности. Тогда также ^jk (£) = = Т/л (^ + ^^Y Мы будем писать х5 (ф) и ^ju (ф) в случае, когда эти функции рассматриваются на интервале —л < ф ^ л.

Теорема 1'.

Г (ф) = 2 А (n) ^in(p = 2 М (^) cos ^Ф + В (п) sin мер), где ряд Фуръе сходится абсолютно.

Доказательство. Так как Г (/) — непрерывная периодическая функция от t, то

Г(<) = Ит ЗД(п) (1—М)^,

Л

(см. математическое приложение). Поскольку Г (/) удовлетворяет условиям теоремы 1, для нее выполняется (2.1). Пусть FN (X) — функция, возрастающая скачками в точках п, | п | ^ N, причем величины скачков равны А (п) (1 — | п \IN). Тогда, в силу теорем единственности и непрерывности для характеристических функций, FN (X) -> F (X). Поэтому имеет место первое соотношение теоремы 1'. Полагая

А („) = V2 (Л (п) - IB ^Y п ^0, А (я) = Л (п), п = 0,

получим второе равенство.

Мы будем обозначать элементы матриц А, Л, В соответственно Sy, k W, aj, h И» Pj, k W. Интересно отметить, что рассматриваемый ряд Фурье, согласно теореме 1, сходится абсолютно. Это обусловлено свойством неотрицательной определенности Г (ф) и для произвольных непрерывных функций, вообще говоря, неверно.

Теорема 2'.

ж, (ф) = 2 ^(«) e-in4> = ^{b^cos^ + 'nj («) sin иф}, / = 1, . .., p,

°(2.5)

где ряды сходятся в среднеквадратичном, и

л-лл-л* ЫпУу (^( — п) — гг)Д —и)),* ЫпУу (^( — п) — гг)Д —и)),п = 0, (2.6)п = 0, (2.6)п <^п <^0.0.

л

-л

л

-л

* ЫпУ

у (^( — п) — гг)Д —и)),

* ЫпУ

у (^( — п) — гг)Д —и)),

п = 0, (2.6)

п = 0, (2.6)

п <^

п <^

0.

0.

Ковариации величин ^(п) и ^(п) равны

Е (t- (m) ^ («)) = Е (т], (m) r]h (и)) = 6"а;> к ^,

Е (^- (m) T]h (и)) = — Е (т], (т) ^к (п)) = 6" р;, к (и),

так что Е (£, (иг) £к (и)) = 6^6,, ft (и).

Доказательство. Положим1)

/ л— \ х^ (ф) cos тгф аф,/ л— \ х^ (ф) cos тгф аф,ШЦШЦ-л-лл1 f X 7) ж> (ф) ^ф-л1 f X 7) ж> (ф) ^ф-л— Г (ф) sin шрсйр,-пн») = < л Л- о,л— Г (ф) sin шрсйр,-пн») = < л Л- о,п = 1, 2,п = О,2, п = 0.п = 1, 2,п = О,2, п = 0.

/ л

— \ х^ (ф) cos тгф аф,

/ л

— \ х^ (ф) cos тгф аф,

ШЦ

ШЦ

-л

-л

л

1 f X 7

) ж> (ф) ^ф-

л

1 f X 7

) ж> (ф) ^ф-

л

— Г (ф) sin шрсйр,

-пн») = < л Л

- о,

л

— Г (ф) sin шрсйр,

-пн») = < л Л

- о,

п = 1, 2,

п = О,

2, п = 0.

п = 1, 2,

п = О,

2, п = 0.

Отсюда вытекают формулы (2.7); например, при т, п^О

л

Е й) (т) Ъ (и)) = л-2 j j у/ь (<р2 — Ф1) cos тф! cos raq>2 t/cp, dq>2 =

л— л-2 ^Т;Ь(ф)— Лл— л-2 ^Т;Ь(ф)— Л-л

л

— л-2 ^Т;Ь(ф)— Л

л

— л-2 ^Т;Ь(ф)— Л

cos т^ cos п (ф 4- ф) ^ф| ^ф,

откуда следует нужный Таким образом, еслиоткуда следует нужный Таким образом, еслирезультат.

откуда следует нужный Таким образом, если

откуда следует нужный Таким образом, если

мы рассмотрим частные суммы

N

Sj(N) = 2 {^(^созпф + цу^зтпф),п=0

то, очевидно,

Е^Дф)-^)}^ § арп),

где правая часть сходится к нулю, так как ряд 2 aj (^) = Чз (0) о

абсолютно сходится. Мы использовали легко проверяемое соотношение:

Е [{g; (я) cos wp + ц; (я) sin шр} xj (ф)] = ос3- ^nY

Таким образом, доказано, что х5 (ф) равен правой части (2.5), откуда сразу получается и выражение для х5 (ф) через £ (п).

Итак, формула (2.5) представляет х (ф) в виде ряда Фурье, коэффициенты которого являются случайными величинами особенно простой ковариационной структуры. Переход от xj (ф) к Е;- (тг)

х) Определение подобных интегралов см. в п. 1 приложения к гл. I. Разложение (2.5) является, конечно, частным случаем результата, относящегося к непрерывным ковариационным функциям на конечном интервале, который был указан нами в § 1 этой главы, с той оговоркой, что здесь рассматривается векторный случай.

и ц;- ^nY а именно формулы (2.6), не требуют никаких специальных сведений о ковариационной функции х5 (ф). Таким образом, нам удалось найти некое разложение такого типа, о котором шла речь в § 1 этой главы, так как мы представили х (ф) в виде суммы ортогональных случайных величин с помощью преобразования, не зависящего от ковариационной функции. Если мы предположим сразу, что х (£) имеет период 2 Г, то мы получим разложение вида (2.7), где, однако, вместо e-in(P будет фигурировать (л/Г)ккр(—itnulTY Устремляя Т к бесконечности, мы приходим к предположению, что в общем, непериодическом, случае должно иметь место представление (спектральное представление) вида

е-шх^Х), (2.8)

которое получается из (2.5), если подставить X вместо пп/Т и z (dX) вместо (л/Г) £ (nY Так как

Е (£ (^) £ (я)*) = 0, m фп, то естественно ожидать, что процесс z (X), нормированный условием непрерывности справа, будет векторным случайным процессом с ортогональными приращениями, т. е.

Е{(z (Xt) - z (Х2)) (z (Х3) - z (Х4))*} --= 0, X, > Х2 > Х3 > Х4, причем

E{(z (Xt) - z (Х2)) (z (Xt) - z (Х2))*} = F (Xt) - F М, Xt>X2.

Последнее соотношение мы будем сокращенно записывать в виде

E{z (dX) z (dX)*} = F (dXY

Эти утверждения обосновываются следующей теоремой.

Теорема 2. Если х ^ — стационарный процесс второго порядка с матричной спектральной функцией F (X), то имеет место соотношение (2.8), где правая часть есть среднеквадратичный предел последовательности интегральных сум Римана — Стилтьеса, a z (X) — комплекснозначный процесс с ортогональными приращениями, такой, что Е (z (X) z (X)*) — F (X). Если потребовать, чтобы процесс z (X) был непрерывен справа в среднеквадратичном, то он определяется однозначно с точностью до подмножества Q нулевой вероятности.

Доказательство этой теоремы дается в п. 2 приложения к этой главе. Следующая теорема 3 показывает, каким образом процесс z (X) однозначно (в существенном) определяется через х (t).

Теорема 3. Для любых двух точек непрерывности Х2 > Ач функции F (А) имеем

т

F Q^) - F ^ = lira A- j Г (0 е- ^Jat

и

т

4 I*piXit

j x^ —-dt.

(l.i.m. обозначает здесь среднеквадратичный предел последовательности случайных величин.)

Доказательство этой теоремы также дано в п. 2 приложения к этой главе.

Теорема 4. Если х (£) удовлетворяет условиям теоремы 2, то имеет место также вещественное представление

хД) = ^ {cos А^ (dA) + sin А/ц ДХ)^,(2.9)

о

где £ (А) и ц (А) — вещественные процессы с ортогональными приращениями, такие, что Е{(^ (А^ — £ (А2)) (ц (А3) — ц (А4))} = 0 для непересекающихся интервалов [А2, А^, [А4, А3). Ненулевые ковариации имеют вид

Е{£ ДХ) ^ ДХ)} ; F ДХ) = С ДХ), А = О,

Е{£ ДХ) ^ ДХ)} = Е{ц ДХ) т/ ДХ)} = 2Re (F ДХ)) = С ДХ), А ^0,

Е{£ ДХ) ДХ)} = —Е{т] ДХ) ДХ)} = 21m (F ДХ)) = Q ДХ),

Е{ц ДХ) л' ДХ^ = 0 = Q ДХ), А = 0.

Доказательство. Определим два вещественных процесса Н (А), т] (А) с ортогональными приращениями следующим образом. Если z (А) имеет скачок при А = 0, то мы полагаем ^ (0) равным этому скачку. Далее,

^ (А) - ^ (0) = 2Re Д (А) - z (0)), А > 0.

Полагаем ц (0) = 0 и

т] (А) = 21m Д (А) - z (0)).

Так как х Д) — вещественный процесс, то, согласно теореме 3, для любых двух точек непрерывности Аь А2

т

4 /*р * 2^21 р-^\1

z (А2) —2 (At)^ l.i.m.\ хД)dt--z А^ — z( — А2). Т-*ООJ"

-т

Поэтому мы можем переписать (2.8) в виде (2.9). (Это соотношение является аналогом (2.5).)

Поскольку z (X) имеет ортогональные приращения, то

E{z ^ z (dX)^ - E{z (dX) z (d (-%))*} = О, X ^0.

Поэтому

[E (dX) | W}- E {n (dX) n (dx)'}] +

+4 [E (n W I (dX)'}—E {£ (dX) T] (dX)'}] = 0, X Ф 0.

Так как, кроме того,

E{z (dX) z (^v)*} = F ^dXy

то мы видим, что § (X) и ц (X) — процессы с ортогональными приращениями, такие, что Е (5 ^d^ ц' ^dX^ = 0, %! ^Х^ а ненулевые ковариации таковы, как указано в формулировке теоремы. Доказательство завершено.

Следующие рассуждения поясняют смысл коспектра и квадратурного спектра х). Вернемся на время к периодическому случаю и к соотношению (2.5) и определим, при какой величине временного сдвига компоненты Н7- (я) cos лгф + Ц; (^) sin лгф относительно ^ (лг) X X cos мер + т]ь (п) sin п^> (]* =^к) квадрат коэффициента корреляции между ними будет максимальным. Если мы заменим в первой компоненте ф на ф + т, то получим ковариацию

a, jk (п) cos пх — рjk (п) sin пт = cos (тгт 4- 9>h W) («^ («) + ₽|й (и)}1/2,

9,h (и) = arctg (P,ft ^[a.jh (га)}.

Квадрат коэффициента корреляции, очевидно, максимален при т — = — п'^ (п), причем максимальная корреляция равна) Gjk(ny где

,ft W 6/ (га) 6к (га) - 6, (га) 6к (га) *

Величина ojk (п) называется коэффициентом когерентности и является адекватной мерой связанности между двумя компонентами при «волновом числе» п. Величина 9^ (я) определяет опережение или запаздывание, которое приводит две компоненты в наилучшее согласие в смысле квадратичного отклонения, усредненного по всем реализациям. Мы будем называть ее фазой.

Определим теперь аналогичные величины в общем случае. Если Fj (X) и Fk (X) абсолютно непрерывны, то мы, естественно, положим

^Н-Д^™; Mb)=arctg^. (2.10)

W Jk Wcjk W

В общем случае достаточно найти какую-либо функцию распределения, относительно которой Fj (A,), Fk (А,) и Fjk (А,) абсолютно непрерывны; тогда о^ (А,) можно определить через производные Радона — Никодима относительно этой меры. Очевидно, для этой цели подходит функция Fj (А,) + Fk (А,) г). Таким образом, мы можем построить функции

Т м\^F jk (К)Т /л \dFj(X)

W d (Fj (k) + Fk (X)) ’(Fj (X) + ^ (X))

и определить o2jk (A,), 9jk (А,) в терминах этих функций. Выбор функции распределения Fj + Fк является естественным: любое множество точек А,, имеющее нулевую меру относительно этого распределения, не представляет интереса, так как не содержит спектральной массы ни одного из двух рассматриваемых процессов. Величины о^ (А,) и 6jk (А,) можно интерпретировать теперь в терминах аппроксимации х (t) периодическим процессом с большим периодом Т. Мы далее обсудим эту интерпретацию более подробно.

Подводя итог, можно сказать, что мы представили х ^ в виде

Xj (£) = j {cos M-^j (с?А) + sin A,£'T]j (dA,)},о

где ненулевые ковариации имеют вид

Е{^- ^ ^к УХ)} = Е^- (Л) ц, ^ - Cjk (^),

Е{^- (ЙХ) Чк ^ = —Е {Лу (dX) U (dX)} = Qjk (^Х), откуда

^jk (t) = Е (х; (s) xs (s + 0) = j (cos ^ CJh W + sin U Qjk (dX)}.

Смысл Cjk и Qjk станет понятным, если рассмотреть коэффициент когерентности и фазу, которые в абсолютно непрерывном случае даются соотношениями

о- М-arete

°зк (Л) —(Х) Ск (Х),0,h W - arctg Cjh (Х) ,

первое из них описывает степень связанности, т. е. максимальную корреляцию, достижимую за счет сдвига по фазе одной из двух компонент Xj (t), а второе определяет величину такого фазового сдвига.

Таким образом, мы представили х5 (t) в виде «суммы» (интеграла) осциллирующих компонент, амплитуда и фаза которых определяются случайными величинами ^j (dX), цу (dX), и описали ковариационную структуру этих величин.

х) Более полное обсуждение см. в § 2 математического приложения. Случай абсолютной непрерывности настолько более важен, что мы не станем задерживаться здесь на другом случае.

3. ДИСКРЕТИЗАЦИЯ ПРОЦЕССА С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ. ПРОЦЕССЫ С ДИСКРЕТНЫМ ВРЕМЕНЕМ

Теперь мы должны обсудить важные проблемы, возникающие, когда процесс с непрерывным временем наблюдается лишь на некотором дискретном подмножестве точек вещественной прямой. Ясно, что в большинстве случаев временные функции будут исследоваться именно таким образом, хотя бы потому, что в этом исследовании важную роль играют вычислительные машины. Конечно, могут встретиться и ряды, дискретные по самой природе, как, например, последовательность экспериментов, которые производятся раз в день. Мы рассмотрим и такую ситуацию, однако начнем с дискретизованных функций непрерывного времени, поскольку этот случай представляется наиболее важным и мотивирует результаты для случая дискретного времени. Нам предстоит обсудить вопросы двоякого рода. Во-первых — что можно сказать о спектре всего процесса на основании выборки г). К этому тесно примыкает второй вопрос — о нахождении наилучшей оценки для х (t), где t — некоторый момент времени, не входящий в выборку. Здесь мы ограничимся рассмотрением первого вопроса, а второй обсудим в гл. III, где рассматриваются задачи прогноза и интерполяции.

Простейшая ситуация имеет место тогда, когда х ^ наблюдается периодически в точках \п. В лучшем случае нам может быть известна Г (Ам), п = 0, ±1, . . . . Вопрос о том, можем ли мы узнать даже эту функцию, будет обсуждаться позже, когда мы займемся эргодической теорией; во всяком случае, если используются только характеристики второго порядка, то Г (Ам) — это самое большее, что может быть известно. Имеем

Г (Ам) = j e^F (dX) =

оо л/Д-|-2л5/Дл/Д

= 2 j e^F^ = j— оо - л/Д4-2лj/Д— л/Д

где

^W(X)=2.(3.1)

Здесь второй член добавлен в каждое слагаемое только для того, чтобы функции F^ {X) имели конечную полную вариацию. Если

х) Под выборкой здесь понимается наблюдаемая часть процесса.— Прим, перев.

F (А) абсолютно непрерывна, то

л/А

Г (иА) = J е^уд) (Л) dX,-л/А

/д>(Х) = 2/(а+^-) ,(3.2)

так что при Х^[0, л/А]

С^)(А) = с(А)+2 У^+УА"С^^ХУ ’(3"3>

WW^H^ {ч(^ + ^~ч(^-^} • (зл>

Описывая соотношения (3.1), (3.2), (3.3) и (3.4), обычно говорят, что частоты X, 2л//А + К А £ [0, л/А], являются «двойниками», причем А называется «главным двойником». Эту терминологию ввел Дж. У. Тьюки, который позаимствовал ее из теории планирования экспериментов, где возникает совершенно аналогичная проблема. Соотношение (3.3) можно описать геометрически, если рассмотреть график cjk (А), который складывается в виде гармошки в точках 2 л//А, 7 = 1,2, . . . . Тогда значения cjk (А) во всех точках, которые являются двойниками некоторой главной частоты Ао, налагаются друг на друга, и с^ (^о) получается, если сложить значения cjk (А) в налагающихся частотах. Аналогичную геометрическую интерпретацию имеет и соотношение (3.4). Очевидно, зная Г (/гА), мы можем найти только F^\ так что разные F, которым отвечает одна и та же F^\ неразличимы. В абсолютно непрерывном случае при достаточно малом А эффекты наложения будут незначительны, поскольку fjk (А) равна нулю на бесконечности. Это, конечно, интуитивно очевидно. При интерпретации оценок спектра временного ряда с дискретным временем следует помнить об эффектах наложения. Так, если спектр, полученный по дискретным данным, имеет пик, то надо иметь в виду, что для основного процесса с непрерывным временем этот пик может соответствовать какому-либо «двойнику» главной частоты; например, если наблюдаемый ряд описывает уровни моря, измеряемые ежедневно в полдень, то наблюдаемый спектр F^ (А) будет иметь заметный пик на низких частотах, обусловленный приливно-отливными явлениями; в самом деле, приливы могут иметь период порядка 12 ч 25 мин, что при единице времени 1 день и А = = 1 дает пик, приходящийся на угловую частоту 48л/12,416 = = 4л — 0,041, которая, следовательно, наложится на частоту 0,041.

Если мы рассмотрим процесс х^ (п) = х (Дп), то, согласно теореме 2,

л/Д

^ (72) = j ^-iXAnz(A) ^^

—л/Д где

Z(A)(X)=2 {Z(X + ^L)-Z(^^)} ,

так что

Е (z<A> (X) 2<д> (X)*} = Е(А) (X).

Как отмечалось в § 1, можно было бы сразу начать с процесса х (п), наблюдаемого в дискретные моменты времени, промежуток между которыми для простоты считается равным единице.

Теорема 1". Пусть Г (jn, п) = Г (п — т) — ковариационная функция векторного стационарного процесса второго порядка с дискретным временем; тогда

Г (и) = j e^F (cZX) = j {cos nX C (cZX) + sin nX Q (dX)}, - л0

где F (X), С (X) и Q (X) такие же, как указано в теореме 1, за исключением того, что F (—л) = 0.

Доказательство этой теоремы в основном повторяет доказательство теоремы 1. Мы заменяем х (тг) на ха (п) = а*х (п), где а — произвольный комплексный вектор, доказываем, что уа (Д) = = а*Г (п) а —неотрицательно определенная последовательность, т. е.

2 2 PjPkYa (nj nh)^0

для любых комплексных чисел Р; и любых N целых чисел nj, а затем строим функцию

N.. .

rt"'(1)42,.w^(i^).

-К

где слагаемое, отвечающее п = 0, равно уа (0) (л + Х). Далее мы показываем, что F^ (X) не убывает, F^ (— л) = 0, /^ (л) =уа (0), и замечаем, что

ЛI 0,\n\>N.

Правая часть при N ->■ оо сходится к уа (п) для любого п. Так как мы имеем дело с последовательностью функций распределе-

ния r) F^ (А) на конечном интервале, а функции ехр гпХ плотны (в смысле равномерной сходимости) в пространстве всех непрерывных функций на (—л, л], то F^ (А,) сходится в каждой точке непрерывности к функции распределения Fa (А) с коэффициентами Фурье Та (я) (см. Биллингслей [1968], теоремы 1.3 и 2.1). Функция Fa (А) определяется однозначно, если мы потребуем, чтобы она была непрерывна справа. Дальнейшее доказательство не отличается от соответствующей части доказательства теоремы 1, в частности С (А,) и Q (А) определяются так же, как прежде.

Теорема 2". Если х (п) — векторный стационарный процесс второго порядка с дискретным временем, то

х (п) j е-1^^ (dX) — j {cos пХ £ (dX) + sin nX ц ^dX^, —л0

где z (A,), § (А,), ц (A,) — векторные процессы с ортогональными приращениями на (—л, л], имеющие такие же ковариационные свойства, что и соответствующие процессы из теорем 2 и 4.

Доказательство этой теоремы, аналогичное доказательству теоремы 2, дано в п. 1 приложения к этой главе.

Теорема 3". Для любых точек А2 > М непрерывности F (А) имеем

N. „. „

dр-гпЛ2Р— г^м

F М - F Ы - lim £ Г W,

4pinkspinki

z (Х2) — z (ХО = 1л лп.^й’

°° -N

где символ 2 ' означает, что при п = 0 в первой формуле мы берем слагаемое (А,2 — А^) Г (0), а во второй (А,2 — Aq) х (0).

Доказательство помещено в п. 3 приложения к этой главе. Разумеется, 1. i. m. имеет тот же смысл, что и в теореме 3.

Нет необходимости останавливаться здесь на физической интерпретации этих теорем, поскольку она уже дана для случая непрерывного времени; единственное отличие состоит в том, что спектр теперь ограничивается отрезком [—л, л].

Помимо рассмотренного способа дискретизации процесса х (/) существуют и другие, и ради полноты мы скажем о них несколько слов, хотя они, по-видимому, не столь важны с точки зрения прпло- жений. Пожалуй, наиболее часто встречающейся представляется «периодическая выборка с возмущениями», рассмотренная в работе Шапиро и Спльвермена [1960]. Предположим, что наблюдения производятся в моменты п + ип, где ип — независимые одинаково распределенные случайные величины, причем дисперсия ип сравнительно мала. Это соответствует ситуации, когда возмущения в некотором измерительном устройстве приводят к тому, что наблюдения производятся в моменты времени, слегка отличающиеся от намеченных. Полагая

у (и) = х <п + ип), легко получаем, что

Г(п) = Е(у(?п)/(т + п)) = j T(n + u}P^dii),

где Р — распределение величины ит+п — ит. Таким образом, у (п)— стационарная последовательность. Последний интеграл есть

J J еН^кр (dk^ Р (du^ = j в^|ф(Х)|2^0л), — ОО — ОО—ОО

где ф (X) — характеристическая функция ип. Это равно

e^F ^,

— л

где

F W = § [| Ф (Ы- 2л/) I2/1 (Х + 2л/)-1 Ф ((2/-1) л) |2F ((2/- 1) л)].

Функция F — это наибольшее, что мы можем получить из наблюдений у (п). В случае когда F (X) является постоянной вне интервала [—л, л], мы, очевидно, можем найти F (X) по F (к) при условии, что известно Р, а следовательно, и ср. В противном случае при интерпретации наблюдаемого спектра следует соблюдать осторожность.

Шапиро и Сильвермен [1960] рассмотрели также случай, когда наблюдения производятся в точках tni где (tn — tn_t) — независимые одинаково распределенные (неотрицательные) величины (иначе говоря, tn является реализацией процесса восстановления) с характеристической функцией, которую мы вновь обозначим ф (X). Теперь,

полагая у (п) = х (Д^ имеем

где Р{П) — функция распределения величины tn — t0. Как и раньше, получаем

Г(п)= J ф"(Х) F(dk), п^О,(3.5)

так что у (п) — также стационарная последовательность.

Зададимся теперь вопросом: может ли быть так, что последовательность Г (тг), содержащая в себе всю информацию, основанную на свойствах второго порядка, однозначно определяет функцию F (X) (подчиненную обычным условиям нормировки). Другими словами, можно ли избавиться от наложения частот, используя описанный способ выборки и подбирая надлежащим образом ф (X). Ответ дается теоремой 5, принадлежащей Шапиро и Сильвермену [1960], доказательство которой мы опускаем.

Теорема 5. Для того чтобы спектральная функция F (X) однозначно определялась по функции (3.5), достаточноs чтобы для любых двух точек (Zj, Х2): ^i ^ ^2, ^1> ^2 6 (—оо, °°), выполнялось условие ф (Xj) ^ ф (Х2) (т. е. чтобы ф (X) была унивалентна на (—оо, оо)).

Представляет интерес случай, когда 1п порождаются пуассоновским процессом с интенсивностью появления событий ц. Тогда Ф (X) = (1 + Шр)-1, и достаточное условие теоремы 5, очевидно, выполняется. В этом пуассоновском случае утверждение теоремы легко доказать непосредственно т); в самом деле, полагая для простоты обозначений ц = 1, мы видим, что множество А комплексных линейных комбинаций функций вида (1 + гХуи, п = 0, 1, . . ., является не только линейным пространством над полем комплексных чисел, но и алгеброй, т. е. произведение двух таких комплексных комбинаций вновь является комплексной линейной комбинацией функций (1 ± 1Хуи. В самом деле, (1 + IX)-1 (1 — ZX)-1 — = т/2 ((1 + iX)"1 + (1 — ZX)-1), откуда и следует высказанное утверждение. Таким образом, А является алгеброй непрерывных функций, обращающихся в нуль па бесконечности, замкнутой относительно комплексного сопряжения и обладающей тем свойством, что для любых двух точек Xt ^Х2 найдется элемент А, принимающий в них различные значения. Тогда (см. Иосида [1965], стр. 20) алгебра А плотна в смысле равномерной сходимости в пространстве С (— оо, оо)

г) Этот результат не понадобится в дальнейшем, и читатель может опустить доказательство.

всех непрерывных функций, обращающихся в пуль на бесконечности. Таким образом, если бы Г (п) не определяла однозначно F (dk} и существовали бы две разные функции, удовлетворяющие условию (3.5), то для матричнозначной функции М, которая равна разности этих функций, мы имели бы

j фп (X) М ^ = J ^^ЩМ W = 0, п>0, и из только что сказанного следовало бы, что

j а (X) М (dk) = 0, ct^C(— ос, ос).

Однако это возможно лишь в случае, если М (dk) = 0 (Иосида [1965], стр. 170), так что единственность доказана.

Мы не будем рассматривать здесь проблему явного выражения F через у (п). Практическая ценность такого результата не ясна. Если имеется в виду планируемая выборка, то описанная выше процедура представляется несколько громоздкой и использование периодической выборки с очень малым интервалом выборки может оказаться более предпочтительным. Как видно из формул (3.3) и (3.4), для абсолютно непрерывной F (к) это будет эффективным средством избежать наложения частот (с (X) и q (к) очень малы при больших к").

Может встретиться и другая разновидность дискретизации: «периодическая неравномерная выборка» (Фримен [1965], стр. 77), когда моменты выборки имеют вид tj + п&, j = 1, . . ., N, n = = 0, ±1, . . ., где 0 ^ tj < А. Такого рода выборки возникают, например, в связи с некоторыми типами рынков, которые бывают открыты в какие-либо N нерегулярно выбранных дней в течение торгового периода (недели, месяца, года) 1). Мы можем найти тогда Г (тгА + tj — ^); /, к = 1, . ... N. Достаточно рассмотреть лишь множество У таких пар (/, к^ для которых разности (tj — t^) отличаются друг от друга на величины, не кратные А. Любая пара (tni t0^ для которой tn — t0 отличается от разности, соответствующей какой- либо паре из У. на к^ очевидно, не несет новой информации. Занумеруем пары (/, &) из У индексом т, пробегающим значения от 1 до М, и обозначим через рт значение m-й разности tj — t^. Легко видеть, что М ^ N; рассматривая для простоты скалярный абсолютно непрерывный случай, получаем

Л/Аоо

Т(пД + /)т)= j е"^ 2 ехР [г>т(^+^")]/(^ + ^")^> — л/Аи= — оо

т — 1, ..., М.

х) Примером может служить заключение фыочурсных сделок по шерсти в Австралии.

Чтобы разобраться в возникающем здесь наложении частот, предположим, что / (X) равна нулю вне интервала [—Мл/Д, Мл/Д]. Тогда мы можем наблюдать функции

[М/2]

2 ехр[грт ^+^^ЦХ+^-^ ,т=1,...,М,

[1/2(М+1)]"

где Ы — наибольшее целое, не превосходящее х. Это приводит к системе из М уравнений для М величин / (X + 2лы/Д), и = — Р/2 (М + 1)], . . ., Р/2М], с определителем, который на пересечении m-й строки и zz-ro столбца имеет элемент ехр^1рт (% + 2лгz/Д)}. Легко видеть, что такой определитель равен выражению

м м

П. п. ^г2лр^/А ^г2лруД|

ти=1l>h^l

которое по предположению не равно нулю. Таким образом, мы оказываемся в той же ситуации, как если бы наблюдения производились через равные промежутки Д/М, хотя фактически точки наблюдений отстоят друг от друга в среднем на Д/TV. Если tj расположены очень нерегулярно, то можно ожидать, что М велико по сравнению с N, и этот способ выборки в значительно большей мере способствует устранению наложения частот, чем чисто периодическая выборка. Это дает интуитивное объяснение явлению, которое было обнаружено выше для выборки, соответствующей пуассоновскому процессу.

ЛИНЕЙНЫЕ ФИЛЬТРЫ

Прежде чем приступить к изучению линейных фильтров, мы хотим ввести некоторые понятия, связанные с определением интегралов по неограниченному интервалу. Более полно эти понятия обсуждаются в математическом приложении. Так, в скалярном случае мы будем иметь дело с выражениями (преобразованиями Фурье)

f oc(t)eUKdt.(4.1)

Если | a (Z)i интегрируема, то его можно рассматривать как интеграл Лебега. Однако для нас более важен другой случай (не охватывающий полностью только что отмеченный), когда (4.1) определяется как предел при Т -> оо в среднеквадратичном с весом F (dX) (или,, коротко, (^-среднеквадратичный предел) интегралов

т

ос (^) еих dt,

-т

существование которых предполагается для всех 0 ^ Т < оо. Таким образом, мы рассматриваем случай, когда функция от X, определяемая выражением (4.1), удовлетворяет соотношению

т

limlimсс (Г) eitl dt — j сс (Z) еих dt |2 F (dX^ 0.— T

lim

lim

Это выполняется тогда и только тогда, когда

ТS

8, Т-*оо8, Т-*оо^ сс (/) еих dt— ^ и (С) еих dt |2 F (dX) = 0.

8, Т-*оо

8, Т-*оо

-Т-Т-8

-Т

-Т

Аналогично можно определить интегралы типа

j eitxm (df)

(преобразование Фурье — Стилтьеса), где пг — функция, имеющая ограниченную вариацию на любом конечном подинтервале (— оо, оо). В векторном случае поступим следующим образом. Сначала введем обозначение

для матрицы интегралов, типичный элемент которой имеет вид

2 f W Phi(dk).

Мы рассматриваем только тот случай, когда F (X) имеет эрмитовы неотрицательные приращения; будем говорить, что X (X) (^-квадратично интегрируема (или принадлежит L2 (F^, если

Тг | J Xp)F^dK)X*p^ < оо.

Теперь определим

j A^e^dt. j e^M^dt^(4.2)

подобно тому как это было сделано выше. Именно, если для

ТS

Xs .тР^ ( А р е«к dt- (Л (0 е«^ dt

-Т-S

имеет место соотношение

^Иш Тг | j Xs, T(X)F(dX)X^ Г(Л)| -О,

то мы будем говорить, что первый из интегралов (4.2) есть (^-среднеквадратичный предел выражений

т

A (Z) eitKdt.

-т

Второй интеграл (4.2) определяется аналогично.

Всюду в этом параграфе мы используем именно такие определения преобразований Фурье (или Фурье — Стилтьеса) функций a (Z), A (Z), m (Z) и М (£) и рассматриваем только такие функции, для которых преобразование Фурье (Фурье — Стилтьеса) в этом смысле существует. В этом параграфе процесс х (£) стационарный второго порядка.

Сейчас мы хотим рассмотреть некоторые (специальные) линейные операторы, которые преобразуют исходный векторный стационарный процесс в другой. Такие операторы называются линейными фильтрами. Мы начнем с наиболее важных примеров фильтров, а затем перейдем к более общему рассмотрению, которое будет продолжено в § И этой главы. Многие конкретные примеры фильтров приводятся в этой главе и гл. III.

Интегральные операторы

Рассмотрим сначала операцию, которая преобразует х (t) в

A (s) х (t — s) ds,

где функция A (s) такова, что интеграл

h(X) = j A^e^dt

существует в определенном выше среднеквадратичном смысле. Более общим образом, мы можем рассмотреть

y(t)^ М (ds) х (t — s),

где y(t) — вектор с компонентами

Хи (t — s) mju (ds),

k —oo

а М (s)— матрица функций, имеющих ограниченную вариацию на каждом конечном интервале, такая, что

h,(kV J e^VI(ds)

существует в смысле определенной выше среднеквадратичной сходимости относительно F.

Теорема 6. Для того чтобы случайный процесс у (t) был корректно определен как среднеквадратичный предел интегралов по конечным промежуткам, необходимо и достаточно, чтобы h (X) существовала как (Р)-среднеквад ратичный предел. Если это- выполнено, то у (t) стационарен и имеет ковариационную функцию

Гу^ =е^ЦХ^^ЦХ)*.

Доказательство. Типичная компонента вектора y(t) имеет вид

2 | xh(t—s)mjk(ds),

поэтому мы должны рассмотреть среднеквадратичную сходимость интегралов

ь

xk (Z — s) mjk (ds)

при а, Ъ -> оо. Согласно теореме 3 гл. I, необходимым и достаточным условием среднеквадратичной сходимости является существование интеграла

j j ^к (и — и) mjk (du) mjk (du);

но

ъъ— a— a^k(u — v) mjk (du) mjk^k(u — v) mjk (du) mjk(du) = ^ ^ ei(u-v)>„pk ^^ m.h ^u^ m.k ^v^ _(du) = ^ ^ ei(u-v)>„pk ^^ m.h ^u^ m.k ^v^ _е^т^ие^т^и(du) |2^(^),(du) |2^(^),

ъ

ъ

— a

— a

^k(u — v) mjk (du) mjk

^k(u — v) mjk (du) mjk

(du) = ^ ^ ei(u-v)>„pk ^^ m.h ^u^ m.k ^v^ _

(du) = ^ ^ ei(u-v)>„pk ^^ m.h ^u^ m.k ^v^ _

е^т^и

е^т^и

(du) |2^(^),

(du) |2^(^),

так что для среднеквадратичной сходимости необходимо и достаточно, чтобы функция hjk (К) существовала как (/^-среднеквадратичный

предел. Это условие выполняется для всех /, к тогда и только тогда, когда второй интеграл (4.2) существует как (^-среднеквадратичный предел. Ковариационная функция равна

Г^ — s) = Е (# (s) у {t}'} j j М {du} Е {х {s — u} х’ {t — v}} М' {dv}

= f j М (du) [ ei(t-s+«-T)kF (<&) M’ (dv) - = J e^-sNi(X)F(dk)h(X)*,

откуда видно, что у {t} — стационарная последовательность, имеющая указанный спектр, и теорема доказана.

Таким образом, действие фильтра очень просто описывается в спектральных терминах. Это в особенности относится к скалярному абсолютно непрерывному случаю, когда / (X) заменяется просто на | h {X} |2/(Х). В векторном абсолютно непрерывном случае f {X} переходит в h {X) f {X) h (X)*. Ситуация, в которой

У (О = 3 Akx(t — th),

У^- j М(ds)У^- j М(ds)охватывается случаем, когда М {1} возрастает только скачком, так как Ак можно считать величиной скачка функции М {1} в точке tk. В случае когда М {t} абсолютно непрерывна и М {ds} можно записать как A{s}ds, функцию А($) иногда называют матричной импульсной переходной функцией фильтра, ибо если вместо х {t} в формуле для у {t} подставить импульсную функцию (т. е. дельта-функцию с особенностью в начале координат; см. § 3 математического приложения), то на выходе будет именно A {t}. Функция h {X} называется матричной частотной характеристикой фильтра. Смысл термина «частотная характеристика» станет более попятным, если рассмотреть спектральное представление процесса у {t}. В общем случае имеем )

У^- j М(ds)

У^- j М(ds)

е-гГк { j eis>^ (ds} | z {dX} =

= j e-^h(X)x(dX).

Таким образом, процесс с ортогональными приращениями, отвечающий у (Z), получается из соответствующего процесса для х (£) просто умножением компоненты, отвечающей (произвольной) частоте X, на частотную характеристику К (X).

(Н) Дифференциальные операторы

Рассмотрим теперь операторы вида

о

где Ак — матрицы. Предположим, что

Tr { J W(dX)} <оо.(4.3)

Положим теперь

(4.4) О

Теорема 7. Для того чтобы х (ф) был р раз среднеквадратично дифференцируем, необходимо и достаточно, чтобы выполнялось условие (4.3). В этом случае процесс

у W — 2 dt^ х о

является стационарным и имеет ковариационную функцию

Гу (О- J e^h^F^h^*,

где h (X) определяется соотношением (4.4).

Согласно теореме 2 гл. I, необходимым и достаточным условием среднеквадратичной дифференцируемости в стационарном скалярном случае является существование предела

61,62-^06i62

= lim ( (S^)-1^62”61^ —£“’б1Х—gi62X _|_. П/г (^) _ 6t,62->0

- lim f d^1 (е*^—1) 6'1 (е^—1) 7? (dX).

61, 62->0 J

Подынтегральное выражение оценивается по абсолютной величине как

поэтому, в силу мажорированной сходимости), условие является достаточным. С другой стороны, полагая di = д2, получаем

lim ( 46- sin2 № F (dM = lira Т ^46? ^W> 6->о6->0 v /2ОЛ)

—a-a

также в силу мажорированной сходимости. Таким образом, если условие теоремы не выполнено, то указанного предела не существует и не выполняется необходимое условие среднеквадратичной дифференцируемости процесса х (fy. По индукции получаем, что в стационарном скалярном случае условие (4.3) необходимо и достаточно для существования /?-й производной. Обобщение на векторный случай очевидно.

Если теперь х ^ среднеквадратично дифференцируем р раз, то, согласно теореме 2 гл. I,

р

E(^)ym=2^(/c)E{(^2N(^ о

р

z=o

Это равно

j е^-^ A (k)№y(-ik)hF(dk)A(lY = j e^-^h^F^h^*.

-ООh, Z = 0- oo

Появление множителя (— 1^ в члене (— i)k kh можно объяснить, обратившись к спектральному представлению, так как в нашем случае 2)

(Ш) в случае дискретного времени общее уравнение фильтра имеет вид

#(^)=S А(т)х(п — ту(4.5)

Частотная характеристика, равная

h (X) = ^ A (m) 5imX,описывает действие фильтра по формулам1)

z/ (я) = j e-inKh (X) г (dky- л

Гу (тг) - j e^h, (X) F pF) h (X)*.— Л

Теорема 8. Для того чтобы ряд (4.5) сходился в среднеквадратичном, необходимо и достаточно, чтобы Тг Гу (0) < оо. При указанном условии у (/г) будет стационарным процессом с описанными выше ковариационной функцией и спектральным разложением.

Мы опускаем доказательство, которое аналогично доказательству теорем 6 и 7 (но проще).

В случае F (dk) = clp dk, где с — постоянная, условие последней теоремы принимает вид

2 А (п) А (п)* < оо, что равносильно условию

2 Л (та) II < оо,

где || Л || — норма матрицы А, в качестве которой (см. математическое приложение) можно взять положительное значение квадратного корня из наибольшего собственного значения матрицы А А *.

(iv) Удобно ввести обозначение у ^ = Ах (1} для осуществляемой фильтром операции преобразования x(f) в у (ty В частности, А может быть любым из рассмотренных выше фильтров.

Довольно очевидно, что если мы заменим х (t) на и (t) = Ах (ty а и ^ на у ^ = Ви (фу где А и В — линейные фильтры, то

h^P^h™ Р) (X),

где индексы указывают, к какому фильтру относится частотная характеристика. В частности, в скалярном случае все линейные фильтры коммутируют. В любом случае вычисление переходной функции произведения фильтров может быть сведено к вычислению переходных функций сомножителей. Это довольно тривиальное замечание имеет важное практическое значение.

Не все линейные фильтры являются фильтрами описанного выше типа. Конечно, сразу возникает вопрос: «А что такое линейный фильтр?» Один из возможных ответов: «Фильтр есть операция, которая преобразует процесс )

x<t^ = j e-^F^

в процесс

где Л (Л) удовлетворяет условию

j h (Л) F (dh) h (X)* < оо».

Ниже мы дадим другое определение, но пока остановимся на этом. Оно действительно охватывает все ранее рассмотренные случаи. В следующей главе мы приведем примеры фильтров в смысле этого определения, не являющихся фильтрами типов (i), (ii) или (iii).

В связи с данным определением возникает следующий вопрос. Пусть х (Z) и у ^ совместно стационарны, так что векторный процесс, объединяющий все компоненты х (Z) и у (Z), является стационарным. Обозначим через Fx (X) матричную спектральную функцию для х (t), через Fy (X) — для у (Z), а через Fxy (X) — матричную взаимную спектральную функцию, так что (/, /с)-элементом матрицы Fxy является взаимная спектральная функция процессов Xj (Z) и ук (^). Имеет место следующая теорема (Розанов [19631):

Теорема 9. Пусть х ^ и у (£) совместно стационарны. Для того чтобы у (£) мог быть получен из х (Z) с помоьцью фильтра с частотной характеристикой h (X), необходимо и достаточно, чтобы

Fy (X) - h (X) Fx (X) h (X)*,

FXy (X) = Fx (X) h (X)*.

Доказательство несложно, и мы поместили его в приложении к этой главе.

Данное выше определение фильтра представляется не вполне удовлетворительным в первую очередь потому, что предпочтительнее было бы определение, позволяющее, по крайней мере принципиально, описать фильтр в терминах его действия на сам процесс х (£), не обращаясь к рассмотрению спектра. Было бы желательно затем доказать, что линейный фильтр полностью описывается своей частотной характеристикой. Во-вторых, это определение не обобщается на нелинейный случай, так как нелинейные фильтры не описываются частотными характеристиками ). Более подходящим является, по-видимому, следующее определение. Рассмотрим произвольную случайную величину х, которая является линейной комбинацией величин x^ (Zj, х^ ^t^ . . ., Х3 (t^. [Символом U ^ х мы обозначаем такую же линейную комбинацию величин х^х (^ + Z), . . . . . ., X) (tn + Z). Предположим, что случайные величины Ах и AU (t) х корректно определены как пределы (в среднеквадратичном) указанных линейных комбинаций, что А линеен относительно х3 (tj^ и потребуем, чтобы AU (t^ х = U (t) Ах для всех указанных х и t. Такой оператор А и будем называть фильтром. Мы обсудим подобные операторы в § 11. (Материал §11 является более сложным и не понадобится нам в дальнейшем.) Мы покажем, что такой оператор А действительно задает фильтр в определенном ранее смысле и, сверх того, что новое определение обобщается на нелинейный случай. Согласно этому определению, фильтром (линейным или нет) является оператор, инвариантный относительно временных сдвигов, который преобразует (возможно, ненаблюдаемый) процесс х (Z) в наблюдаемый процесс z/ (Z). Впрочем, далее в этой книге (за исключением §11 этой главы) мы будем работать с более простым определением, которое использовалось в теореме 9.

Обсудим теперь физический смысл понятия фильтра. Конечно, мы уже затронули один из его аспектов, когда охарактеризовали фильтр как оператор, инвариантный относительно временных сдвигов. Теперь, однако, мы хотим описать его действие на спектр. Рассмотрим сначала скалярный случай. Мы полагаем

h (X) = | h (X) | е^

и называем [ Л (X) | коэффициентом усиления, а 9 (X) — фазой фильтра. Мы видели, что в скалярном абсолютно непрерывном случае fx (X) преобразуется в | h (X) |2 fx (X) = /у (X). В этом аспекте действие фильтра описывается изменением амплитуды компоненты, отвечающей частоте X. Частоты, для которых коэффициент усиления относительно мал, становятся несущественными («подавляются»). Таким образом, выбирая подходящий фильтр, мы можем выделить нужные нам частоты. Если коэффициент усиления заметно отличен от нуля только на некотором интервале частот, то фильтр иногда

называется «полосовым» (band-pass), т. е. таким, который в основном пропускает только определенную полосу частот. В соответствии с расположением этого интервала (интервалов) фильтр называется «низкочастотным», «среднечастотным» или «высокочастотным».

Если процессы у ^ = Ах (() и х ^ одномерны, то коэффициент когерентности между этими процессами, очевидно, равен единице, каков бы ни был фильтр А. Однако взаимный спектр, очевидно, равен 1г (X) F (dXy так что сдвиг фазы на частоте X есть 6 (X).

Математически простейшим является случай, когда 6 (X) = Хт. Очевидно, такую фазу имеет фильтр х (Z) -> х (t — т). Если 0 (X) — гладкая функция в окрестности точки Хо, то можно положить

0 (X) 0 (Хо) + (X - Хо) 0' (Хо) - а + Х0' (Хо),

так что в отношении фазы действие фильтра локально эквивалентнопоследовательному действию фильтров со спектральными характеристиками ехр га и exp 1X9' (Хо). Величина 0' (Хо) называется иногда групповой задержкой. Ее можно рассматривать как величину задержки, которой подвергается компонента, проходящая через узкий диапазон частот вблизи Хо.

В векторном случае можно положить (Халмош [1947], стр. 227) h (X) = k (X) р (X),

где р (X) — эрмитова неотрицательная матрица, а к (X) действует как изометрическое отображение из ^-мерного векторного пространства векторов х ^ в ^-мерное пространство, в котором лежит у (£) = — Ах ^ty Изометричность к означает, что для любого х вектор к (X) х имеет ту же длину, что и х. Матрица р (X) определена однозначно как (неотрицательный) квадратный корень из h* (X) к (X), тогда как матрица к (X) однозначно определяется на области значений р (X) соотношением к (X) у = к (А) х, у — р (X) х, и может быть выбрана произвольно (но так, чтобы она оставалась изометрической) на ортогональном дополнении. Естественно назвать р (X) коэффициентом усиления фильтра. В абсолютно непрерывном случае спектральная плотность выходного процесса получается из

р (X) / (X) р (X)*

воздействием фильтра со спектральной характеристикой к (X); так как выбором подходящего базиса в пространствах компонент на частоте X для процессов х и у матрицу к (X) можно привести к диагональному виду, причем диагональные элементы будут либо равны нулю, либо по модулю равны единице, то мы видим, что фильтр со спектральной характеристикой к (X) воздействует лишь на фазы компонент. Это оправдывает термин «коэффициент усиления» применительно к р (Ху

НЕКОТОРЫЕ СПЕЦИАЛЬНЫЕ МОДЕЛИ

Теперь мы рассмотрим некоторые специальные модели и соответствующие им спектры.

Если х (/г) — последовательность некоррелированных случайных векторов, т. е.

Е (х (п) х* И") = Г (0) 6™,(5.1)

то, очевидно, F (dX) = (2л)-1 Г (0) dX. Спектр в этом случае называется равномерным, так как все частоты одинаково существенны. Как уже говорилось выше, используется также термин «белый шум», по аналогии с белым светом, для которого все интервалы видимого спектра равноправны.

Если

ж(п) = ^ л (7)8(ге —7"), 2 1М(7)||2<°°,(5.2)

где £ (тг) такое же, как в (i), то, согласно результатам § 4,

=( 2 Л 0) е^ Г (°) ( 2 А* •(5.3)

Такой процесс х (м) определен корректно как предел в среднеквадратичном, ибо диагональные элементы /х (X) интегрируемы (относительно dXY

С другой стороны, если нам дан процесс х (п?) с абсолютно непрерывным спектром и спектральной плотностью fx (X), то мы всегда можем найти функцию Vf W> значениями которой являются эрмитовы (неотрицательно определенные) матрицы, такую, что

УШ)-

Тогда каждый элемент матрицы ]//(Z) квадратично интегрируем и может быть разложен в ряд Фурье, сходящийся в среднеквадратичном (относительно dXY Поэтому

где

л (/) = -^ ( УШУ^ах.

у 2л

Отсюда вытекает (доказательство см. в п. 5 приложения к этой главе), что

£(re) = S Л (/)е(и —/), § || АЦ) ||2 < <х>, (5.4)

где £ (zz) такое же, как в (i), причем Г (0) = 1Р. Таким образом, класс процессов вида (5.4) совпадает с классом стационарных процессов с абсолютно непрерывным спектром.

Мы увидим в гл. III (см. также пример (iii) из этого параграфа), что если такой процесс х (zz) не является безошибочно (линейно) прогнозируемым по своему прошлому, то «скользящее среднее» (5.4) будет односторонним, т. е. )

;г(п) = 2Л(/)ф-))' (5.5) и

В случае скалярных величин ж (zz) и е (zz) будем писать а; вместо А У)* тогда соотношение (5.5) может быть интерпретировано так же, как в примере (iv) из § 3 гл. I. Последовательность 8 (zz — 7) а0, 8 (п — /) аь £ (zz — 7) а2, . . . следует рассматривать как протяженный во времени импульс, испускаемый в момент (zz — 7). Форма импульса определяется последовательностью а7-, а случайная величина £ (zz — 7) определяет его амплитуду (и знак). Наблюдаемая величина х ^ является суперпозицией всех импульсов, испускаемых во все моменты времени вплоть до zz.

Местами вид последовательности х (п) не будет сильно отличаться от вида последовательности а7- (или —а7-), так как иногда будут попадаться очень большие значения 8 (zz — 7), следующие за малыми и предшествующие малым значениям. Если, в частности, а5 образуют слабо затухающую осциллирующую последовательность, то график х (zz) может местами обнаруживать регулярное поведение, близкое к синусоидальному, однако амплитуда и фаза колебания, конечно, будут меняться от промежутка к промежутку, по мере того как доминирующий импульс, возникший в какой-то момент времени, будет постепенно затухать до исчезновения и уступать место другой волне. В этом случае, когда последовательность а у напоминает затухающую синусоиду, абсолютная величина выражения ^ a; exp (z/X), естественно, будет велика вблизи частоты этой синусоиды, и значительная часть дисперсии х (п) будет обусловлена близкими к ней частотами. Этот пример показывает, какое место занимает спектр в объяснении структуры временного ряда.

Рассмотрим далее случай, когда спектр процесса с дискретным временем абсолютно непрерывен и

q

г^ = гч-П, г(9)^о,

-q

е. / (X) — тригонометрический многочлен.

Рассмотрим сначала скалярный случай. Пусть

q

-q

Это выражение имеет 2g корней (с учетом их кратности). Пусть ^ — корень, не равный по модулю единице. Тогда

qq

-q— q

так что ^h1 также является корнем. Пусть существует r^ q таких пар корней (с учетом их кратности). Тогда имеется 2s = 2q — 2r корней, равных по модулю единице, которые мы обозначим ехр /б;, / = 1, . . ., 2s. Имеем

г2s

/^ = ^е’^ п 1^-^ И-^1) П (еа-^^ =

11

тг2s

= Ц(^-^) (e-^-Q {^ЦСЧьГ^-^ПИ-^Ь

откуда следует, что выражение в фигурных скобках вещественно и неотрицательно. Поэтому корни 6; должны быть попарно равны, так как из того, что выражение в скобках неотрицательно и обращается в нуль при X = 6;, следует, что его производная при X = 0; обращается в нуль. Занумеруем теперь половину корней 9; индексами от 1 до s, так чтобы в занумерованные попало по одному корню из каждой пары, и положим ^+r = exp i9ft, k = 1, . . ., s. Тогда

। qq

/ W = ^1II (еа - ^) Г = ^Г I 2 “ w е^1 ,(5.6)

1о

где

ТS

а(^)2^у(^) П (-^ПС-^) >°-

Поскольку / (X) — четная функция, комплексные корни £/г появляются сопряженными парами, так что если в число корней, зануме-

рованных от 1 до q, вместе с £fe попадает и ^к, то коэффициенты а (/) вещественны. Таким образом, мы доказали основную часть следующей теоремы, принадлежащей Фейеру и Риссу (см. Ахиезер [1965]):

Теорема 10. Если

-q

то / (X) можно представить в виде (5.6). Если у (/) = у (—/), т. е. / (X) — четная функция от X, то а (/) можно выбрать вещественными. Каноническое представление вида (5.6) можно получить, выбирая а (0) вещественным, а корни ^ лежащими на или вне единичной окружности. В этом случае а (/) обязательно вещественны для четной / (X).

В доказательстве нуждаются только последние два утверждения. Очевидно, если | £7- | ^1, то мы можем поменять ролями С; и ^J1, поэтому можно считать, что | ^ | ^ 1. Выбирая сс (0) вещественным, мы устраняем неоднозначность в определении У а (/) exp (Z/X), связанную с выбором постоянного множителя, равного по модулю единице. Теперь очевидно, что такое представление единственно. Очевидно также, что вместе с корнем ^ для 3 а (/) ^ должен быть выбран и корень £7-, откуда следует, что а (/) обязательно вещественны.

Более общим является случай, когда / (X) есть отношение тригонометрических многочленов, т. е. рациональная функция. Имеем

р(^х) е

2л g

Мы можем сократить все множители, общие для числителя и знаменателя; если это сделано, то

р ^е^ ^ 0, q ^е^ > 0, X £ [—л, л].(5.7)

Поэтому и числитель, и знаменатель можно факторизовать только что описанным способом, так что

где и — отношение многочленов от exp ik. В частности, функцию и ^ можно выбрать так, чтобы она была голоморфной в замкнутом единичном круге и не имела нулей внутри него, ибо мы можем найти такую каноническую факторизацию для числителя, а для знаменателя, в силу (5.7), можно найти канонический множитель, не обращающийся в нуль в единичном круге вместе с границей.

Следуя Розанову [1963], рассмотрим теперь векторный случай. Предположим сначала, что определитель / (X) не равен тождественно

нулю. Кроме того, проще начать со случая, когда элементами / (X) являются тригонометрические рациональные выражения. Обозначим через W (У матричную функцию, которая получится, если в выражении для / (X) заменить exp IX на £. Нетрудно доказать, что найдется матричная функция Н (У, элементы которой являются рациональными функциями £, такая, что

W^=H^D^H^

где D (У диагональна, а Н получается из Н транспонированием, переходом к комплексно сопряженным коэффициентам и заменой £ на £“1. В самом деле, все, кроме первого, элементы первого столбца матрицы W (£) можно обратить в пуль, умножая W (У слева на матрицу Н"1 (£), у которой на главной диагонали стоят единицы, в первом столбце — элементы вида —wn (£)-1 w^j (Q (/ > 1), а на остальных местах — нули т).

Определитель матрицы И'1 равен единице, поэтому матрица HY имеет такую же структуру. Очевидно, умножение справа на Н^1 приводит к аналогичному преобразованию первой строки. Далее доказательство может быть завершено по индукции. Каждый из диагональных элементов матрицы D (£) в отдельности имеет тот же вид, что и в скалярном случае; следовательно, D (9 допускает факторизацию D = UU, где U — диагональная матрица, элементы которой являются рациональными функциями от ^ голоморфными в единичном круге. Мы можем подобрать скалярную функцию с (Q так, чтобы с (У Н (У также обладала этим свойством (в качестве с можно взять произведение всех линейных множителей из знаменателей элементов Н, которые обращаются в пуль в единичном круге). Тогда с (У с (У также вещественна и неотрицательна на единичной окружности и, следовательно, с (£) с (Q = b ^ Ъ (У, где b (У — многочлен от £, не имеющий корней внутри единичного круга. Имеем

W q = (с С) Н b (^ и о Ф (0 b (^ Н (D с О = А (О А (О, где А (£) голоморфна в единичном круге и состоит из рациональных функций от £.

Теперь остановимся на случае, когда элементами / (X) являются тригонометрические многочлены

/W=^-V Г (у)е-^.

-Q

Мы можем считать, что в факторизации W (£) = А ^А (У матрица А (0) певырожденна, так как любой множитель £ из с (У или U (£) можно сократить с множителем £-1 из с (С), U (у. Разлагая теперь

х) Элемент ши (У не может равняться нулю, так как / (А) и. в. положительно определенна.

элементы А (£) в степенной ряд, сходящийся в единичном круге, мы видим, что если матрица коэффициентов Aj при / > q не равна нулю, то А (?) А (?) имеет при ? = О полюс порядка выше q. Так как это, очевидно, невозможно, то

9qq

4s 2{2{ 2■

-q00

Покажем теперь, как можно получить каноническую факторизацию. Пусть ^ — корень определителя А (?), лежащий внутри единичного круга. Тогда (Макдаффи [1956], стр. 78) можно найти унитарные матрицы Щ, Fi, такие, что VtA (?i) ^ будет диагональной матрицей, в которой первые г4 диагональных элементов, и только они, равны нулю. Введем теперь диагональную матрицу А4 (У, в которой первые т\ диагональных элементов равны

а остальные равны единице. На единичной окружности выражение (5.8) по модулю равно единице, так что Ai на единичной окружности является унитарной матрицей. Тогда Вх (У = A (?) U^ (?) вновь является матрицей, составленной из многочленов от ?, и

Однако Si отличается от А тем, что множитель (£ — ^)ri в определителе А заменился на (? — ??1)п- Продолжая таким образом, мы придем к факторизации / (X) (на многочлены степени q), для которой определитель не обращается в нуль внутри единичного круга. Если А (0) задана, то эта факторизация единственна в существенном, ибо если W (?) = А (£) A (?) = В (£) В (У — две такие факторизации, то {5-40 А (£)} = {Я® в-чт = ^ и и0^=В"Ч^А^ является рациональной функцией от £ с определителем, тождественно равным единице (так как он голоморфен в единичном круге, равен единице при £ = 0 и равен по модулю единице на единичной окружности). Таким образом, на единичной окружности Uo является унитарной матрицей с определителем, равным единице. Поскольку Uo голоморфна в круге, разложение Uo на окружности содержит лишь неотрицательные степени exp IX. Но U"1 = U* и, значит, разложение Щ содержит лишь неположительные степени exp ik. Следовательно, Uo — постоянная унитарная матрица. Таким образом, А (£) = В (£) UQ. Мы показали, что если Ло (?) — некоторый частный канонический (т. е. голоморфный и не обращающийся в нуль в единичном круге) множитель, то для произвольной факторизации / (X) имеем

/ (X) - {Ло и (^} (л0 и

где U (£) унитарна на единичной окружности и голоморфна в единичном круге ^U (£) строится из множителей типа С/оД" (?) Щ1 •••)•

Легко видеть, что факторизация определяется единственным образом, если к условию, что все корни det (2 ^4;^) лежат вне или на единичной окружности, добавить требование положительной определенности Ло. Таким образом, мы установили следующий результат:

Теорема 10'. Если

q

-q

имеет определитель, не равный тождественно нулю, то / (X) можно представить в виде

4q

~2jT { 2 Л^УХ} { 2,

оо

где Л0—эрмитова неотрицательно определенная матрица, а все нули det 2 А^ лежат вне или на единичной окружности. Такое представление единственно, и если / (X) — матрица спектральной плотности (т. е. / (X) = / (—X)), то Aj вещественны. Любое другое представление / (X) в форме АА*, где А — матрица многочленов от exp IX, имеет вид

qq

4? {2 АзеЧХ}и <еа)и* {2 A/jx} * -

оо

где матрица U унитарна для почти всех X, a U (z) голоморфна в единичном круге.

Конечно, теорема 10 является частным случаем теоремы 10'.

Случай, когда det{/(X)} = 0, легко сводится к только что рассмотренному. В самом деле, пусть ранг W (£) равен г (£) ^ г ^ р и Г (?о) = г* Тогда найдется некоторый базисный минор матрицы W (£о), не равный нулю; поскольку этот определитель является многочленом от £ и £-1, он равен нулю лишь в конечном числе точек, и W (£) имеет ранг г всюду, за исключением этих точек.

Мы можем тогда найти матрицу Р с постоянным определителем, состоящую из многочлена от £ и такую, что все элементы матрицы Р (?) W (£) Р (£) вне первых г строк и столбцов равны нулю х).

Поэтому можно рассматривать только матрицу, построенную на первых г строках и столбцах матрицы

P^fW р* (^

а к ней применимы предыдущие рассуждения.

Так же как в последнем примере, полученная факторизация приводит к представлению # (^) в виде

q

£ (?г) = 5 (у) е (п — ]Y Е (г (/г) 8 (ту^ 6™G. о

Мы довольно подробно рассмотрели здесь проблему факторизации по следующей причине. В гл. III мы установим существование подобной факторизации для q = оо при гораздо более общих условиях. Доказательства таких результатов значительно более сложны, и некоторые читатели, возможно, захотят их пропустить. Эти теоремы применяются в задачах прогнозирования и фильтрации. На практике во всех случаях, когда используются подобные методы, мы задаем / (X) как функцию рассматриваемого здесь типа, поскольку / (X) будет оцениваться по численным данным. (Более общий результат вряд ли может иметь значение с точки зрения априорных физических соображений, поскольку х (/г) обычно получается из процесса с непрерывным временем.) Таким образом, теоремы настоящего параграфа охватывают все важные случаи.

Пусть стационарный процесс х (п) удовлетворяет уравнению (3.10) гл. I, и пусть det (2^ (/) ^) не имеет корней на единичной окружности ). Тогда, согласно уравнению (3.10), матричная спектральная плотность процесса 2 р U) х (п — /) равна

SS

оо

Отсюда, используя еще раз уравнение фильтра (3.10), получаем, что спектральная плотность х (п) равна (2л)-1 4GA*, где

А^ = Дв U) е^)"1 (5 А (к) е^).ии

В скалярном случае и при s =0 мы видим, что q о q

Если абсолютная величина ^ близка к единице, то при X, близком к 6и, где ^и = pu exp IQU1 / (X) велика. Мы показали, что в случае, когда все ^и по модулю меньше единицы, уравнение

q о имеет решение

a:(n) = 2M/)e(n —у), О

где X (/) имеют вид

SS»W.k cos 0и/ + Ьц, к sin 0uj). и к

Если одна из величин ри значительно больше остальных и близка к единице, то это выражение близко к

X (/) = pi № cos 0uy + bu sin 94), и x (n) представляет собой суперпозицию затухающих гармонических колебаний с частотой 6и. Не удивительно, что / (X) имеет пик при X = ±6и.

Модель

р р^-^НФ,(5.9)

О

где у (^) имеет матричную спектральную плотность fy (Л), приводит к следующей матричной спектральной плотности для стационарного решения х (£) уравнения (5.9):

рр

{2 в кЬк-1^Гх /, W IS s о) (-^T1, 00

в предположении, что

det 12 В (/) z7)0

не имеет чисто мнимых корней.

В случае когда х (Z) — векторный процесс с непрерывным временем, имеющий абсолютно непрерывный спектр, мы можем написать

т={КшнИШ}*,

где Vf(^)— эрмитова неотрицательно определенная матрица; полагая

имеем

/(Х) = А-( j Л(8)е^)( j Л(8)е^]*.

Мы подробнее обсудим этот результат в п. 5 приложения к этой главе; там будет также показано, что

х(0- J A(t — s)^(ds),(5.10)

где £ (s) — процесс с ортогональными приращениями, такой, что Е (£ (&) £* (ds)) = ds!2n. В этом случае мы также хотели бы иметь одностороннее представление, когда A (s) можно положить равной нулю при s < 0, ибо тогда, скажем в скалярном случае, мы могли бы наглядно интерпретировать (5.10) как суперпозицию импульсов а (£ — $Н (ds) одинаковой формы, испускаемых в моменты s, с амплитудой и знаком, определяемыми случайной величиной £ (ds). Мы увидим в гл. III, что такая модель является весьма правдоподобной.

До сих пор мы рассматривали случаи, когда был задан спектр процесса х (t) или порождающая его феноменологическая модель. Третья возможность состоит в задании ковариационной последовательности. Рассмотрим, например, случай, когда

Г (t) = е-А1йГ,

где собственные значения матрицы А имеют положительные вещественные части, а Г — положительно определенная симметричная матрица. Тогда, в силу соотношения Г (t) — Г' (—^), должно быть Л Г = У А' (это можно доказать, разлагая экспоненту в степенной ряд и устремляя | t | к нулю). Рассмотрим матрицу

(см. упражнения в конце главы). Она равна

4- (Л + iVf12А (Л - iXiy1 Г = А" (Л + 2ЛГ (Л' - iV)"1.

Но матрица 2ЛГ является симметричной и положительно определенной. В самом деле, если РУР' = I, то РАР-1 = РАР^РУР* =

= РГА'Р' = Р'^А'Р'. Следовательно, собственные значения матрицы РАР-1 вещественны (поскольку она симметрична), а так как они совпадают с собственными значениями А, то они вещественны и положительны. Но PAP-1 = Р (ЛГ) Р', значит, ЛГ симметрична и имеет положительные собственные значения, что и требовалось доказать. Полагая 2ЛГ = G, получаем факторизацию

/ (%) = -^- (Л + ШУ1 о (Л + 1МТ-(5.11)

Так как

( p-At t О

А- (А + туч^ак^! ’'

2л А[О,<<0,

то

/(Х) = Д- | j е-^-га^} G | J e-Ate-uxdty .0о

Соответственно мы можем написать

x^ = J eA«-«^(ds),(5.12)

t

где E (g (ds) £ (ds)*) = G ds и £ (s) имеет ортогональные приращения. Конечно, (5.11) приводит также к уравнению

X ^ + Ах ^ = 8 (Z),

где 8 (£) — белый шум с Е (е (s) 8* (Z)) — (2л)"1 G5 (s'—- /). Как мы видели, с таким уравнением связаны некоторые математические трудности, однако (5.12) является, очевидно, его строгой интерпретацией.

При исследовании текстиля интерес представляет следующая модель: постулируется, что нить состоит из налегающих друг на друга волокон длины I, причем левые концы волокон располагаются вдоль нити в точках tj, образующих пуассоновский процесс с параметром р. Таким образом, вероятность того, что на интервале (s, s + t) будет / таких точек, равна

Число волокон нити в точке t равно

x(t) = ^ a(l, t — s)^(ds),о

где a (Z, t) равно единице при 0 ^ t ^ I и нулю при остальных Z, а {£ (s) — ^ (0)} — число левых концевых точек в интервале (0, s].

Процесс | (s) имеет независимые приращения, причем var (£ (ds)) = = ц ds. Удобно произвести центрирование, и тогда мы получаем, что спектральная плотность центрированного процесса равна

2л J 1 | ~ (1/2Х)2 2л * о

Она концентрируется на низких частотах, причем тем сильнее, чем больше I. Это, конечно, соответствует интуитивным представлениям, так как при большом I нить будет относительно ровной и низкие частоты будут преобладающими.

Более реалистичная модель получится, если и длины волокон с концами в точках tj также считаются случайными величинами 1^ независимыми для разных / и не зависящими от th. Введем обозначение

Р (я) = Р{0 < I < ху

Мы можем считать, что Р (х) не имеет скачка в нуле. Тогда

^ — s) § (dl, ds),^ — s) § (dl, ds),

^ — s) § (dl, ds),

^ — s) § (dl, ds),

где {£ (Z, s) — £ (Z, 0)} — число левых концов волокон длины, не превышающей Z, лежащих в интервале (0, s]. Вновь предположим, что положения левых концов определяются пуассоновским процессом. Легко видеть, что £ (Zn s) — £ (Z2, s), Z4 >» Z2, является пуассоновским процессом с параметром

И

Н j Р

Кроме того, процессы, отвечающие непересекающимся интервалам [Z2, l^, [Z4, Z3), независимы (подробности см. в книге Кокса и Миллера [19651, стр. 155). Это можно вывести из того, что суперпозиция двух независимых процессов с такими параметрами дает правильный результирующий процесс. Таким образом, х (t) (после центрирования) — это стационарный процесс со спектральной плотностью

/W = -^- j | J «(Z, t - s) e^ds |2 P (dl) =00

2л2лsin2 1/21Хsin2 1/21ХP(dl).P(dl).

2л

2л

sin2 1/21Х

sin2 1/21Х

P(dl).

P(dl).

Так как

sin2 9

-g2 - d9 ~ л

то дисперсия х (Z) равна

м, j ip^aiyо

это выражение зависит только от ц и среднего значения распределения I и на самом деле совпадает со средним значением х kt\

С рассмотренной моделью связана следующая, которая обычно называется «случайным телеграфным сигналом». Вновь рассмотрим последовательность точек 1^ порождаемую пуассоновским процессом с параметром ц, а также процесс х (Z), принимающий только значения +1 и изменяющий значение при переходе через точки ^ т). Тогда легко видеть, что

Е kx (s) х (s + 0) = ехР (—2ц | t |).

В самом деле, величина х (s) х (s + t) равна +1 в том и только в том случае, когда в интервал (s, s + d, t ^ 0, попадает четное число точек t^ и равна —1 в случае, когда число точек tj в этом интервале нечетно. Поэтому

у (^) =2 ~—у^~ ~ е-2^, t > 0.

о

Таким образом, спектральная плотность равна

2цл {4ц2 + X2} *

Этот пример показывает, насколько неоднозначно спектр процесса определяет его вероятностное поведение, ибо реализация гауссовского процесса с ковариационной функцией ехр (—2ц | t |) совершенно непохожа на реализацию случайного телеграфного сигнала.

Процессы такого типа называются точечными (см. Бартлет [1955], стр. 104); это такие процессы, для которых случайные изменения состояния происходят только скачками в дискретном множестве точек. Мы свели пуассоновский процесс к некоторому стационарному процессу с конечной дисперсией, сопоставив скачкам некоторую функцию (в нашем примере a (Z, ty. Процесс £ (Z) сам по себе не является стационарным в рамках нашей теории (см., впрочем, далее параграф, касающийся обобщенных процессов). Конечно, мы могли бы не ограничиваться пуассоновским процессом, однако здесь мы не хотим углубляться в эти вопросы (см. Бартлет [1963]). В рассмотренных случаях вероятностное распределение х (Z) определено в целом, если известны ц, а и Р. Из-за этого спектральная теория, использующая лишь свойства второго порядка, кажется не вполне удовлетворительной. Однако это не обязательно так, ибо

рассматриваемые модели — всего лишь модели, а действительность никогда не бывает столь простой. Таким образом, скажем, исследование ковариационной функции диаметра нити может оказаться полезным статистическим методом, в особенности если имеются в виду рассмотренные выше простые модели (или их варианты), допускающие наглядную интерпретацию эмпирических результатов.

В этом примере мы хотим проиллюстрировать смысл спектрального представления (теорема 2) на одной модели, похожей на обсуждавшуюся в теореме 2', но не сводящейся к периодическому случаю. Пусть

Xj W — 2 {Sj (п1 ^ C0S 2лп£ 4- Ц; (nt) sin 2nnt^ + Uj (t) = Wj (t) 4- Uj (t), n=0

где

E{^(m, s^h(n, <)} = Е{т),(т, s)T\h(n, 0} = E {^ (m, s) t^ (и, 0} = 0,

m^n,

для всех /, k, s, t и

E ^u-j (s) ch (n, Z)} = E {u7 (s) iift (и, i)} = E {^ (n, s) т], (и, i)} = 0, E{|,(n, s^h (n, 8 + 1)) = ^^ («,,$> i\k(n, s + <)} = a7-,fe(ra, 0, Е{^(и, s)T)ft(n, s + 0}= — E{r), (n, s^k^n, s + t)} = ^j.h(n, t) для всех /, k, s, t, n, причем

2 ^j(n, 0) < oo о

для любого /. При этих условиях первая компонента w5 (t) определена корректно как предел в среднеквадратичном. Предположим, что все спектральные функции абсолютно непрерывны, и обозначим плотности через cjk (п, X) (для ^j (п, t) и ^k (п, t), а также ц7 (n, t) и ць (п, t)) и qjk (п, X) для ^j (п, t) и ц^ (п, t). Тогда случайные процессы

{£; (п, t) cos 2unt + ц; (п, t) sin 2лп^}, 7 = 1, . . ., р, (5.13) имеют ковариационные функции

a,jk (п, t) cos 2nnt + ^jk (n, t) sin 2nnt,

так что взаимные спектральные плотности для этих компонент равны

-^Vcjk(ni X — 2nn)-^-Cjk(n1 Х + 2л,п) 4- iqjk (п, Х — 2лп) —

— ЩцЛп^ Л4-2лп)}.

Если положить

fp^n, X)=-^(cjk(n, x^ — iq^n. k^ = fjk(n, — X) = fjk( — n, л), то спектральные плотности для компонент (5.13) равны

fjk ('^ ^ + 2лп) + fjk (п, X — 2лп).

Поэтому матричная спектральная плотность векторного процесса х (0 есть

/(А) = S /(n, А-^лп)+/(^, А),

где / (и, X) — спектральная плотность векторного процесса и (0 (при az — О мы, конечно, полагаем ц7- (п, t) = 0, так что qjk (О, А) = О и fjk (О, А) - cjk (О, X)).

Интересным является случай, когда для всех (п, j) функции fj (п, X) концентрируются в начале координат (т. е. «близки к дельтафункции») и, следовательно, f (X) является суммой / (и, X) и последовательности слагаемых, близких к дельта-функциям с особенностью в точках 2лп, п — 0, +1, . . ., причем «масса», приходящаяся на точку 2лп, стремится к нулю при | п | —>- оо. В соответствии с этим Xj kni Й и Л/(^ 0 будут изменяться очень медленно (если концентрация fj (п, X) достаточно ощутима), так что на протяжении заметных промежутков времени Wj (0 будет вести себя как периодическая функция с единичным периодом. Конечно, если все ^j (п, t) не зависят от t, то f (п, X) в точности равны дельта-функции, а х (0 просто равен сумме периодических функций (ряд Фурье сходится в среднеквадратичном) и «шумовой» компоненты и (t). В этом случае матричная спектральная функция F (X) процесса х (f) имеет абсолютно непрерывную компоненту с плотностью f (и, X) и скачки в точках 2лп, п — 0, + 1, • • • • Довольно очевидно, что по одной конечной реализации, 0 ^ t ^ Т, почти невозможно отличить случай, когда F (А) имеет скачки, от случая, когда f (п, X) лишь очень близки к дельта-функциям. Общеизвестно, что естественные явления, представляющиеся на первый взгляд безукоризненно периодическими, при ближайшем рассмотрении оказываются не такими (например, вращение Земли). Таким образом, строго периодических явлений в природе, по-видимому, не существует. Тем не менее никакая математическая модель не в состоянии отразить всю сложность природного явления, а некоторые естественные явления настолько близки к периодическим, что строго периодическая модель для них отвечает самым высоким научным критериям, которые только можно предъявить. Поэтому рассмотрение спектра, содержащего скачки, не является бесполезным занятием.

Случай, противоположный (по отношению к f (п, X)) рассмотренному выше,— это случай, когда спектральная плотность почти постоянна. Разумеется, она не может быть строго постоянной, так

как интеграл от нее, равный дисперсии, должен быть конечным. Впрочем, если х ^ — скалярный процесс и

/w=i/w=iо, |Л|>7\о, |Л|>7\

/w=i

/w=i

о, |Л|>7\

о, |Л|>7\

то

-Т

Если Т достаточно велико, то у (£) быстро падает от своего значения при ^ = О (равного единице) к очень малым значениям, так что наблюдения, производимые даже в относительно близкие моменты времени, являются почти некоррелированными.

В заключение рассмотрим пример фильтра, который подавляет только нулевую частоту, а в остальных точках спектра имеет, пожалуй, простейшую частотную характеристику.

Пусть на выходе фильтра будет

х (£) cos а 4- — \ — —-—!—- ds sin а.

04-

Это можно записать в виде

#(£)cosa4-— f ^^--ds sin а,

где интеграл следует понимать в смысле главного значения по Коши, как было отмечено в предыдущем выражении. Для того чтобы этот фильтр был корректно определен как предел в среднеквадратичном, необходимо, чтобы частотная характеристика второго слагаемого, усеченная в точке 5, т. е.

s .

С ^s^__e-isX , I ds,

о+

сходилась в среднеквадратичном с весом F (dX) при возрастании S. Но это, очевидно, выполняется, поскольку главное значение по Коши

S

sin sX 7

dss-S

сходится, как известно, к л при X > 0, к нулю при А = 0 и к —л при А < 0, причем сходимость является ограниченной, что видно,

например, из графика функции х-1 sin х. Сходимость в среднеквадратичном следует теперь из ограниченной поточечной сходимости. Таким образом, частотная характеристика построенного нами фильтра равна

cos а + i sin а, А > 0,

cos а, А = 0,

cos а — г sin а, А < 0

и обладает требуемыми свойствами. Полагая а = л/2, получаем преобразование Гильберта (или преобразование Стилтьеса)

Такой фильтр действительно подавляет нулевую частоту и не влияет на абсолютную величину спектральной плотности на других частотах. Соответственно фильтр х ^ cos а + х (^) sin а умножает компоненту на нулевой частоте на cos а и не изменяет абсолютных величин других компонент. Для дискретного времени мы получим совершенно аналогичный результат, если положим

^(и) = 4'2—m) {-A-(cosnm —1)} ,

/д \

где штрих означает, что — (cosnm—1) следует считать равным нулю при пг = 01).

Преобразование Гильберта используется иногда при определении «огибающей» процесса, которая определяется как

| х (t) — гх ^ |.

Чтобы уяснить интуитивную основу этого определения, предположим, что вся спектральная масса х {() сосредоточена в очень узком диапазоне вблизи Ао, т. е.

х (Г) ze^t 4- ze”^1.

Тогда

х (С) ~ ize1^1 — tze-^, х (Г) — ix (t) = 2г^о^

и модуль последнего выражения равен 2 | z | — амплитуде синусоиды х kt\

х) Заключение, что преобразование такого типа можно использовать для устранения тренда (см. Гренджер и Хатанака [1964]), представляется неверным. Такое преобразование предназначено для чрезвычайно точного устранения только нулевой частоты. По-видимому, оно не имеет какого-либо практического значения.

Таким образом, для узкополосных процессов, для которых эта амплитуда будет изменяться со временем t, огибающую можно представлять себе как гладкую линию, проведенную через максимумы почти синусоидальных колебаний х (t), что и оправдывает ее название.

В качестве менее очевидного примера фильтра с единичным коэффициентом усиления рассмотрим оператор

х ^ ->- и (^) = 2 ^ (t-j^-^y^^au^ — u^t—l), | а | < 1, о

со спектральной характеристикой

1 — ае1^ 1

равной по модулю единице. Фаза, равная теперь

. ((д2 —l)sinX 1

0 (X) = arctg < о z о-/тх} ,K 7° l 2д— (д24-1)созХ J ’

не пропорциональна X. Имеем

У (t) = j e-i^ie(X)z (ДХ).

Групповая задержка 6' (Л) в этом случае, как легко видеть, равна1 —д2

+ д2 — 2а cos X

и при а, близких к 1, концентрируется в точках X = 2/сл.

НЕКОТОРЫЕ СПЕКТРАЛЬНЫЕ МЕТОДЫ ДЛЯ НЕСТАЦИОНАРНЫХ ПРОЦЕССОВ

В этом параграфе мы рассмотрим некоторые нестационарные явления, к которым применима своего рода спектральная теория. Только первый из рассматриваемых случаев имеет некоторое значение для дальнейшего изложения, остальные же могут быть опущены.

Начнем с рассмотрения асимптотически стационарных процессов с дискретным временем. Основная идея здесь заключается в том, что, хотя Г (д, п) может и не быть функцией только от (п — т), тем не менее может существовать наблюдаемая ковариационная

функция, такая, как N-1 2^ (п) ^' (п + ^), которая в каком-то 1

подходящем смысле сходится к предельному значению, зависящему только от т, но не от начальной точки. По-видимому, наиболее важная из подобных теорий принадлежит Гренандеру [1954], который, следуя Винеру [1933], гл. IV, рассматривает векторный случай-

ный процесс с дискретным временем, удовлетворяющий следующим условиям (мы будем называть их условиями Гренандера^ выполняющимся почти наверное:

N

lim cTj (N) lim 2 ^iW = 001 7 = 1, • • •, P^ (6. la)

N->ooN->oo n=l

( x^ (NA л

(6Jb)

N

{ 3 xi <m> ^ (m + ")}

w™ ""^dTTXXWf =VihW’ j,k = l,..-,P-(6.

В формуле (6.1c) подразумевается, что пределы существуют с вероятностью 1. В упражнениях к этой главе мы поясним, как можно доказать, что последовательность неотрицательных чисел ^j ^ удовлетворяет соотношению (6.1b) только тогда, когда она удовлетворяет условию

limN->OOlimN->OObNbN

lim

N->OO

lim

N->OO

bN

bN

т. e. последовательность Xj (n) должна расти медленнее, чем экспонента. Более того, если lim{^ (N^d^ (N)} > 0, то | Xj (nk) | возра-

N стает экспоненциально при к —>- оо.

Случаи экспоненциального роста всегда нуждаются в отдельном рассмотрении, и условие (6.1b) призвано их исключить. Оно гарантирует также, что pjk (п) не зависит от краевых эффектов, например

N-n-q { 2(т+») (m+9+”)j

v<ij т) dk wi = pM (re)-

Обозначим через R (n) матрицу с элементами pjk (re). Если мы положим pa (n) = a*R (n) a, где a — комплексный вектор, то pa (n) образуют неотрицательно определенную последовательность в смысле первой части доказательства теоремы 1". (Величина

2 Zi2./Pa НЧ — nv)

1

является пределом неотрицательных величин, которые получаются заменой pjk (п) на выражения в (6.1с), стоящие под знаком предела.) Таким образом, к R (п) применима теорема 1", и мы получаем следующую теорему:

Теорема И. Если х5 (п) удовлетворяют условиям Гренандера^ я R (п) — матрица с элементами pjk (п), то

R(n) = j е^М (dX),

-л

где М (X) — матричная функция с эрмитовыми неотрицательными приращениями М (Х2) — М (XJ, Х2 Х^ которая однозначно определяется требованиями непрерывности справа и равенства нулю при X = —я.

Разумеется, вновь для всех точек непрерывности Хп Х2 мы имеем

м (х2) - м (Х^

В качестве примера последовательности, удовлетворяющей условиям Гренандера, можно взять х$ (п) = п;-1, 7 = 1, . . ., р. Легко видеть, что

Пш ((/ + 1) У -1,

т = \

поэтому для таких хрп) условия (6.1) выполнены и

pjk (и) =pjk (и) =2 (7fc)1/22 (7fc)1/2;+;+k — 1k — 1

pjk (и) =

pjk (и) =

2 (7fc)1/2

2 (7fc)1/2

;+

;+

k — 1

k — 1

Таким образом, М (X) возрастает только в нуле, причем скачок равен R (0). В данном случае М (X) дает довольно скудное описание последовательности х (п), и все «детали» утрачиваются. Однако для некоторых целей такое описание представляет интерес.

Следующий пример: x2j (п) = cos 07тг, ^27_i (п) = sin 07п, / = = 1, . . ., р, 07- =^=9к1 / 4^к. Вновь условия (6.1) выполнены, и R (п) теперь состоит из р блоков, лежащих на диагонали, /-й из которых имеет вид

cos ^jn sin Qjn" _ —sin07n cos07tz_ (все остальные элементы матрицы равны нулю). Следовательно, М (X) возрастает только в точках ±0,, причем для скачков в этих точках ненулевым является только /-й блок, который имеет вид

Г z

2 — i 1

соответственно в точках 07- и —07.

В гл. IV мы увидим, что при условиях, которые ни в коей мере не являются ограничительными, выборочные автоковариации стационарного векторного процесса сходятся с вероятностью единица. В этом случае стационарный векторный процесс будет также удовле-

творить условиям (6.1), причем, конечно, pjk (п) = ^jk ^ЖЧ^Чк^У^? так что М (А) имеет элементы mjk (А) = F jk (Х)/{у^ (0) ^к (0)}1/2, где F (А) — матричная спектральная функция процесса х (п). Нетрудно показать, что если х (п) — процесс рассматриваемого типа, у (п) — векторная последовательность той же размерности с элементами п3, a z (п) — последовательность той же размерности с элементами cos nQj, sin n9j, то x (ri) + у (n) + z (n) также удовлетворяет условиям (6.1). Можно построить и более общие примеры, однако и этого достаточно, чтобы убедиться, что условия Гренандера допускают последовательности довольно общего характера.

Рассмотрения настоящего пункта легко обобщаются на процессы с непрерывным временем, однако их применения в основном связаны с дискретным временем и с использованием машинных вычислений, поэтому мы ограничимся изложенным.

Лоэв [1960], стр. 496, называет (скалярный) процесс гармонизуемым, если

х (t) — ^ e-itxz(dX),

где

E(z(A1)r(M) = ^(A1, А2),

a F — функция ограниченной вариации на плоскости. Возможно, что более плодотворным является подход, при котором z (А) может зависеть от I, т. е.

y(t)- j е^Ч^Х).(6.2)

Конечно, предполагается, что zz (А) меняется со временем медленно, так как иначе подобное представление было бы довольно бессмысленным, а определение соответствующего спектра, зависящего от времени, стало бы затруднительным. Модель рассматриваемого типа возникает, очевидно, в связи с модуляцией сигнала. Простейшим является случай амплитудной модуляции, когда наблюдается у (t) = = a (t) х (£), где х (t) — стационарный процесс. Тогда zt (dX) = = & (0 zx (dX). Если a (t) — стационарный процесс, не зависящий от х (£), то у (t), разумеется, также стационарен, причем

Ту W = Е (У («) У (8 + 0) = Тх UH*?» Ц) — р.2},

где ц — среднее значение а (£), которое теперь целесообразно считать не равным нулю. Если х (t) и a (£) имеют абсолютно непрерывный спектр, то

Тх (0 т« (О - J е^ { ра (X - 6) /х (0) Й0 } dX,

и спектральная плотность у (^) равна ц2/х (X) + /х * /а (X), где /х * fa обозначает свертку функций, т. е. интеграл в фигурных скобках в правой части. Таким образом, если х ^ имеет узкополосный спектр, сконцентрированный в точках ±Х, и a (t) — узкополосный спектр, сконцентрированный в нуле, то спектр процесса у (t) будет иметь пики в нуле и точках ±Х, несколько более широкие, чем у процесса х (^).

Второй пример дает частотно-модулированная синусоидальная волна

у (t) = a cos (0а (t) + ср),

где ф — случайная величина, распределенная равномерно в интервале [—л, л). Если положить zt (dX) — х/2 a exp{i0 (а (^) + Z)} zx (dX), где zx (dX) возрастает только в точках ±0 скачками величины ехр (±^ф), то у (t) вновь представляется в виде (6.2). Если ср не зависит от a ^, то

Е (у ($) у ($+0 | а (<)) = Vaa2 cos (6 (a (s + <) — а («))),

где слева стоит условное математическое ожидание при данной функции a (t). И опять у (^) может быть стационарным; так будет в случае, когда а ^ — случайный процесс, не зависящий от ф и имеющий стационарные в узком смысле приращения первого порядка (см. пример (у) в § 3 гл. I), ибо, вычисляя математическое ожидание относительно а (^), получаем

Е (у (s) у (s + г)) = V2a2 Re (<pf (0)),

j и (s) ds, t>0, оои (s) ds, ^0,j и (s) ds, t>0, оои (s) ds, ^0,где ф/ (0) — характеристическая функция приращения a (s -\- t) — — a (s). Например, можно взять

j и (s) ds, t>0, о

о

и (s) ds, ^0,

j и (s) ds, t>0, о

о

и (s) ds, ^0,

a(t) =

где и (^) — стационарный гауссовский процесс (см. Вайнштейн и Зубаков [1960], стр. 382). Тогда

't

Е (у ($) У (s +t^ = ^a2 exp { — x]jdH j yu (р) (1 — -Ц^-) dy } .

Мы обсудим этот пример подробнее в § 7.

Не следует думать, что можно обойти любую проблему, связанную с нестационарностью, введя подходящую стационарную модель. В некоторых случаях система изменяется так быстро, что это совершенно невозможно. Однако при рассмотрении такой быстрой эволю-

ции нередко приходится использовать какую-либо частную модель, а модификации типа рассмотренных в этом пункте оказываются неприменимыми (так как нельзя считать, что zz медленно меняется с t). В противоположном случае, когда изменения происходят очень медленно, стационарная модель может оказаться надуманной и не приведет к полезным рекомендациям.

В § 3 гл. I мы ввели понятие процесса со стационарными приращениями. Было показано, что если х (£) имеет стационарные приращения^-го порядка и q раз среднеквадратично дифференцируем, то я((7) (£) — стационарный процесс. Поэтому

— СО и, значит,

где х0— (векторная) случайная величина. Повторяя это преобразование, получаем

+ (-1)’^-](6.3)

О

Введем новый процесс с ортогональными приращениями по формуле

и перепишем (6.3) в виде

д-1.д-1

j {e~ia-2 ^-(-<}u^) + 2 коо

где Я —прямая (—-оо, оо). Теперь G (dk) = Е (| £ (dk) |2) удовлетворяет соотношению

Jоо.

Мы еще вернемся к этим выкладкам в § 9 и рассмотрим случай, когда х (£) не является q раз среднеквадратично дифференцируемым (см. также Дуб [19531, стр. 495).

Очевидно, что процесс х (Г) вида (6.3) относится к типу медленно меняющихся процессов, которые рассматривались выше в п. (ii). В каком-то смысле они соответствуют пограничным случаям, так как находятся на грани стационарности. Это очевидно в случае ^ = 1; в самом деле, процесс

t

Т^= j e-W-^Wh Р>о, Е (| (Л)) = а2Л,

О

является стационарным, но если Р стремится к нулю, то х (t) приближается уже к процессу со стационарными приращениями.

НЕЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ

В § 4 мы видели, что частотные характеристики дают простое и интуитивно понятное описание действия линейных фильтров. Однако многие преобразования случайных процессов являются нелинейными. Проблема описания действия таких фильтров чрезвычайно сложна. и нельзя ожидать какой-либо систематической теории, сравнимой с теорией линейных фильтров. Прежде всего действие фильтра уже не может быть описано только в терминах величин второго порядка. Это сразу выдвигает на первый план гауссовские процессы. В принципе можно иметь дело с любым процессом, для которого заданы все высшие моменты. Однако практически в негауссовском случае выкладки становятся чрезвычайно сложными. Поэтому мы ограничимся гауссовским случаем.

Мы рассмотрим в основном нелинейные фильтры без памяти, т. е. преобразования вида

X kt) g kx к^ = У kt)-

Естественно начать с наиболее простых выражений, какими являются многочлены от х (tY Однако вследствие гауссовости предпочтительно использовать (что эквивалентно) многочлены Эрмита г) Нк (х) = (- 1)п^[dx^e-^Y

Первые из них2)

Н^х, Н-^хМ, Н3 = х—Зх1 Н4 = х4 — 6г2 + 3, .. . .

Многочлены Эрмита удовлетворяют соотношениям

f Нткж)Нпкж)е-^аж = <, |/2л

г) Это определение отличается от более привычного, в котором вместо ехр (—V2^2) фигурирует ехр (—^2).

которые легко получаются последовательным интегрированием по частям. Более того, если х и у — совместно гауссовские величины с нулевыми средними, единичными дисперсиями и коэффициентом корреляции р, то имеет место несколько неожиданный результат

^фт^нп (у)} = б£р"лг!

(см. упражнения к этой главе).

Это соотношение позволяет описать действие фильтра без памяти, каким является полиномиальная функция р от х (^), на спектр процесса х (^). Пусть

У (О = Р (ж (0) = 2 ЛтНт (х (t)),О

где

т\ат = ™( р(х) Hm^e-^-^dx.(7.1)

У 2л J

Тогда, предполагая, что х ^ имеет нулевое среднее и единичную дисперсию (чего всегда можно добиться, переходя к новой полиномиальной функции), имеем

Е (У ($) У (з + 0) = 2 а™ {? №}m т!, у (0) = 1.о

Рассмотрим сначала случай, когда х ^ имеет абсолютно непрерывный спектр с плотностью / (Л). Тогда

{y(<)}m= j rmQ^euxaX, т>0,(7.2)

где f*m обозначает т-кратную свертку функции / (Л) с собой. (Предыдущие рассмотрения применимы как к непрерывному, так и к дискретному времени, однако в последнем случае при определении свертки / (Л — 6) продолжается за интервал [—л, л] по периодичности.) При т = 0 мы интерпретируем /*т (Л) как 6 (Л), дельтафункцию Дирака г). Тогда имеем

о

Можно, конечно, избежать введения 6 (Л), заменив у (^) на у (t) — Е (у (^)) = у (t) — aOl ибо легко видеть, что если х — гауссовская величина с нулевым средним, то Е (Дт (^)) = 0, т > 0.

х) Дельта-функция Дирака рассматривается в математическом приложении. Ее использование в этом параграфе вполне очевидно и не должно привести к каким-либо затруднениям.

Так, например, процесс хг (£) — 1 имеет спектр 2/*2 (X), т. е.

2 j /(X —0) /(0) d0.

Конечно, эти утверждения можно значительно обобщить и в первую очередь можно освободиться от требования, что х (t) имеет абсолютно непрерывный спектр. Тогда спектральная функция процесса у (Z) равна

d

^a^m\F*mPYи

где F*m есть m-кратная свертка спектральной функции F с собой, a F*° (X) теперь означает единичную функцию Хевисайда, которая равна нулю при Л < 0 и единице при Л ^ 0. Таким образом,

Г*2(Х) = j F^-^F^y

Во-вторых, нет необходимости ограничиваться полиномиальными функциями. В самом деле, если р (х) квадратично интегрируема с весом ехр (—/2^2), то можно положить

Z/(0 = 2 атНт(х (t)),о

где ат даются соотношением (7.1) и ряд сходится г) к у (t) в среднеквадратичном. Соответственно

Ту (0 = 3 <4лС{у WTо

(ряд сходится абсолютно), и мы получаем

FyW = ^a2mm\F*mpy(7.4)

и

В-третьих, мы можем обобщить наши рассмотрения на нелинейные функции от векторпозначных случайных величии. Однако здесь рассуждения становятся несколько более сложными, и мы откладываем их, как и обсуждение фильтров с памятью, до § И. Проиллюстрируем теперь на примерах результаты (7.3) и (7.4).

Эти результаты не так легко интерпретировать, как теорему фильтрации для линейных фильтров. Природа рассматриваемой

ситуации проявляется в случае, когда F (X) имеет скачки в точках ±ХП ±Х2, . • ., ±Xft, X, ^ 0, 7 = 1, • • к. Тогда легко видеть, что F*2 (X) имеет скачки во всех точках X, которые равны всевозможным суммам частот из множества точек скачков F (X). По индукции получаем, что Fy (X) имеет скачки во всех точках вида

к

^пДь(7.5)

где п5 — целые. Так, если гравитационные силы, обусловливающие приливно-отливные явления, имеют шесть основных частот Xi, . . . . . ., Х6 (Мунк и Картрайт [1966]), а именно, частоты вращения Земли, орбитального движения Луны, орбитального движения Земли вокруг Солнца, лунного и солнечного перигея и регрессии узловых точек лунной орбиты, то следует ожидать, что нелинейное воздействие таких сил на океаны приведет к появлению всех целочисленных линейных комбинаций этих частот вида (7.5). Разумеется, если F (X) абсолютно непрерывна, но / (X) имеет относительно резкие пики в частотах Xj, то следует ожидать, что fy (X) будет иметь пики, несколько менее резкие, в частотах вида (7.5).

Рассмотрим следующий пример. Для простейшей модели частот- но-модулированного сигнала выход передатчика задается соотношением

у (£) — a cos (0^ + ф+ Р^ (0).

Выше было указано (см. конец § 6, пример (ii)), что если ср имеет равномерное распределение на [ — л/2, л/2] и не зависит от х (£), то

Е (у (s) у ($+0) = V2a2E [cos{0Z-J-P (х (t + s) — х (s))}],

так что если х (0 — гауссовский процесс со стационарными приращениями, то у (0 является стационарным. Мы ограничимся более специальным случаем, когда х (t) стационарен, имеет абсолютно непрерывный спектр и у (0) = 1. Указанные ограничения на ср представляются разумными, а условие у (0) = 1 несущественно в силу наличия р. Разлагая exp (zx — V^2) в степенной ряд, получаем непосредственно из определения Нт (х)

exp {iM (0 + Ч^а2) = 2 -^— Нт (^ (0)-о '

Следовательно,

о ’

ат (г) = Кее<<е<+<Р)(ф)™

откуда

Е (у (s) у (s + /)) = HaC^eS2 cos 9t 2=

о *

= ^a2^-^ (f -v (0) cos 0Z.

Соответственно мы имеем

/у(Х)=1/2а2е-Р2 2

так как у (t)m exp i9t есть преобразование Фурье функции /*т (Л) * * 6 (X — 9) = /*т (Л — 0). Если / (Л) заметно концентрируется в начале координат, т. е. модуляция производится медленно меняющейся функцией ^ (£), то fy (X) в основном будет концентрироваться в частотах zhnQ, за исключением «спектральной линии», отвечающей X = 0, которая будет устранена центрированием; если Р мало, то / (X), как и следовало ожидать, будет концентрироваться в точках + 0.

В тех случаях, когда производные функции g (х), начиная с некоторой, выражаются только через производные дельта-функций, коэффициенты разложения (7.4) получаются чрезвычайно просто. Обозначая через ср (х) плотность стандартного нормального распределения (]/ 2 л)"1 ехр —V^2 и интегрируя по частям, получаем

ml ат = ^ g (х) Нт (х) ф (х) dx =

= (— l)m j g (x) ф<т) (x) dx =

= j gW ^ ф ^ $%,

в предположении, что g (x) хорошо ведет себя на бесконечности. Начиная с некоторого т это выражение будет состоять только из членов вида

J № (х — а) ф (х) dx =Ц — Г)к ф(Ь) (а) = Ну (а) ф (а).

В качестве примера рассмотрим

Тогда а^. как легко видеть, равно нулю и

= j ф (^) dx.

Так как

gW ^ = §(т-2) ^х 4- а) — 6(т-2) ^х — я), то

т\ ат = Ят_2 (— л) ф (— л) — Ят_2 (а) ср (а), что равно нулю при четном т и —2ф (а) Нт_2 (я) при нечетном т. Отсюда

— а1

Соотношение (7.4), по-видимому, чрезвычайно трудно интерпретировать качественно, и хотелось бы иметь более простые формулы для достаточно простых функций g (•)• Представляет интерес метод, предложенный Прайсом (см. Дейч [1962], стр. 16). Его результат в нашей формулировке заключается в следующем. Рассмотрим две обобщенные х) функции g ^, К (у) от двух совместно гауссовских случайных величин с нулевыми средними, единичными дисперсиями и коэффициентом корреляции р. Эти ограничения на средние и дисперсии, разумеется, несущественны. Некоторые трудности связаны с вложением функций, неинтегрируемых на любом конечном интервале, в пространство обобщенных функций, однако они здесь также несущественны, поскольку формулы, которые мы собираемся вывести, будут применяться только в тех случаях, когда функции g и К после нескольких дифференцирований сводятся к линейным комбинациям дельта-функций.

Т е о р е м а 12. Пусть g и h — обобщенные функции, а х, у — совместно гауссовские случайные величины с нулевыми средними, единичными дисперсиями и коэффициентом корреляции р. Тогда

^ Е (g ^ h (у)} = Е {^> (z) ^ (у)}.

Доказательство представляет собой не более чем применение теоремы Планшереля, однако мы все-таки приводим его в приложении к этой главе.

Следующие два примера иллюстрируют применение этой теоремы. Пусть К ^ = g (х) — х при х ^ 0; h (х) = g (х) = 0 при х ^ 0. Положим х = х (s), у = х (s + t), у (0) - 1. Тогда g" (х) = 6 (х)

г) Обзор используемых далее математических средств дается в математическом приложении.

и, в силу теоремы,

2„У1_Т,„, ■

Кроме того,

[ЧЧ Е ^ ^ у <s+z»] т (()=о = j J xy i6-1/2 (х2+г,2) dx dy = 4 ’0

E{y(s) У (s+<)>v(t)=o =•

Поэтому

Ту = 4W arcsin T W + /l-?2(0 — 1 + Y (0} +4 •

Центрирование процесса у (^) устраняет член 1/4. Выражение для спектра у (^ в терминах спектра х (^) будет чрезвычайно сложным. Можно, конечно, разложить g (•) по многочленам Эрмита и использовать (7.4), и это действительно могло бы привести к более простому, легко интерпретируемому результату, однако в определенных случаях предпочтительнее работать с простым аналитическим выражением для ковариационной функции.

В качестве второго примера рассмотрим «пороговый» сигнал, когда у = +1 при х^^О и у =—1 при х^ <0. Полагая h^ = = g (^), имеем h,' = gr = 26 (Z), и, считая, как прежде, что у (0) = 1, получаем

откуда

Аналогичный прием можно использовать для нахождения ковариационной функции «квантованного» сигнала, т. е. сигнала вида • у ^ = п, ап ^ х Ц) < ап+1, п = 0, ±1, . . ., однако вычисления становятся, конечно, более сложными.

Оба рассмотренных метода можно обобщить для нахождения взаимных спектров и взаимных ковариаций между двумя нелинейными фильтрами без памяти в случае гауссовских процессов.

До сих пор мы рассматривали лишь нелинейные фильтры без памяти. Эти рассмотрения можно, конечно, комбинировать с результатами для линейных фильтров с памятью, если последние не взаимодействуют с нелинейным фильтром. Так, если

у (£) = a cos (0£ + Ф + Р2 WL z(Z)= j <x(s)x(t— s)ds,

о

где 0, ср и х (t) — такие же, как в первом рассмотренном примере, а 2 (^) — стационарный процесс, то

/у(Х)=Аа2е-Р2 ^^VfmkX^Hnm^_^

m=0 где

Л (X) = | j а (s) eisX ds I" /* py

0

Конечно, получится даже более простой результат, если линейный фильтр следует за нелинейным. (Следует обратить внимание на то, что два фильтра, из которых по крайней мере один нелинеен, вообще говоря, не коммутируют.)

СПЕКТРЫ ВЫСШИХ ПОРЯДКОВ

В предыдущем параграфе мы рассмотрели спектры нелинейных функций от гауссовских процессов. Дело может обстоять таким образом, что ничего не известно ни о нелинейном фильтре, ни о преобразуемом гауссовском процессе х ^. однако желательно получить представление о нелинейном механизме, порождающем наблюдаемую временную функцию. Хассельман и др. [1963] приводят пример, когда из-за нелинейностей в уравнениях распространения (океанских) волн при гауссовском входном процессе на выходе получается процесс, уже немного отличающийся от гауссовского. Можно попытаться исследовать структуру этого механизма с помощью высших моментов. Чтобы пояснить эту мысль, рассмотрим пример, когда скалярный процесс с непрерывным временем представим конечными суммами вида х)

Ч^Р = 2«;ж(< + $^ + 22(Чь-г (z + ^)^ + <h),(8.1)

где х ^ — гауссовский процесс с нулевым средним и единичной дисперсией. Тогда

у(0 = J ^(Х^Ч^ХН j [ ^(Х,, 1^е-«0л^2х^2х^ =

= j ^-^^(dX),

где

zyW= j a(1)(^i)zx(^i)+ j «^('Ч Xz)Zx(dXi)Zx(dX2y — сюXl~f-X2^X

ad? (X) = 5 aje”P\ a® (Xb X2) = 22 a,-, k e"1 «^+4^.

x) В § 11 обсуждается общность представления нелинейных фильтров с памятью в виде мультиномиальных функций.

Предположим, что спектр х ^ абсолютно непрерывен. Очевидно, без ограничения общности мы можем считать, что а^ (Х17 л2) — симметричная функция. Если теперь вторая компонента в (8.1) мала по сравнению с первой,то спектр у (^) близок к | д^1) (X) |2 fx (X), тогда как

Е {z/ (s) У (s + <i) У (S + ^)} =

= J J J ^Р. 0 (^ т ^1 + ^2) ~Ь^Ai ~Н ^2^-2} Е {zy (^Х) Zy (Л1) zy (^Х2)}.

Если левая часть не зависит от s, как в случае нашей модели, то математическое ожидание в правой части может давать ненулевой вклад в интеграл только при Х + ^ + ^г = 0. Это верно независимо от гауссовости процесса х (£) или полиномиального характера функций «О и а<2> и определяется только свойством стационарности третьего порядка процесса у (t). В общем случае, однако, нет оснований считать, что Е{^ (dX) zy (dX^ zy {dX^)} будет хорошей функцией. В нашем примере

Е{гу (dX) zy (dX^ zy {dX^} = P (X17 X2) dXt dX2l

Х^Х^Х, = 0,(8.2)

где функция P, называемая биспектром, выражается через fy и а^. Таким образом, можно надеяться, что, зная /^ и р, мы сможем выяснить характер функции а(2) (см. подробнее цитированную работу Хассельмана и др.).

Используя возможность перестановки аргументов в (8.2), а также вещественность у (t^ имеем

Р (Xlt Х2) = р (Х2, X,) = р (Х„- х2) = рт^ху^у

Е О (») У Is + ti)y (s + <2)} = Mzi> У = J jЕ О (») У Is + ti)y (s + <2)} = Mzi> У = J jдля всех Х17 Х2. Таким образом, в нашем случае

Е О (») У Is + ti)y (s + <2)} = Mzi> У = J j

Е О (») У Is + ti)y (s + <2)} = Mzi> У = J j

eHtiX^wp^, X2)dX1£/X2.

(8.3)

Мы, конечно, не доказали, что подобное представление существует в общем случае или хотя бы что можно написать

hy 0i, У = j j ^^> В (d^, dX^,(8.4)

так как мы не установили, что правая часть соотношения (8.2) является хорошей функцией от (Х17 Х^, к примеру функцией ограниченной вариации. В работе Бриллингера [1965], где читатель может найти также определение спектров высших порядков (которые называются там полиспектрами), рассматриваются условия, при которых представление (8.4) существует.

Во многих отношениях предпочтительно избавиться от асимметрии, связанной с исключением одной из переменных X, Х1? Х2. Мы можем проиллюстрировать это рассмотрением общего случая для векторного процесса. По-видимому, вместо моментов высших порядков удобнее рассматривать соответствующие семиинварианты (моменты и семиинварианты третьего порядка совпадают). Напомним обозначение, введенное в § 5 гл. I:

^j(l) j(2) . . . j(m) (^1, • • •, ^mY (8-5)

для семиинварианта величин ^(1) (Zj, ^;(2) (£2), . . ., xj(m) (tmY где некоторые из индексов / (/с) могут совпадать. Далее в этой книге нам потребуются только четвертые семиинварианты (см. гл. I, соотношение (5.1)), естественно возникающие в связи с рассмотрением выборочных свойств вторых моментов. В этом случае мы заменим (8.5) на менее громоздкое обозначение Kijhl (s, t, и, у), понимая под этим четвертый семиинвариант величин xt (s), xj (Z), xk (uY xL ^Y Мы можем теперь написать

4

^ijklkth ^2» ^3> ^4) —55И-р-(з<Д,) Bijhi (d^, (ZX2, </Х3, dX4), (8,6)

где В описывает поведение четвертого семиинварианта величин ^i (^1)^ 2; (^2), ^и kdX^Y 2z (dX4). Вновь возникает вопрос о существовании подобного представления. Конечно, оно имеет место, если функция Kijhl (о, s, I, и) абсолютно интегрируема как функция трех аргументов s, t, и. Тогда

Вцкг (^i> dX2l dX^ dX^ =

— 6 (Xj 4~ ^2 4~ ^з 4~ ^4) ^ijhi (М, ^2? ^з? ^4) dX^ dX2 dX^ dX^.

Так как P равна нулю вне плоскости 2 Ъ ~ 0, то можно исключить одну из четырех переменных. Таким образом, мы можем положить

^ijM (^1, ^2, ^3? ^4) — $ijk (^Ь ^2i ^sY ^i X j — 0.

To же самое мы делали в случае третьего порядка, когда определяли Р (Х1? Х2). Эту функцию следовало бы обозначить 4р (Х^ X2Y где левый индекс относится к исключенной переменной. (Такие обозначения были введены Бриллингером и Розенблаттом [1967а], которые подробно рассмотрели спектры семиинвариантов высших порядков.) Однако в векторном случае, по-видимому, проще использовать полный символизм соотношений (8.5) и (8.6).

Мы не будем более останавливаться на этих вопросах, ибо до настоящего времени применения спектров высших порядков при анализе данных крайне редки и, по-видимому, не идут дальше использования биспектров. Как говорит Бриллингер, опыт классических разделов статистики подсказывает, что подобные методы будут иметь ограниченное применение и будут заменяться скорее рассмотрением частных моделей в конкретных ситуациях.

СПЕКТРАЛЬНАЯ ТЕОРИЯ ДЛЯ ОБОБЩЕННЫХ СЛУЧАЙНЫХ ПРОЦЕССОВ 1)

В § 6 гл. I мы ввели понятие обобщенного случайного процесса (ОСП). Напомним определение преобразования Фурье от обобщенной функции:

Ф(Ф) = Ф(Ф),

где ср — (обычное) преобразование Фурье от ср (см. математическое приложение). Рассмотрим теперь стационарный ОСП Ф. Мы зафиксируем Ф и не будем включать его в обозначения. Обозначим ковариационный функционал у (ср, ф).

Теорема Г".

V (ф, = j Ф W Ф W F

где F (X) определяет положительную меру степенного роста, т. е. такую, что

j (1 + X2rp F (dX) < ОО(9.1)

для некоторого р ^ 0.

Эта теорема, доказательство которой мы опускаем (см. Гельфанд и Виленкин [1961]), является полным аналогом теоремы 1. Если Ф на самом деле есть обычный стационарный процесс, реализации которого обозначаются, как обычно, х (t), то

Ф (ср) = j ср (f) х (t) dt.

Имеем

Е {Ф (ср) Ф (ф)} J У ср (^) ф (^) у (^ — /) ds dt =

J { j’ V^)5^^} { ^ Ф (0 e'dKdt | F (dX) = — oo —oo— oo

x) Эта тема является специальной и будет использоваться лишь в отдельных параграфах книги.

В этом случае F удовлетворяет условию (9.1) с р = 0. Если мы продифференцируем х (ty то, как показано в § 6 гл. I, мы получим для ф' ковариационную функцию у (ср', ф'), где у отвечает исходному процессу Ф. Имеем

у (ср', ф') = j Ф М ф (a) WF ^dX\

Таким образом, дифференциал новой спектральной функции равен X^F (dX); он не обязательно определяет конечную меру на вещественной прямой. Тем не менее условие (9.1) выполняется, а это все, что требуется для теоремы 1"'.

Теорема 2 также допускает обобщение.

Теорема 2"'. Пусть Ф есть ОСП; тогда

Ф= J e-^z (dX),

где z (X) — процесс сгде z (X) — процесс сортогональными приращениями, такой, что

где z (X) — процесс с

где z (X) — процесс с

E{|z(dX) |2} - F (dX),

причем равенство следует понимать в том смысле, что

ф(ср)= J ф(Х)г(Л), <рЕК.

Доказательство этой теоремы также можно найти в книге Гельфанда и Виленкина [1961].

Отсюда непосредственно вытекает, что спектральная теория обобщается на рассматриваемые процессы в той же мере, в какой теорема 2"' является обобщением теоремы 2 за счет замены условия конечности меры F на более слабое условие (9.1). В частности, теперь можно придать смысл выходному сигналу любого фильтра, состоящего из дифференциальных операторов.

Мы закончим этот параграф обсуждением процессов со стационарными приращениями д-го порядка. Очевидно, что к ним можно подойти с точки зрения рассматриваемого аппарата, поскольку такой процесс можно представлять себе как результат последовательного интегрирования ОСП. Поэтому мы можем также определить ОСП со стационарными приращениями 7-го порядка как процесс Ф, такой, что АдФ для любого А является стационарным ОСП, где АдФ (ср) = Ф (ср (^+^) — ф (£)), а АдФ А/ДА/^Ф}. Можно показать, что это равносильно тому, что Ф^> — стационарный ОСП. В книге Гельфанда и Виленкина [1961], стр. 331, доказано, что кова-

рпационный функционал такого ОСП имеет вид

п — 1,

Т(<Г- ^) = j {ф(Х) — aWS ^(О)-^} X Ко0*

X { ^ (X) -а (X) 2 Я>Ф (0) ^} F (dX) +

+ a2qaQpg + 2 ®jL,- (гр) + 2 ^jLj (ф) + 2 cih<* (9-2) 7=07=07, k=0

Это требует некоторых пояснений! Прежде всего через Ro мы обозначаем вещественную прямую без начала координат, тогда как а (X) — это целая аналитическая функция из пространства Z (см. математическое приложение, § 4), такая, что X = 0 является нулем функции а (X) — 1 кратности q — 1. Имеем

а7- = j ф’(0?^> Pj — j Ф (0 ^ ^7 7 = 0, • • • 7 ^7

и ^2q ^ 0. Далее, Lj — это некоторые линейные функционалы на К. •функция F (X) задает положительную меру степенного роста, такую, что

J Х^^^ХХоо.(9.3)

0<Л,<1

Чтобы понять происхождение последнего члена в (9.2), можно обратиться к формуле (6.3) и положить Cjk = Е ^х5хку В случае (6.3) функционал Lj (ф) равен

Е{~;Ф (Ф)}.

Функция а (X) вводится для того, чтобы подинтегральные множители стремились к нулю (надлежащим образом) при X -> оо и, таким образом, принадлежали пространству Z (на котором положительные меры степенного роста определяют линейные функционалы) Член ^gPg^g появляется из-за того, что мы ввели множитель Х-2? в F^dX^ так чтобы выполнялось (9.3) (см. § 6) после устранения скачка функции X^F (dK) в начале координат. Этот скачок равен а^, и поскольку

lim X"9 {<р (X) — 2 Ф(Я (0) 4г } = Ф<3) (°),

тогда как

lim X"9 (а (X) -1) 2 Ф(;) (0) ^- = const ф (0),

то, относя вклад от этого последнего выражения в последнее слагаемое (9.2) (т. е. переопределяя некоторые из cj^ мы получаем выражение (9.2).

Очевидно, что имеет место соответствующее представление для Ф: g-i .q

Ф = j {- а (X) 2 ^ (- 1ХУ } £ (dK) + 2(9-4)

Кооо

где Е{| £ (dX)|2} = F (dX), которое' также следует понимать в смысле- теоремы 2"', т. е.

д-1.q

ф (ф) = j { ф w—® w 2! ^^ (°) тг} £ W+2

Ко0*0

Таким образом, обобщенные процессы вида (9.4) образуют довольно общий класс и могут рассматриваться как результат последовательного интегрирования ОСП, который в свою очередь получается последовательным дифференцированием исходного (обычного) случайного процесса. Эта процедура тесно связана с той, которая приводит к уравнению (3.9) в гл. I.

СПЕКТРАЛЬНЫЕ ТЕОРИИ ДЛЯ ОДНОРОДНЫХ СЛУЧАЙНЫХ ПОЛЕЙ3)

До сих пор мы рассматривали векторные случайные процессы х ^п для которых t пробегает вещественную прямую или некоторое ее подмножество. Как отмечалось в начале гл. I, в некоторых приложениях t может быть на самом деле пространственной переменной, например расстоянием вниз по течению от некоторого фиксированного пункта на реке, а х (t) может иметь три компоненты, соответствующие «скорости» течения. Аналогично, х (/) может быть измерением, производящимся вдоль некоторой линии на поверхности, на дне океана и т. д. В подобных случаях нас могут интересовать и временные изменения, так что мы будем наблюдать реализацию случайного процесса х (у, £), где у и t независимо пробегают прямую, т. е. х будет функцией на плоскости. К этому приводит также случай, когда каждой точке у какой-либо плоской поверхности (например, поверхности океана) отвечает некоторая наблюдаемая величина. Мы используем и для обозначения точки на плоскости, так что в этом случае для задания у потребуются две координаты. И вновь может иметь место зависимость от времени, так что можно было бы рассмотреть х (у, Z). Теперь аргумент процесса х (•) пробегает трехмерное евклидово пространство. Очевидно, мы должны рассмотреть случайный процесс х kpY определенный на n-мерном евклидовом пространстве Ни. Если требуется подчеркнуть особую роль переменной t, то мы выделяем ее из остальных аргументов процесса х (•), однако начнем

х) Этот параграф является специальным и может быть пропущен.

с рассмотрения случая, когда это не делается. Предположим, что величины

Е (^ (^) х’ (у^ = Г и2)

конечны, и ограничимся аналогом стационарного процесса, для которого

Г (^ + v, v2 + и) = Г (v^ v2Y

где ^! + и, разумеется, обозначает точку, получаемую из vt сдвигом на и, или, что эквивалентно, покоординатную сумму векторов vt и и. Как и раньше, положим

Г (^i, ^2) = Г (0, и2 — ^) = Г (у2 — ^).

В этом случае мы будем говорить, что х (и) — однородное случайное поле. Мы обозначаем символом и как точку и, так и вектор с компонентами, равными координатам точки и. То же самое относится к точке и вектору 6, который мы сейчас введем. Предположим, что Г (г;) непрерывна. Тогда поле х (и) непрерывно в среднеквадратичном.

Будем говорить, что 2 (6), 6 £ Rn,— поле с ортогональными приращениями, если для любых ограниченных измеримых множеств

S2

Е { jz(de) Jz(dO)*}=O/ 5,052=0.

S1S2'

Мы опускаем доказательство следующей теоремы, которая является простым обобщением теорем 1 и 2 этой главы.

Теорема 13. Если х (и) — однородное случайное поле на Ru с ковариационной функцией Г (t;), то

Г(и)= ^ e^.^F (d6),(10.1)

где 0 — вектор п-мерного евклидова пространства, (и, 0) — скалярное произведение и и 0, a F — матричнозначная функция, определенная на Rn, элементами которой являются функции ограниченной вариации и для которой все матрицы

j F ^ s

эрмитовы и неотрицательно определенные. Соответственно имеем j е-и», ^z(de),(10.2)

дП

где z (6) — функция с «ортогональными приршцениями», такая, чтоe{z (de) z (ae)*) = f (de).

Конечно, соотношение (10.2) можно представить в вещественной форме, и мы сделаем это для случая п = 2, когда координатами являются и и t. Пусть, кроме того, х — скалярный процесс; тогда имеем

х (и, £) = j J {cos (ku + Xf) § (dk, dX) + sin (ku + Xf) ц (dk, dX)}.

Мы обозначили через k, X координаты вектора 6. Ненулевые ковариации имеют вид.

Е{|^0)|2} = Е{^^Е{|^0)|2} = Е{^^4F(d9\ Х^О, к ^ 0,

Е{|^0)|2} = Е{^^

Е{|^0)|2} = Е{^^

2F (d^\ Х^О, & = 0 или X —0; к^О^

е^№ВД = р^ е-о.

Обычно X называют частотой, а к — волновым числом. Характер «элементарной волны»

{cos (ku-^Xf) Е (d0)4-sin (ku-^-Xt) ц (d0)}

очевиден.

В рассмотренной выше ситуации (когда и — двумерный вектор с пространственной и временной координатой) естественно считать Г функцией от (и2 — ^). Если, однако, и пробегает плоскую поверхность, то это предположение представляется излишне общим, так как можно ожидать, что Г будет зависеть только от евклидова расстояния | и2 — их | между двумя точками или по крайней мере что это будет очень близко к истине. Мы называем тогда х (и) однородным и изотропным. Рассмотрим сначала двумерный случай. Имеем (и, 0) = rX cos (ф — ср), где (г, ср) и (X, ф) — полярные координаты точек v и 0. Согласно определению бесселевых функций J L (Уиттекер и Ватсон [1946], стр. 188), имеем

е-г (г, 6) = ^ Jt ^ ви М-Ф-л/2), откуда

Ж (у) = 2 J Ji (rX) е“ »-л/2) z (d6),

что можно записать в виде

2е-»ф J J^tPW,(10.3)

— ООС

где ^ (dX) — вклад, соответствующий интегралу от exp{ZZ (ф— — л/2)} 2 (d9) по кольцу А, ограниченному окружностями радиусов

X и X + dX. Очевидно, что

E^dXjF^^W, wx2, и, кроме того,

Е {С(г) ^ £т) (dX)} = J ^ <;-m> * F (dO).А

Однако функция

у (р) = j в' ^ 0) F (de) =j eirXcos СФ-<р) р ^0) =

= ^ е^ j Jl (rX) е-и W-”/2) F (de)

зависит только от г, следовательно,

j Jt (rX) еи (^-”/2) F (de) = 0, Z 0, откуда вытекает, что F зависит только от X. Таким образом, получаем

Е {£(,) (dX) £т) (dX)} = 6” Я (dX), где

7(r)^ j Л(гХ)Я^Х).(10.4)

о

Перепишем формулу (10.4) для ковариационной функции и формулы для ковариаций величин td) в виде, отвечающем случаю, когда х (и) для каждого и является вектором с р компонентами, а именно

Г (г) = J Л (rX) Н (dk),(10.4)'

о

Е {^(Z) (dX) ^ (d^)*} = 6?^ Н ^.(10.5)

Теперь мы можем сформулировать следующую теорему, доказательство которой было намечено выше для скалярного случая. (Мы опускаем подробности несложного обобщения на векторный случай.)

Теорема 13'. Если х (v) — векторное однородное изотропное случайное поле на плоскости, то имеет место представление (10.3), где ^(0 (X) — векторные процессы с ортогональными приращениями и ковариациями, удовлетворяющими (10.5). В этом соотношении Н (X) — вещественная симметричная матрица с неотрицательно

определенными приращениями, однозначно (с точностью до аддитивной постоянной матрицы) определяемая требованием непрерывности справа. Ковариационная функция Г (г) связана с Н (X) соотношением (10.4)'. Соотношение (10.3) можно записать в эквивалентной вещественной форме

^к (у) = 2 J Ji W (cos N^ W+sin ^ч® W}.!(Ю.З)'

о 0

где отличны от нуля только ковариации вида

Е {Й0 № &° ^ = Е {л^0 W < ^ = 2Hjh (ax"

Следует отметить, что здесь не возникает «квадратурного спектра». Это обусловлено тем, что Е (х (и) х (w)') = Е (х (и?) х (0'), так как ковариационная функция зависит только от расстояния. Если это предположение не подтверждается на опыте, то мы должны вернуться к представлению (10.2).

Можно построить много примеров аналогичной структуры. Так, можно рассмотреть случай, когда наблюдения производятся в точках и, t, где и £ R\ at — временная переменная. (Таким образом, и £ R3, но мы разделяем пространственные и временные аргументы.) Тогда мы приходим к предположению

Е (х (и, s) х (w, t)) = Г (г, t — s),

где г = | и — w |. Вводя полярные координаты (г, ф) вектора )^, мы ^получаем представление.

2 Л со оо

^(и, ^= f j j expi{rA(<p —ip) — fy}z|(dp., aX, dip), (10.3)" [0 O' —CO

где

E(z(dp, ax, d^M^\ ax', d^)*} = ^’^F (dp/JdA) g?

Это выражение представляет x (и, t) как линейную суперпозицию волновых компонент с частотой ц и волновым числом X, распространяющихся в направлениях ф, причем для данных ц и X все направления дают одинаковый вклад в дисперсию, а амплитуда и фаза компонент определяются векторным процессом 2 с ортогональными приращениями. Ковариационная функция удовлетворяет соотношению

г (г, /) = J J e-^J0 (rA) F|(dp, axy(10.4)"

— ОО 0

Если вместо Д2 рассматривается R\ то получаются аналогичные формулы с заменой /z (гХ) ехр (—^ф) на У™ (0, ф)//4-1/2 (гХ), где

¥Тф. Ч^-А^е^РНсозб)

— сферические гармоники, a Р™ — нормированные присоединенные функции Лежандра. Очевидно, что эти примеры являются частными случаями некой общей теории. Такая теория необходима, во-первых, потому, что можно привести много других примеров и рассмотрение их с единой точки зрения было бы экономным, а, во- вторых, потому, что обилие специальных функций, возникающих в частных примерах, без общей теории может сбить с толку. Было бы невозможно полностью изложить общую теорию в том ограниченном объеме, которым мы располагаем. Мы рекомендуем читателю книгу Хеннана [1965а] и в особенности работу Яглома [1952], где можно найти более полное изложение.

Чтобы попытаться понять общую ситуацию, мы начнем с частного случая сферы 52 в трехмерном пространстве. Итак, и — точка 52 и х (и) для любой и — случайная величина. Кроме того, ограничимся сначала скалярным случаем; тогда у (и, w) — Е (х (и) х (и?)), и, w ^ 6 52,— непрерывная функция от и и w. Введем теперь группу О+ (3) всех вещественных ортогональных (3 X 3)-матриц с определителем 1, т. е. группу вращений. Мы рассматриваем О+ (3) как группу вращений вокруг центра 52 и обозначаем через gv точку, в которую переходит и ^ S2 под действием g g О+ (3). Чтобы избежать путаницы, в этом параграфе мы обозначаем единичный оператор в О+ (3) через е.

Наше существенное предположение состоит в том, что

7 ^gv, gw) = у (v, w), v,w Е S\ g E o+ (3).

В этом случае у, очевидно, зависит только от сферического рас-, стояния между и и w. Как и раньше, мы обозначаем через у (и) функт цию у (v0, v), где и0 — например, северный полюс. Она однозначно) определяет функцию у (и, w) в целом, так как у (и, w) = у (v0, gw), gv = vQ. ~

Полагая у (g) = у (и), где gv0 = и, мы можем рассматривать у (и) как функцию на группе О+ (3). Заметим, что если к принадлежит 0+ (2)—подгруппе 0+ (3), оставляющей на месте точку и0 (т. е. группе вращений в горизонтальной плоскости), то у (ки) = у (и), поскольку у (и0, и) = у (kv0, kv) = у (v0, ки); однако если gv0 = и, то также gkv0 = v (ибо ки0 = и0). Следовательно, у (kgkf) = у (g), к, к' £ € 0+ (2). Подобная функция у (g) называется биинвариантной (относительно 0+ (2)). Наша у (g) является специфической биинвариантной функцией, поскольку она неотрицательно определенна, т. е. для любых иь i = 1, . . ,, N, матрица у (и;, vj), i, 7 = 1, . . ., N, неотрицательно определенна. Мы увидим, что для неотрицательно

определенных биинвариантных функций имеет место некоторая модификация теоремы 1. (Конечно, для стационарных случайных процессов биинвариантность довольно тривиальна, так как роль О+ (3) играет тогда аддитивная группа вещественных чисел, а О+ (2) — подгруппа, оставляющая на месте точку /0, т. е. тривиальная подгруппа, состоящая из единственного элемента 0.) Эта теорема, в ее общей форме, называется обычно теоремой Бохнера, поскольку Бохнер впервые доказал ее в частном случае теоремы 1. Сейчас мы хотим подойти к этой теореме с другой точки зрения, которая хорошо раскрывает ее смысл.

Введем гильбертово пространство S61 порождаемое случайными величинами х (и), со скалярным произведением

(ж (у), х (w)) = у (у, W)

точно так, как в приложении к гл. I. Рассмотрим операторы в ^, определенные соотношением

и (g) х к») = х (gv).

Так как

ku kg) 2 а,х и (g) 2 Ph^(to&)) =

= 22 «А kg»^ х kew^ =

= 22аАт(^. №) = 22аАт(1,,ч ^) =

то U (g) оставляет неизменным скалярное произведение любых двух линейных комбинаций величин х (и). Отсюда сразу следует (поскольку Z7 (g) имеет на множестве таких линейных комбинаций норму, равную единице), что У (g) можно продолжить на все пространство St. полагая U (g) х = lim U (g) хп для хп ->- х, причем п

скалярное произведение останется инвариантным относительно U (g), так что U (g) будет унитарным оператором *). Более того, соответствие

g-^U^

является «представлением» группы О+ (3) унитарными операторами в St в том смысле, что оно является гомоморфизмом: е -^ 1, gxg^ ->- -> U (#i) U (g2)_1 и, кроме того, непрерывно. Последнее означает, что если gi стремится к g (т. е. сближаются оси и углы вращений gi, g), то || U (g^ — U (g)|| стремится к нулю. (Это следует из непрерывности у (и, w).) Вводя ортонормированный базис фу, / = 1, 2, . . ., в Ж можно представить U (g) как матрицу uit к (g), где

^(&)<Р; = 2ий.;(я)фл-(Ю.6)

1

Мы вновь отсылаем читателя к математическому приложению, где можно найти обзор понятий, используемых в этом параграфе.

Фундаментальный факт, который мы сейчас сформулируем (доказательство см., например, в книге Наймарка [1958]), состоит в том, что при определенном выборе ф; матрицы \U (g)] приводятся к особенно простой форме. Именно, 3£ распадается на подпространства х) ДО, X = 0, 1, 2, . . ., такие, что U (g) ДО cz ДО, g £ 0^. (3), т. е. St^ — инвариантные подпространства, причем каждое из них неприводимо, т. е. не содержит собственного инвариантного подпространства. Таким образом, U (g) можно рассматривать как оператор в St^ и как таковой мы его обозначим U^ (g). Итак, U^ (g) является неприводимым унитарным представлением О+ (3). Кроме того, имеют место следующие два важных свойства. Во-первых, каждое пространство Sd^ конечномерно; фактически St^ имеет размерность 2Х+1. Во-вторых, каждое из них появляется не более одного раза. Описывая это свойство, говорят, что представление U (g) «однократно». Мы обсудим это свойство, а также причины, его обусловливающие, в следующем параграфе. Конечномерность и простая структура разложения U (g) являются частными свойствами и связаны исключительно с тем, что сфера 5, или, равносильно, 0+ (3) являются компактными топологическими пространствами. Теперь легко понять матричную форму IU (g)L Выберем наш орто- но рмированный базис ф7- так, чтобы ф! порождал а№, ф2, ф3, ф4 порождали St^ и т. д. Позднее мы выберем ф; в каждом оК^ так, чтобы привести ll№ (g)] к простейшему виду, но в любом случае W (g)] становится бесконечной матрицей, состоящей из бесконечной последовательности блоков на диагонали, причем Х-й блок, X = = 0, 1, 2, . . ., имеет (2X^1) строк и столбцов. Мы можем записать это в виде

^ = £Ж ад^иго^, [и^-Ули^ &)]. ффф

Любое подпространство StA^, как уже говорилось, неприводимо относительно 0+ (3), однако оно не будет неприводимым относительно меньшей группы 0+ (2). Для каждого $№ существует только одно одномерное подпространство, в котором 0+ (2) действует тривиально как единичный оператор. Условимся брать вектор, порождающий это одномерное подпространство, в качестве (Х-|-1)-го вектора из (2Х + 1) ортонормированных векторов, образующих базис в <9£^. Таким образом, [1W (А:)], к 0+ (2), имеет нули в средней строке и среднем столбце, за исключением единицы на главной диагонали. Это, однако, верно только для к ^ 0+ (2). Другие элементы в средней строке определятся, как только в ^^ будут выбраны остальные ортонормированные базисные векторы. Эти элементы называются сферическими функциями ^Y Всегда можно сделать так,

чтобы элементы в этом среднем столбце имели вид

где 9 — широта (изменяющаяся от нуля для северного полюса до л для южного), а ср — долгота точки, в которую вращение g переводит северный полюс. Тогда х ^^ должно иметь вид

2«(^<0)(Х)

(где единичный вектор z<0> (X) лежит в одномерном подпространстве <96^, инвариантном относительно О+ (2)), так как U (k) х (у^) = = х (у0). Поэтому если gt;0 = и, то из (10.6) непосредственно получаем x(v^U (g) х (v0) = 2 а (X) Uw (g) 2(0> (X) = § 2 Y^ (0, Ф) ^ (X),

X=0n=-X

^“>(X) = a(X)(^)1/2Z<">(X),(10.8)

где zP^ (X) — орто нормированные векторы (п = —X, —Х4-1, . . • . . ., X) в пространстве оЖ’М, выбранные так, чтобы элементы в среднем столбце матрицы U^ (g) имели вид (10.7). Положим

Е{|^, (Х)|2} = |;а(Х)|2(_^_)=я(Х);

векторы £(П)(Х), конечно, ортогональны. Кроме того,

Е (х ^ х (у0)) - 2 Y»x (9, Ф) Н (X) (^)1/2 =х=о

х=о

где Рх (cos 9) — (обычный) нормированный многочлен Лежандра порядка X. С точностью до постоянного множителя он равен зональной сферической функции.

Векторный случай ненамного более сложен и может быть рассмотрен с помощью приема, использованного в доказательствах теорем 1 и 2. Таким образом, мы в общих чертах доказали следующую теорему:

Теорема 13". Если х (у) — векторное однородное случайное поле на сфере, то х (и) удовлетворяет соотношению (10.8), где векторы t^™ (X) таковы, что

Е C<m> (X) £<’*> (ц)*} = б^Я(Х),

п = —X, —X + 1, . . ., X; X, р, = 0, 1, . . .,

а Н (X) — неотрицательная симметричная матрица, такая, что

Г(г) = Е(*М')=-12 px(cosr)H(X)(W)1/2 ,х=о

где г — сферическое расстояние между точками vr и и2.

Спектральное представление (10.8) сложнее того, которое дается теоремой 13, так как каждому значению X отвечает (2Х + 1) членов в разложении. С другой стороны, оно проще, так как сумма дискретна. Первое обстоятельство обусловлено некоммутативностью группы О+ (3); второе, как уже говорилось,— тем, что группа компактна.

Аналогичным образом можно построить и спектральную теорию для стационарных процессов на вещественной прямой. Для этого вновь строим ЗЕ. Снова мы имеем группу, а именно аддитивную группу вещественных чисел, так что

U (s) х (t) = х (t + s) и в согласии с обычными требованиями имеем U (s) U (^) = U ($+£). Это опять приводит к унитарному представлению в ЗЕ. Рассмотрим неприводимые унитарные представления нашей группы, которые имеют теперь простейший вид, а именно ЗЕ^ одномерно, а [£7^ ($)] имеет вид exp (As), где X С (—сю, оо). Однако описание разложения произвольного унитарного представления на неприводимые становится более сложным, поскольку группа является лишь локально компактной. Можно поступить следующим образом. Мы можем представить ей?, изоморфно по отношению к действию группы, как семейство L2 (ц) функций на вещественной прямой, К £ (— оо, оо), квадратично интегрируемых по мере ц. Оператор U (t) действует в L2 (р) по формуле

У (X) С L2 (ц) -> U (s) у (X) = W (s) у (X) = е^у (X).(10.9)

Довольно очевидно, что существенным является лишь носитель меры ц, т, е. а можно заменить на эквивалентную меру ц^ Это приведет лишь к замене у (X) на у (X) (йц/йц!), а так как (йц/йц!) не равно нулю п. в. (ц), то не будет никаких существенных изменений. Выберем ц так, чтобы функция xQ (X), представляющая х (0), равнялась единице п. в. относительно ц. Это можно сделать, так как х0 (X) для данной исходной меры р^ должна быть ненулевой п. в. относительно М^ если бы это было не так, то все представители ехр (—ZXs) х0 (X) обращались бы в нуль на одном и том же множестве и отображение из ЗЕ в L2 (pi) приводило бы к неизоморфному преобразованию исходного представления U (s) в новое представление (10.9). Таким образом, ц (dX) = xQ (X) pt (dX) является подходящей новой мерой, иж (0) тогда отображается в функцию, тождественно равную единице. При этом х ^ = U (t) х (0) должно переходить в функцию xt (X) = = ехр (—^Х) хй (X) = ехр (—itK). Если мы заменим ц соответствую-

щей функцией распределения, то указанный изоморфизм между 8В и L2 (/^) полностью определится соответствием

^№е-^\(10.10)

которое используется в п. 1 приложения к этой главе для доказательства теоремы 2.

Этот формализм часто заменяется другим, внешне более похожим на использованный в случае 52. Обозначим через Е (0) оператор в Ь2 ^Е\ проектирующий на подпространство L2 (F), состоящее из функций, равных нулю при X > 0. Легко видеть, что Е (0) — на самом деле ортогональный проектор. Семейство проекторов Е (0) обладает свойствами

Е (-оо) = 0, Е (оо) = /,

Е (X) Е (0) = Е (0), X > 0,

lim|| Е(Х + 6) —Е(Х) 11=0!), 610

которые характеризуют то, что называется спектральной функцией. Таким образом, мы приходим к соотношению

U^= j е-^Е^.(10.11)

так что

Г7(8)ж(0)= j e~iUE (dX) х (0) = J е-^Ч (dX),

где 2 (ДХ) = E (dX) x (0). Это просто другой способ записи соотношения (10.9), более предпочтительный лишь постольку, поскольку он способствует интуитивному пониманию благодаря аналогии между соотношением (10.11) и спектральным разложением унитарного оператора в конечномерном векторном пространстве.

В случае когда и пробегает R2, а группой симметрий является группа евклидовых движений /0 (Л2), трудности проявляются более полно, так как теперь группа и некомпактна (локально компактна) и некоммутативна. Преобразования группы /0 (7?2) имеют вид

v -> kv + х^(10.12)

где к — элемент О+ (2), а х — разумеется, вектор с двумя компонентами. Эта группа, очевидно, некоммутативна и некомпактна (так как содержит подгруппу и —> и + х, топологически эквивалент-

х) Правильная формулировка этого свойства: Е (X + д) сильно стремится к Е (X) в L2 (F) при о I 0. Легко видеть, что если отрезок [X, X + д] имеет положительную /^-меру, то Е (X + d) — Е (X) — ненулевой проектор и, значит, имеет единичную норму.— Прим, перев.

ную R2Y Вновь строим $£ и снова имеем унитарное представление группы /0 (Д2), определяемое соотношением

х (и) -> U (g) х (и) = х <gvY g £l0 (R2Y

где gv — точка, в которую и переходит под действием g. Вновь рассмотрим разложение U (g) на неприводимые компоненты. В этом случае, однако, неприводимые унитарные представления U^ (g) либо бесконечномерны, либо переводят элемент группы вида (10.12) в неприводимое унитарное представление U (к) подгруппы О+ (2). Последние не появятся в наших дальнейших рассуждениях, так как они не являются представлениями «класса один», т. е. не имеют того единственного одномерного подпространства, в котором U (kY к Е 0+ (2), действует как единичный оператор. Остальные бесконечномерные унитарные представления нумеруются индексами X Е Е [0, оо). Элементы «среднего столбца» такого неприводимого представления при подходящем выборе ортонормированного базиса в S£^' имеют вид

e-^Jt^Y(10.13)

где г, ф — полярные координаты точки, в которую переходит начало координат под действием рассматриваемого элемента группы. Разложение рассматриваемого представления можно осуществить с помощью обобщения уже введенной конструкции. Рассмотрим меру р на [0, оо) и сопоставим каждому X Е Ю, оо) гильбертово пространство 31^. Тогда наше представление U эквивалентно представлению, которое получается следующим образом. Пространство представления реализуется в виде семейства функций х (X), где х (X) Е Е о#(Ч таких, что )

( НХ^) Ши оо, о

где || х (Х)||х обозначает квадрат нормы х (X) как элемента <й^.- Скалярное произведение элементов х (X), у (X) равно

j (x^y у (Х))хр (d^Y

где ^x (X), у (X))x — скалярное произведение в о^М.

Тогда наше представление эквивалентно следующему:

и (g) X (X) = ^) ^ X (X), g Е I. №^ 6 [0, оо).

Вновь существенным является лишь носитель меры р, и опять р можно выбрать так, чтобы х (i?0) (^о — начало координат в Д2) имело

простой вид, а именно х0 (X), где х0 (X) для каждого X принадлежит одномерному подпространству, в котором О+ (2) действует как единичный оператор. Тогда, если gv0 = у, то

х (у) ~> и (g) я» W = Uw (g) ^о W = 2 е-« и L (rX) xt (X), (10.14)

где xt (X) пробегает ортонормированный базис в с^?^, выбранный так, чтобы соответствующие элементы матрицы оператора U (g) имели вид (10.13). Здесь г, ф имеют, конечно, прежний смысл. Далее,

Е (х (у) х (у^) = j JQ (rX) Н (dX).

о

где Н — функция распределения, определяемая мерой ц. Таким образом, мы получили (10.4)'. Соотношение (10.3) является просто другой формой (10.14).

Теперь ясна общая схема. Дано топологическое пространство F и группа G, действующая транзитивно как группа преобразований F (это означает, что для любых vh ^ Е ^ существует преобразование g Е G, переводящее vY в р2). Подгруппа К cz G, оставляющая на месте и0, компактна. Группа G должна быть группой достаточно специального вида, допускающей простое конструктивное описание представлений (например, группой симметрий глобально симметрического пространства F, как во всех рассмотренных примерах; см. Хел- гасон [1962]). Нужные нам формулы даются теорией представлений группы G. Важные подробности, касающиеся этих формул, можно найти в книге Виленкина [1965].

Прежде чем закончить этот параграф, необходимо сделать еще два замечания. Во-первых, можно рассматривать топологические произведения пространств V; группой симметрий такого произведения будет прямое произведение соответствующих групп. Тогда множество Л значений индекса X будет произведением соответствующих множеств, а «сферические функции»— произведениями соответствующих функций. Так, в случае № X R с группой симметрий Io (R2) ® R сферическими функциями являются

e-^tg-u^j t (rX)9

где 6, X — координаты в Л, откуда получается соотношение (10.3)” Во-вторых, все эти результаты непосредственно распространяются на векторный случай с помощью конструкции, которая ничем не отличается от использованной для доказательства теорем 1 и 2 § 2.

11. ОБЩАЯ ТЕОРИЯ ФИЛЬТРОВ1)

В этом параграфе мы хотим дать довольно общее изложение теории фильтров, а также некоторое представление об общей концепции фильтра.

х) Этот параграф является специальным и может быть опущен.

Материал первого пункта прост, хотя и носит несколько технический характер; он касается нелинейных фильтров с памятью и основывается на книге Винера [1958]. Во втором пункте предпринята попытка продемонстрировать общность и первостепенную важность понятия фильтра.

Если мы хотим описать действие нелинейного фильтра, хотя бы в терминах спектра выходного процесса, то мы должны полностью задать вероятностную структуру фильтруемого процесса. Это заставляет нас принять предположение, что исходный процесс х ^ является стационарным в узком смысле векторным процессом с р компонентами. Мы рассматриваем вероятностное пространство (Q, ^, Р) всех «траекторий» процесса х (t), так что х (t) = х (£, со) является семейством случайных величин на (Q, ^, Р). Рассмотрим теперь Ь2 (й, ^, Р) — пространство функций на Q, квадратично интегрируемых по мере Р. Для краткости будем обозначать его Ь2. Пространство Ь2 порождается функциями % (со):

х(®) =х(®) =1, control (жу<;1)(^, to), k = i, ..^п^В),

х(®) =

х(®) =

л(11.1)

О в противном случае,7

где kxjw (^) to), ^ = 1, . . ., п) обозначает точку в Rn с такими координатами, а В — борелевское множество в Rn. (Таким образом, % — индикатор цилиндрического множества в Q, базой которого является конечномерное борелевское множество.) Если х (t) — гауссовский процесс, так что каждая xj (t, со) принадлежит L2l то Ь2 порождается многочленами от Xj (I, со), поскольку индикатор любого ^орелевского множества В в Rn может быть аппроксимирован в среднеквадратичном многочленами.

Рассмотрение нелинейных фильтров мы начнем с предположения, что х ^ — скалярный гауссовский процесс, и определим фильтр как функцию

y^=f^№ Е^Хоо,(11.2)

которая сопоставляет элементу х ^ элемент у (£) £ L2. При этом подразумевается, что у (t + s) = / ({х (t + $)}). Более подробно это означает следующее. В Ь2 определен оператор U (s) по формуле U (s) х (t) = х (t + s). Этот оператор продолжается на все пространство Ь2 сначала по формуле

и (s) 2 a Un - у kV (ti)pix (t2)Vi.. .x^fk =

= 2 а Un • • •, 7h) X (^ + SpX (<2 + Sp • • • x Uk + Sf\

я затем по непрерывности; именно, если xn — последовательность многочленов, сходящаяся в среднеквадратичном к х, то U (s) х = = lim U (s) хп (этот предел всегда существует) *). Тогда, в силу п

х) Обзор сведений, необходимых здесь и далее, см. в математическом приложении.

стационарности, U (s) для любого s является унитарным оператором в Ь2. Фактически U (s) есть унитарное представление группы сдвигов вещественной прямой (см. § 10). Пусть А — линейный оператор в Ь2 с «хорошими» свойствами. Под этим понимается следующее:

Область определения 3D (Л) оператора А плотна в L2. Если А определен на всех многочленах (что действительно нам нужно), то это выполняется.

Оператор А замкнут. Это условие также необходимо намт так как если хл — последовательность элементов, сходящаяся к х, причем Ахл сходится к у, то действительно нужно будет, чтобы х £ 3D (Л) и Ах = у. Мы не можем потребовать большего — чтобы А был ограничен, ибо дифференциальные операторы неограничены.

Теперь мы можем определить фильтр как такой оператор Л, удовлетворяющий, кроме того, условию}

AU (s) U (s) A, s £ (—оо, оо),

которое^ означает, что из х ^ 3D (Л) следует U (s) х £ 3D (Л) и AU^x = U (s) Ах. Допустим, что х (0) 6 3D (Л), и положим

у (t) = Ах ^ = AU (t) х^ = U ^ Ах (0).

Это и есть строгое формальное определение, отвечающее соотношению (11.2).

Теперь мы попытаемся несколько более подробно описать действие А на х (£), по крайней мере для достаточно простых операторов А. Напомним, что если F (X) абсолютно непрерывна, то, согласно примеру (vi) из § 5,

ж(<) = j a'(Z —s)£(ds),

где £ (£) удовлетворяет соотношениям

Е{(Е (0 — (»))2} = М — » I. Е (^ (Z)) = 0.

Более того, £ (2) — гауссовский процесс, ибо, как показано в приложении к этой главе, £ (2) есть среднеквадратичный предел конечных линейных комбинаций гауссовских величин х (^). (Таким образом, £ (^) — стандартный процесс броуновского движения на (—оо, оо).) Тогда у (t) можно аппроксимировать в среднеквадратичном выражениями вида

a(0)+ j ^ (Z —s)g(ds)+j j а2(^—«i, i —s2)U^i)U^s2) +••• • (И.З)

В самом деле, это равносильно тому, что у (£) можно аппроксимировать последовательностью полиномиальных функций от случай-

ных величин х (t):

а (°) + 3 а« О') f а 0> ~ s) £ ^ + 5-оо

+ 2 3 “2(7. ft) j j а(^—si)a(^—s2) ^№) ^№) + • • • • (Н.4)

Следует, однако, заметить, что в соотношении (11.3) не только а2 (и, и) должна быть квадратично интегрируема на плоскости, но и а2 (и, и) должна быть интегрируема, и т. д.

Чтобы получить однозначное разложение, поступим следующим образом. А именно, обозначим через Fv линейное подпространство в L2№, ^Л-Р)’ порождаемое всеми величинами вида

j j а (б,, ..,, sv)g(dsi) . ..g(dsv).(11.5)

Конечно, Fo — пространство постоянных. В (11.5), помимо квадратичной интегрируемости функции а ($ь . . ., sv) на v-мерном пространстве (относительно лебеговой меры), требуется конечность всех интегралов типа

j ... J a(sf, Si, £ь s2, s2, .. .,t2.. .)а(щ, tv, u^ u2, u2l . .., Z2...) X

X &i ds2 ... dti dt2 ... du^ du2 ... .

Последнее означает, что аргументы sb . . ., sv, щ, . . ., uv разбиты произвольным образом на v пар, причем пары, попадающие в первый множитель а (•), обозначаются Sj, во второй uj, а те, которые имеют по одному представителю в каждом подмножестве аргументов, tj. Тот факт, что все такие выражения должны быть конечными, вытекает из следующего свойства гауссовских величин с нулевым средним: математическое ожидание произведения нечетного числа таких величин равно нулю, а для четного числа оно равно сумме всевозможных произведений математических ожиданий попарных произведений. Заметим также, что, не ограничивая общности, можно считать, что в выражениях (11.5) ядро а (•) является симметрической функцией аргументов, так как (11.5), очевидно, не меняется при перестановке индексов. Пусть 86 ч— проекция Fv на

5=0

Таким образом, 86 N — часть Pv, ортогональная к Vj, ] < v. Тогда

Следовательно, можно написать

y^ = ^G^y^ = ^g.(t\Ооy^ = ^G^y^ = ^g.(t\Оо(11.6>(11.6>

y^ = ^G^y^ = ^g.(t\Оо

y^ = ^G^y^ = ^g.(t\Оо

(11.6>

(11.6>

где Gv (у (Z)) — проекция у (Z) на (%V Компоненты Gv (у (Z)) являются при разных v ортогональными случайными процессами, т. е»

E{Gv(Hs))G7(F(^ n^v.

(Удобно считать, что коэффициентные функции в (11.4) могут быть комплексными, отсюда знак комплексного сопряжения.) Таким образом, вычисление спектра у (t) сведено к вычислению спектров каждого из Gv (у (£)). К сожалению, последняя задача чрезвычайно сложна даже в простых случаях. Чтобы понять характер проблемы, рассмотрим формулу (11.3) в случае, когда разложение содержит только третий член. Пространство <9£0 = Fo состоит из постоянных. Если х ^ имеет нулевое среднее (что можно предположить без ограничения общности), то Fo ± Fi и SEX = ^i-’Теперь мы должны ортогонализовать величину

j J а2 (# — $!, ^ — s^^cZsJK^Sz)(11.7)

по отношению к Уо и Fle Так как ее математическое ожидание равно

й2 (^ — s> t — s^ds,

то мы добьемся ортогональности к Fo, если вычтем из (11.7) последнее выражение. Более того, получившаяся величина будет ортогональна и к ^\, ибо математическое ожидание произведения (11.7) на произвольный элемент d^i сводится к математическим ожиданиям от нечетного числа, а именно трех, сомножителей. Таким образом, остается найти спектр (11.7) после центрирования. Нетрудно вычислить ковариации, которые равны

2f $ a^t-2f $ a^t-$1, t — $2) ^2 (^i) ^2) ds^ ds2.$1, t — $2) ^2 (^i) ^2) ds^ ds2.(11.8)(11.8)

2f $ a^t-

2f $ a^t-

$1, t — $2) ^2 (^i) ^2) ds^ ds2.

$1, t — $2) ^2 (^i) ^2) ds^ ds2.

(11.8)

(11.8)

Так как a2 квадратично интегрируема на плоскости, то

«2 (и, 0 =‘^7 j (u9l+”0s) «2 (01» 62) ^1 ^02

в смысле среднеквадратичной сходимости, где

«2 (91, 62) = "^7 ^ j £-i (u01+r92)a2 (u, р) du du.

Согласно формуле Планшереля, выражение (11.8) равно

2 j J 02(0!, 02)а2( — 0!, —02) e-i<<91+e2) ^0,^02 = [ е-“ка (Х)У%, где

CL (А) = 2 J 6^2 (611 А — 61) 6^2 (— 61, — A -I- 6f) cZ6i,

что совпадает с 2 J | а2 (6, А— 6)|2d6, если а2 вещественна.

В общем случае проекция произвольного v-ro члена в (11.2) на о^у имеет вид

gv(0 = j • •• j сц,^ — sb t — s2, ..., t — s^^^ ...^ds^ + b^,

(11.9)

где bv_i — комбинация аналогичных членов, содержащих не более чем (v — 1) аргументов 8 $; но тогда (11.9), очевидно, ортогонально к by_i, так что ковариации процесса (11.9) имеют вид

® { j . . . J tty (^ Si, . . ., t Sy) ^ (c?5i) . . • ^ (б/Sy) gv (s) ^ .

Теперь мы должны попарно приравнять аргументы s^ из обоих множителей и сложить результаты всевозможных таких попарных разбиений. Если мы приравниваем два аргумента Sj из первого множителя, то после взятия математического ожидания произведения пары £ (ds^ для этих Sj от первого сомножителя останется выражение более низкого порядка, и когда мы возьмем математическое ожидание по всем остальным парам, оно обратится в нуль. Таким образом, останется лишь

v! J ... j ttv (^ — sb ., t— Sy) йу (s—Si, . . ., s — Sy) dsi . . . t/Sy,

ибо существует v! разных способов попарного отождествления переменных из этих двух сомножителей. Таким образом, вводя обозначение

tty (61, • бу)tty (61, • бу)1(2^v/21(2^v/2e~iu'0tty (une~iu'0tty (un• uv) du^ •.. du^^• uv) du^ •.. du^^

tty (61, • бу)

tty (61, • бу)

1

(2^v/2

1

(2^v/2

e~iu'0tty (un

e~iu'0tty (un

• uv) du^ •.. du^^

• uv) du^ •.. du^^

где и и 6 — векторы из v компонент, имеем следующее выражение для спектральной плотности gv (Z):

(11.10)(11.10)v! ( ... j |«v(0i, ..., 0V) I2 ^©i - • - ^©v,J S(M J

(11.10)

(11.10)

где интегрирование ведется по плоскости S (X), на которой ^ 9v — ^ (мы считаем, что av вещественны).

Формально мы свели нахождение спектра к отысканию разложения (11.6) и вычислению выражений типа (11.10). При определении g^ ^ могут быть полезны следующие соображения.

Введем произвольное семейство функций ф7- (Z), 7=0, 1, . . ., ортонормированных относительно меры Лебега на вещественной прямой и порождающих Ьг х). Положим

тогда величины uj UY 7 = 0, 1, . . ., порождают ЗВ^ независимы и гауссовы с нулевым средним и единичной дисперсией. Положим, далее,

Ui ty = II ^mk (uj (0)> 71 < 72 < ... < jr, S^/t—^

где Ни — многочлен Эрмита и-го порядка. Здесь символы пц j обозначают упорядоченные наборы U^kY UkY Тогда

ех^^у, ^н^Чк ty=<ех^^у, ^н^Чк ty=<0, l=^k или т^тцIl^jh j = k, m = n^50, l=^k или т^тцIl^jh j = k, m = n^5(11.11)(11.11)

ех^^у, ^н^Чк ty=<

ех^^у, ^н^Чк ty=<

0, l=^k или т^тц

Il^jh j = k, m = n^

5

0, l=^k или т^тц

Il^jh j = k, m = n^

5

(11.11)

(11.11)

ибо многочлены Эрмита от разных и5 UY очевидно, независимы и (11.11) распадается на множители вида

Е {^ТП^ (^j (0) ^n, (^; (£))}•

Если ц =^ v, то mi ^ пг и утверждение очевидно. В случае ц = v и 7 ^ к утверждение также верно, ибо какое-то из этих математических ожиданий равно нулю; нетрудно убедиться, что то же самое происходит и в случае ц = v, ] — к, т ^п. Кроме того, в силу рассуждений, подобных приведенным вслед за формулой (11.9),

Е^Чь з^ЧМ^-О, n^v, (11.12)

однако при ц = v, s ^t ситуация оказывается более сложной, чем для (11.11). В любом случае Н^ U^ ^ лежат в 38^ и при любом фиксированном t порождают 38 N» Таким образом,

gvW = 2 ^Чт. ПН^Чь t).

771, j

г) Выбор подходящего семейства может определяться характером функциональной зависимости процесса у (t) от х (^).

где суммирование происходит по всем т, ], таким, что ]\ *< ]% < • • • и У = v, а коэффициенты

a<v)(m,=Z)}

v Ei^a, z»2] 'u 1”

не зависят от t в силу стационарности. Теперь нам нужно найти

Е{Я^(/, s)H(P(k, Z)}, s^t.

Рассуждая так же, как при выводе соотношения (11.10), получаем, что это равно

{(II Uj <<l (И ^ k^Y^ = 5 П Е Vo (s) ик v^ = г 1г г

= 2П<ф/ *фь(<-8)},

где сумма берется по всевозможным способам попарного объединения множителей из первого произведения с множителями из второго произведения, а произведение — по всем парам (/, /с) для данного способа попарного объединения. Очевидно, что в общем случае ситуация очень сложна.

Если в задаче участвует лишь небольшое количество функций фу, то вычисления могут быть осуществимыми, однако в этом случае прямой подход, без использования фу, может оказаться столь же или даже более простым.

Эти идеи в принципе непосредственно обобщаются на векторный случай и на случай дискретного времени. Мы не будем здесь обсуждать эти вопросы более подробно.

(н) Определение фильтра, данное в пункте (i), распространяется на общий случай, когда х (f) — векторный стационарный в узком смысле, но не гауссовский процесс. В этом случае L^ определяется, как прежде, a U (s) в Z/2 определяется указанием U (s) % (со), где % (со) определено соотношением (11.1), a U (s) % (w) обозначает индикатор цилиндрического множества {со | (xj^ (tk + s, со), к = = 1, . . ., п) £ В у Вновь U (s) является унитарным представлением группы сдвигов вещественной прямой; мы снова предположим, что А — замкнутый линейный оператор с областью определения ^ (Л), плотной в L^, и определим фильтр как оператор Л, такой, что AU (s) U (s) A, s ^ (—оо, оо). Если х5 £ L^, / = 1, . . ., р, то мы положим т)

у 5 (0 = U (^ Axj = AU ^ Xj, / = 1, . . р;

векторный процесс у ^ является стационарным в узком смысле и имеет конечную дисперсию. Мы можем наглядно представлять

х) Очевидно, надо предположить, что жу С ^ (Л).— Прим, персе.

себе, что А соответствует некоторому измерительному прибору, а х^ — основным характеристикам исследуемой системы, которые определяют ее состояние в момент t = 0, а также измерения z/7- (0), производящиеся в момент £ = 0 ^ С этой точки зрения «фильтр» и «стационарный в узком смысле процесс» являются почти эквивалентными понятиями. Очевидно, что определение фильтра переносится на общий случай однородного в узком смысле случайного поля с конечной дисперсией (см. § 10), но мы не будем обсуждать это более подробно.

Пространство L^ содержит 38 как замкнутое линейное подпространство, если величины х^ ^ имеют конечные дисперсии. (Здесь 36 — пространство, порождаемое линейными комбинациями величин х3 (^).) Если 38 инвариантно относительно А, то А можно назвать линейным фильтром. В этом случае мы можем рассматривать А как оператор в 36. (Он также будет замкнутым с плотной областью определения в 38 ).) Если теперь мы будем рассматривать А как оператор в 38, то мы можем считать лишь, что х (8) — стационарный процесс второго порядка. Предположим сначала, что х (^) — скалярный процесс и что х (0) £ 36 (Л) (следовательно, х (8) = U (8) х (0) £ £ 3D (Л)). Тогда, как и в предыдущем параграфе, можно установить соответствие

х в”^(11.13)

(см. (10.10)), где ехр (—ИХ) — элементы пространства L^ (F), a F — спектральная функция процесса х (8). Тогда U (s) действует в Л2 W по формуле U (s) х = exp (—isX) х, х ^ L2 (F). При этом у (0) = = Ах (0) переводится отображением (11.13) в функцию К ф) из

Ах (0) - у (0) h (А);

но тогда

Ах (8) у (8) U (8) Ах (0) ~ е^ К (А).

Таким образом, действие фильтра А полностью описывается частотной характеристикой К (А).

В векторном случае можно поступить следующим образом. Пусть / (X) — матрица производных Радона — Никодима от F (А) относительно т (А) = Тг F (А). Пусть 36 М для каждого X обозначает векторное пространство с базисом е5 (X); ] = 1, . . ., р, и скалярным произведением, определяемым / (А), так что

ф (X), ek (А))х = fjk (А).

!) Обсуждение сходных концепций см. в книге Макки [1968], стр. 159.

Тогда L^ (гп?) есть пространство всех измеримых функций от X, и (X), г (X), значения которых лежат в ^^^ со скалярным произведением

(и, v)= (и (К), v(K))Km(dK).

Теперь можно установить изоморфизм между 36 и L^ (т) по формулех3Щ**е-ике3(ХУ

Справа еДХ)— элементы L^niy Более того, U (t) представляется в L2(m) по формуле

иЩ ej^^e-^ej^.

Тогда

к

ибо Axj (0) принадлежит ЗЕ для любого / и, следовательно, переходит в функцию и5 (%), которая представляется в указанном виде, так как €к (X) образуют базис. Таким образом,

У3 (0 = и (0 Ах3 (0) — 2 hkj (X) е-^ек (X),к

т. е. действие фильтра полностью описывается матричной частотной характеристикой A (%).

Обратно, если А — линейный фильтр в смысле примера (iv) § 4, то 2 (Л) действительно плотна в d%? (поскольку х (/) £ 2В (Л)). Замкнутость оператора А можно доказать следующим образом. Пусть ш (X) = Тг F (X) и / (X) — матрица производных Радона — Никодима от F (%) по мере m (%). Пусть Е (%) —- эрмитов идемпотент, который проектирует на область значений матрицы / (X). Мы можем считать, что h (%) Е (X) = К (%), ибо замена К (%) на A (%) Е (%) не приводит к изменению фильтра (согласно теореме 9). Пусть А(1) (X) — матрица, удовлетворяющая соотношению K^tW = / (^) ^(1> W*. Тогда А<г>(Х) / (X) А(1) (%)* = j^h (X)* / (X)"1 h (X) / (X). Условимся временно для краткости опускать аргумент X. Последняя матричная функция интегрируема, ибо

Тг МНГхн*П< р II fhFl^f || < р || w1/2 || || rM2h*f II <

< р (Тг ОГ1^2 = Р (Тг U^W = Р Тг kh*iKY

Поэтому А'^Х задает фильтр, т, е.

Л А Щ = J е-^ 2 MP (X) zk (dX)

—оок

определено корректно для всех / и t; но тогда, если Л отвечает h (Л), то

e^hs), $k^= j ^-^змадис^ — ООI

= j ^-^2^(^)^(M = (^(s), ЛА(0). — ООI

Так как xj (f) плотны в ^, то Л! = Л* (Л* — оператор, сопряженный к Л) на общей области определения, и эта область определения плотна в 36. Итак, область определения Л* плотна в 36. следовательно, Л допускает замыкание (см. Рисе и Надь [1956], стр. 330). Таким образом, мы можем взять в качестве Л замкнутый оператор.

Итак, мы доказали следующую теорему:

Теорема 14. Если Л — замкнутый линейный оператор в 36 с плотной областью определения 3D (Л), такой, что AU (й) 3 U (^) А и х (0) £ 3D (Л), то действие А описывается матричной частотной характеристикой по формуле

У1^ = Ах5^ = ^ e-^^hjk^dzkW,(11.14)

где KjnW образуют матрицу HQ^. такую, что

^ A(X)F(dX)h(X)*<oo.(11.15)

Обратно, если А удовлетворяет соотношениям (11.14) и (11.15), то А определяет в 36 оператор, обладающий указанными выше свойствами.

Эта теорема также обобщается на однородные случайные поля в классе пространств г), охватывающем все случаи, рассмотренные в § 10. Интересный вопрос: почему для таких пространств линейный фильтр описывается частотной характеристикой. Причину этого явления можно проиллюстрировать на скалярном случае. Это обусловлено тем, что U (g) —«однократное» представление (см. § 10, где это понятие определяется для 52). В общем случае однократность означает, что все ограниченные линейные операторы, коммутирующие со всеми U (g), коммутируют между собой. В свою очередь однократность U (g) обусловливается определенным геометрическим свойством рассматриваемых пространств. Для 52 оно состоит в том,

х) Этот класс содержит все глобально симметрические пространства. Определение см. в книге Хелгасона [1962]. Обсуждение понятия фильтра в общем случае см. в работах Хеннана [1965а], [1967], [1969].

что для любых vb v2 найдется g, такое, что gvt = р2, № = yi- Чтобы подобное свойство выполнялось, к примеру, в R, к группе симметрий следует присоединить отражение относительно начала координат, однако необходимость такого присоединения не сказывается на конечном результате. Эти пространства, а также их обобщения (глобально симметрические пространства) особенно хорошо приспособлены для методов Фурье и теорий, рассматриваемых в этой книге. Обсуждение этих вопросов читатель может найти в книге Хеннава [1965].

УПРАЖНЕНИЯ

Пусть и (t) и и (2) — скалярные случайные процессы с нулевыми средними и ковариациями

Е (u (s) и ($ + 0) = Е (v (s) р (s + t^ = o2pl * I, | p | < 1,

E (u (s) v (t)) = 0.

Показать, что процесс

x (t) = и (t) cos Qt + v (0 sin 0t

является стационарным, и найти его спектральную плотность.

Пусть (скалярный) процесс х (t) наблюдается только в моменты t = = 0, 1, 2, . . ., а затем преобразуется в

п—1

у ^=— 2 x^+mDi к = 0, ± 1, ±2, ....

Определить характер спектра у (к). (В качестве мотивировки отметим, что подобное преобразование можно использовать для оценки периодической компоненты с периодом тп.)

Введем обозначение

к-1

[А] (п)= ^ x^+iY

,=о

Найти частотные характеристики следующих фильтров:

я(п)^(7г)--[2][12]Ж(тг-6),

х (п) ->■ N*Px (п^,

х (п) -> х (тг)— (350)-1 [5]2 [7] {2ж (п— 7) -(-я (п — 6) + х (п — 8) — х (п— 4) — — х (п — 10)}.

Пусть стационарные процессы ж (п), у (п) преобразуются каким-либо из указанных выше трех фильтров (не обязательно одним и тем же). Определить, как изменяется при этом коэффициент когерентности и фаза для каждой из девяти возможных попарных комбинаций. Нарисовать график коэффициента усиления фильтра (с).

Пусть х ^ = cos (ng + ф), где ф — случайная величина, равномерно распределенная на (0, 2л], a g не зависит от ф и имеет функцию распределения F (ж) (симметричную относительно начала координат). Показать, что х {п) — стационарный процесс, и найти его спектр.

Доказать, что если собственные значения матрицы А имеют положительные вещественные части, то

e-A| t |е-Ш dt = {(4 + 1МуХ + (Л — <!/)-!}.

(Для этого можно привести матрицу А к каноническому виду преобразованием подобия РАР-1 = ^ (^j^j + Nj^ гДе общий член прямой суммы содержит Ф

идемпотентную матрицу Ej и нильпотентную матрицу Np такую, что EjNj = = Nj = NjEp причем Nj — матрица максимального ранга, удовлетворяющая этому условию. Каждый из членов прямой суммы можно рассмотреть отдельно, и конечный результат получается обращением преобразования подобия.)

Пусть а (п) — последовательность неотрицательных чисел. Показать, что

lim=0(1)

1

только тогда, когда

lim а - = 0, &>1.п Ь^

к

Показать также, что если lim а ^] 2 д (я) > 0, то a (n) > const-Ь™ для

1

некоторого b> 1.

Решение. Допустим, что lim а (п)/И = оо, Ь> 1. Положим /(п) =

П^-оо

=sup {а (/)/&?}. Тогда lim / (п) = оо и / (п) монотонна, причем я (я)<6п/(п), 5^пП^-оо

lim a (n)/{b^f (п)} = 1. Отсюда

,(„)=u5>us'"m<»"/№)>0.

n=laW bnf (”)xi bn-N

W bNf(N}

n—11 X ’n=i

N

Пусть lima Wj^ a (n) > 0. Тогда найдется 6, 0 < 6 < 1, такое, что

1

n

а^п)> 6 2 д W' п>п0.

1

п

Мы можем считать, что тг0 = 1. Положим теперь &(1)=а(1), Ь (п) = 6 ^Ь (/).

1

п-1п-1

Тогда b (п)<;а (п), ибо (по индукции) а (п)>(1 — 6)-1 ^j ^O'lXl”*^*1 2 b У^ = 11

= b (п). Имеем

b (п) — b (п—1)=6&( п^ п^^,

откуда

b (n) = (1 — 6)-п+2 ъ (2) = {6/(1 — 6)^-1} а (1),

так что

а^> {т^б} {6(1—6)а(1)}, что и требовалось доказать.

Пусть Гд — блочная матрица из др строк и столбцов, в которой (т, п)-й блок из р строк и столбцов образует матрица Г (п — т). (Таким образом, элемент у^у (п — тп) попадает в строку (т — 1) р + Ч столбец (п — 1) р + /.) Показать, что необходимым и достаточным условием представимости Г (п) в виде

л

Г(п) = j eW(dX),

Л

где F Q?) такое же, как в теореме 1", является неотрицательная определенность матрицы Гд при всех д.

Пусть

у (^) = cos^0 £ J a^x^t— s) ds^ -j-ф) ,

где х ^ — гауссов процесс, имеющий спектральную плотность / (%), а функция

J a (s) ds

квадратично интегрируема относительно / (X). Пусть ф равномерно распределена на [— 1/2л, ^л] и не зависит от х (t). Найдите выражение для спектра у (t).

Пусть х и у — гауссовские величины с нулевыми средними, единичными дисперсиями и коэффициентом корреляции р. Показать, что

Е{Ят ^ Нп (у)} = ^рпп\.

(Пусть т ^ п. Положим z = х — ру; тогда у и z независимы. Имеем Нт (ж) = = Нт (z + руУ Разлагая эту функцию по степеням у, замечаем, что в математическое ожидание дает вклад только член с у™, причем только при т = п. Отсюда следует утверждение.)

ПРИЛОЖЕНИЕ

Доказательство теоремы 2

Начнем с того, что вновь рассмотрим процесс ха (2) = а*ж (/) с ковариационной функцией

* j(1)

Случайные величины ха ^ суть измеримые функции на вероятностном пространстве (Q, ^, Р) всех реализаций нашего процесса. Более того, они квадратично

интегрируемы относительно меры Р (т. е. имеют конечные средние квадраты) и поэтому принадлежат L2 = L2 (Q, ^, Р). Подпространство в £2, порождаемое величинами яа (£), t £ R, мы обозначим ^а. В <^а скалярное произведение определяется, конечно, формулой

(жа (s)> жа (0) = ® (жа (5) жа (0)е

Рассмотрим также гильбертово пространствох) L2 kF^ всех комплекснозначных функций, квадратично интегрируемых относительно Е^ со скалярным произведением

(Ф1 (в), ф2 (в))= J Ф1

Отобразим теперь (^а в Ь2 (Е^ по формуле

жа W "*—* е ^ •к^

Согласно (1), это соответствие сохраняет скалярное произведение. Среди образов элементов <^а имеются функции вида

_/ 1, -оо<0<Х,

^(6)={о,Х<6<ос,

Чтобы доказать это, рассмотрим функцию /а, 8(0), периодическую с периодом 2д и определенную при е>0, а>|Х|, где 8 достаточно мало, следующими соотношениями:

8"1 (О + ^ + е),—а — е<0<—а,

.1,-«<0<Х,

1 —е-1(9-Х),Х<0<Х+в,

“ 0,Х+8^0^д— 8.

Тогда

lim lim [{ел(0)-/а,е(0)№( ^№ = 0,

а->оо е->0 Jа-^оо J

| 0|^а

так что достаточно доказать, что функция /а>8 (0) является образом элемента из ^а. Но эта функция непрерывна и периодична, поэтому чезаровские средние ее ряда Фурье сходятся к ней равномерно, а значит, и в среднеквадратичном относительно Еа. Таким образом, мы доказали, что требовалось, ибо эти чезаровские средние действительно принадлежат образу пространства с^а. Отсюда следует, что (2) отображает <^а на Ь2 кЕ^*

Обозначим теперь через za (X) элемент пространства <^а, отвечающий е^ (0).

Так как

j ^J0)-^0)]^0^^Xt>X2 >X3>X4,

и отображение (2) сохраняет скалярное произведение, то мы видим, что za (X) имеет ортогональные приращения. Очевидно, в силу аналогичных соображений, что средний квадрат za (dX) равен Fa (dX).

Обсуждение гильбертовых пространств и других математических средств, необходимых в этом пункте, см. в математическом приложении.

Рассмотрим теперь

ед,^(0)=2е 1 ^{«%.(0)—ех-,(е)}’17-1

где точки Xj, Хо = —Л, XN = А образуют разбиение интервала [—Л, Л] на N + 1 подинтервалов, причем N настолько велико, что

\в-ие_е-ихч<е, ociMm, М, /=1,

а Л настолько велико, что

Та (0) —^а (Л) + ^а (—Л) <е.

Заметим, что функция ca^n^ равна нулю при 0^( — Л, Л]. Имеем

ООN hj

j I ^-^(О^а^Х j ^ИН^ J ^a(dO)<e + Y«(O)e2.

-ОО|0|>A1 K^

Таким образом, функция exp (— z70) может быть сколь угодно хорошо аппроксимирована в среднеквадратичном с весом Fa функциями ca,n№. Соответственно ха^ можно аппроксимировать в смысле нормы пространства <^а линейными комбинациями

N

^ е ^ tza (^j)za(^7*-l)}>

1

и мы доказали, что

^(^^ f е ^za(^^)i

где правая часть понимается как среднеквадратичный предел интегральных сумм Римана — Стилтьеса.

Варьируя а, так же, как при доказательстве теоремы 1, мы получаем утверждение теоремы 2, за исключением единственности z (dX), которая будет установлена при доказательстве теоремы 3, к чему мы сейчас и переходим.

так как если мы введем под интеграл множитель (1 — | t |/У), то получим чеза- ровское среднее ряда Фурье функции ф (X), которое сходится к ф (X) равномерно в любом интервале непрерывности, тогда как легко проверяется, что

т

А- |<|ф(0еШ

-т

В силу аналогичных соображений сходимость к ф (X) является ограниченной. Таким образом, обозначая через фт (X) выражение, стоящее под знаком предела в левой части (3), и учитывая, что Ль Х2 — точки непрерывности F (X), имеем

F (Х2) —F (Х^—Нт Г Фт(Х)^Х) =Т->ОО J

= Ит А-Т-^оо= Ит А-Т-^ооi5-iX2t _е-М-Тi5-iX2t _е-М-Т

= Ит А-

Т-^оо

= Ит А-

Т-^оо

i5-iX2t _е-М

-Т

i5-iX2t _е-М

-Т

что и требуется. Аналогично,

z(X2)-z(Xi) = j tp (X) z (dX)

и ф7-(X), очевидно, сходится к ф (X) в среднеквадратичном с весом Tr{F(dX)}. Поэтому правая часть равна

°°Т Ч400

фг (X) z (t?X) = Li.m. -— \ { \ е~г™ z (dX) > dt =

Т-^оо JI J'

— 00—T—00

T ..

=x^dt,

T-*oo 2л J it

-T

что и требовалось доказать. (Обоснование перемены порядка интегрирования см. ниже в доказательстве теоремы 4.)

Отсюда видно, что z (Х2) — z (Х^ определяется однозначно с вероятностью 1 для любых точек непрерывности Xi, Х2. Поэтому z (X) определяется однозначно для любого X требованием непрерывности справа в среднеквадратичном.

Доказательство теоремы 3"

Доказательство почти такое же, как для теоремы 3. Мы, как и раньше, вводим ф (X), но теперь для | Х4 |, | Х2 | ^ л. Преобразование ф (£) нужно рассматривать теперь только при целых значениях t. Таким образом, (3) заменяется на

N

(3)'(3)'lim -^- V ф ^п) е1^ =ф (X), X ^ Xf, Х2.М->оо

(3)'

(3)'

Так же как при доказательстве теоремы 3, получаем

Л N

F^-F^)^ Ит j l^^»)^^»)-

-л —N

N Л

= ИтN-*OO= ИтN-*OOF (dX^ =F (dX^ =1 Г е~гп^-е”тМ

= Ит

N-*OO

= Ит

N-*OO

F (dX^ =

F (dX^ =

2л— in

— N -Л

= ИтМ-^оо= ИтМ-^ооNNе-гпХ2_е-гпХ1 — inе-гпХ2_е-гпХ1 — in

= Ит

М-^оо

= Ит

М-^оо

N

N

е-гпХ2_е-гпХ1 — in

е-гпХ2_е-гпХ1 — in

что и утверждается в теореме. Доказательство второй части теоремы является повторением соответствующей части доказательства теоремы 3.

Доказательство теоремы 9

Мы следуем Розанову [1963]. Пусть

yW= ^ е-г^ К (X) z (dXy x(t) = J e-ltx z (dX),(4)

причем

J К (X) F (dX) h (X)* < oo.

Тогда yj (t) корректно определены как элементы гильбертова пространства о^у которое является подпространством в L^, (Q, ^, Р), натянутым на ^ (/). Более того, у (t) — стационарный процесс со спектральной функцией

X

Ру W = j /i(0) Р(^Ц^

а матричная взаимная спектральная функция процессов yj (t) и х^ (t) равна

X

?xyW=^ F(d^h^*.(5)

Все эти утверждения можно доказать, рассматривая последовательности интегральных сумм Римана — Стилтьеса yN (2), xN (ty аппроксимирующих у (t) и х (ty и используя то обстоятельство, что Е (yN (t) yN (t)'), E (yN (t) xN (tY) сходятся к E (у (Z) у (t)') и E (z/ (/) x (t\y если yN (£) и xN (Z) сходятся в среднеквадратичном к у (ty х (ty Подробную проверку мы предоставляем читателю. Таким образом, остается доказать лишь необходимость условия теоремы 9. Допустим, что w (t) — стационарный процесс, такой, что Fw (X) = Fy (X), FXUD W = Fxy (X). Надо доказать, что w (t) совпадает с у (ty Пусть ^?' — гильбертово пространство, порождаемое всеми Wj (2) и х^ (t) (как подпространство 8 ^2 (^', <^', Р'У где вероятностное пространство (Q', ^У ?У отвечает векторному процессу, составленному из компонент wj (ty х^ (ty. Тогда ^ — замкнутое подпространство в ^>\ Рассмотрим теперь отображение Т из ^ в SCy

определяемое формулами

Ttjj W = Wj (t),(6)

Т$к (t) = ®ь (0-

Тогда T можно продолжить до линейного оператора, определенного всюду на ^6 и изометрического в том смысле, что ^Ти^ Tv) — (u, v) для всех и, v £ S6v где скалярное произведение берется в 5ЯУ\ но, как показывает вторая группа соотношений (6), Т — единичный оператор. Таким образом, Tyj (/) = yj (£), Wj (/) = yj (/), и теорема 9 доказана.

Из этой теоремы следует справедливость соотношений типа формулы (4) в пунктах 4(i), 4(ii), 4(iii); например, в случае 4(И) имеем

рMX^^Ahl-iX?

о

и, как мы уже знаем (теорема 7), Еу УХ) = h (X) F kdX) h (X)*. Поэтому необходимо проверить только соотношение (5). Однако оно следует из теоремы 2 гл. I, утверждающей, что

E(*(«)i(<)')=-^- Г(<-«) = -^ J e^^F^dX^

= j (iX) F (dX)

(законность дифференцирования под знаком интеграла обосновывается так же, как при доказательстве теоремы 7). Таким образом,

Е (ж (s) у (<)') = j eltx F (<ZX) h (X)*

и соотношение (5) доказано.

Доказательство соотношений (5.4) и (5.10)

Сначала будет доказана

Теорема 15. Пусть х kt) — стационарный векторный процесс с абсолютно непрерывным спектром и матричной спектральной плотностью / (X). Пусть f (X) = ср (X) ср (X)*, где ср (X) есть {р X ц)-матрица измеримых функций. Тогда

Ф(Х)= j A^e^ds, ^ Tr {A (s) A (s)*} ds С со(7)

и

x(t)= A (t-s)^(ds),E(^(ds)^(ds)*) = Iq ds,(8)

где £ (s) — векторный процесс с ортогональными приращениями.

Доказательство. Покажем, чтофможно представить в видеф (X) = = р (X) к (X), где (i) р (X) = (ф (X) ф (X)*)1/2 = / (X)V2 — однозначно определенный эрмитов неотрицательный корень х) из / (X), (ii) к (X)* изометрично отображает область значений р (X) (т. е. область значений / (X)) на область значений Ф (X)* и к (X) к (X)* = /р.

С этой целью определим к (X)* на любом (комплексном) векторе у из области значений / (X) по формуле к (ку* у = z, если р (X) х = у и ф (Х)*ж = z. Тогда у*к (X) к ^*у = ж*ф (X) ф (Е)*х = х*р (X)2 х = у*у и к (X)* является изометрическим на области значений / (X). Если размерность области значений / (X) меньше р, то мы можем доопределить к (X)* на ортогональном дополнении произвольным образом, но так, чтобы выполнялось равенство к (X) к (X)* = 1р. Так, если размерность области значений / (X) равна р0 и q > pOl то мы выбираем q — р0 ортонормированных векторов иф ортогональных к области значений / (X), и q — ро ортонормированных векторов 1ф ортогональных к области значений ф (X)*, и полагаем к (k)*uj = vj.

Пусть теперь р (X)-1 — обобщенная обратная матрица х); тогда р (X) р (Х)-1= — Е (X) является проектором на область значений / (ку Все матричные функции .к (X), р (X), Е (X), р (X)"1 измеримы (к (X) можно выбрать измеримой). Интеграл

j е"иК <р (X) X(X)* р (X)-i z (dX)

равен х (t) почти наверное. Это непосредственно следует из теоремы 9, так как Е (X) / (X) = / (X) Е (к) = / (X). Положим

Г к^у* p(0)-iz(^e), Х>0;

j A:(0)*p(0)-iz(^0),Х<0.

X

Эти интегралы корректно определяются по компонентам с помощью точно такой же конструкции, которая использовалась в п. 1 приложения к гл. I. Векторный процесс gi (X) имеет ортогональные приращения, причем

Е Пл №) ^ ^dk^ = E (X) dk, Е (X) = к (X)* Е (X) к (X).

Здесь Е (X) также эрмитова идемпотентная матрица. Мы хотим построить векторный процесс с ортогональными приращениями, для которого

Е H(dkHW*^Iqdk.(9)

Для этого введем векторный процесс £2 (X) с ортогональными приращениями, такой, что

Е (MdHi W*} = {Ig-£(X)} dk. Е {g2 (dk) Ы№ по-

может случиться так, что подобный процесс нельзя построить на (Q, ,^, Ру Однако всегда можно найти вероятностное пространство (Q2, ^2, ^2), на котором определен процесс ^(Ку удовлетворяющий первому из этих соотношений. Образуем произведение пространств 2) Q х Q2 с мерой Р х Р^ на п-алгебре

г) См. математическое приложение.

,2) Определение произведения пространств с мерой см. в книге Биллингслея

[1968], стр. 224.

«4 X «^2- Тогда на Q X Q2 определен векторный процесс с ортогональными приращениями £ (X) = ^ (X) 4- g2 (М» удовлетворяющий (9). Мы увидим, что введение Q2 не играет существенной роли и использовано лишь для упрощения формулировки теоремы. Мы можем теперь записать

хф=(10>

Справедливость этого равенства также следует из теоремы 9. Положим

J

°°~

_ ~—2niX

Это выражение корректно определяется для каждой компоненты с помощью процедуры п. 1 приложения к гл. I, ибо подинтегральная функция, которую мы обозначим ips4 (X), квадратично интегрируема по мере Лебега (при X = 0 мы. считаем ее равной (£ — s)). Кроме того,

EW)*} = k j I^WKTW^- (Н>

Однако

^‘^i j ^< (в)—<?s (в)} e-iex de,

где et (6) определено в первом пункте приложения к этой главе (теперь роль X играет ty По теореме Планшереля (см. математическое приложение) выражение- (И) равно

Iq j Vet^-e^Me^-e»^

что равно нулю, если интервалы (s, г] и (и, у] не пересекаются, и /р (f — s)r если (5, £] = (и, к]; £ (г) — векторный процесс с ортогональными приращениями, удовлетворяющий второму из соотношений (8).

Функции Xs,t W = et (Q) — es (в) ПРИ любых 5, t квадратично интегрируемы (по мере Лебега) и плотны в пространстве функций, квадратично интегрируемых по Лебегу (в смысле среднеквадратичной сходимости). Поэтому, в силу теоремы Планшереля, такими же свойствами обладают ф84 (X) как функции от X. Следовательно, правую часть (10) можно аппроксимировать выражением

xN (0 = 2 A, J е-их ^ t. (X) f W,(12>

для которого сумма

S^.t,w<13>

может быть сделана сколь угодно близкой к ф(Х). В самом деле, элементы матричной функции ф(Х) квадратично интегрируемы, ибо Тг (ф (X) ф (X)*) = Tr / (X) —

интегрируемая функция. Среднеквадратичная ошибка аппроксимации равна

Е {(^ W — x W ^N W — X (0)} =

= Tr j {2 t. (X)- Ф (X) } { 2 A^8j, ^М-^У

и может быть сделана сколь угодно малой; но, согласно определению § (s), (12) равно

2 j ^t1+t w - e«j+< w в<14>

Так как элементы матрицы ф(Х) квадратично интегрируемы, то ее можно записать в виде (7), где

поэтому, в силу теоремы Планшереля и поскольку (13) аппроксимирует ф (X), функции

2 л/{^«(—= Зл/ Vetjkt—$) — eSj(t—s)} аппроксимируют A (t — s). Таким образом, рассуждая так же, как при доказательстве (12), получаем, что (14) сходится в среднеквадратичном к и теорема доказана.

Если мы положим ф (X) = f (Х)1/2, где в правой части стоит эрмитов неотрицательный корень из / (X), то получим (5.10). Соотношение (5.4) получается из теоремы 15' точно так же, как (5.10) — из теоремы 15. Доказательство теоремы 15' мы опускаем, поскольку она доказывается в основном так же, как теорема 15, только проще.

Теорема 15'. Пусть х ^п) — векторный стационарный процесс с дискретным временем, абсолютно непрерывным спектром и матричной спектральной плотностью / (X) = ф (X) ф (X)*, где ф (X) — как в теореме 15. Тогда

ОООО

Ф (X) = 2 А (п2 Тг (Л W A<°о,(7)'

х(п) = 2Е(е(т)8(,г)') = б£/д.(8)'

Доказательство теоремы 12

Пусть фр (ж, у) — нормальная плотность, отвечающая величинам х и у* Выражение

Е {g (ж) h (у)} = j g^H (у) фр (ж, у) dx dy

можно записать в форме

гх/^фр^. у)),(1)

где g х h — обобщенная функция (двух переменных), определяемая функциями g и /г, над пространством S всех бесконечно дифференцируемых функций от двух переменных, убывающих вместе со всеми своими производными быстрее любой степени "V ^ 4- у2*)-1 при "V х^ 4- у2-^оо. Таким образом г), g х h ^ S'. Функция фр (ж, у) действительно принадлежит S. В общем случае мы понимаем выражение Е (g (ж) 1г (у)) именно как (1), ибо нельзя говорить о значении обобщенной функции в какой-либо точке. По определению

g X А (фр) = (4л2)*1 g X h (фр),

где «крышечка» обозначает преобразование Фурье, Таким образом, используя символы 04, 62 для переменных, от которых зависит фр, имеем

5^ g х h (фр) = (4л2)-1 ^ g X h (фр) = (4л2)*1 g X h (9^ (— 1)» фр).

Дифференцирование под знаком интеграла законно, если при 6—>0 функции

_ фр+6 фр ,,

“б —§’ 1

СХОДЯТСЯ К фр4"1) в топологии 8, т. е.

lim max {1 + №+ 61)1/2 }r(м0—Фп'*'^)=0. zn = mi4-m2.

6^о9ь92де^^б™2 6 vp1

Нетрудно проверить, что для фр это выполняется.

Если теперь / £ 5, то х)

(- 1)2к (2л)2 (g(k) X hW) (/) = g xh ^^ U92^ /),

откуда

^ g x h {^р) = (4л2)-1 gxh (6^6^ (- l)ft фр) = g№ x h,W> (фр),

что и требовалось доказать.

!) См. математическое приложение.

Глава III

Прогнозирование и фильтрация случайных процессов

ВВЕДЕНИЕ

В этой главе мы дадим обзор теории Винера — Колмогорова прогнозирования случайных процессов. Вслед за этим будет рассмотрена более простая теория интерполяции. Затем мы обсудим выделение сигнала, включая классическую теорию и более поздние исследования, связываемые с именем Калмана, которые исходят из структурно более простой модели (векторной авторегрессии), зато допускают зависимость коэффициентов авторегрессии от времени. Эти методы нашли широкое применение. Мы закончим главу обсуждением некоторых более специальных теорий сглаживания.

Математически наиболее трудная часть настоящей главы содержится в общей теории прогнозирования. Физическая значимость подобной общности сомнительна, ибо на практике спектральная плотность / (X) бывает относительно простой функцией, например многочленом от exp IX и exp (—IX^ а для таких функций (в случае дискретного времени) основные результаты уже были получены в пункте (iii) § 5 гл. II. Тем не менее есть много причин, в силу которых здесь излагается общая теория. Прежде всего она позволяет глубже понять структуру стационарных процессов. Она обладает также неоспоримой математической привлекательностью, и, наконец, ее общность позволяет легко получать впоследствии частные результаты, поскольку отпадает необходимость проверки каких-либо условий регулярности, которая должна была бы иметь место в менее общей теории. Вместе с тем теория прогнозирования и выделения сигнала имеет обширные применения, и чтобы сделать ее доступной для читателя, который пожелал бы пропустить более трудные места, мы начинаем в следующем параграфе с теории прогнозирования для процессов с рациональным спектром. Параграфы 3, 4 и 5, в которых рассматривается случай произвольной спектральной плотности, могут быть затем пропущены.

ПРОГНОЗИРОВАНИЕ ВЕКТОРНЫХ ПРОЦЕССОВ С ДИСКРЕТНЫМ ВРЕМЕНЕМ В СЛУЧАЕ РАЦИОНАЛЬНЫХ СПЕКТРОВ

Рассмотрим векторный стационарный процесс х (п) с дискретным временем. Мы ищем такую линейную функцию х^ (п) от х (п — /), 7 ^ v, которая наилучшим образом аппроксимирует х (ri) в средне-

квадратичном смысле, т. е.

|| х (п) — х^ (п) ||2 = Е ^(х (п) — х^ (п)У (х (az) — х^ (az))} принимает минимальное значение. Когда мы говорим, что х^ (п) — линейная функция от х (п — у), мы имеем в виду, что х^ (п) есть выражение вида

к

^vM = ^ANax<n — iY N>M,(2.1)

V

либо среднеквадратичный предел последовательности таких выражений, так*что jlim || х^ (п) — xN (п) || — 0. Имеем

N-*oo

lim || х (az) — xN (az) || C || x ^ — x^ (az) || + lim || xN (az) — x^ (az) || = N^ooN-*OO

= l№)-^>(«)||.(2.2)

Поскольку предел в левой части не может быть меньше этого минимального значения, крайние члены соотношения равны между собой. Отсюда видно, что одна и та же последовательность наборов матриц An,t 7 = v, . . ., TV, будет давать минимизирующую последовательность для любого az; это уже нашло отражение в наших обозначениях. Положим

N

Hn (eiX) = 5 An, je^,V

и пусть h^— функция, такая, что1)

л

lim ТгN-*OOlim ТгN-*OO{ J (^ - ^Ь F (dX) (hN - h№f } = 0.

lim Тг

N-*OO

lim Тг

N-*OO

— Л

Тогда мы должны иметь

^N^Nе- [nKhN (elx) z (dKyе- [nKhN (elx) z (dKy

^N

^N

е- [nKhN (elx) z (dKy

е- [nKhN (elx) z (dKy

л

^(V) („) = j е”^Ч№ (еа) z (dX\— Л

так как х^ (п) удовлетворяет соотношению lim || х^ (az) — xN ^ || = 0.

Мы часто будем опускать индекс v при х^\ h^v) и будем для краткости пользоваться обозначениями х (az), xn (az), hv, h^ так как v пока фиксировано. Из сказанного ясно, что можно считать п = 0, так как функции 7zv» не зависят от az.

х) Теперь удобнее записывать частотные характеристики h, hN как функции от exp iX, а не от X, как в гл. II. Мы будем опускать аргумент exp iX в тех случаях, когда это не может привести к недоразумениям.

Ограничимся теперь случаем, когда F (dX) = / (X) dX и / (X) — рациональная функция от ехр (±&), причем det / (X) ^ 0. Тогда

/М=^Фо(^)Фо№,

где Фо (2) — рациональная функция от z, голоморфная в области, содержащей единичный круг, с определителем, отличным от нуля внутри единичного круга. В самом деле,

/ ^ = {^ 2 д (7) *-ух} (26 (7) )".

-q —т

где второй множитель является наименьшим общим кратным знаменателей всех элементов матрицы / (X). Применяя теоремы 10 и 10' гл. II, получаем требуемое представление для / (X). Полагая G = = Фо (0) Фо (0)* (где Фо (0) = Фо (z) при z = 0), получаем представление

а

Ж=4?ф^аф№’ <2-3)

где свободный член разложения Ф (z) в степенной ряд равен теперь единичной матрице. Как мы дальше увидим, G совпадает с матрицей ошибок прогноза х (п) на один шаг. Матрица Ф (z) может быть определена как голоморфная в замкнутом единичном круге и удовлетворяющая соотношениям (2л)-1 ФВФ* = /, Ф (0) = /р, ибо, как нам известно из теоремы 10' гл. II, любая другая матрица В ^ удовлетворяющая этим условиям, имеет вид В ^ = ф (z) U ^Y где U ^ унитарна на единичной окружности и голоморфна внутри нее. Если Ф (0) = В (0) = 1Р, то U (0) — единичная матрица, и отсюда, как и в п. (ii) § 5 гл. II, следует, что U ^ должна равняться единичной матрице при всех z х). Мы упомянули здесь об этой характеризации потому, что она определяет нужную факторизацию и в тех случаях, когда / (X) — не рациональная функция.

Введем следующие обозначения. Если В (z) — матрица из функций, которые разлагаются в ряд Лорана в некотором кольце, то [5 (z)]+ обозначает ту часть разложения, которая содержит только неотрицательные степени z. Аналогично, [В (z)]_ состоит только из отрицательных степеней, так что В ^ = [В (z)]+ + [В (z)]_ в области, где справедливо лорановское разложение. Докажем теперь теорему 1.

Т е о р е м а 1. Пусть / (X) рациональна и det / (X) =£0 п. в. Тогда существует единственная факторизация (2.3), где Ф (z) голоморфна в единичном круге и Ф (0) = 1Р. При этом det{Ф (z)} не

обращается в нуль внутри единичного круга. Частотная характеристика h фильтра, дающего наилучший линейный прогноз х^ (п) на v шагов, равна

^W (егХ) _ eivX [е-^Хф (е^)]+ Ф-1 (еи),(2.4)

а ковариационная матрица ошибок прогноза равна

Е {(ж (и) - ^ (п)) (ж (и) - ^ (га))'} =

= j [е-^ф(е^)]_6[е-^Ф(е^)]!с?Х,(2.5)

— Л

что при v = 1 совпадает с G.

Доказательство. Так как v фиксировано, то мы опускаем индекс V. Мы хотим минимизировать

Tr j {/ - h ^ f Q^ {I-h (e^)}* dK =

— Л

= Tr -^ ^ (Ф ^ V"G — h (e^) Ф ^ V"G\ X — Л

X ^^Ув-Це^Ф^УС^

= Tr [-^ j (a U^ + b (e*)} {a ^ + b dx] , — Л

a (e^) = [е'^Ф (ег^)]_ ]Л G,

b ^e^ = {[е-^Ф (e^)]+— е^^^Ъ (ег^ Ф ^ег^^ VG.

Матрица а может быть представлена как матрица многочленов только от отрицательных степеней exp IX. Заменяя b на аппроксимирующую матрицу bN, где bN содержит h,N вместо 1г, мы видим, что b v можно разложить в абсолютно сходящийся ряд по неотрицательным степеням exp IX, так как это верно для ехр (—ZvX) KN и для Ф. Поэтому интеграл от ab^ равен нулю. Так как

|| j a(5*-^dx||< j || a|| || b* —&^ || dXC

<{ j ||a||2dX j || b^ ||2 ^}1/2 -^0,

то интеграл от ab* также равен нулю. Таким образом, мы должны минимизировать

Tr ^-^- j (аа* + bb*) dxl.

Однако аа не зависит от А, поэтому нужно минимизировать Tr j bb* dX. Но это выражение обращается в нуль для функции А, которая дается соотношением (2.4), так как в этом случае матрица ошибок прогноза равна (2л)-1 f аа* dX, что совпадает с (2.5). Функция ^К (z), где h дается соотношением (2.4), голоморфна внутри единичного круга, так как определитель Ф (z) отличен там от нуля, и, очевидно, квадратично интегрируема с весом / (X) на единичной окружности. Таким образом, существует последовательность hN описанного выше типа, такая, что || х (п) — xN (^г)|| стремится к нулю, где х (п) получается из Л, a xN (п) — из hN. Теорема доказана.

Для большей ясности мы укажем, как может быть построена последовательность hNl обладающая требуемыми свойствами. Прежде чем к этому перейти, заметим, что прогнозы х^ (п) будут получаться рекуррентно, начиная с некоторого исходного, причем на практике по понятным причинам этот исходный прогноз будет выбираться скорее из каких-то приближенных соображений, нежели на основе х^ (п). Поэтому метод синтеза, о котором пойдет речь, возможно, и не имеет большого практического значения. В примерах в конце этого параграфа мы покажем, как выполняются рекуррентные вычисления. Обратимся теперь к синтезу h. Нам надо показать, что z-^h (z) можно считать z-преобразованием х) фильтра, воздействующего только на настоящее и прошлое процесса. Очевидно, ^h (z) можно представить как произведение двух сомножителей, один из которых является матричным многочленом от z, а другой — обратным к многочлену р (z) от z, который может иметь корни на единичной окружности, но не внутри нее. Первый множитель непосредственно определяет фильтр требуемого типа. Действие этого фильтра приводит к новой спектральной плотности, относительно которой р (ехр /%)-1 квадратично интегрируема. Разложим р (z)-1 на элементарные множители. Рассмотрения требуют лишь множители, отвечающие корням на единичной окружности, так как любой множитель вида (exp IX — z0)-1, | 20 | > 1, имеет разложение

-1 VI —З^зХ^0/I 2g 5,

о

сходящееся экспоненциально, а значит, и в среднеквадратичном относительно любой рациональной плотности, и поэтому определяет фильтр требуемого типа. Таким образом, остается задача синтеза

фильтра с частотной характеристикой

{ ^Ja-б) У Г-

Для простоты положим 6 = 0, q = 1 и рассмотрим соотношение

{(1 -««.)- - 2 (1 - т)«®}'»-{ ^та V»' <2'6>

оv 7

Так как функция (1 — eiNXY^N (1 — е^)} ограничена по абсолютной величине единицей, а (1 — е^)-11Р квадратично интегрируема относительно новой спектральной плотности, то (2.6), очевидно, сходится в среднеквадратичном к нулю, и

{2(1-^)«,д}^о

образует аппроксимирующую последовательность, которая осуществляет синтез искомого фильтра. Если 6 ^0, ^>1, то [1 — — exp г (X — 0)]_<2 можно аппроксимировать функциями

о

которые также имеют требуемый вид.

Если / (X) не удовлетворяет условию det {/ (X)} ^ 0, то мы всегда можем найти полиномиальную матрицу Р (z) с единичным определителем, такую, что матрица

P^t^P^^

имеет нули всюду вне первых г строк и столбцов, а определитель матрицы из первых г строк и столбцов не равен нулю п. в. (см. конец пункта (iii) § 5 гл. II). Это означает, что мы можем перейти от х (п) к новому r-мерному процессу у (п) путем обратимого авторегрессионного преобразования (обратимого в том смысле, что х (п) можно выразить в виде конечной линейной комбинации у (п — /), 7 ^ 0). Таким образом, проблема прогнозирования для х (п) сводится к разрешенной выше проблеме прогнозирования для у (п).

Теорема 2.15' ) показывает, что х (п) можно представить в виде

х (п) = 3 (/) 8 (п — /), 3 (/)= Ф (е^\

00(2.7)

Е (е (т) е (пУ) = d^G,

где

е(и)= е~м ( 2 A U) ei’K^e""in4e(dXy

-л0-л

Так как в случае v = 1

/I = (2 А (/) е^) (2 А (у) е^ 1,

1о

то

х (n) = j ( 2 А^е^х^ ze ^dK^ = У A (j)z(n — f). -Л11

Таким образом, 8 (п) — ошибка прогноза на один шаг.

Разложение (2.7) является частным случаем разложения Вольда, которое мы установим в § 3. Прежде чем закончить обсуждение, рассмотрим некоторые примеры. Они в основном относятся к случаю р = 1, так что / (X), № (X) и т. д.— скалярные функции. В этом случае мы вместо G будем писать а2, так что а2 — ошибка прогноза на один шаг, которая равна дисперсии 8 (п). Мы также будем писать а (/) вместо А (/) в разложении (2.7).

Если / (X) рациональна, то мы можем записать (2.3) в виде

с|2«(/)^|2О2л |2 ₽(/)^|2 ’

где У а (/) ^ не имеет корней в единичном круге, У Р (/) ^ не имеет корней в замкнутом единичном круге, а (/), b (/) вещественны и а (0) = = Ь (0) = 1. Тогда, очевидно, с = о2 и

У а (/) оо

О

Если в примере (i) s — 0, то

2«(/")z, = (2P(7) zJ) оо

и

^\^ = 5Ш z4(2 Р ovr -1М - 2 Р oV = - 2 Р (?) ^.

0001

Одношаговый прогноз равен

?!’(«)= — 2Р(/)ж(«—1

что очевидно и из других соображений. Так как

^v)(z) = (S₽(j)z9 OPG’M’ - 2 «(/М,00о

то мы замечаем, что ■q .

(z) — 7i(v+1) (z) = (2^a (v)-

0

Поэтому имеет место соотношение q х^ {п} = х^^ (п)-}-а (у} 2 Р (у) (^ —V — у), о

которое позволяет пересчитывать прогноз х (п) по мере поступления новых данных. Имеем также

q

(п) = — 2 Р (Л х^"^ (n — j^ х^ (п) = X (п), v> 0.

Это соотношение позволяет вычислить х^ (п) на основе прогнозов, относящихся к предыдущим моментам времени. В самом деле,

q

2 P(7)*(v-j)(« — 7)о

порождается фильтром с ^-преобразованием q.. q . 00q .

2 Р (7) h^ (z) 7? = [2 (P (7) z7 2 a (u) zuH [ 2 P (7) zl, 00v—j0

и коэффициент при zw у первого множителя min (g, и )л g/\

2 РОЫю—/) =-^7 f 2P^*eiUl~—*)«",u,ia

\ 0/

равен пулю при любом

Пусть x(n) = е(^) + e(n—1), E (e (m) 8 (^)) = ^т^- Тогда

/W = 5"l'1 + eal2- 2 «(7)z," = l + z,

0

Функция h^ (^ имеет полюс на единичной окружности и не может быть записана в простой «замкнутой» форме У Р (/) ^- 1

Как было показано после доказательства теоремы 1, соотношение N

1

определяет последовательность одцошаговых прогнозов, сходящуюся в надлежащем смысле к А(1) (z). Это можно доказать также, рассматривая вектор коэффициентов регрессии х (п) на х (п — 1), . . . . . х (п — N), который равен

’2 1 0 0 ... О'

1 2 1 0 ... 0

0 1 2 1 ... 0

.0 0 0 0 ... 2.

Легко проверить, что на /-м месте первого столбца обратной матрицы находится элемент

Задача описания случаев, когда h ^ представляется простым

аналитическим выражением вида 2 Р (/) ^ (т- е- когда х (п) порож-

1

дается бесконечной авторегрессией), трудна по существу, так как мы имеем дело с разложением h^ на единичной окружности в среднеквадратичном с весом / (X), относительно которого функции ехр ink не ортогональны.

Указанная выше функция А(1) (z) дает пример частотной характе

ристики фильтра, не представимого в виде У, а (у) х (я —- у).

Вернемся к примеру (i). Рассмотрим теперь соотношение

Однако

+ [z-v2a(/)?] +О

л 7 л

2 Р (7) о s 2 a ^ ^ ко 7

7. s.

i — a (z) = 2 Р (/) zV2 a (У) z',Оо

так что

qs

HWk^ = - 2 Р (7) ^'’Ч^ + (2 a (7) zl {1 - h (z)},1V

поэтому получаем соотношение

а;М (п) = — 2 Р (/) х^-’Цп — /) + 2® (/) ^х кп ~Й — х^ (и — /)}, 1V

которое позволяет рекуррентно находить x^YnY Вводя коэффициенты a(j\ определенные выше в пункте (i), имеем также

<7s

^ ^ — fc(v+1) (z) = a (v) zv {2 Р (7) zVS a (/) z'),

v0

откуда

xW (m) = a:^1) (n) + a (v) {x (n — v) — x(1) (n — v)}.

Это соотношение позволяет пересчитывать оценку a;(v+1) (/г) при поступлении следующего наблюдения х (п — v).

Первое из этих рекуррентных соотношений справедливо и в том случае, когда 2 Р (/) ^ имеет корни на единичной окружности. Определяемый им наилучший прогноз дает точное представление для детерминированной компоненты (см. теорему 11 ниже).

Для иллюстрации векторного случая рассмотрим обобщение примера (iv). Пусть

/ (X) - (2л)"1 В ^Y1 А ^ GA* ^ В* (e^Y1. А (0) - В (0) - 1Р.

Тогда для прогнозирования на v шагов нам нужна функция

zv [z-^B^A]* А-1В =

= — zv [z~v (Ip — S"1) Л]+ A~XB + zv [Z-M ]+ A-1 В = = — zv [z-v (B — Ip) B~XA]+ A-1 В + zv [z-M]+A^B = q

= 2 в (П ^h^j (z) + zv [z-MU A-^B.

Почти точно так же, как в случае р=1, рассмотренном выше в пункте (iv), получаем, что второй член равен

2Л(7)^{1-А(2)},

откуда

жМ(п) = — 2 ВЦ^х^-^ (п — р+ 2 A(i)(x(n — i) — хт (n — j)}.

Формула, позволяющая пересчитывать х^ (п), тоже получается так же, как в (iv):

х^ (п) = x^W (п) + С (v) {.г (п — ^—х(1) (п — v)},

где

в-м=2с(/)2<О

3. ОБЩАЯ ТЕОРИЯ ДЛЯ СТАЦИОНАРНЫХ ОДНОМЕРНЫХ ПРОЦЕССОВ С ДИСКРЕТНЫМ ВРЕМЕНЕМ

Обозначим через ^п гильбертово пространство, порождаемое величинами х (т), т ^ п. Таким образом, оД1Л содержит все конечные линейные комбинации 2 ajx (nj^ nj ^ я, а также их среднеквадратичные пределы. Очевидно, o/llm cz оМ^ при т ^ п. Положим е^_оо= П Мп. Пространство 3€ будет обозначаться МОдна из основных задач прогнозирования заключается в аппроксимации х (ri) элементом подпространства o^n_i. Такую аппроксимацию дает ортогональная проекция х (п) на e^n-i* Обозначим эту проекцию х (ri). Положим 8 (ri) = х (ri) — х (п)^ так что 8 (ri) ± о^п_1. Очевидно, полученный таким способом элемент х (ri) минимизирует среднеквадратичную ошибку. Обозначим через а2 эту минимальную ошибку, Е (е (п)2) = а2. Наше обозначение подразумевает, что о2 не зависит от п; это очевидно в силу стационарности.

Если а2 = 0, то процесс х (ri) называется чих:то детерминированным. Использование этого термина является условным, так как

мы ограничиваемся линейным прогнозированием. (Мы поясним это в примере (ii) настоящего параграфа.)

Начнем с доказательства важной теоремы, принадлежащей Воль- ду [1938].

Теорема 2 {разложение Волъда)).

W = S а U)8 (п—hW = и W +и W, о

где

Е {е (aaz) 8 (az)} = д^о2,

Е {е (m) z; (гс)} ее О,

и (n) — чисто детерминированный процесс.

Доказательство. Величины 8 (az) — те самые, которые были определены выше. Так как при т < п мы имеем 8 (п) ± o# m cz cz ojJln^ и 8 (aaz) C ^m-> то 8 (az) ± 8 (aaz), m < n, откуда следует (i). Спроектируем x (az) на подпространство, порождаемое величинами 8 (aaz), т п. Эта проекция равна

u(n) =(7)е (« — /),

о

где

а (у) = о"2Е {х (az) 8 (az — у)),

так как 8 (aaz) ортогональны. Отметим, что а (0) = 1. Положим и (az) = х (п) — и (п). Очевидно, v (п) ± 8 (т). т ^п. Однако и (az) С о^п и 8 (^) J- ^п-> тп> п, так что (ii) доказано. Пусть Тп порождается величинами и (aaz), m ^ п. Тогда и (ri) g о^п — е^п-1 ® ф [s (az)], где [е (az)] обозначает одномерное подпространство в d%\ порождаемое величиной 8 (az). Таким образом, и (az) g o^n_t. Однако проекция и (az) на Тл_1 равна проекции и (п) на <^n-i, так как последнее подпространство есть ортогональная сумма Tn-t и пространства, порождаемого 8 (aaz), m ^ п — 1. Поэтому величина и (az) принадлежит подпространству, на которое она проектируется, и ошибка прогноза для нее равна нулю. Тем самым доказано (iii).

Конечно, если о2 = 0, то компонента и (п) в разложении Вольда отсутствует. Тогда, поскольку и (az) С ^n-j Для всех В то и (п) £ С М _оо. С другой стороны, из и {п) Е е^-оо следует, что и (п) безошибочно предсказуем, так что эти два утверждения равносильны. Если М_оо состоит из нуля, то х (п). очевидно, чихто недетерминированный процесс, в том смысле, что он не содержит детерминированной компоненты. Ортогональное дополнение <^п_у в oiH^ порождается величинами 8 (az), 8 (az — 1), . . ., 8 (az — v + 1), а ошибка прогноза

х (п) по значениям х (п — у), 7 ^ v> равна

v-l

2 а^г^п-^

Осо среднеквадратичной ошибкойv-lа2 2 а(у)2.

О

Позже мы используем это соотношение.

Докажем теперь основную теорему.

Теорема 3.

ст2 = ехр [ ^- j log {2л/ (X)} dx] .

-Л

Если log / (X) неинтегрируем, то интеграл может расходиться лишь к —оо, так как log/(%) ^f $V В этом случае мы считаем, что правая часть формулы равна нулю, и утверждение остается в силе. Этот замечательный результат доказан Сегё в случае абсолютной непрерывности и распространен на общий случай Колмогоровым. Мы в основном следуем подходу Хелсона и Лауденслагера [1958], ясное изложение которого имеется в работах Гофмана [1962] и Хелсона [1964].

Доказательство. Мы должны минимизировать л

(3.1)

-л

где hN — многочлен, такой, что hN (0) = 0. Но такие многочлены плотны в смысле равномерной сходимости в пространстве Ло функций К непрерывных на границе круга, голоморфных внутри него и имеющих нулевое среднее значение, т. е. удовлетворяющих условию

( h(e^dX = O.

-*л

В самом деле, всякая такая функция h на единичной окружности есть равномерный предел чезаровских средних своего ряда Фурье ), а всякое чезаровское среднее задает многочлен требуемого типа, который, очевидно, равномерно сходится к h в круге (по принципу максимума модуля). Поэтому мы можем рассматривать вместо (3.1) аналогичное выражение, где hN пробегает Ло; так как hN сходится к h равномерно, то HN сходится к h и в среднеквадратичном (с весом

F (dX)). Таким образом, мы должны рассмотреть х)

inf ( |1 — h\2F(dl).(3.2)

h£Ao

(Мы будем часто опускать аргументы подинтегральных функций и пределы интегрирования в тех случаях, когда это не может привести к недоразумению.) Если g С Ао и h g Ло, то gh g Ло. Функции из Л о можно рассматривать как функции на окружности или в круге, поскольку одно полностью определяет другое.

Рассмотрим сначала случай абсолютной непрерывности и покажем, что

inf f exp {Re h} f dX = expf log (2л/) dxl •(3.3)

hfcAo JL 2Л JJ

Далее мы неоднократно используем неравенство между средним арифметическим и средним геометрическим; отметим, что это неравенство имеет место для средних значений любой функции, интегрируемой относительно любой вероятностной меры (см. Хьюитт и Стромберг [1965], стр. 202). Применяя это неравенство к функции 2л/ exp Re h, получаем

exp Г4~ ( log 2л/ inf f / exp Re h dX,

2л JJ Л£Ло J

где левая часть равна среднему геометрическому от этой функции, так как среднее значение 1г равно нулю. Далее мы докажем лемму 1, которая утверждает, что правая часть не изменится, если нижняя грань берется по всем вещественным интегрируемым 1г с нулевым средним значением. Если log / интегрируем, то для функции

g = (2л)"1 j log (2л/) dX— log 2л/

имеем

feg dX = expfeg dX = exp[^jloglZn/)»][^jloglZn/)»]

feg dX = exp

feg dX = exp

[^jloglZn/)»]

[^jloglZn/)»]

так что нижняя рань достигается, и (3.3) доказано. Если log / неинтегрируем, то рассмотрим log (2л/ + е), 8 > 0, что дает

inf f exp {Re А} (/ + е) dX = exp Г4— ( log (2л/ + е) dX"] , ПСАо JL 2Л J

и устремляя 8 к нулю, получаем (3.3) в общем случае.

Если g £ Л 0, то и h = (1 — exp g) g Ло, так как Ло замкнуто относительно элементарных алгебраических операций и равномерной сходимости. (В этом и состоит преимущество Ло-) Кроме того, ехр {2 Re g} = 11 — h |2.

Поэтому

ехР L^jT j 1°£ (2 л/) ^] inf j |1 — h\2fdk,

так как нижняя грань теперь берется по множеству функций вида | 1 — h |2, h £ Ло, которое может оказаться шире множества функций exp Reg, g ^ Ао. Если вместо 2л/ подставить | 1 — h |2, то получаем

ехр f log | 1 — h \2dk I > inf 11 — fo —g + fog |2б/Х> 1

(последнее неравенство вытекает из того, что fo — g + hg g Ло) Поэтому функция log | 1 — fo |2 интегрируема, и можно положить | 1 — h |2 = k exp p, где p — вещественная интегрируемая функция с нулевым средним, a k ^ 1. Так как р можно считать вещественной частью некоторой g AOl то получаем обратное неравенство f / 11 — • h |2dk = к fep dk*> inf ( /eRc§dk = exp Гf log 2л/dk\ , JJg^AoL jj

и теорема доказана в абсолютно непрерывном случае. Перейдем теперь к общему случаю.

Если (3.2) равно нулю, то, очевидно, равно нулю и соответствующее выражение, где F (б/Х) заменено на / (X) dk (f — производная абсолютно непрерывной компоненты F), и ехр [(2л)"1 j log 2л/ б/Х] = = 0, так что теорема верна. Поэтому можно считать, что нижняя грань (3.2) положительна. Пусть h0 £ L^ (F) — проекция функции, тождественно равной единице, на замыкание S множества Ао в L2 (F). Тогда 1 — h0 ортогональна к S и, значит, ко всем элементам Ло> Пусть hn g Л о и fon сходится к fo0 в L2 (F). Тогда функции (1 — fon) х X ехр гтк, т >» 0, принадлежат Ло и сходятся в L2 (F) к (1 — fo0) X X ехр imk. Имеем

f 11 — foo |2 e^F {dk) = lim f (Г^) (1 - M ^F {dk) = 0, m > 0, поскольку (1 — fo0) ± Ло и (1 — hn) exp imk^ Ло. Так как |1—fo0|2 вещественна, то

J | l-/i0m = ±l,±2,...,

и | 1 — h0 |2 F {dk) должна быть пропорциональна мере Лебега. Тогда h0 квадратично интегрируема относительно /, является среднеквадратичным пределом (с весом /) последовательности элементов Л 0 и

j (1 — h0) hfdX=^l- ho) hF (dX) = 0, h^A0

(поскольку (1 — fo0) обращается в нуль на носителе скачкообразной и сингулярной компонент F). Поэтому fo0 является минимизирующей

функцией в случае, когда F (dX) заменяется на / (X) dX, и мы показали, что только / дает вклад в а2. Это доказывает теорему, за исключением использованной выше леммы. Прежде чем к ней перейти, докажем теорему 4.

Теорема 4. Если х (п) не является чисто детерминированным (т. е. а2 > 0) и F = F^ + F^ + F(3) — лебеговское разложение F, где Е^ имеет производную f, то / — спектральная плотность и (п) (в теореме 2), a F^ + F^ — спектральная функция и (п). Отсюда следует, что

о

[Эта теорема утверждает, что F^ + F^ — спектральная функция v (п) лишь в том случае, когда log / интегрируем.]

Доказательство. В конце доказательства теоремы 3 мы получили, что

— ^о I2/= п. в. (dX)

и что | 1 — До I2 обращается в нуль на носителе f(2) + Е3). Тогда, согласно теореме 2,

8 (гс) — j е-^Ьф (X) z^ (dX) =

*= р-^Ф(Х){(2ЯегзХ ) 2g (^ _|_ 2y (^X) J ,

0

где ф (X) = (1 — До) — частотная характеристика фильтра, преобразующего х (п) в 8 (п). Таким образом, ф (X) ^0 п. в. (dX), но равна нулю почти всюду относительно спектральной функции процесса и (п) и равна {2 а (/) exp 1]Х^-1 п. в. (относительно меры Лебега). Поэтому и (п) имеет сингулярную спектральную функцию, и, поскольку разложение Лебега единственно, теорема доказана.

Прежде чем перейти к последней фундаментальной теореме этого параграфа, докажем использованную выше лемму.

Лемма 1. Величина

inf f fe^hdk

/гЕЛо

не изменяется, если нижняя грань берется по всем интегрируемым функциям с нулевым средним значением.

Доказательство (Хелсон и Лауденслагер [1958]). Будем предполагать, что log / интегрируем, так как в противном случае можно рассмотреть / + 8, е > 0, как в доказательстве теоремы 3.

Положим g ^ = f (X) [ехр{(2л)-1 j log / dX}]"1, так что log g имеет нулевое среднее значение. Пусть далее log g = и — и, где и — неотрицательная часть log g, а и — отрицательная часть, т. е. и = = log g, если g ^ 1, и и = 0 в остальных случаях. Нетрудно построить возрастающие последовательности ограниченных неотрицательных функций иП1 ип. сходящиеся п. в. к и и и соответственно. Тогда

lim f undX = udX1 lim \ vndX = ( v dX

Для любого n найдется такое m, что

Kn dX -5^ Г v-m dX.

Умножим теперь vm на постоянную cn ^ 1, так чтобы это неравенство перешло в равенство, и обозначим получившуюся функцию ип. При п -> оо мы имеем сп -^ 1, так как \ и dX = I vdX. Далее, 0 ^

^ иТ1 ^ и, 0 ^ Up ^ г;, j ип dX = ^ vn dX, ип монотонно возрастает и стремится к и, а ип сходится в каждой точке к и. Если X таково, что g (X) ^ 1, то и (X) — 0 и, значит, ин (X) = 0, откуда, учитывая, что ехр (рп — р) ^ 1, имеем exp{zz — ип — v + yn} ^ 1. Если же X таково, что g (X) ^ 1, то р = 0, значит, уп = 0 и ехр (и — и^ = = ехр (log g — и^ ^ g. Таким образом, 0^ exp{zz — ип — v + vn^ <. ^ max (1, g). Поэтому, в силу мажорированной сходимости,

1 Г1 Г

£(2л) 1 j log f dXJ£(2л) 1 j log f dXJИгл -х— \ ехр (vn — ип) g dX = lim-у— \ ехр {н — ип — v-\- v^ dX=A. п 2Л Jп 2Л J

£(2л) 1 j log f dXJ

£(2л) 1 j log f dXJ

Таким образом, умножая это соотношение па ехр

имеем

(3-4)(3-4)inf f fe^ dX С exp Г-^- f log /,

(3-4)

(3-4)

JL JJ

где нижняя грань берется по всем ограниченным измеримым функциям ф с нулевым средним значением (какими являются ип — ип\ Поскольку уже было доказано, что здесь имеет место равенство даже в том случае, когда нижняя грань берется по всем интегрируемым ф с нулевым средним значением, то это верно и для рассматриваемого класса функций. Но любая ограниченная измеримая функция гр с нулевым средним значением есть предел ограниченной п. в. сходящейся последовательности чезаров-

ских средних своего ряда Фурье г), поэтому, в силу ограниченной сходимости, нижняя грань в левой части соотношения (3.4) не меняется, если г|) пробегает вещественные тригонометрические многочлены с нулевым средним значением, а значит, и в том случае, когда нижняя грань берется по функциям Re h, h ^ Ао, что и требовалось доказать.

Теперь мы установим важную характеризацию функций g (z), для которых / (X) — | g (X) |2 является спектральной плотностью чисто недетерминированного процесса.

Теорема 5. Пусть функция log / (X), где / (X) — спектральная плотность, интегрируема. Если

/ W - I (^) I2»

то g (z) однозначно представляется в виде

g (z) = eiaB (z) C ^ Q ^Y где

5(2)=?ПLt^t^tГп’ й^0’ KK1-

C (z) = exp [ — j p (</X)] ,

— Л

Л

Q (z) = exp [^ j log / W ^] •

-Л

Здесь ц — положительная сингулярная мера, рп — положительные целые числа. Функция Q (z) однозначно определяется следующими требованиями*, она голоморфна внутри единичного круга и

<2(°) = ехр[^ j lo^WdX"\=^ •

-лv

Функция вида Q (z) называется внешней функцией. Функции В (z) и С (z) — внутренние, причем первая носит название произведения Бляшке. Эти функции голоморфны в единичном круге, не превосходят по модулю единицы и равны по модулю единице почти всюду на границе круга. Эти свойства можно взять в качестве определения внутренней функции; мы покажем, что функция, обладающая такими свойствами, имеет вид В (2) С (z) eia.

г) Впрочем, здесь нужен лишь гораздо проще доказываемый факт: существует подпоследовательность чезаровских средних, ограниченно сходящаяся п. в. к ф. См. математическое приложение.

При доказательстве мы в основном следуем Гофману [1962]. Имеем

л

^(re^^exp [A- jpr(%-0)log/(0)d0], г<1,-Л

где РТ (X) — ядро Пуассона (см. математическое приложение). Вновь применяя неравенство между средним арифметическим и средним геометрическим (теперь с весовой функцией (2л)-1 Рт (X — 0)), мы видим, что

J№dx<-^ j J pax-sw^^-L- j /(0)^9,

т. e. Q (r exp iX) квадратично интегрируема для любого г, причем интегралы равномерно ограничены; таким образом, Q (г exp IX) определяет функцию, квадратично интегрируемую на единичной окружности (коэффициенты Фурье которой суть коэффициенты разложения Q (z) в степенной ряд). Далее, поскольку сумма Абеля для функции log / (X) сходится почти всюду) к log / (X), то

\QW^w п. в.

Теперь мы используем неравенство леммы 2, доказательство которой дадим ниже, и покажем, что если g (z) — произвольная голоморфная в единичном круге функция, такая, что / — | g |, то

I g №») |2 ^ | Q (re^) |2.

Это следует из цепочки соотношений

log | g (reiX) | — log |-^ j g(eie)Pr(X — 0)(Z0|^

j log№e)|/M^-9H9^og|?^^^

Таким образом, функция и (z) = g (z)!Q ^ голоморфна в единичном круге, ограничена по модулю единицей и равна по модулю единице на границе круга. Поэтому она является внутренней функцией, и нам остается установить формулу разложения для таких функций. Если начало координат является р-кратным нулем функции и (z), то мы разделим ее на zp, и если полученная функция неположительна при z = 0, то разделим ее на ехр /а, чтобы это выполнялось. Новую функцию по-прежнему обозначим и (z). Пусть аП1 п = 1, 2, . . .,— нули этой функции, лежащие внутри единичного круга, причем

кратность n-го нуля равна рп. Рассмотрим сначала

z — ak1 — akzz — ak1 — akzPkPkп

z — ak

1 — akz

z — ak

1 — akz

Pk

Pk

Vn (Z) = П

1

Тогда функция и (^lvn (z) голоморфна в круге и ограничена по модулю п

единицей. Отсюда 0 < и (0) < | ип (0) | = П | ак |Pft. Поэтому бесконеч- 1

ное произведение [J I ак \Рк сходится (оно не может расходиться к + оо, 1

так как ]як|<;1). Функция

удовлетворяет условию

откуда

^ J \Вп-Вт\ЧХ = ^- j 2(1-Re (BnBm»dX =

= 2 (1 — П |aft|Pft) , n>m.

Это показывает, что последовательность Вп сходится в среднеквадратичном на единичной окружности к функции В, которая должна равняться по модулю единице п. в., так как можно найти подпоследовательность ВП1 сходящуюся почти всюду (Халмош [1950], стр. 94). Полагая

5(гей)="^Г j pr(X-0)S(eie)d9, 0^г<1, имеем

I Вп ^те^ - В ^ге^ I ^ -^ j Pr (X - 6) | Вп ^ - В (е^ | d9 <<[J \вп^-в^|3сге]1/2.

т. е. Вп (z) сходится к В (z) равномерно в любом замкнутом круге, лежащем внутри единичного круга, и по модулю не превосходит единицы. Таким образом, В (z) является внутренней функцией специального вида, называемой произведением Бляшке. Положим теперь к (z) = и (^/В (z); эта функция голоморфна, не имеет нулей

внутри единичного круга и положительна в начале координат. Она равна по модулю единице п. в. на единичной окружности и, следовательно, ограничена по модулю единицей в единичном круге. Положим к (z) = ехр{—/г- (z)}, где функция h (z) = v (z) + iw ^ голоморфна в пашем круге и v (z) 0 (поскольку | к (z) | ^ 1). Тогда

v(r^)=^ 5 ^Г(Х—e)^(de),(3.5)

где р — положительная мера. В самом деле, сумма Абеля ряда Фурье гармонической функции v (z) равна

Urp^ = -1- ^ Pr(X-e)p(ei9)de>0, причем

j z;r (X) dX — ^ v (eiX) dX.

Поэтому абсолютно непрерывные меры на [—л, л] с плотностями vr (X) имеют равномерно ограниченные вариации. По теореме Хелли, мы можем найти сходящуюся подпоследовательность, пределом которой будет положительная мера ц. Более того, если s пробегает эту подпоследовательность, то

Ит-^- j Prp —Q)vs(Q)dB = ^- j РгР-е^^,

поскольку Рт непрерывна; но левая часть сходится к v (г exp 1Х^ откуда следует (3.5). Функция

голоморфна в единичном круге, и ее вещественная часть равна v (z). Поэтому с точностью до аддитивной постоянной она равна A (z), а эта постоянная должна быть кратной 2л, поскольку к (0) вещественно (mod 2л0. Таким образом,

л

(z) = | ц (d9) (шой2лг).

-л

Так как | к (ехр /X) | = 1 п. в., то | v (exp iX) | = 0 п. в.; однакоlim v (re^ = lim-^- J Р. (X - 0) ц (de) = п. в.

(см. упражнения к этой главе), так что р сингулярна.

Тем самым теорема доказана, за исключением единственности. Очевидно, что множители ехр /а, В (z), Q (z) определяются однозначно, так что С (z) также определяется однозначно. Легко видеть, что В (0) и С (0) вещественны, не превосходят единицы и равны ей

только в случае, если В (z) и С ^ тождественно равны единице. Таким образом, если g (z) такова, что g (0) — о//2л, то g (z) = — Q ^, и доказательство закончено.

Лемма 2. Если g (z) интегрируема на единичной окружности и аналитична в круге, то

4 J log | g (е«) I РТ (X - 9) d9 > log | -Г j g ^ Рт (X - 9) dO | . (3.6)

Доказательство (Гофман [1962]). Если g ^А (см. математическое приложение), то можно найти h £ А, такую, что

4 j jg-A|Pr(X — 9) d9<6,

^ j (X - 9) d9 = ^ j ЛРГ (X - 9) d9;

например, первому неравенству удовлетворяет чезаровское среднее n-го порядка для функции g при достаточно большом п; умножая его на константу, которая при достаточно большом п будет близка к единице, мы можем добиться выполнения и второго условия. Если h удовлетворяет этим условиям и е достаточно мало, то левая часть соотношения (3.6) аппроксимируется выражением

(2л)-1 j log { | h | 4- e} Pt (^ — 9) d9, e > 0

(в силу теоремы о мажорированной сходимости). Таким образом, мы установим результат в общем случае, если докажем его для h £ А. Функция log (| h | + е) вещественна, непрерывна и может быть равномерно аппроксимирована вещественной частью и функции р — и -V w А (поскольку чезаровское среднее для непрерывной вещественной функции вещественно и принадлежит Л). Положим к = ехр (—р) £ А. Тогда | к | — ехр (—и) и | hk | = | h | ехр (—и^ что не превосходит ехр е, если

и — е < log{ | h | + е} < и + 6.

Нетрудно показать, что интеграл от функций gt ^ А с весом (2л)-1 РГ (X — 0) мультипликативен, т. е.

ГА рА Р

j gigtPAX-QW-^ J gM-t^e*-1- j g2pr(%~0)de,

откуда

[4 j ^r(X-9)d9||4 J крт (X-9)d9| =

= |4" f HkPr(X — 9)d9\<e«.

Таким образом,

log I -A- f TtZ’r (X — 0)cZ6 I + log I{ kPrp-^de\<&.

I 2Л J|। 2Л J|

Однако

A- ( kPrp-9)d9 = A_ f e-pPrp-^\d^ =

2л J 4' 2Л J''

—J PPA^~ 6) cZO } ,

в силу свойства мультипликативности. Последнее выражение по абсолютной величине равно

exp £ —^- j иРТ (А — 0) с№J ,

так что

log |Л_ С hPrp-9)d9\ — 4- ( uPrp-9')d9<e,

2л JI 2Л J

и, поскольку tz<;8 + log{|^| + e}, имеем

( иРг р-9) dQ <е + ^- [ (log|/i| + e)Pr(X-9)</9,

откуда

log 1-^- ( ЛРг(Х-9)с?9|<2е + ^- ( {log | h I + е} Рг р-9) dQ. I 2л JI2Л J

Так как е произвольно, то отсюда вытекает доказываемое утверждение.

Теперь мы в состоянии завершить изучение оптимального прогноза.

Теорема 6. Пусть х (п) — чисто недетерминированный процесс и № (z) есть ^-преобразование фильтра, дающего наилучший линейный прогноз величины х (п + v), v > 0, по наблюдениям х {п — /), ] ^ 0. Тогда

5а и)

^4^ = ^,(3.7)

У а (/) z?о

а"1/2 ла"1/2 лпричем а^ могут быть получены из разложения

а

"1/2 л

а

"1/2 л

2 а (7) 2J = exp { е (0) + 2 2 с W }о1

о"]/2ло"]/2лехр с (0).ехр с (0).л

о"]/2л

о"]/2л

ехр с (0).

ехр с (0).

с(?г)—-J— j e~in^log j (A) dX, - л

Доказательство. Мы знаем, что функция (о/]/2л) 2 а (/) 2? о'

голоморфна в круге, равна о//2л при z = 0 и квадрат ее модуля на единичной окружности п. в. равен /(X). Поэтому она совпадает с Q(^. Далее,

C(0) + 2 2c(«)Z’- = ^- ? {l + 2 2№x}log/(X)dX =1e 1

J 7^| log/(Х) = log<2 (2).

Так как Q (z) не имеет корней внутри круга, то h^ (z) голоморфна в круге и, как легко проверить, удовлетворяет соотношению

V- 1

j 11 _ h№ |2 / (X) Л = о2 ^ а (/)2,

О

правая часть которого совпадает с выражением для ошибки прогноза. Поэтому h^ (z) есть z-преобразовапие оптимального фильтра. В самом деле, мы уже знаем, что

сюЛоо

х^= 2 4 (/) е (м — j) = j е-!'^ ( 2 а^е^гДаХ^.

О-лО

откуда, используя,что^a^ex^i]X^0п. в., получаем

zR (dX) = (2 а (у) е^у1z (dX).

о

Таким образом,

rinWv) ^) z (dX) = 2 G (7) е (^— /)•

-*ЛV

Рассмотрим теперь несколько примеров теоретического характера, использующих и иллюстрирующих результаты этого параграфа.

Примеры

В качестве первого приложения мы докажем результат Гре- напдера (см. Гренандер и Розенблатт [1957], стр. 103), раскрывающий тесную связь между спектром процесса и собственными значениями матрицы Г ту с элементами у (п — m), ms п = 1, . . ., N. Рассмотрим случай, когда / (%) ^ (2л)-1 М < оо. Пусть Xj, N — собственные значения Г ту. Имеем

NnNN

2 ^ (т — п) zmzn= j J 2 Zme^l'/(X) dX^M 2 |zm|2,

771, П=1- Л 11

откуда | Хр N | ^ М. Пусть а вещественно, | а | < М-1 и g (X) = = (2л)-1{1 + 2 л а/ (X)}. Тогда 0 << g (X) < л-1 — четная функция от X. Поэтому ее можно рассматривать как спектральную плотность чисто недетерминированного скалярного процесса. Обозначим такой процесс у (п). Определим Gn соотношением

n

°n = inf Е {(у (и) — 2 р (/) У (п — /))2),

1

где нижняя грань берется по всем р (у). Эту величину можно выразить в терминах ковариационной матрицы величин у (у), у = 0, . . . . . ., N, как в упражнении 2 гл. I (см. также Крамер [1946], стр. 336). Эта ковариационная матрица, которую мы обозначим Т N1 равна, конечно, IN + «Г^; используя упомянутое упражнение, имеем

сг^ = det TA+1/det TNl где

N

Заметим, что g2n убывает при возрастании N и сходится к

а2 = ехр j log {2л£ (X)} dX^-л

согласно теореме 3. Таким образом,

лN

С log {1 + 2ла/ (Z)} dX = lim log On = lim TV"1 У log g2n =

Л <N->OON-*oo

—Лn=l

= lim N”1 {log (det (Г^+1)) — log (det (7())} = N-*oo

N

= lim N-1 2 log (1 +“^L w)- N->OO

Положим

N

mN. P = 4" 2 4

Ряд

iog(i+^) = 2(-i)p-1^

1

сходится равномерно при |^|<1 — S, 6>0. Имеем

^NООр

lim 4" 3 1о§ О + jv) = Ит А- 2 { 2 (- l)^1

N->oo "N->ooV ,P

N

= Ит (-iy>-i^mN p,N->OO ,P

1

лр 2л J 1 j \—ллр 2л J 1 j \—ли так как a < M~\ 2л/ (X) ^ М, то мы можем также разложить log (1 + 2ла/ (X)) в логарифмический ряд и проинтегрировать его почленно, откуда

л

р 2л J 1 j \—л

л

р 2л J 1 j \—л

lim 2(-ir1^-^v,p-2(-1)P"1

^” 1 р 1

Но левая часть равномерно ограничена величиной

5п (аЛ/)Р11

<°°

при а < ^Му1. Последовательность /N (а) = 2 (— 1)р-1 ■— ^n, р 1

равномерно ограничена при | a | << (2М)-1. Кроме того, для любого вещественного а в интервале (— i/M, i/M) функции fN (сх) сходятся к

/(а) = 2(-1Г1^4г1-л

Тогда, согласно теореме Витали (см. Титчмарш, Теория функций, ГИТТЛ, М.— Л., 1951, стр. 194), последовательность сходится равномерно в круге | 2 | < (2М)-1 и, следовательно, / (а) является аналитической. Заметим, что коэффициенты последовательности аналитических функций, которая сходится к аналитической функции, сходятся к коэффициентам этой функции. Приравнивая коэффициенты при одинаковых степенях а, получаем следующую теорему:

Теорема 7. Если / (X) равномерно ограничена и hj,Nl j = = 1, . . ., N,— собственные значения Г^, то

Nл

lim АГ1 У. g n = 4- f {2л/(Х)}р <&, р = 0, 1, .

N->oo,’J

1-л

Эта теорема показывает, что величины 2л/ (со7- — л), toj = 2л/77У', j = 0, 1, . . ., N — 1, будут давать в среднем хорошую аппроксимацию для собственных значений Г^ при большом N, в чем можно

убедиться, аппроксимируя интеграл конечными суммами. С другой стороны, выражение в правой части можно рассматривать как момент порядка р функции 2л/ (•) от случайной величины X, распределенной равномерно на интервале (—л, л]. Теорема утверждает, что все моменты последовательности серий наблюдений {%;,Nl / = 1, . . ., X} сходятся к моментам 2л/ (X).

В упражнении 4 гл. II мы видели, что процесс £ (п) = = cos n^ + sin ^Ц, гДе 5 и Л — независимые величины с одинаковым (симметричным) распределением вероятностей F, стационарен и имеет спектральную функцию F. Тогда если F несингулярна и log / интегрируем, то х (п) не может быть безошибочно предсказан с помои^ъю линейного выражения от прошлых значений. Однако х (п^ очевидно, безошибочно предсказуем с помощью нелинейного выражения.

(Ш) В заключение этого параграфа, следуя Робинсону [1962], обсудим смысл внутренних функций в теореме 4. Прежде всего для каждого из таких множителей групповая задержка (см. § 4 гл. II) неотрицательна. В самом деле, для ехр га и zp это очевидно, а для других множителей имеем соответственно

апап/ «п-е^ \1/ «п-е^ \1i-K l2|l-«n^a fi-K l2|l-«n^a f>o,>o,г dXг dXi ai dXi ai dX|1 (Й0) ) =|1 (Й0) ) =2 {1 — cos (9 —X)}2 {1 — cos (9 —X)}ц (c/0) > 0.ц (c/0) > 0.

ап

ап

/ «п-е^ \1

/ «п-е^ \1

i-K l2|l-«n^a f

i-K l2|l-«n^a f

>o,

>o,

г dX

г dX

i a

i dX

i a

i dX

|1 (Й0) ) =

|1 (Й0) ) =

2 {1 — cos (9 —X)}

2 {1 — cos (9 —X)}

ц (c/0) > 0.

ц (c/0) > 0.

Таким образом, фильтр с частотной характеристикой Q является «фильтром минимальной групповой задержки», поскольку групповая задержка произведения фильтров аддитивна, и минимизируется (при фиксированном коэффициенте усиления), когда внутренние множители отсутствуют.

Рассмотрим теперь фильтр с частотной характеристикой

оТ/2лоТ/2л2 Р U) eliK, о2 Р U) eliK, ооо

о

Т/2л

о

Т/2л

2 Р U) eliK, о

2 Р U) eliK, о

о

о

Тогда

S|P(/)I2=S«(/)2, ооS|P(/)I2=S«(/)2, оо(3.8)(3.8)рр

S|P(/)I2=S«(/)2, оо

S|P(/)I2=S«(/)2, оо

(3.8)

(3.8)

S IP(/)P^S «(7)3.

оо

В самом деле, мы можем представить х ^п) в виде

^ (и) = 2 р (/) л (и - у), Е (л (и) л М) = 6" G2.о

Тогда q/^h-i содержится в подпространстве, порождаемом величинами т] (п — /), / > 1, так что | 0 (0) |2 о2 — средний квадрат откло-

нения х (п) от его проекции на это подпространство — не превосходит о = а (О)2 о2. Утверждение в общем случае получается совершенно аналогично. Если представить себе, что эти два фильтра имеют один и тот же вход, то оптимальный фильтр приписывает максимально возможный вес самым поздним входным сигналам (при фиксированном коэффициенте усиления). Произвольный односторонний фильтр с заданным коэффициентом усиления получается путем последовательного соединения оптимального фильтра и фильтров, отвечающих внутренним множителям, которые, как мы видели, приводят к задержке выходных сигналов.

ОБЩАЯ ТЕОРИЯ ДЛЯ СТАЦИОНАРНЫХ ОДНОМЕРНЫХ ПРОЦЕССОВ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ х)

Мы не будем проводить здесь подробное рассмотрение, но укажем, каким образом результаты § 3 приводят к соответствующим результатам для непрерывного времени. Мы следуем Дубу [1953] и Гофману [19621. Другой подход излагается в работе Хелсона [1964].

Основным инструментом служит отображение замкнутого единичного круга на левую полуплоскость (вместе с мнимой осью), задаваемое функцией

Это отображение переводит границу (z = exp ZX) в границу (w = Zt), причем т = tg 1/2Л, откуда

1 dX 1

2л dTлЩ-т2) *

Основной результат предыдущего параграфа утверждает, что функция / (Л) является квадратом модуля голоморфной в единичном круге функции тогда и только тогда, когда ее логарифм интегрируем. Аналогичная теорема для полуплоскости, принадлежащая Пэли и Виперу [1934], гласит, что спектральная плотность / (т), — оо < < т < оо, представима в виде

/ W | j “ (s) eiTS ds |20

тогда и только тогда, когда

\^?1У-ат<=».(4Л)

J 1 + т2х '

Доказательство основывается на соответствии между пространствами Нj У = 1, 2) для единичного круга и для левой полуплоскости 2);

х) Этот параграф можно опустить.

в случае полуплоскости они состоят из функций, голоморфных в полуплоскости и интегрируемых или соответственно квадратично интегрируемых на ее границе. Мы используем одни и те же символы Hj в случае круга и полуплоскости, так как аргументы (w или 2 и т. п.) позволят определить, о каком из пространств идет речь. Легко видеть, что g (w) £ Н j тогда и только тогда, когда х)

Если / (т) удовлетворяет условиям теоремы Пэли — Випера, то логарифм функции ф (X) = / (tg V2X) интегрируем, откуда / (т) = = | g (гт) |2 и g (w) g Я2 (так как g (w), равная h (р~~) , голоморфна в полуплоскости и квадратично интегрируема на границе, ибо / (т) интегрируема).

Теперь положим

а^ — -~=- ( g^xV^sX^-

у 2л

Для доказательства достаточности остается показать, что a (s) = О при s < 0. Можно предположить, что g (w) £ Ht П Н2) так как в противном случае вместо g можно рассмотреть функции

[1 —{ll2/(l + ZZ^) }^] g (w),

которые принадлежат Н^ П Н2 при п > 0 и сходятся в среднеквадратичном к g. При этом предположении найдется функция К £ Н\, такая, что

Здесь, очевидно, необходимо дать точное определение классов Харди Hj для полуплоскости: это пространства голоморфных в левой полуплоскости функций, таких, что

| h (х + zz/) р dy ^ const, х ^ 0.

Одна из теорем Пэли — Винера утверждает, что /г б Н2 тогда и только тогда, когда

1г (т) = (л (s) ds, Re w 0, 0

где J | a (s) |2 ds < oo.— Прим, перед.

И при S <4 О

— Г g^e-^dx^ — f

— -—^7 [ hv (e^ e^ dX = 0,

- Л

так как

Необходимость доказывается легко: пусть / (т) имеет указанный вид; тогда / (т) — | g (tr) |2, где g (м) определенно принадлежит //2 для полуплоскости; но тогда / (т) переходит в ф (Л) — | А |2, 1г С Н^ так что log ф (X) интегрируем, откуда сразу следует необходимость.

Далее, если log / (т) удовлетворяет соотношению (4.1), то ж(<) = ^ а (/ + «)£ (ds), о

где £ (5) — как обычно, процесс с ортогональными приращениями,, такой, что Е (£ (ds^) = ds.

Теперь, следуя Дубу [1953], мы построим процесс у (тг) с дискретным параметром, соответствующий процессу ж (/) с непрерывным параметром, так что подпространство &//0, порождаемое величинами х (tY t ^ 0, в пространстве St х (порождаемом всеми х (/)) отобразится в подпространство Ж^ порождаемое величинами у (nY п ^ 0, в пространстве Sf у (порождаемом всеми у (п)). Пусть спектральная функция у (п) равна G (X) = F (tg Ч2Х), где F (т) — спектральная функция процессах (/). Заметим теперь, что о! 0 изоморфно подпространству в L2 ^FY порождаемому функциями ехр (—itxY £ ^ 0, а Ж о изоморфно подпространству в L2 (G), порождаемому функциями ехр (—inXY п ^ 0. Чтобы установить нужное соответствие, рассмотрим отображение L2 (F) на L2 (GY задаваемое формулой

ехр гл.(4.2)

Имеем

+тг^= -1+2 * e-»+£dZ, 1 4-IT1 1 + lT1 J’

поэтому функция ехр (—1XY а значит, и ехр (—1пХ) при любом п ^ 0, соответствует некоторому элементу из ^+ 0 (последний интеграл может быть аппроксимирован в среднеквадратичном с весом F (dx) линейными комбинациями функций ехр (—itxY t ^ 0, и поэто-

му принадлежит Л^. Итак, образ ^0 содержится в <Лй. Обратно, функция

exp wt = exp{Z (z — l)/(z + 1)}

голоморфна при | z | > 1 и не превосходит по модулю единицы при t < 0. Она разлагается в ряд по неположительным степеням z. На единичной окружности эта функция

exp it (tgT/2X) — exp ZZt, Z < 0,

п. в. равна предельному значению ограниченной функции exp wt, t < 0. Таким образом, функция exp itx, t < 0, может быть аппроксимирована ограниченно, а значит, и в среднеквадратичном (по мере F (dx)) образами функций из J *0, следовательно, образ ЛГ0 содержится в Л q. Итак, эти два подпространства отображаются одно в другое при соответствии (4.2). Поскольку процесс х (Z) чисто детерминирован (по определению) тогда и только тогда, когда Л^ = Л _^, и оЛ соответствует Л* -^ (в силу рассуждений, аналогичных приведенным выше) г), то имеет место )

Теорема 3'. Процесс х (Z) чисто недетерминирован в том и только в том случае, когда F (т) абсолютно непрерывна и имеет место (4.1).

(Мы называем х (Z) чисто недетерминированным, если Л( _^ — нулевое подпространство.)

Далее проще всего установить аналог теоремы 5. Мы опускаем доказательство, так как оно является очевидным видоизменением доказательства теоремы 5.

Теорема 5'. Пусть х (Z) — недетерминированный процесс со спектральной плотностью

/ (т) = | j ос (s) е^Т ds I = | g(ix) |2.(4.3)

о

Тогда для w^g-^^ имеем

g (w) = eiaB (w) C (w) Q (w),

C = e-t>№ exp [ — j v (dT)] ’

Q = exP [i j 108 / W

x) См. упражнения к этой главе.

где |3П — нули функции g (w) в левой полуплоскостип р — неположительное число, a v — сингулярная мера.

Замечание. Множитель ехр (—рш) появляется из-за (возможного) скачка ц (Л) в точках +л. Как и прежде, функция Q определяется однозначно, если потребовать, чтобы она была голоморфна в левой полуплоскости и удовлетворяла соотношению

j log/My^-.

Мы можем также положить

QH = J ^(s) eSWdsо

для ш, лежащих в левой полуплоскости, причем на границе интеграл сходится в среднеквадратичном.

Рассмотрим теперь задачу нахождения минимума выражения

j | e~Ux — h (Zt) |2 F (б/т),

где функции h, (w) должны быть голоморфными в левой полуплоскости. Это есть среднеквадратичная ошибка прогноза я (Z) по о#о, записанная в спектральной форме. Если F абсолютно непрерывна и отвечает недетерминированному процессу, то это выражение можно переписать в виде

j । e-UxQ (Zt) — h (Zt) Q (Zt) рб/т;

выполнив преобразования, аналогичные использованным в § 1, мы получим, что минимум достигается при

й^т) = \e-UxQ (Zt) ]+ Q (Zt)"1, где

te-itxQ (Zt)]+ = j eisxe-UTa (s) ds = J exsxa ($ +1) ds.tо

Ошибка прогноза при этом равна

J |[<Н'т(2(гт)]-№

где t

[e-UTQ (гт)]_ = j е^-^а (s) ds,

0

т. е. t ^ а2(и) du. о

Доказательство того, что сингулярная часть F не дает вклада в ошибку прогноза, почти не отличается от соответствующего доказательства для дискретного времени, данного в § 3, и мы его опускаем. Теперь мы докажем теорему 2', после чего сформулируем теорему 4' и закончим параграф теоремой 6'.

Теорема 2'.

t

х (t) = и (t)-}-v (t) = ^ a (/ — s) £ (cfc)+z; (Z),(4.5)

где

£ (s) — процесс с ортогональными приращениями, такой, что Е (£ (*)2) = ds;

Е (и (s) и (t)) = 0;

v (t) — чисто детерминированный, и ^ — чисто недетерминированный процессы.

Разложим 5£ в сумму оЛ -оо ф Л, где Л — ортогональное дополнение Л_оо в ей?. Обозначим через и^ проекцию х ^ на Л, а через и (Z) — его проекцию на Л_оо. Оператор сдвига U (т), U (т) х ^ = = х (t + т), коммутирует с проектором на Л _оо, так как, очевидно, U (т) о//_оо = Л_оо; следовательно, он коммутирует и с проектором на ah, а значит, и (t) и и (t) стационарны. Кроме того, величины и (t) порождают Л, a v(t) порождают Л_оо, и (ii), очевидно, выполняется. Пусть Го — пространство, порождаемое величинами и (f), t ^ t0. Тогда ?'ocz o/h^, и поэтому ЧГ0 — Л_оо, ибо Л-^ cz g^/0, ^0 cz Л _оо и Лгй = 7"о + %о> гДе ^о порождается величинами и ^, t ^ /0. Таким образом, и (/) — детерминированный процесс. С другой стороны, обозначая бесконечно далекое прошлое процесса и (Z) через %_оо, имеем dl.oo cz Л_оо и %_оо cz Л, так что %_оо есть нулевое подпространство и и (Z) — чисто недетерминированный процесс. Поэтому и ^ имеет абсолютно непрерывный спектр и спектральную плотность, удовлетворяющую соотношению (4.1); представление (4.5) вытекает из теоремы 15 приложения к гл. II.

Ошибка прогноза, очевидно, равна

П-St

a2 ^s — и) du = J а2 (и) du, 80

откуда видно, что a ($) действительно совпадает с преобразованием Фурье функции Q (ix).

Так же как в § 3, имеет место

Теорема 4'. Пусть х (Z) не является чисто детерминированным, и пусть F = F^ + F^ + F<3) — разложение Лебега спектральной функции F; тогда производная абсолютно непрерывной компоненты Fm равна спектральной плотности процесса и(^ из теоремы V, a Fv^ (X) + F^ (X) есть спектральная функция процесса и($.

Теорема 6'. Пусть х (/) — чисто недетерминированный процесс и № (ix) — частотная характеристика фильтра, дающего наилучший прогноз величины х (s + Z) по наблюдениям до момента s. Тогда

h^ (Zt)h^ (Zt)Q (tT)Q (tT)

h^ (Zt)

h^ (Zt)

Q (tT)

Q (tT)

=2[3=2[3р (°)р (°)Н=МН=Мs > О,s > О,

=2[

3

=2[

3

р (°)

р (°)

Н=М

Н=М

s > О,

s > О,

где Q(w) определяется формулой (4.4). Имеем также

2 "^Г- | e-s?a(s)ds=exp (оо+2 ^о, (4~^Т } ’ Imiy<0, 001

Пример. Пусть / (т) = (1/2л) | р (Zt) |“2, где р (м) — (вещественный) многочлен, не имеющий корней в левой полуплоскости. Тогда, очевидно, Q (w) = р (w)". Имеем

в предположении, что корни Р7- многочлена р (ш) в правой полуплоскости простые. Таким образом,

3h^j

и, значит, наилучший прогноз х (s 4* ^) по наблюдениям до момента s- дается выражением

зз11(4_₽ft)}]ж(5)-(4_₽ft)}]ж(5)-

з

з

1

1

(4_₽ft)}]ж(5)-

(4_₽ft)}]ж(5)-

5. ПРОГНОЗИРОВАНИЕ ВЕКТОРНЫХ ПРОЦЕССОВ С ДИСКРЕТНЫМ ВРЕМЕНЕМ 1)

Многомерный случай общей теории прогнозирования значительно более сложен, чем одномерный, в силу того обстоятельства, что / (X) может быть вырожденной, но ненулевой матрицей. Тем не менее, благодаря работам Винера и Мазани [1957], [1958], Хелсона и Лауденслагера [1958] и Розанова [1963], существенная часть теории была распространена на векторный случай. Мы ограничимся дискретным временем. Относительно случая непрерывного времени см. Робертсон [1968].

Введем гильбертово пространство ЗС. порождаемое величинами ^ ^Y 7 = I, . . ^ р\ п = 0, ±1, . . ., и обозначим через 31н замкнутое подпространство, порождаемое х5 (иг), j = 1, . . ., р; т ^ п. Мы получим наилучший v-шаговый линейный прогноз для х (п + v), если спроектируем компоненты этого вектора на o//tn. Ошибку прогноза для v = 1 обозначим 8 (и + 1). Тогда, как и прежде,

Е (е (иг) е (и)'} = S^G.(5.1)

Полагая

А ^ = Е {г (и) е (и - у)'} G"1, j > 0(5.2)

(где G-1 — обобщенная обратная матрица для G), имеем

А ^ G = Е {я (и) 8 (и - 1YY

ибо вектор е (и — у) с вероятностью 1 ортогонален нулевому подпространству матрицы G. Следовательно, А (у) е (и — у) есть проекция х (п) на пространство, порождаемое е (и — у), так как

Е [{ж (и) — А (у) е (и — у)} е (п — у)'] = 0.

Таким образом, мы можем построить процесс

и(«) = 2 Л (/)е(и —j),^A^GA (j)* < оо.(5.3)

оо

Последнее соотношение вытекает из неравенства Бесселя. Полагая v (и) = х (ri) — и (и), имеем следующую теорему:

Теорема 2" (разложение Вольда). Если х (и) — стационарный векторный процесс с р компонентами, то х (и) = и (п) + и (п), где и (п) определяется соотношениями (5.1), (5.2) и (5.3), и (п) — детерминированный процесс и Е (v (и) е (т)') = 0.

Доказательство в основном такое же, как в скалярном случае. Если присутствует только компонента и (и), то мы говорим, что процесс х (и) чисто недетерминированный.‘

х) Этот параграф может быть опущен.

При изложении частотного анализа теории прогнозирования мы следуем сначала Хелсону и Лауденслагеру [1958]. Величина, которая должна быть минимизирована в случае одношагового прогноза, равна

л

Тг { j (I- 2(/) е^ F (dX) (l-^AN U) е^)* },

-Л

ибо это есть сумма квадратов ошибок прогноза компонент я (0) по величинам х^ (тп), 7 = 1, . . ., р; т — —1, . . ., —N. Минимизация, конечно, производится по всевозможным последовательностям AN У). Мы рассмотрим формально более общую проблему оценки выражения

inf р"1 Тг j (А (0) - hN (е^)} F (dX) (А (0) - hN (е^)}*,(5.4)

где hN — ^ An (7) exp ifk, а А (0) пробегает всевозможные матрицы с единичным определителем.

Напомним, что если В — эрмитова неотрицательная матрица, то существует единственная эрмитова матрица Н1 такая, что В = = exp Н (это выражение определяется посредством экспоненциального ряда). Введем обозначение Н = log В.

Теорема 3". Нижняя грань (5.4) равна

л

ехр [-2^7 JTr(log2^W}^] .(5.5)

-Л

Вновь, если Тг (log / (X)) неинтегрируем, то (5.4) и (5.5) следует считать равными нулю. Если А (0), как прежде, фиксирована, то мы можем взять нижнюю грань по множеству Ао матричнозначных функций, голоморфных внутри единичного круга, непрерывных на его границе и имеющих нулевое среднее значение. Тогда почти в точности так же, как в скалярном случае, можно показать, что если h — проекция А (0) С ^2 (^) (см- математическое приложение) на замыкание Ао в L^ (^FY то сингулярная компонента F не дает вклада в нижнюю грань и

(Л (0) - fc) / (X) (Л (0) -hy = С п. в.,

где 1г и С, конечно, зависят от А (0). Поэтому далее мы будем рассматривать абсолютно непрерывный случай. Докажем соотношение

ехр Г-A— j Тг (log 2л/) ей] = inf -А^ ( Тг (е^л/) dX, (5.6)

где гр пробегает эрмитовы полиномиальные матрицы, такие, что j Тггрс?Х = О. Имеем

ехр ["2^7 j Тг (log 2п^ d?l] = ехр [”2^7 j log det <2я^ dJt]

j {det(2n/)}1/p^<

где было использовано соотношение Tr log В = log det В и неравенство между геометрическим и гармоническим средними (один раз для сумм с собственными значениями матрицы 2л/ и второй раз для интегралов). Полагая г) W = (ехр ^гр) 2л/ (ехр х/2гр), получаем а поскольку

Тг log W = log {det (ехр гр) det (2л/)}, находим (используя, что Тггр имеет нулевое среднее)

ехр [-2^7 1 Tr 10g 2n/dX] ^"277 J Tr №n dk (517)

Теперь, как и прежде, можно доказать, что нижняя грань правой части не изменится, если гр будет пробегать все матрицы с интегрируемым следом (эрмитовы и такие, что Тггр имеет нулевое среднее). В самом деле, если мы определим положительную часть эрмитовой матрицы как матрицу, собственные значения которой равны положительным частям собственных значений исходной матрицы, а собственные векторы — те же самые, то доказательство леммы 1 § 3 почти не изменится. Аналогичный прием позволяет затем показать, что в (5.6) имеет место равенство, так как если Тг log 2л/ интегрируем ), то функция

гр0 = (2лр)-1 ( j Tгlog2л/ dX^ Z —log 2л/

является допустимой, и для нее в соотношении (5.7) достигается равенство.

Теперь нам придется рассуждать иначе, нежели при доказательстве аналогичной теоремы в § 3, так как из Л = ехр В не следует, что А А* = ехр (В + В*) (это верно лишь в случае, если А коммутирует с A*Y Для этой цели докажем следующую лемму:

х) Мы определяем матрицу W так, чтобы она была эрмитовой.

Лемма 3. Если нижняя грань (ЬА) положительна, то / (Z) факторизуется по формуле

где Ф голоморфна в единичном круге, причем

Ф^^СЦ)^, det {С (0)} #=0.о

Доказательство. Пусть h — элемент замыкания 40 в Ег (F), минимизирующий

j (Z + ^)/(Z + ^)*^e

Тогда (Z + h) / (Z + A)* = С, где С невырожденна, так как в противном случае можно было бы найти матрицу А (0) с det (А (0)} = 1, такую, что величина

Тг (Л (0) С А (0)*) = J Тг (Л (0) + Л (0) h) / (Л (0) + А (0) A)* d'K

сколь угодно мала. (В качестве первой строки матрицы А (0) возьмем а*, такую, что а*Са = 0. Выберем остальные строки так, чтобы они со строкой а* образовывали линейно независимую систему. Умножая их на подходящую постоянную, мы можем сделать след сколь угодно малым, тогда как строку а* можно, не изменяя следа, умножить на другую ненулевую постоянную, чтобы определитель А (0) равнялся единице.) Полагая А = С"1^ (берется положительный корень), имеем (4 + Ah) f(A 4- Ah)* = I, так что / = ^АД-Ah)-1 (4 + Ah)*-1. Так как элементы матрицы ^A-A-Ah)”1, очевидно, квадратично интегрируемы по мере dX и

J (4 4- 4/г)-1 егп^ dX — ^ /(А + Ah)* е^ dX —

= j ^lA-H^e^dXA*^, n = l, 2,

то лемма доказана.

Пусть гр — такое же, как в соотношении (5.6). Тогда собственные значения матрицы ехр (—гр) строго больше нуля, и мы получим положительную нижнюю грань в соотношении (5.4), если в качестве / возьмем ехр (—гр); следовательно, ехр (—гр) = ВВ*, где

В = 2 В (п) ^inX, det В (0) ^ 0, о

Покажем теперь, что det В (0) = 1. Так как ВВ* = Тг (ехр (—гр)), то элементы матрицы В равномерно ограничены, а значит, интегри-

руемы, и поскольку

det В = det В (0) + 3 с (n) ein\1

то из неравенства для среднего геометрического и среднего арифметического получаем

^- j log|detS|2dXClog|detS(0)|2.

По построению В в лемме имеем ехр гр —D*D1 где D-x — A-\-Ah\ аналогично, для D имеем

•^- j 1оё^е12)|2^С1о8^егЛ|2.

Так как В (0) А = /, то, складывая эти неравенства, получаем, что они должны обращаться в равенства. По предположению,

0 = -^j- J log (det е^) dX = log | det А |2,

и определитель А положителен, ибо А — эрмитова положительная матрица; следовательно, этот определитель, как и определитель матрицы В (0), должен равняться единице. Таким образом, мы показали, что если гр такая, как в соотношении (5.6), то

j Tr (№t/) dX = -^ j Tr ^D2nfD»)dX, (5.8)

где D ^А-^Н^ определитель А равен единице и

1

Так как нижняя грань выражений в левой части (5.8) равна, как мы доказали, ехр (2лр)-1 j Tr (log 2л/) dX, то, взяв нижнюю грань правой части по, очевидно, более широкому классу, мы получим inf-^ j Тг^^ + ^гл/^^ + ^^ХСехр-^ jfrr(log2n/)dX.

Так же как в одномерном случае, противоположное неравенство можно получить из соотношения (5.8), и теорема 3" доказана.

Эту теорему можно сформулировать в следующей эквивалентной форме:

Теорема 3".

det (G) = exp -^- j log {det 2л/ (Л)} dX.

-П

Доказательство мы оставляем читателю в качестве упражнения.

Если det G > 0, то мы говорим, что х ^ — процесс максималъ-

кого ранга. Конечно, может быть и так, что det G = 0, но процесс чисто недетерминированный, так как G может оказаться ненулевой матрицей.

Теорема 4". Если х (п) — процесс максимального ранга, то

Достаточно показать, что Fy (X) сингулярна; тогда утверждение будет следовать из единственности разложения Лебега. Этот результат принадлежит Винеру и Мазани [1957].

Докажем сначала, что если А и В — эрмитовы неотрицательные матрицы, то det (Л + S)/Tr (А А-В) ^ det Л/Tr А. Очевидно, мы можем предположить, что А диагональна, и тогда ясно, что det (Л -|-5)^ det Л + S ^ jA^a (где АХз — соответствующее алгебраическое дополнение). Так какТг Л ^ aj, j, то Тг A det (Л +5) ^ ^ Тг Л det А + Тг В det А = det А Тг (А + В), что и требовалось доказать. Таким образом,

det /det fu

Trf Тг’ откуда

/ Tr(^^(x))ldet f> det k 11 +^- f .

Следовательно,

\ log (det 2л/) dZ^2n log (det G) + \ log I 1 H^r-;/ dX.

JJ \/u /

Таким образом, второе слагаемое равно нулю, а так как Тг fu п. в. конечен, то Тг ^^ F^ (X) ) равен нулю п. в., откуда, учитывая эрмитову неотрицательность (dldX^F^ (X), получаем результат.

Утверждение теоремы 4" может не выполняться, если х (п) не является процессом максимального ранга (см. Мазани [1959а]).

До сих пор не удалось полностью обобщить теорему 5, так как отсутствует исчерпывающее описание «внешних» функций. Другими словами, для функции Q (z) = (S^ (/) zJ) G1^ не найдено простого конечного выражения в терминах /, даже при условии Q (О)2 = G. Основная работа в этом направлении проделана Мазани [1959b], [1960], который использовал математические результаты Потапова [1955]. См. также Хелсон [1964]. Однако в случае процессов максимального ранга имеет место полный аналог теоремы 1, который мы назовем теоремой 1", хотя у нас не было теоремы 1'.

Т е о р е м а 1". Если х (п) — чисто недетерминированный про- иесс максимального ранга, то имеет место теорема 1 во всей ее общно-

сти, причем функция

ф (^^) — 2 А (/) е^о

однозначно определяется следующими условиями; Ф (z) голоморфна в единичном круге, / (Z) = (2л)-1 ФСФ* и Ф (0) = 1Р.

Эта теорема доказывается почти точно так же, как теорема 1; исключение составляет единственность, которую мы сейчас установим. Рассмотрим det Ф (z). Очевидно, что эта функция отлична от нуля почти всюду на окружности, так как этим свойством обладает det / (Z). Положим R (z) = Ф (z)-1 Т (z) G1^ где Т (z) — другая функция, удовлетворяющая тем же условиям, что и Ф (z). Тогда на окружности RR* = 2лФ-1/Ф*-1 = G, так что по формуле полярного разложения для матриц R = G^S, где S унитарна. Далее, рассматривая

G (z) = exp { -L j ^ХД log (det Ф) dX } ,

можно доказать, что GX^S голоморфна внутри круга. В самом деле, | G (z) | ^ | det (Ф (z)) | точно так же, как при доказательстве теоремы 5; но G (0) = det Ф (0) = 1, и, поскольку G^ не имеет нулей в круге, функция det (Ф (^/G (z) голоморфна в круге и по модулю меньше или равна единице. По принципу максимума модуля эта функция тождественно равна единице, и det Ф (z) голоморфен и не имеет нулей в круге. Следовательно, R (z), а значит, и S (z), голоморфны в круге. Но S (0) = 1р, и доказательство завершается теперь так же, как для теоремы 3; именно, S* = 5-1, значит, S (exp IX)-1 голоморфна как внутри, так и вне круга, и, следовательно, есть постоянная матрица, которая должна равняться 1Р. Таким образом, R (z) = G1^, т. е. Ф (z) = Т (z), и единственность доказана.

Остается проблема фактического построения коэффициентов А (J), т. е. функции Ф (z), которая в скалярном случае принципиальна решается теоремой 5. Однако, как объяснялось во введении, построение алгоритма для определения А ^ не имеет большого практического значения, и мы не будем далее обсуждать этот вопрос.

ПРОБЛЕМЫ ИНТЕРПОЛЯЦИИ

Проблемы интерполяции более просты, чем проблемы прогнозирования, так как па интерполирующие фильтры налагается меньше ограничений. Мы рассмотрим сначала интерполяцию пропущенного значения для случайного процесса с дискретным временем, а затем интерполяцию между выборочными точками для процесса с непрерывным временем. Другие результаты по интерполяции читатель может найти в работах Гренандера и Розенблатта [1957], Розанова [1963] и Бонне [1965], использованных в нашем изложении.

Мы ищем теперь такую линейную комбинацию ос (п) величин ос (м — /), / У= 0, которая минимизирует ошибку интерполяции || ос (п) —я:(м)||2. Так же как в § 2, введем частотные характеристики

N

(6.1)

-N

где штрих означает отсутствие слагаемого при / = 0. Мы ищем функцию г) h, такую, что

lim Tr [ j (hJChN)F(dXHh-hNy^ =0, N"*°°

причем

л

Tr[ J (Zp —A)^(dA)(ZP —А)*]

-л

минимален. Тогда л х (n) = ( e-iTlMi (^е^ z (dX). -л

Положим

5 = Е ^х (п) — ос (п)) (х (п) — х (п))'}.

Очевидно, мы можем, не ограничивая общности, считать, что п = 0. Если F (X) не является абсолютно непрерывной, то, как мы знаем из § 5, сингулярная часть F отвечает безошибочно предсказуемому процессу, который, следовательно, может быть и безошибочно интерполирован. Это приводит нас к рассмотрению абсолютно непрерывного случая. Предположим, что не существует ненулевого вектора а, такого, что а'х (n) s 0 почти наверное. Очевидно, что это предположение не ограничивает общности, ибо в противном случае можно было бы понизить размерность х (п).

Теорема 8. Пусть х (м) удовлетворяет сформулированному выше условию и имеет абсолютно непрерывный спектр, и пусть /(X)-1 — обобщенная обратная к матрице / (X). Необходимым и достаточным условием невырожденности 5 является интегрируемость / (X)”1. Если это условие выполнено, то частотная характеристика оптимального интерполирующего фильтра равна

л

h = IP-{i j / W1^} ЦХГ\(6.2)

-л

!) Мы по-прежнему будем часто опускать аргумент функции 1г.

причем л -л

Доказательство. Очевидно, что для любой пары комплексных векторов а, Р должно выполняться равенство

Е {а* (я (0) — х (0)} х (пУ Р} = 0, п ^ 0, т. е.

а* j (/р-кН (X) е^d^ = 0, пФ 0.(6.3)

Отсюда следует, что

(/р -ьи = с,

где С — постоянная матрица. Таким образом,

Это решение не единственно, однако любое другое решение отличается от него на матрицу, которая при умножении справа на / дает нуль и, следовательно, приводит к той же 2. Далее, из (6.3) вытекает также, что

[ (Ip-hHh*dk = O,-Л

так как h есть среднеквадратичный предел выражений вида (6.1). Таким образом,

5= j (7p-A)/dX=2nC,

откуда следует, что С = С* = С. Предположим сначала, что У"1 интегрируема; тогда

= Сdk = С ^f^dkC

—л-л

И

С = С j/(X)-4x}C;(6.4)

-Л

решением этого уравнения является

л

C={i J /(Х)"1^}"1.(6.5)

-Л

Вновь любое другое решение (6.4) приводит к той жej самой 5; в самом деле, положим л

-л

тогда мы должны рассмотреть решения уравнения X = ХАХ. Если X = C^-D, где С дается соотношением (6.5), то, полагая Е = = А А-1 = А-1А, мы можем считать, что ED = DE = EDE = D, так как EXE, очевидно, приводит к той же 5, что и X. Тогда имеем

C^D = (C + Z)) A (C+D) - CAC+CADA-DAC + DAD, т. е.

D — ED -j- DE -j™ DAD, откуда

—D = DAD = (-Z)) A (-D^

и X = C — Dt, где D^ — также решение уравнения X = ХАХ, но теперь ХАХ = САС, что и требовалось доказать.

Таким образом, мы можем взять С в виде (6.5), и теорема, за исключением утверждения о невырожденности 5, будет доказана. Если / (Z)-1 интегрируема, то 5 действительно невырожденна, ибо в противном случае найдется вектор а, такой, что'

j a'/ (Z)"1 а dX = 0, а'а = 1.

Выбирая ортогональную матрицу Р, первая строка которой совпадает с а, получаем, что Pj (X) Р' для всех X имеет нулевые элементы в первой строке и первом столбце, откуда следует, что а* х (п) = О почти наверное. С другой стороны, если 5 невырожденна, то, учитывая соотношение j (/р — h) / (Ip — К) dX = ^ (4л)-2 S/-1S dX, мы видим, что S/-1S интегрируема, значит, и /-1 должна быть интегрируемой. Доказательство завершено.

Пусть х (п) — скалярный процесс; тогда если / (Z)-1 не интегрируема, то ошибка интерполяции равна нулю, и обратно (это можно доказать, рассматривая f (X) -|-8, 8 > 0, и устремляя 8 к нулю). В скалярном случае 5 равна среднему гармоническому функции 2 л/ (X); ее можно рассматривать как среднее гармоническое и в общем случае. Таким образом, имеет место любопытная сводка результатов об оценивании х (0). В случае когда мы не имеем никакой информации о прошлом и будущем, мы полагаем х (0) = 0 и получаем матрицу ошибок Г (0).

Используемая информацияМатрица ошибок

Отсутствие информацииПрошлоеПрошлое и будущееОтсутствие информацииПрошлоеПрошлое и будущееСреднее арифметическое 2л/Среднее геометрическое 2л/Среднее гармоническое 2л/Среднее арифметическое 2л/Среднее геометрическое 2л/Среднее гармоническое 2л/

Отсутствие информации

Прошлое

Прошлое и будущее

Отсутствие информации

Прошлое

Прошлое и будущее

Среднее арифметическое 2л/

Среднее геометрическое 2л/

Среднее гармоническое 2л/

Среднее арифметическое 2л/

Среднее геометрическое 2л/

Среднее гармоническое 2л/

Рассмотрим теперь задачу интерполирования значения х ^ одномерного процесса с непрерывным временем по наблюдениям х (п^ п = 0, ± 1, . . • • Вновь, не ограничивая общности, можно рассматривать только абсолютно непрерывный случай. Таким образом, мы должны минимизировать величину

j ^-^-h^Vf^dX,O<Z<1,

где ht принадлежит части пространства L^f dX^ порождаемой функциями exp inX, п = 0, ±1, . . . .

Следовательно, мы должны иметь

ик— ^} ^”^/йХ = О,

и, поскольку h,t W = ht (Х4-2кя\

{ 2 е~И(Х+2йл)/(^+2М~Ы^) 2/<Х + ^ е^МХ^О.

Отсюда

2 / (X+ 2/сл) е"и^2к^ht(X) = -^— , — лСХСл,

^ /(Х + 2/сл)

2/(X) ах.2/(X) ах.что по модулю не превосходит единицы. Ошибка интерполяции равна

2

/(X) ах.

2

/(X) ах.

5 /(Х + 2А:л)е~^л

§ /(Х + 2^л)

Если эта ошибка равна нулю, то ht (X) exp itX должна равняться единице п. в. относительно / dX. Но если X возрастает на 2/л, то ht (X) exp itX просто домножается на ехр (/2/л/), так что / должна равняться нулю вне интервала [—л, л]. Обратно, если это выполняется, то ошибка интерполяции, очевидно, равна нулю, так что это является довольно очевидным необходимым и достаточным условием того, что любая величина х (/) может быть точно восстановлена только по наблюдениям х (п\ Если наблюдения производятся в точках Дп. А > О, то, переходя к процессу у (/) = х (А/) со спектральной плотностью /у (X) = Д^^Х/Д?), мы получаем так называемую теорему отсчетов*.

Теорема 9. Пусть х (t) имеет абсолютно непрерывный спектр и спектральную плотность f. Для того чтобы любое значение х (/)

могло быть точно найдено с помощью линейной интерполяции, основанной на величинах х (^п), п = 0, + 1, . . ., необходимо и достаточно, чтобы / обращалась в нуль вне интервала [—л/А, л/А].

В случае когда ошибка интерполяции равна нулю, легко выписать интерполяционную формулу:

Тогда, если

-oog

ТО

Л

2л Jл(; — t) ’

-Л

и мы получаем формулу Шеннона)

ФИЛЬТРАЦИЯ И ВЫДЕЛЕНИЕ СИГНАЛА

Рассмотрим теперь случай, когда мы наблюдаем сигнал s (п) с добавкой шума х (п) и хотим выделить s (п) из у ^ — s (тг) + ^ (п), используя наблюдения до момента ^+ ц, где ц может быть теперь положительным. Дальнейшее изложение является более общим, чем это необходимо, в том смысле, что подобная математическая общность несущественна с практической точки зрения, однако на этом этапе общие рассуждения нисколько не сложнее частных. С другой стороны, как уже говорилось во введении, в последнее время важную роль стали играть специальные нестационарные модели. Тем не менее результаты этого параграфа представляются весьма ценными и могут быть использованы для разработки методов, применимых не только для строго очерченного класса моделей, послужившего для них отправной точкой//

f)(i) Скалярный случай, дискретное время. Рассматривается модель у ^ = s (n) + # (п), [|Е (s (п) х кт^ '= 0,

где 5 (п) и х (п) стационарны. Наблюдается только у (п). Мы ищем оценку) s (п) сигнала з (п) по наблюдениям до момента п-|-ц,

минимизирующую E{(s(n)—s (az))2}. Так же как в предыдущем параграфе, имеем

лл

s (п) = e^^h (ei7^ zy (dX"),^ hFy (dX) h* dX < oo,

- Л-Л

и нужно найти h. Мы можем рассматривать лишь тот случай, когда у ^ чисто недетерминирован, ибо детерминированная компонента в принципе может быть предсказана безошибочно, и для нее проблема выделения сигнала сводится к более простому случаю ц = сю, который мы рассмотрим позднее.

Теорема 10. Если у (п) чисто недетерминирован, то частотная характеристика h^ оптимального фильтра $М (az) для выделения сигнала s (п) из у (ri) = s (п) + х (п) по наблюдениям у (т), пг^п-и, равна

fyW = g(e^g(e-^(7.2)

и g (z) голоморфна и не имеет нулей в единичном круге. Среднеквадратичная ошибка равна

лл . .

dX.dX.Г h (X) U W , Г I Г e^Us (X)-] I2

dX.

dX.

Если ц = оо, то независимо от того, является у (ri) чисто недетерминированным или нет,

Ь(оо) _ ^s WdFy^ ’

а среднеквадратичная ошибка равна

л

-^Fx(dK).

-л

Доказательство. Мы опускаем индекс ц, так как он в течение доказательства остается неизменным. Среднеквадратичная ошибка равна

Е ^ j e"iTl^s (dX) — J e-™^ (e^) zy (dX) }2 j = —Л- Л

Л

= j {/s + |A|2/y-2ReA/s}^.-Л

В силу теорем 5 и 3 § 3, факторизация (7.2) действительно существует. Используя ее в последнем выражении и выполняя преобразования, получаем

\Uh-T-H\^-hg2\dX-(7'3)

Так как f8/fy <1, то функция f8/fy интегрируема. Поэтому t J g квадратично интегрируема. Заметим теперь, что exp i^Xh является среднеквадратичным пределом (относительно fy (X)) выражений

N

2 aN, je^-,о

так как мы можем использовать только наблюдения до момента лг+ц. Поскольку g также является среднеквадратичным пределом подобных выражений, для минимизации (7.3) мы должны минимизировать т)

f 1-4— hg Р dX = ( 1-4- е^ — e^hg Р d>,

и лучшее, что мы можем выбрать, это

eWg=r^^'j .(7.4)

Тогда

Кроме того, так же как при доказательстве теоремы 6,

л

^ e-inKe-inXg-l ^г).^ ^ (^ — 8 (п + Ц),

-Л

где е (п) — обновляющая последовательность для чисто недетерминированного процесса у (п). Так как правая часть соотношения (7.4) может быть записана в форме

2 Р (у) е'^, где 2 0 О-)2 < 00 -Оо

то (7.1) определяет фильтр требуемого вида

2 Р (у) 8 (м + ц — у),

О

который оптимален, поскольку минимизирует среднеквадратичную ошибку. Формула для среднеквадратичной ошибки немедленно получается из (7.3), ибо

Ifsfx8 fy iy iy

В случае ц = оо и произвольной Fy мы должны минимизировать выражение

, j ^Fs (dk) +1 A(-) |2 Fy (dX) - 2Re hW8 ^ =

= J{-^“2ReA<->^ + ^>«>p}F,(<a) =

которое, очевидно, минимально при

h^ = dFs (l)/dFy <K\

Эта функция, разумеется, квадратично интегрируема относительно Fy. Среднеквадратичная ошибка равна

I (1 - » W Ч Ч^ №-\^№.

и доказательство завершено.

Величина R = dFJdFx1 в тех случаях когда она определена, называется отношением сигнал-шум. Грубо говоря, оптимальный фильтр при ц — оо может быть представлен в виде /?/(! + R), так что оптимальный фильтр имеет простую интерпретацию в терминах этого отношения.

Даже если мы можем считать /s, fy известными и можем построить каноническую факторизацию для fy, приведение (7.3) к форме, допускающей численный расчет выделения сигнала (например, разложение в ряд Фурье, сходящийся в среднеквадратичном, если такое разложение существует, как будет в случае fy^a> 0), может оказаться очень сложным. В силу подобных причин, полученные формулы, за исключением простых случаев, используются редко. Как уже отмечалось выше, эти рассмотрения полезны отчасти тем, что дают привлекательное своей законченностью математическое решение проблемы, а в основном — тем, что оптимальное решение доставляет стандарт, с которым можно сравнивать менее систематические (но практически более полезные) процедуры. Кроме того, изучение этого решения приводит к более ясному пониманию проблемы.

Рассмотрим пример

°е

^s = 2л(1 + р2 —2р cos X) ’0<Р < Ч

Ч=?х- (0)/2л.

Тогда

,1 Yx(0){l + p2-2pcosX} + ^

v 2л (1_ре^) (1_р5-г^)

Чтобы факторизовать числитель, рассмотрим

{Ух (0) (1 + Р2) Ое} — РУх (0) Z — руж (0) Z"1 =

= — РУх (0) z-1 (z2— z (р + р"1) (1 + 0) + 1},

Тх(0)(1+Р2)'

Корни этого выражения равны

1 {(р + p-i) (1 + 9)} + [1 {(р + p-i) (1 + 0)}2 -1 р,

причем корень, меньший по модулю единицы, соответствует знаку минус. Обозначим его р. Тогда

_ р2 (1 —ре^) (1 —р^-^)g2 _ руж (0) ,

у 2л (1 — ре1^ (1 — ре-Л) ’0

Следовательно,

f с-тЬ2М1~Р^) 1>Х5-I =

о2(1-Ре’х) L (1-ре-*)2л(1-реЛ) (1 — ре“Л) J +

Первая формула вытекает из соотношения

[eiux{(l_p^^(l_peii)}-i] + ^(_^)_^,

и из равенства

так что

(1-р?)(£^)-РЧ1-Р(р+р-)-,;Йг = |-.

С другой стороны,

[егдХ|(1 — 0£~а) (1 — p^iX)}~1]+ =

= [ S PW-^ + {^(1 + pP)}] (l-pe’V1, Р>0, О

и, преобразуя это выражение, мы получаем вторую формулу. Обсудим полученный результат в случае р, = 0. Так как Р+Р-1 = = (р+ р-1) (1 + 0), 6 > 0, то всегда I Р I < I р |- Если 0 -> 0, то, очевидно, Р -> р, а если 0 -> оо, то Р -> 0. Следовательно, «ширина полосы» *) фильтра, которая зависит только от параметра р и уменьшается при его возрастании, при данном р зависит только от 0. При 0 -> 0 шум становится преобладающим, за исключением очень узкого диапазона вблизи нулевой частоты, где мощность сигнала велика. Таким образом, р берется настолько большой, насколько это возможно, и ширина полосы становится узкой. При 0 оо полоса становится шире. Вычисления, при заданных значениях Gg, р и ух (0), несложны. Обозначим теперь через sM (п) значение сигнала s (^), оцененное по наблюдениям до момента п + ц- Тогда (после простых преобразований, которые мы оставляем в качестве упражнения)

s<0)(n + 1) = (га) + (1 -1) у(п + 1),

s(u4-i) (jp) —s(u4-i) (jp) —£ 5<и)(га) + р-1‘-1 (* — 7) Ига + н + 1),р<0,

s(u4-i) (jp) —

s(u4-i) (jp) —

s'(u) (га) + (р —p)pn{s(°)(ra4-p + l) —z/(ra + p+ 1)},

В частности, если мы вычислим начальное значение s(0) (п0), то s(O)(^o + 7)» 7^1, получаются рекуррентно и могут быть использованы для пересчета 8^(п04"Л) ц ^ 0, с помощью третьего равенства.

Обратимся теперь к векторному случаю. Если ц < оо, то мы снова предположим, что у (^) имеет абсолютно непрерывный спектр и является чисто недетерминированным, однако при ц = оо это предположение не потребуется. Для случая ц = оо введем матрицы fs1 fy производных Fs, Fу по мере т (X) = Тг (Fy (X)). Так, например,

(dXy= jv^m(d\)

88

J) Понятие «ширины полосы» определяется нестрого (см. гл. V). Здесь имеется в виду ширина диапазона, в котором коэффициент усиления фильтра аметно отличен от нуля.

для всех измеримых по Лебегу множеств S. Будем обозначать через /у1 обобщенную обратную к fy.

Имеет место следующая теорема, доказательство которой мы опускаем, поскольку оно совершенно аналогично доказательству теоремы 10.

Теорема 10'. Пусть у {п) = s (п) + х (п) — чисто недетерминированный векторный процесс максимального ранга. Тогда частотная характеристика оптимального фильтра для выделения s (п) по наблюдениям у (т), т^п^р^ равна

h^ = е-^\e^fsC* (^)’1]+ С (^)-1,

где С = ФС1/2, а Ф, G указаны в теореме 1". Ковариационная матрица ошибок равна

л

( Wk + [е«ил.дс*-Ч- [е^С*-1]!} dX.

-Л

В случае ц—оо без каких-либо ограничений на спектр у(п) имеем^ц= fsfy1,

а ковариационная матрица ошибок равна

л

j fsfy4$Tn(dX\

-л

Рассмотрим теперь пример, основанный на нестационарной модели, которая, впрочем, весьма близка к стационарности. (См. § 3 гл. I и п. (iii) § 6 гл. II. Рассмотрения этого последнего параграфа несомненно можно было бы обобщить таким образом, чтобы они охватывали и результаты настоящего примера. Однако здесь мы избрали более привычный способ изложения.) Мы рассмотрим скалярный случай и построим модель ежемесячных изменений некоторого сезонного экономического показателя т). Итак, выберем s (п) в виде

662л/

$(и) = 2 {а, (и) cos Х,га + pj (и) sin Х>и} = 2 Sj^, Х, = —,

11

где а, (п) и р, (п) полностью не связаны друг с другом исх(п), т. е.

Е (х (п) s (п + т)) = Е (а; (п) pfe (п + т)) = 0.

х) На практике может потребоваться предварительная фильтрация данных для устранения доминирующей низкочастотной компоненты, например, с помощью вычитания центрированного двенадцатимесячного скользящего среднего. Это изменит s (и), но эффект обычно будет незначительным.

Подходящей моделью для ау ^nY Ру (п) является следующая т): а, (^) = Pj«j {п — 1) + 8у М, Ру ^ = p$j (п — i)+ Т]у (jlY где

Е (е, (m) 8h (и)) = Е (т^ (т) т]й («)) = б^а); Е (е> (т) т]к (и))=0. Тогда, полагая ^ (п) = Т/ zV^j W “ ^j (^)L 7 = 1, • • •> 5, ^6(п) = = а6 (п), мы можем записать

6Цп^^Чз^ етЧ-5

где штрих означает, что член с нулевым запаздыванием отсутствует. Для того чтобы модель была реалистичной, ру должны быть очень близки к единице. В самом деле,

Е {$(m)s(тп + и)} = 2' {р?а)(1 —р))"1}6'"^’

так что при п = 0 (mod 12) автокорреляция равна

Если все ру равны 0,95. то для п = 60 эта величина приблизительно равна е-3, т. е. через 5 лет сезонный показатель может полностью измениться. Это было бы, по-видимому, чересчур радикальным. Поэтому мы примем, что ру = 1. Тогда ^ (п) = ^ (п — 1) + ^j (nY где ^j = V2 (8у —Zr]y) exp inkj. Мы можем представить s (n) в виде

66x

»w - 2' ь <") =а'" - 2' {( ЧЧ №+ь <°>■

-5-5*6

где Zj отвечает (комплексному) стационарному процессу ^ (jiY Перепишем это в виде

6-гиХ

s W = 2' [ j {-^z^—z” (1 -^у1} г5 w + ^41 (0) 1,

т) Более общей моделью является ау- (?г) = руа7- (п — 1) + т^Ру (п — 1) + + 8у (п^ ру (?г) = —Туау (п — 1) руРу (п — 1) + Лу (и)- Этот случай охватывается рассматриваемой ниже общей моделью (если Pj + т? ^ 1), однако с точки зрения моделирования сезонных изменений он является неподходящим, так как при Ту 0 спектр sj (п) не концентрируется в точках ±Ху.

где мы положили Xj — ехр iXj. Это выражение удобно представить в виде

s (n) = j e-inXcp (eix)-1 z^ (dX) + p(n),(7.5)

где

П (1—Xfeeix)} z,-(dX),

ф (^) ^ | J (1 — X^Y

3

p (n) = - 2' { J (1 - xje'V Zj (dX) + ^ (0)] xP

Оба слагаемых в правой части (7.5) имеют бесконечную дисперсию и не могут быть разделены подобным образом. Мы увидим, однако, что эти слагаемые будут фигурировать только в отфильтрованной форме, когда их дисперсии конечны. Эта модель, очевидно, допускает обобщейие. Пусть, в общем случае, z^ — процесс с ортогональными приращениями, такой, что Е {| z^ |2} = Д dX. Будем считать, что ср (z) — многочлен от z с корнями, лежащими вне единичного круга или на его границе 1). Выражение для р (п) будет иметь вид

2 2 С и, к^пк,(7.6)

31

где Р] — кратность корня xj1 функции ^^¥ Введем обозначение ^)=/^)+<p(*a)?W*w

и предположим, что log/c(X) интегрируем. Положим

к (X) = с ^е^ с ^е^

и рассмотрим задачу минимизации Е {[s (тг) — 5 (тг)]2}, где s (п) использует наблюдения до момента /г-|-ц и

s (лг) — ^ (лг) = j e"inX ^ — ^ Ч>-1 z^dX) — ^ e~^xhzx^dX^ р^ — р(п).

Здесь А — частотная характеристика фильтра, которую еще предстоит определить. Функция z^h (z) должна быть голоморфной в круге; р (п) есть выход фильтра, когда на вход поступает р ^п\ Если мы теперь забудем про член р (п) — р (п) и найдем h из условия минимальности среднего квадрата остающегося выражения, то, как мы

г) Случай, когда корни лежат внутри круга, также требует рассмотрения, однако мы не можем здесь на этом останавливаться.

покажем, р (п) — р (я) автоматически обратится в нуль, т. е. h с необходимостью воспроизводит многочлены вида (7.6). Это — желательное свойство, ибо оно означает, в данном контексте моделирования сезонных вариаций, что чисто периодическая сезонная компонента воспроизводится безошибочно. Наша модель и ее рассмотрение охватывают более общий случай, чем могло бы показаться, так как сезонная компонента может представлять собой стохастическую составляющую плюс чисто периодический «тренд». Итак, мы приступаем к минимизации выражения

jtll-ZiPH-^ + l/il2/.}^(7.7)

при несколько более общих предположениях. Заметим, что формулируемая ниже теорема 11 дает, в частности, решение задачи о выделении сигнала из шума для случая, когда сигнал нестационарен, но имеет структуру, описанную в § 3 гл. I (после теоремы 4). В частности, при /^ = О наша теорема дает решение задачи прогнозирования подобного сигнала.

Теорема 11. Пусть fx и ^ — спектральные плотности, и пусть ср квадратично интегрируема относительно fx на границе единичного круга и голоморфна внутри него. Пусть функция к = — А + Wfx такова, что log к интегрируем, и пусть к = сс, где с голоморфна и не имеет нулей в единичном круге. Минимум выражения (7.7), где к exp ip,A должна быть голоморфной в единичном круге, достигается при

fcW = 1 —е-^ [^ц^/хфс-1]+ с^ф—[^^м-^с]. с-1ф,(7.8)

где q ^ = 0 при ц ^ 0, а при ц < 0 q (z) есть многочлен степени — ц — 1 с коэффициентами qj, удовлетворяющими соотношениям

'2iqi-j4>j=6l0, i = o, ...,ц—1, О

где фу — коэффициенты Фурье функции ф. Среднеквадратичная ошибка равна

л

j kk"Hs.LA-bMd'k1Ь0 = [е^(/жфс-1 —дс)]_.(7.9)

— Л

Если все нули %] функции ф лежат внутри круга, то (7.8) принимает вид

к^ = ^-гцх [^n^-iy^-ij^ с-1ф.(7.8)'

Фильтр к воспроизводит многочлены р (п) вида (7.6).

Доказательство. Как обычно, мы опускаем индекс р,. Выражение (7.7) можно преобразовать к виду

j (р-Ц^х +1 ф”1/^"1 —I2)

так что мы должны минимизировать

j(7.10)

Функция k~xf^fx интегрируема, так как | к~х^\ меньше единицы. В качестве функции h, для которой выражение (7.10) конечно (обозначим ее А)), при ц ^ 0 можно взять единицу, что ясно из (7.7). Если же ц < 0, то так поступить нельзя, и мы найдем нужную функцию h из уравнения

1 -h^ = <7^)ф(2),(7.11)

где q (2) должен быть многочленом от 2, а функция z^h^ (2) должна быть голоморфной в круге. Вновь из равенства (7.7) вытекает, что для такой функции hi выражение (7.7) конечно (ибо множитель | Ф |2 из | 1 — hi |2 сократится с функцией | ф |~2, полюсы которой могли бы привести к расходимости интеграла). Чтобы найти такую hVl мы должны решить уравнение

2 q^3 2 Ф^3 — 1 = — Mz) = — z-t1 2 hl, jZ3,

о

где q^ ф7- — коэффициенты функций q (2), ф (2). Таким образом, нужно решить уравнение

i

2 qi^i = ЭД - / = 0,— н— 1,

о

которое, очевидно, имеет единственное решение, поскольку фо^ О [ибо ц (0) ^ 0]. Если ввести обозначение

Ъ — {ф-1/^”1 — Л1ф-1с}, hQ = h — h^ то мы должны минимизировать.

| Ъ — /гоф-1с |2 dk, где b уже квадратично интегрируема. Заметим, что функция h0 должна быть квадратично интегрируемой относительно | ф-1е |2 = = | ф |-2 к и голоморфной в круге. Применяя метод Винера — Хопфа, получаем

йо^Ч^+фе"1, так что

h = [Ь]+ фс-1+ hi ^^"^^[ф"1/^"1 — (1 — W)]+ Ф^-1 +1 "№ = _ 1 — ^-гцл [£^/х(рс-1]+ с-1ф —[^^^с]_ е-1ф,

ибо единственным членом в 2^сф с отрицательной степенью 2 является 2^, ц < 0 (если ц ^ 0, то член, содержащий [•]_, обращается в нуль); {/г — 1} имеет вид «ф, где а квадратично интегрируема относительно к. Таким образом, поскольку фильтр с частотной характеристикой ср переводит в нуль *) многочлены вида р (п), разность р (п) — р (п) обращается в нуль; наше исходное утверждение доказано, и (7.8) дает нам требуемый оптимальный фильтр.

Если все нули ср, а именно xj1, лежат вне единичного круга, то (7.8) сводится к

h = е-^ [ф-1Дс-1]+ с-1ф,

что совпадает с (7.8)' и находится в согласии с полученными ранее результатами, так как | ср |-2/g — это наша прежняя /8, а ф-1е теперь определяет каноническую факторизацию для fy. Соотношение (7.8)' вытекает из того, что теперь мы можем написать

егц.Х = е^^^сс-1^ = [е^ф-1с]+ с—хф + [е^ф-1^]- С-1ф,

так как е^ф-1с разлагается в ряд Лорана, сходящийся на единичной окружности. Таким образом, получаем

[е^ (ф-1с — /хфс-1)] + С-1Ф + [^^^ (ф-1 — 9) Л- с-1ф,

ибо ф-1с— /хф^-1 = (ф^ссф-1 —/х) фс-1 = ф-1/^-1 и ехр/ц^(ф-1 — д) = = ^Ф-1, так что второй член равен нулю. Однако в общем случае выражение (7.8)' может не иметь смысла, так как член в квадратных скобках может не быть квадратично интегрируемым на единичной окружности.

Из (7.10) получаем дисперсию ошибки:

j ^"Ч^х + Ш ^,^ = кш (/хф^-1 — ^)1-

Если ц ^ 0, то второй член в [•]_ может быть опущен, а при ц -> оо мы получаем дисперсию ошибки, равную j {/^/V(/^ + I Ф 12/х)}

Эти рассуждения обобщаются, конечно, и на векторный случай; подробности читатель может найти в работе Хеннана [1967b].

Чтобы проиллюстрировать полученные результаты, вернемся к случаю, когда все нули ф, а именно xj1, просты и имеют вид exp iK^ kj = 2л;712 .Пусть спектральные плотности процессов г^ (я) и Ч; (я) равны а2/2л. Предположим также, что с (2) голоморфна и не имеет корней в некотором круге, содержащем внутри единичный круг. С практической точки зрения эти ограничения на /х являются несущественными. Тогда выражение (7.8) для 2, лежащих на единичной окружности, можно записать в виде (7.8)', так как

z^cp -1 (z) с (z) разлагается в ряд Лорана, сходящийся на окружности. Чтобы оценить функцию h (z) с (z) ср (z)-1, которая квадратично интегрируема на окружности, рассмотрим

{2 П (! - ^ С1 -£ } с ^’1)-1]+

Мэ

и возьмем граничное значение этой функции на единичной окружности. Таким образом, мы должны оценить

X1 _2_ 1_3±2ЯГ 1 / I Г I 1 z Г1

з

При ц<СО это выражение равно

, 0? КГЦ IIVIк+з

Z 2л (1 — Xjz) с (%j)’

так что

a (Xje’V^ [[ (1—ху/хД 1 —xfte,x)

h (е*) =27 -^—и) - И < 0.

у^ 1 2лс (х^ с (ег^)

При р > 0 выражение еще более громоздко (хотя в принципе также несложно). При ц = 1 оно принимает вид

(х,е,х)-|г П (1 — xj/xft) (1 — х^е1Х)

Z 2л Ic (xj) с (ел)с (0) с (е'х) /

Основная трудность прц использовании этой формулы связана с вычислением с (z) (в предположении, что Д, ср и /х можно считать известными). Оно включает факторизацию многочлена высокой степени, и характер формул прогноза таков, что рекуррентные соотношения, необходимые для вычислений, очень сложны. Для рассматриваемого случая (на примере оценки сезонной компоненты) можно предложить следующую процедуру, дающую приближенное решение. Временной ряд фильтруется сначала таким образом, что все компоненты сигнала, за исключением той, которая отвечает частоте X,, устраняются или сильно подавляются; можно использовать, например, предварительную фильтрацию

и

У^п) ^ 2 У^ — k)coskXbkj = -^-,

о

с частотной характеристикой, равной единице при X = ± Xj и нулю при Хк ^ zkXj. Тогда каждую компоненту сигнала можно рассматривать отдельно, как будто другие компоненты отсутствуют. Изуче-

ние частотной характеристики фильтра для выделения сигнала, отвечающего частоте Х^ показывает, что если o)//x(Xj) мало (что будет нормальным), то частотная характеристика оптимального фильтра сильно сконцентрирована вокруг точек ±Л/ следовательно, благодаря тому, что остальные компоненты существенно ослаблены предварительной фильтрацией, мы можем считать спектральную плотность шума постоянной. Более подробное описание процедуры и численные примеры читатель может найти в работе Хеннана и Тер- рела [1969]. •,

ФИЛЬТР КАЛМАНА

Все рассматривавшиеся до сих пор процедуры фильтрации для выделения сигнала из шума были основаны на методах Фурье и в соответствии с этим предполагали стационарность или нечто, весьма к ней близкое. Подобные методы приводят к описанию фильтра в терминах частотной характеристики, и для того чтобы получить импульсную переходную функцию, необходим следующий шаг — разложение Фурье. Если фильтрация выполняется на аналоговом устройстве, то описание в терминах частотной характеристики является оправданным, так как можно попытаться синтезировать фильтр с заданной характеристикой физическими средствами. Однако в последнее время гораздо большее значение приобрели цифровые машины, а для них частотная характеристика, конечно, уже не является удобным средством описания фильтра. Еще два других фактора обусловливают модификацию модели. Во-первых, понятно, что на практике спектры имеют не столь общий характер, как это допускалось до сих пор. В конце концов они либо даются исходной физической теорией (кроме констант, подлежащих оценке), либо получаются в результате оценки по прошлым данным. В любом случае они будут по меньшей мере рациональными. Второй фактор связан с возможностью нестационарности. Одной из причин неста- ционарности может быть тот факт, что для приближения любой системы к стационарному состоянию требуется определенное время. Если же сигнал должен выделяться с самого начала функционирования системы, то стационарная модель будет неподходящей. К тому же система, конечно, может иметь и более существенную нестацио- нарность. Подобные соображения демонстрируют важность результатов Налмана [1960], [1963] и Налмана и Бьюси [1961]. Мы ограничимся изложением только векторного случая с дискретным временем, хотя результаты обобщаются и на непрерывное время. Модель задается уравнениями

х (п) = Ф (п — 1) х кп — 1) + е (п — 1),„.

У (п) = Н (п) х (п) + т] (п).' ’ ;

Здесь х (п) и е (п) — векторы с р компонентами, а у (п) и г) (ге) имеют q компонент. Случайные векторы е (п), г] (и) удовлетворяют

соотношениям

Е {е (ft) е' (m)} — S^Q (я),

Е {tj (ft) ц' (ап)} = 6^Д (ft),Е {е (лг) т/ (лтг)} = 6™ S’ (ft).

Таким образом, х (ft) соответствует нашему прежнему s (ft), а ц (ft) — прежнему х^п\ Для упрощения ссылок мы используем обозначения Калмана. В работе Налмана 8 (п — 1) записано как Г (ft, п — 1) X X и (п — 1), где и (ft) обладает теми же свойствами, что наш е (ft). Это объясняется тем, что Налман рассматривает такую модель в связи с задачами управления, где и (ft) является управляющим процессомт), и дополнительная общность, достигаемая введением матрицы Г, является полезной. Мы в этой книге не рассматриваем теорию управления, а в задаче выделения сигнала можем, не ограничивая общности, включить Г в Q и S. Вектор х — это передаваемый сигнал, который должен быть измерен, однако наблюдаем мы не х, а г/, содержащий шум ц. Предположим, что Ф, Н, Q, R и S известны. Рассматриваемая модель, как видно из дальнейшего, является более общей, чем может показаться на первый взгляд. Пусть

я0 (”) = у Фк (га) z0 (п — /с) + / (га) + е0 (п — 1), 1

S

У» W = У Яо, h (п) х0 (п — к) 4- и (га), 1 t

и (ft) — 2 Dy (ft) ft (ft — к) + ц (ft), i

где / (ft) — известная детерминированная последовательность, а 80 (ft) имеет такие же свойства, как е (ft). Функция / (ft) включена для того, чтобы учесть систематические влияния типа тренда. Предположим вновь, что все матрицы, включая матрицы дисперсий и ковариаций, известны. (Это не всегда выполняется, и мы обсудим этот момент позднее в настоящем-параграфе.) Заметим, что xQ ^п^ очевидно, имеет вид хх (ft) + g(ft), где g (п) удовлетворяет соотношению

г

g^n') = ^1Фh (n)g(n — k) + f(n) 1

и некоторым г начальным условиям, а хх (ft) удовлетворяет такому же уравнению, но с 80 (ft — 1) вместо / (ft). Таким образом, мы

Э Более общим образом, и (и) может быть комбинацией управляющей переменной, которая является детерминированной функцией времени, и неконтролируемой случайной функции времени.

можем построить

Ух (га) = Уй (га) — 2 Яо, h W g(n — k)

1

и ограничиться выделением ^(п). Итак, рассмотрим уравнения

г

х4 (п) = 2 Ф& (га) ^1 (га — k) + е0 {п — 1),

1

8

Ух (га) = 2 Яо. к (п) a^i(n — k) + u (п),

и(п)^ Dk (ft) и (п — к) -р т] (ft). 1

Мы можем тогда образовать новую систему уравнений

Т

хх (га) = 2 Ф& (га) хх {п — к) + е0 (га — 1),

1

У (га) = Ух (га) — 2 Dh (п) ух (п — к) =1

= 2 Нк^ж^п — к) + л(га),

где Нк (п) легко г получаются из Dk(n) и Н0,к(п). Таким образом, мы пришли к соотношениям

^1 w= 2фь ^nVi (п — к)+ ^(71—1^

s+t

г/ (га) = 2 Нк (га) х, (п — к) + л (п).

1

Полагая теперь т = max (г, s-Vt)1 определим новый «вектор состояний» (т. е. вектор, описывающий состояние рассматриваемой системы):

х (п/ = (^j (ft)' • xt (п — 1)' • . . . • хх (п — пг)').

Введем обозначения

ф(п—1) =ф(п—1) =Ф1 (га)Ф1 (га)Ф2 (и) . .. Фт_! (п)00Ф2 (и) . .. Фт_! (п)00Фт(га)0Фт(га)0000. ... I0. ... I00

ф(п—1) =

ф(п—1) =

Ф1 (га)

Ф1 (га)

Ф2 (и) . .. Фт_! (п)00

Ф2 (и) . .. Фт_! (п)00

Фт(га)0

Фт(га)0

0

0

0. ... I

0. ... I

0

0

е(и)'= (e0(n)' 0...0),

Я (п) = [77, (га) : Я2(га) ": ... ,: Ят(га)],

где некоторые Ф^ ^nY Нк (п) могут равняться нулю (например, Фт<72)? если г == s^-t — 1). Тогда

X (п) = Ф (it — 1) X (п — 1)4- 8 (^ — 1), у (п) = Н (n) X (п)4-П Wi

и мы вернулись к исходной модели Калмана (8.1), хотя и ценой (возможно, значительного) увеличения размерности х ^п\ Теперь матрицы Q (п) и S (п) определенно вырождепны, однако это не сказывается на применимости метода.

Два основных фактора обусловливают полезность этой модели. Во-первых,— то, что она допускает зависимость матриц Ф, Н, Q, R и S от времени. Разумеется, они должны быть известны a priori. В некоторых приложениях это не является большим затруднением, особенно в отношении Ф и Н. Например, при оценке параметров траекторий х) Ф определяется динамикой летательного аппарата, а Н — характеристиками следящей системы. Очевидно, что некоторые из участвующих величин потребуют оценки. Например, / (п) может содержать некоторые неизвестные, a Q (nY 8 (п) также могут быть неизвестны. Как указал мне д-р Дункан, к этим матрицам в определенной мере применим аналогичный подход, так что для них может быть построена модель, подобная рассмотренной выше, в которой они играют роль х (п), а у (п) есть некоторая оценка (например) матрицы Q (п) (записанной в виде вектора), которая получается по прошлым данным. Мы, однако, не будем вникать здесь в эти вопросы и вернемся к модели (8.1).

Задача теперь состоит в том, чтобы получить наилучшую линейную оценку для х (п) по наблюдениям у (0), у (1), . . ., г/(п4-и)’ Обозначим эту оценку х^ ^п\ Рассмотрим только случай ц-<0, так как другие случаи более сложны (хотя трудности и не принципиальны). Удобно положить теперь ц = —т и рассматривать проекцию х(п-^т) на подпространство, порождаемое величинами у (0), у (1), . . ., у ^п\ Удобно также принять обозначение х^п-^т | п) вместо х(-т) ^n-VmY так как из-за нестационарности мы не можем с такой легкостью опускать в обозначениях индекс т. Введем векторное пространство S£K1 порождаемое компонентами векторов ц (у), j-Cn, е (7с), к^Сп — 1, и случайного вектора х (0), с которого начинается последовательность х ^п\ Пусть теперь оЖК — комплексное векторное пространство, порождаемое компонентами у (0), у (1), . . ., у (п). Иногда мы будем, несколько неточно, писать у (у) £ оЛК1 j^n. понимая под этим, что все компоненты вектора у (у) лежат в пространстве о/К-^. Аналогично, мы пишем е (n) J_ o^n_i, подразумевая, что это выполняется для каждой компоненты. Имеем

4 Своими знаниями в этой области я во многом обязан беседам с Д. Б. Дунканом.

Теорема 12. Пусть x(n-\-m\ny m'^i,— оценка величины х^п-\-ту полученная проектированием х^п-\-пЦ на ^п. Тогда

х(п-}-т\п) = Ф (п-^-т — Х) х (п-ут — \\ пу 1,

х (п + 1 |п) = Т (п) (п | п—1)+Я (п) у^пу(8.2)

Т (п) - Ф (п) -К{п)Н ^,(8.3)

К (п) = {Ф (п) 5 (п) Н (пУ + S (п)} {Я (п) 5 (п) Я (ji)' + R (п)}-1,

а 5 (п) получается из рекуррентного уравнения

2 (п + 1) = Ф (п) 5 (п) Ф (п)' + Q (п) -

— К (п) {Я (п) 5 (п) Я (п)' + R (п)} К (пу.(8.4)

Прежде чем перейти к доказательству, обсудим этот результат. Первое соотношение показывает, что для нахождения х^п^т\п^ мы должны знать лишь х(уг-\-\ |п). Чтобы найти последнее, нужно знать лишь х (п | п—1) и ^(n), a Y (п) известна, если известна Я(п), т. е. 5 (п). Наконец, из (8.4) видно, что 5 (п) известна, если известны К (п— 1) и 5 (п — 1). Таким образом, рекуррентная процедура полностью описана.

Теорема доказывается следующим образом. Разложим q^h в сумму а/11к = оЯ-п-х ф ТК1 где ТК1 очевидно, порождается компонентами вектора 2 (п) = у (п) — Я (п) х (п | п — 1), поскольку ц (n) ± Q//+-1 и проек ия у(п) на равна

Я (п) х (п | п — 1).

Тогда 2 (п) = ц (п) фЯ (n) {х (п) — х (п | п — 1)}. Так как г ^ Л_ ^t п то, рассматривая разложение G#n = <^n-i$'Fn, имеем

х (п + 1 | п) = Ф (п) х (уг | п— 1) + и (п),

где и (п) — проекция гг(п + 1) на Т1г. Опа равна

и (n) = Е {х (п + 1) z (n)*} [Е {z (n) z (п)*}]"12 (пу

если предположить пока, что обратная матрица существует. Таким образом, полагая

5 (п) = Е{(х (п) — х (п | п — 1)) (х (п) — х {п | п— 1))'}, имеем

и (п) = {ф (n) 2 (п) Я (n)' + S (п)} {Я (п) 5 (п) Я (п)' + Я (п)}"12 (п) = — K(n)z (п).

Теперь получаем

х (п + 1 | п) = Ф (ft) х (п | п — 1) + К (п) z (п) =

= {Ф (ft) — К(п)Н (ft)) х (ft | п — 1) +

-У К (п) (z (п) + Н (п) х(п\п — 1)}, что, согласно (8.3) и определению z (п,у равно У (п)У-К (п) у (ft), откуда следует (8.2).

Так как х (ft 4- т) = Ф (п — 1) х (ft 4- т — 1)4- е (пут — 1) и 8 (пУт — 1) ± о<п, т > 1, то имеет место первое соотношение теоремы. Таким образом, остается доказать только равенство (8.4).

Чтобы получить уравнение для 5 (пУ положим

£(^4-1) — х(п-у\ | ft) = {х (ft 4-1) — ^ (ft 4-1 \п — 1)} —

— {£(^4-11 п) — ^(^4-1 \п — 1)},(8.5)

где второе слагаемое равно проекции первого на о^п. Представим его как сумму проекции на ©#п>1 и проекции на У\. Тогда {гг(п4-1 | лг) — £ (ft 4-1 |^ — 1)} = ^ (ft), ибо

{^(ft4-1) — rr(ft4-1 |ft — 1)} ± о*^

и

х (jl 4-1 |ft— 1)Со^п-1 ± Тщ

a zz (ft) есть проекция х (п 4-1) на Тц. Далее,

X (п 4- 1) — X (п + 1 I ft — 1) = Ф (ft) ^Х (ft) — х (п | ft — 1)} 4- 8 (ft), откуда'

X (п 4- 1) —X (jl 4- 1 I ft) = Ф (ft) (^ (ft) — X (п | П — 1)} 4- 8 (ft) — и (ft),

и

5 (/г 4- 1) = Ф (ft) 5 (ft) Ф (ft)' 4-Q (п) 4- Е (zz (ft) zz (ft)') —

— E {(x (n 4- 1) — x (ft 4-11 ft — 1)) ft (ft)'} —

— E{zz (ft) (x (n 4-1) — x (n 4-11 ft — I))'};(8.6)

однако

E (ft (ft) ft (ft)') = К (ft) E (z (ft) z (ft)') К (пУ

= К (ft) {Я (ft) 5 (ft) H (ft)' 4- R (ft)} К (ny, (8.7)

так как z (ft) = ц (ft) -yH (ft) {x (ft) — x (n | n — 1)}. Кроме того,

E{(£(ft4-1) — rr (ft 4-1 | ft— 1)) ft(ft)'} =

= E{(j: (ft 4-1) — £ (ft 4-1 | n — 1)) z (ny^K (ft') =

= E ^x (n 4-1) z (ft)'} К (п'У

ибо х (п + 11 п— 1) £ ^#п_1 J- Тк. Последнее выражение равно

К (п) Е (z (п) 7 (п)г) К (пУ,

так как К (п) 7 (п) есть проекция х (п + 1) на Тк- Подставляя это и (8.7) в (8.6), получаем (8.4). В случае когда матрица Е (z (/г) z (тг)') вырожденна, доказательство можно легко видоизменить, используя обобщенную обратную матрицу. Тогда К (п) z (тз), очевидно, определен корректно, так как вектор z (п) с вероятностью 1 ортогонален нулевому подпространству К (п). Конечно, если мы хотим разложить К (п) z (п) на К (п) у (п) и К (п) Н (п) х (п | п — 1), то мы должны принять соответствующее соглашение, например соглашение о замене у (п) и Н (п) х (п | п — 1) их проекциями на ортогональное дополнение нулевого подпространства К (п). По-видимому, пет необходимости вдаваться здесь в дальнейшие подробности.

Полагая

Ф (п -\-m\n) — [} Ф(тз-к/).

1

имеем

х (п 4- т | тг) = Ф (п + т | тз) х (п + 1 | п).

Из (8.2), очевидно, следует, что х (0) (начальная оценка) входит в х (тз + 1 | п) с матрицей коэффициентов

1

которая определяет устойчивость уравнений, т. е. степень влияния ошибки в начальной оценке на будущее.

Если матрицы Ф, Я, Я, 5 и Q не зависят от п и собственные значения Ф по модулю меньше единицы, то х в пределе дает решение задачи выделения сигнала, рассмотренной в предыдущем параграфе.

СГЛАЖИВАЮЩИЕ ФИЛЬТРЫ

Всюду в этом параграфе мы рассматриваем только скалярный случай.

Большую часть этого параграфа мы посвятим обсуждению фильтров, предназначенных для, по крайней мере локального, воспроизведения многочлена заданной степени. Поэтому за неимением лучшего названия мы говорим о сглаживающих фильтрах. Это, конечно, подразумевает, что коэффициент усиления таких фильтров в основном концентрируется в точке X = 0. Однако мы всегда можем перенести эту точку концентрации на любую другую частоту 9. Например, в случае дискретного времени и фильтра с импульсной переходной функцией а (т) достаточно лишь заменить а (т) на а (т) cos Вт, чтобы получить фильтр с частотной характеристикой V2{^ (X — 9) +

+ й (X Ч- 0)}, где й (X) — частотная характеристика исходного фильтра.

Мы можем получить нужные нам фильтры «сглаживающего» типа методами предыдущих параграфов, например, рассматривая сигналы со спектром, сильно сконцентрированным на нулевой частоте. Фактически мы уже приводили пример подобной процедуры в § 7. Однако во многих случаях наши предварительные знания о характере сигнала весьма неопределенны (и это же может относиться и к шуму). Кроме того, может потребоваться, чтобы фильтрация не была слишком «долгой», например, чтобы импульсная переходная функция была отлична от нуля только на интервале t £ [0, Т]. Фильтр, построенный, скажем, по методу § 7, может иметь быстро убывающую импульсную переходную функцию, так что раннее усечение не скажется заметно на выходе.

Начнем со случая дискретного времени и рассмотрим построение фильтра длины 2N + 1:

N

х (п)5а(/).г (п + Д

— N предназначенного для воспроизведения произвольного многочлена степени d < 2N + 1 в момент времени п + т и минимизирующего дисперсию выхода, когда вход х (п) имеет спектральную плотность /(X). Так как т произвольно, то требование, чтобы / изменялось от — N до N, не является ограничением. Как и раньше, обозначим через Г2jv~h матрицу из 2N + 1 строк и столбцов, состоящую из автоковариаций у (/ — к) процесса х (п). Пусть а — вектор с компонентами а (/). Тогда мы должны минимизировать

^ Т22у+1^ при ограничениях

Ndd

+= Цаь(п-[-т)к, d<2N + l.

-N00

Так как ah произвольны, то эти условия равносильны следующим:

N

^ a, jp = пгр, p — Q, 1, ...,d.

-N

Мы можем заменить это соотношениями

N ^“(/ЭФрО'^Фр^). 0<p<d, -N

где фр (/) — многочлены, получаемые применением процесса ортогонализации Грама — Шмидта к последовательностям {/р, / = = — N, . . ., N^ ). Обозначим через Ф матрицу с элементами фр (/)

в /э-й строке и /-м столбце, и пусть ср (т) — вектор с элементом фр (т) в /э-й строке. Тогда мы должны минимизировать

^ Г22У+1СС

при ограничениях

Фа = ф (т).

Это приводит к уравнению

Г2№+1а = Ф А/,

где X — вектор множителей Лагранжа.

Предполагая, что Г2л+1 невырожденна, получаем

ср (ш) = ФГ2^+1Ф ^» т. е.

= Г22У+1Ф' (ФГ2^+1Ф')-1 ф (тУ и минимальная дисперсия равна

Ф (тп') (ФГ^+^Т1 Ф (т).(9.1)

Хорошо известно (и мы увидим это в гл. VII), что такое же выражение получается, когда мы ищем наилучшую линейную несмещенную регрессию х (п) на ортонормированные многочлены и используем полученные оценки коэффициентов регрессии для предсказания значения многочлена в момент т. В гл. VII (теорема 8) мы покажем, что при весьма общих условиях на / (X) (например, / (X) кусочнонепрерывна и не имеет разрыва в точке X = 0) отношение величины (9.1) к аналогичному выражению, которое получится, если во всех вычислениях считать / (X) постоянной, стремится к единице при N —> оо и фиксированном d. Другими словами, если N велико по сравнению с d, то почти тот же самый эффект дает простая регрессия. В этом случае сглаженное значение х (п) равно

2 2 Ф; (т) Ф; W х (^ &) = 2 х кп + к) { 2 Ф; (^) Ф7 (^)Ь

3 hhэ

Дисперсия выхода равна (см. § 2 гл. VII)

Ф(т)' (ФГ2^+1Ф,) Ф(т),

и, как было сказано, отношение ее к (9.1) стремится к единице при N -> оо. Представляет интерес частный случай т = 0. Тогда, учитывая, что ф; (0) равны нулю при нечетном 7 и ф^ (—к) = ф; (к) при четном /, так как 2N + 1 нечетно, мы видим, что результирующие коэффициенты

а (А) = 2 4>j (0) Ф, (*)3

удовлетворяют равенству а (к) = а (—к) и d всегда можно считать четным. Значения этих коэффициентов для разных N и d (при т = 0)

приведены в книге Кендалла и Стюарта [1966], стр. 370. Например для d = 4, TV = 6 строка коэффициентов а (к} имеет вид

Л^ (110, -198, -135, 110, 390, 600, 677, ...),

где указаны лишь семь коэффициентов, поскольку остальные шесть получаются из условия симметрии. Мы будем и далее использовать подобные обозначения в этом параграфе, когда коэффициенты фильтра обладают требуемой симметрией. Частотная характеристика искомого фильтра равна 2 а № cos кХ, что равно также выходу фильтра. когда на вход поступает cos кХ. Значение X = 0 является нулем кратности (d + 2) функции {1 — 2 а № cos кХ) (если d четно). В этом легко убедиться, например, посредством дифференцирования. Поэтому

{1 — S а W cos ^М = {1 — T\aW е1кЧ ™ (1 —elx)d^2 q (X),

где q — многочлен от exp IX, ехр —IX. Отсюда вытекает, что если мы положим d = 0 и проитерируем полученный фильтр (1 + х!^ раз, то частотная характеристика будет также содержать множитель (1 — ехр iKf^2 и, следовательно, вблизи начала координат будет похожа на характеристику оптимального фильтра. Это же верно, если мы последовательно применим простые средние (d = 0) разных длин. Обычно бывает удобно, чтобы результирующий фильтр имел нечетную длину, поэтому всегда берется четное число простых средних четной длины. С помощью подобных рассуждений был получен ряд полезных формул (см. Кендалл и Стюарт [1966]) частично для применения в страховании. Примем обозначение Кендалла [/?] х (п) для суммы р последовательных членов. Приведем два примера:

15-точечная формула Спенсера: -^q- [4]2 [5] (— 3, 3, 4, . . .),

21-точечная формула Спенсера: -^ [5]2 [7] ( — 1, 0, 1, 2, . . .).

Выход каждого из этих фильтров локализован (во времени) так же, как центральный член из (нечетного) числа членов, входящих в среднее. Легко найти частотные характеристики этих фильтров. Коэффициенты усиления равны соответственно

|Л™^||1+»/.«>= X-»/.cos2X|,

I sin2 5Х/2 sin 7Х/2 I . .«.

— 1 + cos X —cos 3Z .

175sm3X/211

Оба они, в особенности второй, как показывает следующая таблица, имеют острый пик:

Л = 0л/12л/6Зл/122л/6 Зл/6 4л/65л/6 л

15-тч формула

Спенсера10,983 0,809 0,292 0,0940,0000,013 0,0030,000

21-тч формула

Спенсера10,951 0,554 0,080 0,0140,0060,003 0,0000,000

Некоторые оценки для длины фильтра, который должен пропускать в основном данный узкий диапазон частот и подавлять остальные частоты, можно получить следующим образом (мы следуем Гренджеру и Хатанаке [1964]).

Предположим, что полоса пропускания должна быть X £ I— A<h ^oL и рассмотрим только симметричные фильтры, т. е. фильтры, имеющие частотные характеристики вида

N

2 а (к) cos кХ,о

что можно представить в форме

n

2 ь, (cos ху. о

Возьмем Х^[0, л] и положим х cos Л, так что з:£[— 1, 1]. Рассмотрим теперь

n

о

и потребуем, чтобы значения этого многочлена были малы в интервале [—1, £0], где х0 = cos Хо, и достаточно велики в интервале к0) И- Рассмотрим, в частности, многочлен Чебышева

Су (^) =-у{[^+ (^2 — l)1^]^^ [х — (х2 — 1)<), равный

cos N (arccos хУ х £ [—1, 1],

ch N (arch хУ | х | > 1.

Этот многочлен обладает тем свойством (Лоренц [1966], стр. 40), что среди всех многочленов степени N^ не превосходящих единицы в интервале [—1, 1], он имеет в концах этого интервала наибольшую возможную по абсолютной величине производную, равную N2.

Положим

2^ — (^о — 1) .

тогда многочлен Р N ^ = С N (у) ограничен по модулю единицей в [—1, ^0] и возрастает в точке ^0 настолько быстро, насколько это возможно. Если мы возьмем аР N ^х\ где а — максимальный коэффициент усиления нужного нам фильтра на интервале [Хо, л], а Хо мало, так что х0 близко к единице, то мы должны получить нечто близкое к оптимальному решению нашей проблемы. Так как нас интересует отношение аРх (1) к а, то мы примем а = 1. Тогда Рх (1) равно отклику фильтра при Л = 0 (т. е. х = 1), что, очевидно, является максимальным значением и соответствует С х (y0Y где у0 = (3 — я0)/(1 + х0) = (3 — cos Хо)/(1 + cos Хо) ^ 1 + Ч^ для малых Хо. Так как ch у ^ 1 + г1^ Для малых у, то мы видим, что

Cn (Уо) ^ CN (1 4- х/2^о) ~ ^n (ch Ао) = ch NX0.

Таким образом, отношение максимума при X = 0 к максимальному значению вне интервала Л £ [—Хо, Хо] приближенно равно ch NX0. Если ch NX0 и Хо фиксированы, то это дает уравнение для N, т. е. для длины 2N + 1 фильтра, обладающего нужными свойствами. Если, например, Хо = л/12 и ch NX0 = 10, то мы должны решить уравнение ch (TVn/12) = 10, откуда Ал/12 = 2,993 и N = 11,43, так что длина фильтра должна быть около 23. Это означает, что можно построить фильтр длины 23, коэффициент усиления которого на всех частотах, удаленных более чем на л/12 от частоты максимального пропускания, составляет 10% от максимального. Аналогично, если ch NX0 = (1/0,367), Хо = л/12, то мы получаем N = 6,34, так что длина приближенно равна 14. Такое отношение достигается на частоте л/12 центрированным 12-членным скользящим средним, и длина соответствующего фильтра равна 13. Частотная характеристика для центрированного 12-членного скользящего среднего будет иметь не столь острый пик, как для рассмотренного выше «оптимального» фильтра; это видно из того, что в точке л/12 она убывает не так быстро, как в случае «оптимального» фильтра, или из расположения первого нуля, следующего за Хо. С другой стороны, она постепенно убывает до очень малого значения, тогда как коэффициент усиления оптимального фильтра повторно возвращается к своему значению в Хо.

Расположение первого нуля частотной характеристики фильтра, построенного по многочлену Чебышева, дает в некоторых отношениях лучшее представление об «остроте» ее формы. Этот нуль достигается при arccos у = n!2N, т. е. у = cos (л/2А) и х = cos X = = 1/2{cos ^/2^) (1 + cos Хо) + cos Хо — 1}.

Тогда имеем приближенно

cosX= — 4 4^-(1 +cosAo) + cosX0,

и если N велико, то получаем аппроксимацию (X-Xo^^i-cosXo)^-;

например, при Хо = л/12, N = 7 первый нуль, ближайший к Ло> приходится на

%0 + 0,05 « л/12 + я/60.

Фильтр, предназначенный для воспроизведения гладкого сигнала, может быть использован для устранения «тренда», т. е. гладкой компоненты временного ряда, путем вычитания выходного сигнала из входного. Другим методом решения этой задачи в случае дискретного времени является повторное вычисление разностей, т. е. преобразование

х (п) —>- Ad х(п\ где

Аа: (ft) = х (п + 1) — ^ (и).

Частотная характеристика такого фильтра равна (^-а — l)d, так что коэффициент усиления равен

| 2 sin Т/2Х | \

Имеется обширная литература по поводу «метода разностей» (variate difference method) (см., например, Тинтнер [1940]), который использовался для оценки степени сглаживания, необходимой для представления полиномиального тренда. Мы, однако, не будем обсуждать его здесь.

Для непрерывного времени эта задача может быть исследована аналогичным образом. Рассмотрим фильтры типа

т

“ (s) У (t + s) ds,(9.2)

-т

которые обладают тем свойством, что точно воспроизводят р (^ + ц), где р (t) — любой многочлен степени d. Кроме того, мы хотим, чтобы дисперсия выхода (9.2), когда вход имеет спектральную плотность / (А,), была настолько малой, насколько это возможно. Это означает, однако, что мы должны рассматривать не только фильтры вида (9.2), но и их среднеквадратичные пределы, которые могут быть не представимы в таком виде. Довольно очевидно, что решение этой проблемы получается методом «наилучшей линейной несмещенной» регрессии для модели вида

d

г/(s) = S P/sJ + ^(s),t — IXs^HT,

о

где х (s) — стационарный процесс с нулевым средним и спектральной плотностью / (X). Мы не хотим останавливаться на трудностях, связанных с решением этой проблемы, и сошлемся на работу Хебла [1961], где она рассматривается х). Основной результат этой работы состоит в том, что при Т —> оо наилучшая несмещенная процедура и процедура наименьших квадратов по-прежнему являются асимптотически эквивалентными в том смысле, что они дают оценки для Р7> ковариационные матрицы которых после подходящей нормировки стремятся к одному и тому же пределу при Т -> оо. Процедура наименьших квадратов, конечно, сводится к простому решению уравнений

тт

207 j (i + s);+h^=J y^ + s^t^-s^ds, k = O,...,d. -т-т

Выход фильтра в момент t равен тогда

2 0/,(9.3)

о

Опять удобно ввести многочлены Лежандра ) Pj (^), удовлетворяющие соотношениям

1

j Pj^ Ph^dx=bj ^гу ,/, —О, 1, .

где Pj — многочлен степени / от х. Если

— | 2Т / \Т ) 1

то фj (s) удовлетворяют соотношениям

т

^ (pj(s)cpk(s)ds^=6j.

-т

Тогда мы можем также записать

d

У (5) S а№з (s~ 0 + х VSY t-T^.s^.t-VT^ о

где aj — линейные функции от 0Й, &^Л и теперь t-vr

aj = j у (s) ф; (s — t) ds,t-T

так что (9.3) переходит в

dt+TT

2 ФИ0) \ «(ШМ&Ця^а^ (9.4> 0t-T-T

d

a (s) = S Ф; (S) <P; (0).0

Мы завершим этот параграф примером, демонстрирующим точность аппроксимации оптимального фильтра фильтром наименьших квадратов, которая может иметь место при благоприятных обстоятельствах. Этот пример взят из книги Блэкмена [1965], который по существу приходит к выводам последней части этого параграфа х).

Пример. Пусть х (f) — стационарный процесс с абсолютно непрерывным спектром и плотностью

— Л(р2 + Х2) ’— Л(р2 + Х2) ’Р > 0;Р > 0;(9.5)(9.5)

— Л(р2 + Х2) ’

— Л(р2 + Х2) ’

Р > 0;

Р > 0;

(9.5)

(9.5)

положим d = 0. Таким образом, мы рассматриваем простейший из случаев, представляющих какой-либо интерес. Пусть h, (exp ZX) — частотная характеристика оптимального фильтра, понимаемая как среднеквадратичный предел последовательности hn частотных характеристик фильтров вида (9.2), которые воспроизводят многочлены нулевой степени. Имеем

limlimMW) ^=о.MW) ^=о.(9.6)(9.6)

lim

lim

MW) ^=о.

MW) ^=о.

(9.6)

(9.6)

Обозначим через а2 минимальную дисперсию выхода. Тогда

j е-^К <е^) / (A) dX = и2,j е-^К <е^) / (A) dX = и2,sei-r, л.sei-r, л.(9-7)(9-7)

j е-^К <е^) / (A) dX = и2,

j е-^К <е^) / (A) dX = и2,

sei-r, л.

sei-r, л.

(9-7)

(9-7)

В самом деле, если а + 0 = 1, то ^ = {ай + 0 exp iks^, s £ [-Т, Т],

1) По-видимому, не отдавая себе отчета в том, что его теория близка к задачам регрессии и работам Гренандера и Розенблатта или Хебла.

также является допустимой, и дисперсия выхода равна

|а|2 j |/г|2/(Л)Л + |р|2 J /(X)^ + 2Re[a₽ J foe^/W^] • — ОО— ОО—ОО

Если минимум этого выражения достигается при Р = 0, то должно выполняться (9.7). С другой стороны, пусть h^ и й2 удовлетворяют (9.7); тогда к = hv — h^ удовлетворяет соотношению

j е-^к ^ / (X) ^Х = 0,5 С [ — Т, Т7].

Заметим теперь, что существует последовательность кп частотных характеристик фильтров вида (9.2), для которой

lim J \k-kn\MQ^dX==O.

Пусть an (s) — импульсная переходная функция, отвечающая кп (s). Так как

ап (s) j ке-^] (X) dX = 0, s^V-T, Т7],

то

j knkt W dX = О

и к = 0 почти всюду относительно / (X). Итак, решение h уравнения (9.7), удовлетворяющее (9.6), где hn — частотные характеристики фильтров вида (9.2), единственно в том смысле, что любые два решения отличаются только на множестве, спектральная мера которого равна нулю (значит, в случае, когда / (X) имеет вид (9.5), на множестве нулевой меры Лебега).

Если / (X) задается соотношением (9.5), то решение уравнения (9.7) имеет вид

где a2 = (1 + р^)"1- Мы предоставляем читателю убедиться в этом, производя подстановку в левую часть соотношения (9.7).

Если мы положим a (s) = (277)-1, что соответствует регрессии по методу наименьших квадратов, то получим следующую дисперсию выхода:

o« = 2"f j е рК1 (1—"У") ^ = ^г {1 —2рТ —е “рТ)} 1

-т

Максимум отношения о^/о2 равен приблизительно 1,07, так что использование простого среднего не приводит к большим потерям. Конечно, такой результат определяется характером / (X) и тем, что мы рассматривали случай d = 0.

УПРАЖНЕНИЯ

Пусть у (г ехр гХ) гармонична в единичном круге и равна нулю почти всюду на его границе, и пусть

( Pr(X-e)n(dO),

где п — неотрицательная мера на единичной окружности. Доказать, что ц сингулярна относительно меры Лебега на окружности. Примечание* доказательство вытекает из первого следствия на стр. 62 книги Гофмана [1962].

Пусть

®W=^e P<J)—р-1и>Р>0,

о

где tj образуют реализацию пуассоновского процесса с параметром р. Определить наилучший линейный прогноз для х ^ и обсудить его свойства.

Робинсон [1962]. Пусть

х ^ = § а ^ — ^ ^ ^О

— каноническая компонента в вольдовском разложении одномерного стационарного процесса. Показать, что если 0 (/) удовлетворяет соотношениям

J 0 ^ d t < оо, j a (^ + ) 0 (s) ds — 0, t <0, оо

то 0 (Z) = 0 п. в.

Показать, что при т *> 2 выражение

равно нулю при t > 0 и непрерывно при t = 0. Вывести отсюда, что функция {(1 + zt)/(1 — 1т^т может быть с любой точностью аппроксимирована в среднеквадратичном (с весом F (dr)) линейными комбинациями функций ехр Ит1 где t > 0. Вывести отсюда, что (в обозначениях § 4) при отображении (1 + + iT)/(l — zr)-<-^exp ik подпространство о^_оо отображается на JfT-^. С другой стороны, exp {^ (z — l)/(z + 1)} является целой функцией при t > 0 и равна ехр (—г) при z = 0. Используя этот результат, показать, что, и обратно, указанное выше отображение переводит ЛР-^ в е^_оо.

Вывести рекуррентные формулы, приведенные перед теоремой 10', которые выражают s(0) (м^-!) через s<°) (м) и «^^(п) через s^ ^пу

Показать, что если фильтр

Тт

х^ а (s) х ^— s) ^| a (s) | ds < оо,

оо

безошибочно предсказывает на время р вперед любой многочлен степени ^ то его частотная характеристика имеет вид

к (ir)= 2 ^l+xd+iAji (1T),

0

где hR (z) аналитична.

Часть II

СТАТИСТИЧЕСКИЕ ВЫВОДЫ

Глава IV

Законы больших чисел.

Центральная предельная теорема

ВВЕДЕНИЕ

С этого момента мы начинаем заниматься статистическими проблемами анализа временных рядов. Это означает, что мы будем заниматься проблемами, которые, как мы надеемся, достаточно близки к реальному миру. Излишне говорить, что при этом неизбежны некоторые компромиссы. С одной стороны, нам придется использовать заведомо неточные модели реального мира, основанные в лучшем случае на простейших формах отклонений от стационарности. С другой стороны, мы не сможем оставаться на прежнем уровне общности, так как бессмысленно, например, рассматривать статистические проблемы, основываясь только на предположении интегрируемости / (X). (С этой точки зрения некоторые результаты первой части являются излишне общими.) Это не означает, что допустимо какое-либо ослабление математической строгости, просто нам придется наложить некоторые дополнительные ограничения, которые, хотя и жестки с математической точки зрения, не являются таковыми, как мы надеемся, с практической точки зрения.

Мы почти полностью ограничим нашу статистическую теорию случаем дискретного времени. Это ни в коей мере не является необходимым, однако представляется целесообразным, так как если бы мы этого не сделали, то потребовалось бы слишком много места для ясного изложения. Кроме того, почти все способы анализа временных рядов реализуются теперь на вычислительных машинах. В таких случаях дискретизация непрерывных данных необходима, и дискретное время отвечает существу дела. Это, конечно, не означает, что изучение в предыдущих главах процессов с непрерывным временем было ненужным, ибо обычно в основе анализируемых данных лежат непрерывные явления.

Мы не собираемся давать подробные инструкции, как следует производить те или иные расчеты (хотя часто будем обсуждать вычислительные проблемы и подробности вычислений).

Поскольку мы будем иметь дело с проблемами реального мира, то мы постараемся, где это возможно, снизить математический уровень изложения по сравнению с первой частью, с тем чтобы вторая часть была доступна более широкому кругу читателей. Этому способствует ограничение общности, о котором говорилось выше, а также наше соглашение рассматривать дискретное время. Кроме того, мы несколько замедлим темп изложения.

ЭРГОДИЧЕСКАЯ ТЕОРИЯ ДЛЯ ПРОЦЕССОВ, СТАЦИОНАРНЫХ В УЗКОМ СМЫСЛЕ

Напомним, что (векторный) процесс называется стационарным в узком смысле, если совместное распределение х (п^ + т), х (п2 + т), . . ., х (nk + т) зависит только от nv, п2, . . ., пк и не зависит от т для любых к, п^, . . ., пк и т. Мы сформулируем без доказательства несколько фундаментальных теорем, касающихся усиленного закона больших чисел. Мы не даем их доказательств, потому что они длинны, сложны и не могут быть упрощены (по крайней мере автором). Эти доказательства легко найти в литера- туреXY

Мы можем считать (см. § 1 гл. I), что случайные величины Xj (п) определены на одном и том же вероятностном пространстве (Q, ^, Р). Класс А всех измеримых подмножеств этого пространства содержит все цилиндрические множества

{(0 | (^ ^ (^, со), к — 1, . .., т) Е 5),

где (xj^^ (пк, со), к = 1, . . ., т) — точка в Rm с указанными координатами, а В -— борелевское подмножество Нт. На самом деле можно считать, что <4 — наименьшая о-алгебра, содержащая все цилиндрические множества. На цилиндрических множествах можно определить оператор сдвига S-^TS, который на множество

8 = {со | Xj(1) (п^, со) <С а^, . . ., £j(m) (Цт, ю) <С ат} действует по формуле

TS ^{^[^(D^i + l, (^Са^ . . ., XjW(nm + l, ю)<ату

Так определенный оператор продолжается на все множества из ^. Легко видеть, что Т сохраняет меру, так что 8 и TS всегда имеют одну и ту же вероятность. Очевидно, Т-1 также корректно определен аналогичным образом и также сохраняет меру. Поэтому можно определить оператор сдвига, который мы также обозначим Т, на пространстве случайных величин (измеримых функций) на Q по формуле Tf (со) = / (Z^co). Если Tf = /, то мы будем говорить, что / инвариантна (аналогично для 8).

Заметим, что Тх5(п, со) = Xj (п -j- 1, со), так как для всех а

{со | Txj (п, co)^cz} = {со | Xj (п, Т^со^а} = Т {со | Xj (п, со)^а}= {co|^j(^ + l, со)^а}.

Положим

xn=N-1 ^х (п).1

Имеет место следующая эргодическая теорема:

г) См., например, Дуб [1953] и Биллингслей [1965].

Теорема 1. Если х (п) — стационарный в узком смысле процесс, причем Е {| Xj (п) |} < сю, / = 1, . . ., р, то существует вектор х инвариантных случайных величин, для которых Е {| Xj 1} < < оо и

lim xN — х п. н.,

Е ^х (п)) = Е (х).

Единственный минус этого факта в том, что х не обязан быть постоянным с вероятностью 1. Очевидно, что это требование будет выполнено, если инвариантными случайными величинами являются только постоянные с вероятностью 1, или, что то же самое, если всякое множество S, такое, что S — TS (с точностью до множества нулевой вероятности), имеет вероятность 0 или 1. В этом случае процесс х (п) называется эргодическим. (Такой процесс и оператор сдвига Т иногда называются также «метрически транзитивными».)

Свойство эргодичности не может быть установлено по наблюдениям за единственной траекторией. Это можно показать на примере скалярного процесса, имеющего скачок в спектре, из-за которого в х (и) возникает компонента 2 Re {z кДХ^ e-inXoy Тогда, как мы сейчас покажем, | z (dX^) | — инвариантная случайная величина. Однако на основании одной траектории нельзя судить, является ли она почти наверное постоянной. Чтобы показать, что | z (dZ0) | инвариантна, рассмотрим точки непрерывности %ь Х2 функции F (%), такие, что Х1<Х0<Х2. Из теоремы 3" гл. II следует, что

Ха

Т ^ (^2) — 2 (М) = j е-^ z (d^,

Xi так что величина

Х2

IIТ (z (Х2) - z (X,)) - е-^ (z (%2) - z (X,)) II2 = j 4 sin2 >/2 (X- Хо) ^ W

Xi

стремится к нулю, когда %ь Х2 приближаются к %0. Отсюда

Tz (dX^ = exp (—zX0) 2 Шо)

и | z ^dX^ |2 инвариантна, что и утверждалось. В гауссовском случае отсутствие скачков в спектре также и достаточно для эргодичности х). Несколько обобщая, имеем следующий результат. Рассмотрим процесс

Э = -оо

z_j — Zj, X_j — Xj, 2 /j00 •

г) Доказательства результатов, приводимых в этом абзаце, читатель может найти в книге Розанова [1963].

Тогда для эргодичности х (п) в первую очередь необходимо, чтобы | Zy | были почти наверное постоянны для любого /. (Это сразу же исключает гауссовский случай.) Таким образом, случайность входит в х (п) только через фазы колебаний. Во-вторых, если 8 — любое конечное подмножество Ху, такое, что для некоторых целых чисел т^

2 W;0; = O (mod 2л),

то должно быть

2 m^j = ф (mod 2л), zy = |zy|^16^

где ф п. н. постоянна. Необходимость этого условия вновь довольна очевидна, ибо если

Л = exp i { 2 mA! , то

Гт) = exp i { 2 т1 (9; + ^; =

Следующее условие, более сильное, чем эргодичность, смысл которого несколько более очевиден,— это условие

lim Р (Л П Т"пВ) = Р (Л) Р (5), Л, В е Л. (2Л) П^оо

Если это условие выполнено, то х (п) называется процессом с перемешиванием. Чтобы показать, что перемешивание влечет за собой эргодичность, возьмем в качестве Л = В инвариантное событие; тогда получаем Р (Л)2 = Р (Л), откуда Р (Л) = О или 1. Груба говоря, если события, определяемые значениями х (п), сильно разделенными во времени, почти независимы, то выборочное среднее с вероятностью 1 сходится к среднему значению процесса. Более сильным условием, чем (2.1), является «условие сильного перемешивания», которое мы сейчас введем. Рассмотрим все события (т. е. все множества из ^), определяемые только значениями х (п) при п ^ р. Эти события образуют о-алгебру ®р. Аналогично, пусть ^q есть су-алгебра событий, определяемых х (п) при п^ q. Пусть существует положительная функция g от целочисленного аргумента, такая, чта g (п) —> 0 при \ п \ оо и

\Р(В(] F)-P(B) P(F)\<g(q-p), BE Sp, F E ^q. (2.2)

Тогда говорят, что x (п) удовлетворяет условию сильного перемешивания. Теперь мы утверждаем, что события, разделенные во времени промежутком q — р, приближаются к независимости равномерно в том смысле, что отклонение от нуля левой части (2.2) зависит только от q — р, но не от конкретных рассматриваемых В и F. Из этого условия, очевидно, вытекает (2.1), а значит, и эргодич-

ность ^х (я)}. Условие сильного перемешивания является довольно жестким, но, с другой стороны, и более привлекательным. Например, есть все основания полагать, что, скажем, поведение морских волн, которые омывали берега много лет назад, совершенно не связано с поведением волн, омывающих берега сегодня, и что это верно для всех явлений, определяемых этими волнами. Правы мы или нет в таком предположении, в настоящей книге нам придется существенно использовать это условие, введенное в статистические исследования М. Розенблаттом. Впрочем, оно понадобится нам не сразу, и мы ввели его сейчас лишь для того, чтобы указать на его связь с перемешиванием и, следовательно, с эргодичностью х).

Пусть х (п) — стационарный в узком смысле эргодический процесс; рассмотрим величины х (п) х (п + тУ. Если зафиксировать т и изменять п, то получится последовательность случайных матриц, которая вновь образует многомерный стационарный в узком смысле процесс. Предположим, что х (п) стационарен также в широком смысле, так что определена Г (m) = Е (х (п) х (п + тУ). Если {ж (^)) эргодичен, то эргодичен и процесс

^х (д) х (п + ^)'}i

ибо оператор сдвига для этого процесса совпадает с оператором сдвига для ^х (п)^ на своей области определения (т. е. на множествах, определяемых условиями на Xj (п) х^ (п + тУ), а значит, любое инвариантное множество имеет меру 0 или 1.

Теорема 2. Если х (п) — стационарный в узком смысле эргодический процесс, такой, что Е {| Xj (п) 1} < оо, то

N

lim ~ 2 зс (п) = Е (х (пУ п. н.

N->oo .

п=1

Если, кроме того,

Е (xj (пУ) < оо, то

N

lim У х (иг) х ^т-\-пУ = Г (и) п. н.

N->oo

т=Л

В частности, теорема 2 верна, если х (р?) — процесс с перемешиванием. Она также справедлива для любого гауссовского стационарного процесса с непрерывной спектральной функцией. Этот результат распространяется и на другие функции траекторий, отличные от

х (рг) х (т + ^У •

*) Розанов [1963] обсуждает смысл этого условия для гауссовских процессов и устанавливает ряд интересных соотношений. Мы используем это условие главным образом в случаях, когда предположение о гауссовости не делается.

Если х (п) — процесс с перемешиванием, то любой новый процесс, определенный соотношением

У^ТЦ m) = / (Г-”©),

где / — векторнозначная измеримая функция на (Q, Л, Р), также будет процессом с перемешиванием. В самом деле, если А и В — множества вида

{to I (У№ (п №’ to), k = 1, . . ., т) е С} =

= {® Iк = 1,С},

где С — борелевское множество в Rm, то, как легко видеть, условие (2.1) выполняется для класса измеримых множеств Лу, порождаемого множествами вида Л и В, в вероятностном пространстве (Qy, ,Л у, В), соответствующем процессу у (п). Нетрудно показать, что последовательность независимых, одинаково распределенных случайных векторов с (п) с нулевым средним и конечной матрицей ковариаций обладает свойством перемешивания (мы оставляем это в качестве упражнения). Отсюда вытекает, что если

—§ М (у) ||2 < со, (2.3)

то х (п) — также процесс с перемешиванием и, следовательно, эрго- дичен. Процессы вида (2.3) иногда называются «линейными». Мы, однако, будем использовать этот термин в более узком смысле. (Мы знаем, что если процесс х (п) гауссов с абсолютно непрерывным спектром, то он может быть представлен в виде (2.3).)

Теорема 3. Если х (п) дается соотношением (2.3), где е (тг) независимы и одинаково распределены, то х (п) — процесс с перемешиванием и, следовательно, эргодичен.

ЭРГОДИЧЕСКАЯ ТЕОРИЯ ДЛЯ ПРОЦЕССОВ, СТАЦИОНАРНЫХ

В ШИРОКОМ СМЫСЛЕ

Целью настоящего параграфа является доказательство ряда теорем, аналогичных теоремам предыдущего параграфа, однако использующих, насколько это возможно, лишь предположения относительно моментов второго порядка. Мы начнем с теорем, касающихся средних значений, затем модифицируем их применительно к ковариациям и в заключение обсудим некоторые статистики, которые служат исходными элементами при оценивании спектра и имеют важное значение во многих статистических проблемах.

Теорема 4. Пусть х (п)— стационарный процесс1) и

ос ^г) — j ^-tnzz^^ Г (тг) = Е (х (т) х (т + п)') = j e^F^TK).

-л-л

Тогда

.i.nu xN = a (0) — z(0—), N-*OO

N-i

И™4 2 Г(п)=Г(0)—Г(0—) = E{(z(0)—z(0—))(z(0)—z (0—))*}.

Доказательство. Положим ф (X) = 0 при 1 =# 0; ф (0) = = 1. Тогда, в силу мажорированной сходимости,

Ит ( 1-^ ^Ф^Г^^^

=^ £ {^SS+ф (М - 2f(;(X)}F (^=°-

Поэтому

N л

.mea;N =У f e-in4(dX) =

N->ooN->oov

1 -л

ЛN

= l.i.m. [e-i”Tz(^) =

^—>oo J VJ

- Л1

‘Л

= j <p (X) z (dX) =z (0) — z (0 —),

-Л

а эта величина имеет ковариационную матрицу, указанную в формулировке теоремы. Чтобы доказать второе утверждение, заметим, что

N-1л N-1

Ит 4" 2 Г («)= Ит [ А 2 e^F(dk^ =

^°°0N"°° -л 0

л

= j 4>(X')F(dX') = F^-F(0-'),

-Л

также в силу мажорированной сходимости.

х) Всюду в дальнейшем, как и в начале книги, «стационарность» будет означать «стационарность второго порядка».

Из теоремы 4 сразу следует, что если х (п) — стационарный процесс со средним ц, то вектор выборочных средних xN сходится в среднеквадратичном к цтогда и только тогда, когда спектр процесса не имеет скачка в нуле. Это утверждение, часто называемое, в отличие от «индивидуальной эргодической теоремы» предыдущего параграфа, «статистической эргодической теоремой», принадлежит Дж. фон Нейману. v

Мы знаем, что если х (п) стационарен в узком смысле, то xN имеет предел почти наверное. Последняя теорема утверждает, что xN сходится в среднеквадратичном к случайной величине z (0) — z (0—). Так как из сходимости в среднеквадратичном и сходимости почти наверное вытекает сходимость по вероятности, то xN почти наверное должно сходиться именно к z (0) — z (0—J.

Следствие 1. Если х (п) — стационарный в узком смысле {а также в широком смысле) процесс с нулевым средним, то х N сходится п. н. к 0 тогда и только тогда, когда спектр процесса не имеет скачка в нуле.

Совершенно аналогичные рассуждения, примененные к величинам

N

4" 2х w

1

показывают, что они сходятся в среднеквадратичном и п. н. к случайной величине z (X) — z (X—); при этом они сходятся к нулю тогда и только тогда, когда спектр процесса не имеет скачка в точке X.

Сейчас мы докажем теорему Дуба [1953], которая дает условия, при которых среднеквадратичная сходимость может быть заменена сходимостью п. н. для процессов, стационарных в широком смысле.

Теорема 5. Пусть х (п) удовлетворяет условиям теоремы 4 и Е (х (п)) = 0. Тогда, если существуют константы К >0 и а>0, такие, что

N-l N-l N-1

Ж 2 2 тДп-т)-^ 2 7Дп)^1-^^К^а, (3.1) 0 О -5 + 1

то xN сходится к нулю с вероятностью 1.

Очевидно, эту теорему достаточно доказать для одномерного процесса. В этом случае левая часть формулы (3.1) есть дисперсия х^. Найдем р>1, такое, что р<х>1. Тогда при N^M^ имеем Е(^)^ ^КМ-0^. Если е>0 и N (М)— наименьшее целое, большее или

равное М^, то по неравенству Чебышева

S P^NW\>^<K 5

М=1М=1

Согласно лемме Бореля — Кантелли, с вероятностью 1 происходит лишь конечное число событий, вероятности которых суммируются слева. Поэтому для достаточно больших М мы имеем | xN (М) | < 8 с вероятностью 1, а так как 8 произвольно, то х^^п с вероятностью 1 стремится к нулю. Кроме того,

Е | max 4v ~ хк <м> Г } ^N(M)^N^N(M+1) II J

2V(M+1)

^N(My2^ 5 (Е(ж(и))2)1/2}2 =

N(M)+1

= ^лт+у-дч^ n Kt

ибо

N(M + ^-NW (М+^-И-М», p ,К

C) ~1 т•

Вновь применяя неравенство Чебышева и лемму Бореля—Кантелли, I — 7V (Л/) — Iл

мы видим, что xNjjjV(M) с вероятностью 1 стремится к нулю, когда N->• оо и N (M)^.N^.N (М-V 1). В самом деле,

2 Р( max l^v — (N|2>e)^

M=1AT(M)^^N(M-M)

^^2 8-W"2<OO,

откуда, как и выше, следует высказанное утверждение. Итак, для N (М), удовлетворяющих указанному соотношению, max | xN — xNW | также стремится к нулю с вероятностью 1, поскольку N (M)fN->-1 при N (M)^.N^N (М 4- 1), и мы установили то, что требовалось.

Следствие 2. Пусть х (п) удовлетворяет условиям теоремы 5 и У} (и-) = О (^-0), р > 0, при п —> оо, / = 1, . . ., р. Тогда xN стремится к нулю с вероятностью 1.

Доказательство.

N"1 >3 V, («) = Л^-1 2' т, (и) + VV"1 2" т, (и), о

где 3' означает суммирование от 0 до [TV1 а], a 2* —от [7V1 а] +1 до N. Тогда левая часть не превосходит

у;-(0)+ (1 —Уа) max |у(?г)|^уу(0)7У"а + с(1-у-^

tv>pA “a

Если теперь взять а>0 таким, что 0(1—сх)>0, то

TV— 1 ^-1 2 T^^X^TV",у>0,

О

и условие теоремы 5, очевидно, выполнено.

Следствие 3. Пусть х (п) удовлетворяет условиям теоремы, 5 и

д

j^.(^) = (9(6P), р>0 при 6^0, / = 1, о

Тогда xN стремится к нулю с вероятностью 1.

Доказател ьство.

Е {(Л^"1 2 ж,- (п))} = 2 j N-Ln (X) F (dX),1о

где Ln (X) — ядро Фейера N-1 (sin (1/2WX)/sin) ^М)}2- Правая часть не превосходит

не удовлетворяет условиям теоремы. Однако, поскольку наличие скачка у F (X) при X = 0 исключает сходимость (как показывает теорема 4) и ограничения на поведение / (X) могут быть весьма слабыми (например, рост не быстрее Х"а, 0 ^ а < 1), то результат представляется достаточно сильным.

Следствие 4. Пусть ос (п) стационарен в широком смысле, имеет нулевое среднее, абсолютно непрерывный спектр и непрерывную- в нуле спектральную плотность. Тогда

lim TVE ^xNx'^ = 2л/ (0).

iV->OO

Утверждение сразу вытекает из того факта, что 7VE (xnxn) есть N-я чезаровская сумма ряда Фурье функции 2л/ (X) (см. математическое приложение).

Обратимся теперь к исследованию величин

N

C(n)=N~1 2 х(т)х(т + пу,т=1

образующих естественные оценки для Г (п). Мы ввели С, так как если доступно N наблюдений, то мы можем найти лишь

N-n

C(n) = (N — n)~1 2 ж(т)х(т-^пу, п^О,

с (-п) = С (пУ,

и мы предпочитаем сохранить более простые обозначения за этими? величинами. Мы называем элементы матрицы С (п) сериальными ковариациями или, в случае диагональных элементов, автоковариациями гУ Для настоящих целей, однако, мы можем воспользоваться упрощением, которое состоит в том, что фиксируется количество слагаемых в суммах С (п). Для любого фиксированного п или любого фиксированного множества значений этого параметра С (п) обладает теми же эргодическими свойствами, что и С (п). Если х (п) имеет конечный четвертый момент, то величина

N~\x (N — П x(N + п — /)}

сходится в среднеквадратичном к нулю, так что асимптотические выражения для ковариаций элементов С (п) и свойства сходимости в среднеквадратичном переносятся на С (п).

Введем величины

и^ (т) = хi (т) xj(m-\- п) — чи (я),

х) Далее мы будем использовать эти же обозначения ctj (п), С (п) и т. д. для аналогичных величин, вычисленных по х (и) — xN, т. е. когда произведено, центрирование.

которые, очевидно, имеют нулевые средние, и будем исследовать с их помощью эргодическое поведение элементов С (п) при N -> оо. Мы знаем, что си (п) сходится с вероятностью 1 к ^tj (п), если ж (п) стационарен в узком смысле и эргодичен или обладает свойством перемешивания. Однако здесь мы хотим исследовать сходимость в среднеквадратичном и сходимость с вероятностью 1, используя только низшие моменты процесса. Из предшествующего ясно, что нам понадобится существование моментов четвертого порядка, и мы это предположим. Если четвертые моменты таковы, какими они должны быть у стационарной последовательности, т. е.

Е (xt (т) х, (т + п^ xk (т + и2) xt (т + ^3)) ~

= Е (Xi (0) Xj (п{) xk (п2) xt (^3)),(3.2)

0, + 1, . ..; I, ъ I = 1, • • •, р,

то мы будем называть процесс х (п) стационарным четвертого порядка*, аналогично определим стационарность любого порядка. Напомним (см. гл. I, уравнение (5.1)), что (3.2) равно

Yz; («1) Y^z («з — «2) + Yu (n2) Y,z (^з — "i) +

+ Yzz («з) ^,k (n2 — nJ + «ijki (т, т + Hi, т, + п2, т + nJ.

Если х (п) — стационарный процесс четвертого порядка, то последний член не зависит от т и можно заменить его на Кцк1 (0, пь п2, п3). Если i — 7 = k = Z, то мы ради простоты пишем кг (0, пь п2, п^. Конечно, если х (п) гауссов, то четвертый семиинвариант равен нулю.

Рассмотрим теперь типичную ковариацию элементов матрицы С (п). Мы оставляем в качестве упражнения проверку следующего выражения для ковариации между си (т) и ckl (п):

N-i

X"12 (i —^) y'hkW^jPu-pn — m) + yiZ(u + n)Y,k(u — m) +

+ (X — I и I)-1 У «им <v, v + m.,v + u, v + и + n)} ,

$(3-3)

j, k, 1 = 1, . . ., p,

где в сумме 2' индекс v изменяется в пределах 1 ^ v + и ^ N. Если ^(га) = 2 Ay)s(n — р, 2 || Л (/)|| < оо, (3.4) где 8 (п) независимы и имеют одинаковое распределение с конечной матрицей ковариаций G, то мы будем говорить, что х {п) — линейный процесс. Если же условие 2 II ^ (1)11< оо заменяется на SlM(/)ll2< < 00. то мы будем называть х (п) обобщенным линейным процессом.

Эта терминология громоздка (и несколько необычна), однако какое- либо подобное определение необходимо. Так или иначе, всякий обобщенный линейный процесс, а значит, и линейный процесс обладает свойством перемешивания и поэтому эргодичен.

Докажем теперь следующую теорему:

Теорема 6. Пусть процесс х (п) — стационарный второго порядка. Для того чтобы с^ (п) сходились в среднеквадратичном я Ти (п), необходимо и достаточно, чтобы ковариация (3.3) стремилась к нулю. Если х (п) — стационарный процесс четвертого порядка и величина (3.3) есть О ^N-aY где а > О, то имеет место также сходимость почти наверное. Если х (п) имеет абсолютно непрерывный спектр четвертого порядка, то сходимость в среднеквадратичном для всех г, ], п имеет место тогда и только тогда, когда нет скачков в спектре ). Если х (п) стационарен также в узком смысле и имеет абсолютно непрерывный спектр четвертого порядка, то отсутствие скачков у F (1) необходимо и достаточно для сходимости почти наверное. В частности, это условие необходимо и достаточно для сходимости в среднеквадратичном и сходимости почти наверное в гауссовском случае. Если х (п) — обобщенный линейный процесс, то имеет место сходимость почти наверное, а если х (п) — линейный процесс и семиинварианты четвертого порядка у §] (п) конечны, то имеет место также сходимость в среднеквадратичном.

Доказательство. Заметим прежде всего, что, как уже было сказано, все утверждения относительно с^ (п) непосредственно следуют из соответствующих утверждений для си (п). Первое утверждение очевидно, а достаточность того, что величина (3.3) есть О (7У~а), а > О, когда х (п) — стационарный процесс четвертого порядка, непосредственно вытекает из теоремы 5, если заменить х (т) на и^ (т), для фиксированных г, j, п. Пусть, далее, т = п, i = к, у = I. Тогда выражение (3.3) принимает вид

2 (1_ ^) {тЛ“) ?>(“)+?*>(“ + «) Т/г (“ — «) +

+ (ЛГ —| ^|)-1 2 кии (v, u-Vn, v + u, р-Нг + и)}-(3.5)

Если г = / и т = п, то первые два члена равны произведению 2N-1 на TV-е чезаровское среднее ряда Фурье с коэффициентами У/ (м)2. Последние являются коэффициентами Фурье свертки

л

J FAX-^F^.

-л

Следовательно, эти два первых члена сходятся к удвоенному скачку Ft (X)*2 в нуле (чтобы это показать, достаточно заменить F (X) на Ft (X)*2 в доказательстве теоремы 4). Но этот скачок, очевидно, равен сумме квадратов скачков функции Ft (X). Если г^=ъ н(> т = п, то первые два члена приводят к скачкам в нуле функции F^Fj и свертки Ftj exp (—i2n)C) с Fjf Очевидно, Ftj не может иметь скачков, если их нет у Ft и Fj (в силу эрмитовой неотрицательности приращений F (X)). Поэтому при условии, что слагаемое, содержащее семиинвариант четвертого порядка, сходится к нулю, необходимым и достаточным условием среднеквадратичной сходимости всех Ct, (п) является отсутствие скачков у F (X). В случае стационарности четвертого порядка член в (3.3), содержащий семиинварианты четвертого порядка, принимает вид

N-t

N'12(i—^)k.vaz(O, m, u, u + n).

u=-jV+l

Если m = n, i = k, ; = Z, то это выражение зависит от поведения Вцц на прямой (Х2 + ^з) = О (см- § 8 гл. II). Если Вц^ абсолютно непрерывна, то этот член, конечно, стремится к нулю. Итак, в случае абсолютной непрерывности Btfhi необходимым и достаточным условием среднеквадратичной сходимости является отсутствие скачков у F (X). Если х (п) стационарен и в широком и в узком смыслах и спектр четвертого порядка абсолютно непрерывен, то отсутствие скачков у F (X), очевидно, необходимо для сходимости почти наверное. Однако это условие также и достаточно, ибо с^ (п), в силу теоремы 1, сходятся почти наверное, а так как они сходятся в среднеквадратичном к ^ti knV т0 они и почти наверное сходятся к этим же величинам. Если х (п) — обобщенный линейный процесс, то, как мы уже знаем, он эргодичен. Кроме того,

Г(«) = 2 А(ПОА'0 + п),

2 || Г (ГО) К || G || 2 II (7) II2< оо,

откуда F (X) абсолютно непрерывна и / (X) непрерывна (так как ее ряд Фурье абсолютно сходится). Если, кроме того, семиинварианты четвертого порядка у 8 (п?) конечны, то конечны и семиинварианты четвертого порядка у х(п\ и если х (п) — линейный процесс, то

2 2 2 I «г/RZ (0, q, г, s)| < ОО. q г s

В самом деле,

Kijhi (0, q, Г, s) =2 ^bcde 2 aib(u)aic(u+q)ahd (u+r) аге («+«),

b, c, d, e=lu

где Xbcde — четвертый семиинвариант величин гь^, 8с(п), 8d(ny 8е(пУ Итак, из (3.3) видно, что с^^п) сходятся в среднеквадратичном к у^Дп). Доказательство закончено.

Заметим, что условие отсутствия скачков у F (А,) эквивалентно следующему:

N

Ит 4 5тИ")2 = 0, j = l,...,p,

ибо Fj (А,) имеет скачки тогда и только тогда, когда FP (А,) имеет •скачок в нуле, и

Ит — У v ( 1 —= lim f sin21/2F*2 (dM

N\ N )№sin2i/2X^^

-N+l-л

что сходится к нулю тогда и только тогда, когда выполнено указанное условие.

Теорему 6 вряд ли можно назвать изящной! Некоторые условия чересчур сильны, и оправдание для них состоит в том, что более слабые условия трудно выписать в простой форме. Требования сходимости в среднеквадратичном и сходимости с вероятностью 1, добавленные к исходному предположению стационарности второго порядка, не должны, по-видимому, существенно препятствовать принятию этой модели для анализа данных.

В случае линейного процесса асимптотическая форма выражения (3.3) для дисперсий и ковариаций несколько проще, так как член с четвертыми семиинвариантами стремится к

2 2 2 2 Kpqrs { 2 «гР («)«/?(“ +™) 2 «6г(“)“<«(“ + ”)) , (3.6) р q Г su= —оои=— оо

где р, q, г, s пробегают множество индексов, нумерующих столбцы А(/), a XpqTS — четвертый семиинвариант величин гр^, ^(п), 8Т^ и 8S (п). Когда процессы ос(п) и 8^п) одномерны, мы получаем

N var {с (^г)} -> 2л J PW (1 + ^i2nX) ^А,4-2лху2(^г),

—л

где х — четвертый семиинвариант 8 (п). Аналогичное выражение можно получить и для общего линейного процесса, однако оно не так интересно, и мы его опускаем.

Дальнейшие подробности, касающиеся асимптотических свойств ковариаций величин сг (пУ читатель может найти в книге Андерсона 11970]. Эти вычисления не столь важны практически (в частности, из-за наличия четвертых семиинвариантов), и мы здесь не будем более уделять им внимание.

Теперь мы рассмотрим эргодические свойства некоторых статистик, значение которых для анализа временных рядов трудно переоценить и которые в действительности составляют основу многих методов такого анализа. Положим )

NnN

™ № -2- j 2(‘-а>- w <3.7>

1—л1

Очевидно, что

W-1

ЕМ^т^ 2 (1-^)Г(»)г«

Если F (X) абсолютно непрерывна, то это выражение п. в. сходится к / (X) (результат, который не доказывается в математическом приложении и который мы не будем использовать в дальнейшем). Будем теперь рассматривать только случай абсолютной непрерывности. Если, кроме того, / (X) непрерывна в точке X, то это выражение ограниченно сходится к / (X), а если / (X) непрерывна всюду, то сходимость равномерна. Если / (X) = 0, то w (X), очевидно, сходится к нулю в среднеквадратичном. Если / (X) > О, то w (X) для почти всех X не- сходится в среднеквадратичном к какой-либо случайной величине,, в частности, она не может сходиться в точках непрерывности / (X) (см. упражнения к этой главе). Таким образом, эргодические свойства этих величин оказываются довольно неинтересными. Однако величины w (X) полезны в связи с возможностью построения оценок спектров и взаимных спектров с помощью функций от совокупностей таких величин.

Величина

(X) = w (X) w (X)*(3.8)

называется периодограммой. Это название несколько неудачно, ибо (3.8) есть функция частоты, а не периода. Следует также отметить, что периодограмма часто рассматривается только для скалярного процесса, причем она часто определяется в этом случае как

N

4|3z(n)e^|2.(3.9>

1

Подобное определение дается из тех соображений, что для гауссовских независимых величин х (п) с единичной дисперсией величина (3.9) при X = 2nk/N. X ^= 0, л распределена как хи-квадрат с двумя степенями свободы. Мы же примем определение (3.8). В работе

Олшена [1967] доказан ряд довольно специальных теорем, показывающих, что I (X) не обладает какими-либо интересными эргодическими свойствами. Здесь мы не будем подробно на этом останавливаться, однако ниже обсудим один частный результат такого типа. Итак, периодограмма, по-видимому, не обладает такими асимптотическими свойствами, благодаря которым она могла бы представлять интерес как непосредственная оценка чего-либо. В самом деле, в § 4 мы покажем, что при достаточно общих предположениях распределение матрицы I (X) сходится к несколько видоизмененной форме распределения Уишарта с двумя степенями свободы (X ^ 0, л).

Рассмотрим теперь

rN = w (X) — h (X) w (е, X),

где w (е, X) построена по последовательности 8 (1), . . ., 8 (7V), так же как w (X) по х (п), и)

ОООООО

x(n) = ^A(j)e(n-j), hP) = 5\ АЦ)е^, 2 II ^ (?) II < °°- — ОО— ОО—ОО

Имеет место следующая теорема (Олшен [1967]):

Теорема 7. Если х (п) имеет абсолютно непрерывный спектр и спектральная плотность непрерывна в точке X, то w (X) — — А (X) w (е, X) сходится в среднеквадратичном к нулю; если/ (X) непрерывна всюду, то сходимость равномерна.^

Доказательство. Если / непрерывна в точке X, то можно выбрать h (X) так, чтобы она была непрерывна в этой точке 2). (Этому условию удовлетворяет хотя бы положительный квадратный корень из / (X).) Рассмотрим теперь

lim || w (X) — h (X) w (е, X) ||2 =/ (X) +

N->oo

+ MX) Gh (X)* — lim Е \w (X) w (е, Х)*1г (X)* + ^ (X) w (е, X) w (Х)*}у

где G = E (8(п) 8(п)'), как обычно. Второй член также равен /(X). Далее,

ооNN

Е (ip (X) w (е, X)*) = 2 А (у) -^у Е ( 2 е (п~Л einK 2 е' Ю e-in^| = — ОО11

-2V+1

Так как это стремится к (1/2л) h (X) G для непрерывной /г (X), то .w (X) — h (X) w (е, X) сходится в среднеквадратичном к нулю (см. математическое приложение), поэтому если выбрать h (X) непрерывной, то среднеквадратичная ошибка будет равномерно стремиться к нулю.

Будем говорить, что последовательность случайных величин хк сходится в среднем к случайной величине х, если Е | хп — х | стремится к нулю.

Положим I {г, X) = w (е, X) ip (е, X)*.

Следствие 5. Если х (п) удовлетворяет условиям теоремы 7, то элементы матрицы 7 (X) — h (X) I (г, X) h (X)* сходятся в среднем к нулю, причем сходимость равномерна по X, если / (X) всюду непрерывна.

В самом деле,

I W - h (X) I (8, X) h (X)* = \w W(8, X)} IP (8, X)* h (X)* +

+ h (X) ip (e, X){w? (X) — h (X) ip (e, X)}* +

+ {^ W — h W w (s> ^Kw W — h (X) w (e, X)}*.

Взяв математическое ожидание от нормы этого выражения и используя неравенство Шварца, мы получим его верхнюю границу

21| / W|| |МХ) -h^ip^ Х)|| +|| ip (X) - h (X) ip (8, %) ||2, которая, очевидно, сходится к нулю как требуется.

В последующих статистических расчетах ip (X) будет вычисляться, как правило, не для одной фиксированной частоты X, а для множества частот

^ = 2лЖ / = 0, 1,

В частности, нам потребуется множество точек со;-, концентрирующихся вокруг некоторой интересующей нас фиксированной частоты или лежащих в некотором узком диапазоне частот. Поэтому в данном параграфе мы изучаем свойства сходимости в среднеквадратичном и сходимости почти наверное для таких величин, как ip (со7-), когда toj концентрируются в интересующем нас диапазоне. Это означает, что мы будем рассматривать эргодические свойства последовательностей коэффициентов регрессии вида

5 * (") Ут 00

где у^ (п) зависит, как мы видели, от N. Поскольку это понадобится нам в дальнейшем (см. гл. VII), мы разовьем теорию для более общих последовательностей у^^, удовлетворяющих лишь условиям (6.1), введенным в § 6 гл. II. Итак, рассмотрим последователь-

нэсть (/-мерных векторов у^ (тг), такую, что ту

lim d] (N) = lim У {y^ («))2 = °°, 7 = 1, • ••,?; NN 1

lim max ' .=0, ; = 1, ..., q;

N i^ncN

N

У (y^M ^(m + ra))

Здесь dj (N) — положительный квадратный корень из d^ (N}. Тогда, точно так же, как в § 6 гл. II (см. теорему И), получаем

Vik (и) = j е^М (dX).— Л

Обозначим через R (п) матрицу с элементами pjk (п) и предположим, что R (0) певырожденна.

Введем матрицу У v с элементом у^ (п) на пересечении п-й строки и /-го столбца и матрицу XNl определенную аналогично через Xj (п). Положим

B-(Y'NYN^Y'NXN.(3.10)

Такое определение мотивируется теорией регрессии, так как /-й столбец В является вектором регрессии х5 (п) на у^ (п), k=l,..., q. В частности, если g l и у^^п)^!, то В равно xN. Введем диагональную матрицу DN с диагональными элементами dj(N). Чтобы правильно сформулировать и доказать нашу теорему, необходимо ввести тензорные обозначения. Возьмем столбцы матрицы В и поместим их последовательно один под другим, так что получится столбец Р, в котором Р^, j находится в строке (/— 1) g + z, i = l, . .., q; j^l, . . ., р. (Всего имеется р переменных х^п^ ] = !, .... р, и q переменных ук^п), k^l, ....q.) Напомним, что тензорное (кронекеровское) произведение ^ А ® В рх ^-матрицы А и q х g-матрицы В есть матрица размера pq х pq, у которой на пересечении (q (i — 1) + к)-й строки и (q (j — 1) + Z)-ro столбца, i, j ^1, ... . .., p; к, Z^=l, ..., g, находится а^Ь^. Теперь мы можем ввести матрицу

{7р®Д(0)}-1( 2npp®M'(.dXHIp®R^p1, (3.11)

т) См. математическое приложение, § 5.

где средняя матрица получается поэлементным интегрированием матрицы / (X) ® М* (dX\ Имеет место следующая теорема, которая не только устанавливает среднеквадратичную сходимость к нулю элементов В, но и указывает предельную формулу для матрицы ковариаций. В следующем параграфе мы обсудим эти результаты применительно к w (соД.

Теорема 8. Если х(п)— стационарный процесс с абсолютно непрерывным спектром и кусочно-непрерывной спектральной плотностью, не имеющей разрывов в точках скачков М Q^, то (1Р ® Dn)E (Р Р') (Ip®Dn) сходится к (3.11) при N-^oo.

Доказательство. Имеем Е(Р) = О, так как р линейно зависит от Xj(n). Заметим, что если превратить матрицу YnXn в столбец и х) по такому же правилу, как В превращается в р, то этот столбец будет иметь вид

N

и= ^х(п)®у<ю (п).1

Тогда

(I р® D N) р = {(I р® DN) (I p®Y'nY n) (Ip® DN)} (I p® D^ u.

Первый множитель (в фигурных скобках), равный

(Ip®D;^nYnD^

в силу условия (с) (для п --0) при Nоо сходится к \1р®В(0)Г1- Итак, нам достаточно доказать теорему для V(Ip®D^)u^ с предельной матрицей ковариаций

У 2л/ (X)® М' (d^e —л

Рассмотрим сначала случай, когда / (X) непрерывна и / (X) > О в интервале [ — л, л]. (Здесь и дальше такое неравенство понимается в смысле обычного отношения порядка для матриц ).) Если/(1) (X) ^ ^/(X)^/(2) (X) и и^, и, и2 построены по процессам xt (п), х (п)7 х2 (п) с такими спектральными плотностями, то

Е (и^ < Е (ии'^ Е (и2и^.

В самом деле,

E(uu') = 2— m)®yW (т) yW W =

n, m

— j /(^)® 2 У^НтУу^Н}0'el(^ — лn, m

= ^iWOvVWdk,(3.12)

— Л

где

N

n—0

Доказываемое неравенство следует из соотношений

/(1>(Х) ® J(X) J(X)*^/(X) ® J(X) J(X)*</(2> (X) ® J(Z) J(A)*.

Далее, если /<2> (X) — f(1) (X)<.eIp, то

(IP®D^) Е (u2u' — iZjUj') (Zp®Z)jv) =

= j {/<2> М-Г1’ QWJ (X) J (X)*D^ dX< — Л

<Le j Ip^D^J^J^XyD^dk,

а последнее стремится к 2ле {/p0 Д (0)}, ибо

j J ^J W*dX = 2ttYNY'N. -Л

Таким образом, мы получим требуемое соотношение для Е (ии^, если для любого е >> 0 сможем найти спектральные плотности /(J)(X), 1^1, 2, такие, что

/(1) W <1(Х)< f^ (X), /<2> (X) - f^ (X) С е7р,

lim (Zp ® Dn1) Е (UjUj) (Ip ® D^) = ( 2п^ (л) ® М' (ДХ^.

N-frOOJ

-л

Этого легко достичь, если / (X) непрерывна и / (X) > 0, так как в этом случае всегда можно найти тригонометрические многочлены ^ЦХ^^А^^е-^, A(i) (,п) = А°Ч — п), г = 1, 2, п

удовлетворяющие первым двум условиям (чтобы это доказать, можно выбрать ц > О так, чтобы матрицы / (X) + ц/р были положительно определены, и использовать тот факт, что чезаровские средние рядов Фурье этих матриц положительно определены и равномерно сходятся) Третье условие также выполняется, поскольку

Up ® Е (и,щ) (1Р ® D^) =

= 2 Aw (и) ® j e-^D^J (X) J PPD'J dX, п-Л

а последнее стремится к

2л 2 ^(г) (м) 0 Я (— ^) —

п

= J 2л 2 ^^ (,г) e-iuK 0 Mr (dk) — j 2л/(1) 0 Mr (dk). -л-л

Итак, формула для матрицы ковариаций установлена в случае / (X) > О, к £ [—л, л]. Если / (X) непрерывна, но последнее условие не выполнено, то рассмотрим f^+^Ipt е>0 и введем соответствующий вектор иг. Тогда из сказанного выше следует, что

л

lim (Ip®Dx) Е (ии') (Ip® D^)<. ( 2л/ (k)®Mf (dk) + 2ле(/р0й (0)), 2V-»-oo

lim (1Р 0 D^) Е (ии') (1Р®В^) > ( 2л/ (k)®Mf (dk) — 2ле (Гр®R (0)),

откуда в силу произвольности е вытекает доказываемое утверждение.

Если / (к) лишь кусочно-непрерывна, то можно найти две непрерывные спектральные плотности g(1) (к) ^ f (к) ^ g(2) (к), такие, что

л

J Vg^-^PWM'px^ipq;(3.13)

-л

например, если л0 — точка разрыва1) / (к) и / (Zo +) > / (^о — )> то можно положить

gai Р) = fpa~) + ^p~h) {/ Pt - л) -/ Р»-)},

g№P)-fPVХЕР0,Х0--^.

Если т] достаточно мало, то g(1) (к) ^f (к)^g{2) (к) на указанном интервале, и вклад в (3.13), соответствующий этому интервалу,

г) Очевидно, имеются в виду разрывы первого рода.— Прим, перев.

можно сделать сколь угодно малым, ибо приращение М' (X) на интервале [Хо, Х0 + т]1 мало при малых т). Так как для g(1) и g^, как было выше доказано, теорема верна, а 8 в формуле (3.13) сколь угодно мало, то эта формула справедлива и для / (X). Теорема 8 доказана.

В связи с доказательством одной из разновидностей центральной предельной теоремы нам необходимо будет усилить условие (Ь) следующим образом:

(Ь)' Пусть SN — подмножество индексов j N, I^Jn ^ ^> состоящее из МN элементов. Если

Пт^- = 06

тотоИт 2N->oc „ n^SNИт 2N->oc „ n^SN^^^ (”)}2^ (W)^^^ (”)}2^ (W)= 0,= 0,/ = 1, . . ., q,/ = 1, . . ., q,

то

то

Ит 2

N->oc „ n^SN

Ит 2

N->oc „ n^SN

^^^ (”)}2^ (W)

^^^ (”)}2^ (W)

= 0,

= 0,

/ = 1, . . ., q,

/ = 1, . . ., q,

равномерно относительно SN. (Таким образом, левая часть может быть сделана меньше любого 8 > О для всех SN и j, если только Mn!N достаточно мало.)

Это условие, по-видимому, выполняется во всех практически важных случаях ). Оно, однако, исключает некоторые случаи, когда dj (N) возрастает очень медленно, например у (п) = п-1^. Во всяком случае, оно выполняется во всех конкретных примерах, рассмотренных в §6 гл. II.

Будем писать dj (TV) X Naj, если с^аз ^ dj (TV) ^ c2Naj для некоторых 0 < ct с2 < оо. Имеет место

Теорема 9. Пусть х (п)— стационарный процесс с абсолютно непрерывным спектром, Tr{ /(X)} ^ Kv < оо, X £ [—л, л], и пусть ^N^ W удовлетворяет условиям Гренандера с d* (TV) X Naj, aj > x/2, j = 1, . . ., q. Тогда В сходится к нулю почти наверное.

Доказательство. Достаточно доказать, что

N

сходится к нулю почти наверное для всех /, k, I, ибо типичный элемент матрицы В может быть записан в виде линейной комбинации таких величин с коэффициентами, сходящимися к конечным постоянным. Дисперсия с (7V) равна

л

dj (Np4k (N)~2 j | 2(n) einK |2/z (X) dk^Kd, (N^.

— Л

Положим N (М) = М^ Ра, > 1. Тогда, в силу леммы Бореля — Кантелли, с (N (Л/)) сходится к нулю почти наверное, так как ее дисперсия не превосходит KN-a^. (Мы обозначаем через К конечные постоянные, не обязательно одни и те же.) Далее,

Е[ sup \<A№)-c(N(MWdpN(J\iyW^^^^

MP<2V^(M+1)^

(M+l)6

• ^(WWWEK 2 Ы«)^(п)|)2}<

мР+1

(М+1)Р

<A'{WHM/P} 2 yk<nWUM^dUM^.

М&+1

Для краткости обозначим последнее выражение через а^А'Г). Имеем

и, поскольку а7->1/2, мы можем выбрать Р так, чтобы 1— aj — — Р-1<0. Тогда последнее выражение есть О (М""^^^), 6>0. Следовательно,

ОООО(М+1)6ОО

2 <ЦМ)<К 2 М"^^ 2 укЛУ<К 2 у^пУп"^.

М=1М=1м6+^п=1

Таким образом, нужный результат будет следовать из леммы Бореля — Кантелли (как в теореме 5), если последний ряд сходится. Однако это легко следует из того, что последовательность N~ak d^N) ограничена.

4. ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА

Существует довольно обширная литература по центральной предельной теореме для стационарных процессов; отметим, в частности, работы Морана [1947], Диананды [1954], Гренандера и Розенблатта [1957], Хеннана [1961а]. Рассматривались два рода ситуаций. В первой

^(^)= ^^(/^(тг —у),2 1М(7)112<оо,(4.1)

где 8 (п) независимы и имеют одинаковое распределение с матрицей ковариаций G. Тогда х (п) — обобщенный линейный процесс. Весьма общее рассмотрение этого случая, включающее частично также случай неравнораспределенных 8 (п), имеется в работе Эйкера [1967]. Его идеи будут использованы в нашем изложении, насколько это касается (4.1), для модификации результатов Хеннана [1961а].

Предположения, сделанные относительно (4.1), ни в коей мере не являются удовлетворительными, ибо трудно найти достаточно естественные оправдания для предположения о независимости 8 (az). (Конечно, если х (п) гауссов с абсолютно непрерывным спектром, то (4.1) с необходимостью выполняется.) Однако введение независимости в той или иной форме представляется существенным для анализа. Другое условие было предложено в работах Розенблатта [1956а], [1961], где предполагалось, что х (п) удовлетворяет условию сильного перемешивания из § 2. В некоторых отношениях условие такого типа представляется предпочтительным, так как мы можем обосновать его в духе § 2. В настоящем параграфе мы также обсудим некоторую форму центральной предельной теоремы такого типа.

Вместо того чтобы заниматься собственно центральной предельной теоремой для среднего, мы сразу рассмотрим более общий случай матрицы В (определенной соотношением (3.10)), где yW (^) удовлетворяет условиям (а), (Ь), (с) из предыдущего параграфа. Имеет место

Теорема 10. Пусть yW (п) удовлетворяет условиям (а), (Ь), (с) § 3, а матрица В определена формулой (3.10), где х (п) — обобщенный линейный процесс с кусочно-непрерывной спектральной плотностью, непрерывной в точках скачков М (X). Пусть р определяется через В, как указано после (3.10). Тогда, если (3.11) — ненулевая матрица, то распределение (Ip ® D N) р сходится при N оо к нормальному с нулевым средним и матрицей ковариаций (3.11).

Мы поместили доказательство теоремы 10 в приложение к этой главе, потому что оно не столь сложно, сколь утомительно. Если yw (п) более специального вида, то можно ожидать более сильный результат и, в частности, для средних значений имеет место следующая теорема:

Теорема 11. Если х (п) — обобщенный линейный процесс со спектральной плотностью / (X), непрерывной в нуле, причем Tr / (X) равномерно ограничен и / (0) не есть нуль, то вектор №^хы асимптотически нормален с нулевым средним и матрицей ковариаций 2nf (0).

Доказательство этой теоремы также дано в приложении к этой главе.

(4.2)(4.2)Теперь мы рассмотрим весьма важный для дальнейшего случай, который тесно связан с первым примером из § 6 гл. II. Фиксируем частоту X, Q^X ^ л, и определим у№ (п) формулой Х^ о, л, уТи-\ w = cos п^и, У^ W = sin пХи,

(4.2)

(4.2)

гДе Ju — последовательные целые числа, выбранные так, чтобы Хи были как можно ближе к X. Таким образом, q = 2т. Если X =^ 0,

то из (4.2) следует исключить синусоидальную компоненту, отвечающую ]и = 0; то же самое следует сделать, если X = л, N четно и ju = 1/2N. Число индексов к по-прежнему обозначается через q. При X ^ 0, л матрица 7? (az) имеет вид

— sin пк

cos пкcos пкsin пк

cos пк

cos пк

cos пк

cos пк sin пк— sin пк cos пк

где указаны только ненулевые элементы. Чтобы в этом убедиться, заметим сначала, что dj (TV) = г!^, и рассмотрим, например, соотношение

N

lim -Гт- У cosmXusin ^т-^ п) ки = lim sin пки = sinпк.

N->oo Л ,N->oo

771=1

Конечно, мы могли бы с самого начала взять cos пки без соответствующего синусоидального члена (или наоборот); тогда на диагонали 7? (az) появились бы одномерные блоки (вида cos пк). Мы, однако, не будем специально останавливаться на этом случае. При X = 0, л матрица 7? (az) превращается в единичную матрицу I q порядка q (при к = 0) или в cos пк!q (при к = л). Соответственно М (X) при X =7^ 0, л имеет две точки роста, а именно ±А, со скачком

в точке А и Vq в точке —к. При А = 0, л имеется единственный скачок в точке к, равный Iq.

В рассмотренном случае элементы В имеют вид

N

2 (ге) si°n

1

где обозначения указывают на то, что могут встретиться оба типа сумм как вместе, так и порознь.

Легко проверить, что функции cos пХи, sin пХи, где Хи описаны выше, удовлетворяют условиям (а), (Ь)', (с) § 3, и поэтому элементы матрицы В сходятся к нулю почти наверное. Нас, конечно, интересует предельное распределение матрицы В (после нормировки посредством множителя DN).

В нашем случае В (0) = I q (и при X ^ 0, л можно взять D N = = 1!2NI(^. Согласно теореме 10, (/р ® D v) р имеет предельное нормальное распределение с матрицей ковариаций

2л/(Х)® ^ + 2л/(-Х)® 7Q, Х^О, л,2л/(Х)®/д, X — 0, л.

Заметим в связи с этой формулой, что если мы изменим порядок элементов в матрице р, помещая |3^ в строку (/ — 1) p-Vi (т. е. располагая их по порядку, учитывая сначала номер столбца, а потом — номер строки), то в формуле (4.4) изменится лишь порядок тензорных сомножителей.

Теорема 12. Если х (п) — обобщенный линейный процесс со спектральной плотностью, непрерывной и не равной нулю в точке X, Tr (/ (X)) равномерно ограничен и q последовательностей у^ (п) определяются формулами (4.2), то распределение (Jp ® D v) р сходится к многомерному нормальному с нулевым средним и матрицей ковариаций (4.4).

Доказательство этой теоремы также вынесено в приложение.

Эта теорема дает возможность рассмотреть распределение величин w (Хи), определенных формулами (3.7). Для упрощения обозначений положим

N

v^ = w Q.^ =^ 2 $ (и) e,nXu = а ^ + ib (и),

(2лЛ)1(4.5)

где а (и?) и Ь(и) равны соответственно соседним строкам матрицы В^ умноженным на ]/Л78л, при Хи^0, л, и строке матрицы В, умноженной на ]/7У/2л, при Хи=0, л. Чтобы описать предельное распределение величины и^и^ введем комплексное многомерное нормальное распределение с плотностью

(4.6)(4.6)р - Z* 2 12

(4.6)

(4.6)

лР det (2)7

где 5 — эрмитова неотрицательная р X ^-матрица, а 2 — столбец с координатами zj, / — 1, . . ., р. Эта плотность отвечает элементу объема, который равен произведению дифференциалов вещественных и мнимых частей всех Zj.

Теорема 13. Если ос (п) — обобщенный линейный процесс со спектральной плотностью, непрерывной и отличной от нуля в точке К, величины v (и) определены соотношением (4.5), где Хи такие же, как в (4.2), то при л ^ 0, л совместное распределение величин vj (и) сходится к распределению т независимых случайных векторов, каждый из которых имеет плотность распределения (4.6) с 2 = / (X). При X Q и, если N четно, при X — л один из векторов v (и) имеет в пределе обычное многомерное нормальное распределение с матрицей ковариаций / (X).

Доказательство. Мы начнем с некоторых алгебраических соображений, относящихся к случаю X ^ 0, л, которые мы используем и впоследствии.

Пусть 2 — произвольная квадратная матрица с комплексными элементами, имеющая р столбцов и р строк. Положим 2 = С 4- iQ и установим соответствие

Г с Q"\

Это соответствие является изоморфизмом алгебры всех комплексных матриц 2 (рассматриваемой как алгебра над полем вещественных чисел *)) и алгеброй вещественных матриц вида (*). (Сохранение алгебраических операций проверяется непосредственно, и наше соответствие, очевидно, взаимно однозначно.) Если 2 иевырожден- на,то невырожденна и правая матрица в соотношении (*), и обратно, так как из Sz — 0, где z = х — iy, вытекает Cx-VQy^ Qx — Су = = 0, и обратно. Если 2 эрмитова, то С симметрична, a Q — кососимметрична, так что образ 2 является симметричной матрицей, и обратно. (Если 5 унитарна, то ее образ является ортогональной матрицей, и обратно.) Если 2 эрмитова и неотрицательна, то ее образ является симметричной неотрицательной матрицей, и обратно, ибо

Далее, если 2 эрмитова иг — ее собственный вектор, отвечающий собственному значению ц, то

являются собственными векторами ее образа с тем же собственным значением, и обратно. Отсюда, в частности, следует, что определитель образа 2 равен (det S)2.

г) Когда мы говорим, что опа рассматривается как алгебра над вещественным полем, мы имеем в виду, что она замкнута относительно алгебраических операций умножения и образования линейных комбинаций с вещественными коэффициентами.

Рассмотрим теперь элементы столбцаg (и) = L х •\Миц

Теорема 12 утверждает, что их предельное распределение таково, что векторы g (и) независимы при различных и. Элементы a (zz) и b (и) получаются из элементов р при т = 1 умножением последних на (4л)-1/2. Далее, располагая их в столбец g (и), мы изменили их порядок по сравнению с порядком в р, поместив косинусоиды перед синусоидами. Вследствие этого матрица ковариаций их предельного распределения получается в результате перемены порядка сомножителей в тензорных произведениях (4.4) (как объяснено непосредственно перед теоремой И) и умножения на (4л)-1. Итак, мы получили матрицу ковариаций предельного распределения g (и) в виде

_1 4_1 4яГ1 — z1 ®/w+ i 1яГ1 — z1 ®/w+ i 1®/w}®/w}£Г С(Х) QP)'2 L-e^ cpv£Г С(Х) QP)'2 L-e^ cpv

_1 4

_1 4

яГ1 — z

1 ®/w+ i 1

яГ1 — z

1 ®/w+ i 1

®/w}

®/w}

£Г С(Х) QP)'2 L-e^ cpv

£Г С(Х) QP)'2 L-e^ cpv

fP)=lpp)-iQP)Y

Таким образом,

У SW (4"^^ QW 1 g (ы) _ у (и)* / (X) у (и) =

„i2L-<?w cwjj и

““= Tr(/(X)VV*)-

Якобиан преобразования, переводящего элементы р в элементы g (и), равен (4л)тр. Поэтому постоянный множитель в предельной плотности распределения элементов а (и) и b (zz) равен

(4л/пр(4л/пр2лр det2лр detлр detлр detС Q"-Q С.С Q"-Q С.1/2 Л -т1/2 Л -т

(4л/пр

(4л/пр

2лр det

2лр det

лр det

лр det

С Q"

-Q С.

С Q"

-Q С.

1/2 Л -т

1/2 Л -т

-л"^ {det/(X)}'rn,

как и должно быть, и теорема доказана для л ^ 0, л. Для X = 0, л доказательство простое, и мы оставляем его читателю.

Замечание. Совершенно аналогично можно доказать следующее. Пусть X, Х(1), . . ., Х^ — произвольное конечное множество точек из [0, л], и пусть для j-й из низе выбирается mj частот Xj, t = 1, . . ., т^ вида 2nk/N, ближайших к Х^. Тогда, если х (п) — обобщенный линейный процесс, а / (X) непрерывна и не равна нулю в точках Х^\ то совместное распределение векторов w (Xj, г) сходится при N -> оо к распределению 2 mj независимых векторов, причем те из них, которые относятся к частоте Х^, имеют распределение (4.6), где 2 = / (Х^ для Х^ ^ 0, л. Для Х^ = 0 и, если N четно, для Х^ = л один из векторов имеет обычное многомерное нормальное распределение с матрицей ковариаций / (Х№\

Распределение с плотностью (4.6) играет центральную роль в статистической теории, которая излагается далее; это связано с тем, что величины w (X), с точностью до нормирующего множителя, являются аппроксимацией для z (dX) — ортогональных приращений в разложении процесса х (п) в интеграл Фурье.

Конечно, теорема 10 охватывает и многие другие случаи, так что у (п), например, может быть стационарным процессом (с сериальными ковариациями, которые сходятся с вероятностью 1). Мы вновь вернемся к этим вопросам в связи с проблемами регрессии. Требование равнораспределенности 8 (п), как уже отмечалось, может быть ослаблено.

Теперь мы переходим к обсуждению центральной предельной теоремы другого типа, упомянутой в начале параграфа. Для этого введем следующие условия:

Процесс х (п) удовлетворяет условию сильного перемешивания (2.2) из § 2.

Процесс х (тг) — стационарный четвертого порядка, и четвертые семиинварианты к^ы (0, гц р, q) удовлетворяют условию

222i Kw (°-р- з) I < °°-п, р, <7=0

Последовательность yW (п) удовлетворяет условиям (а), (Ь)' и (с) § 3.

Процесс х (п) имеет абсолютно непрерывный спектр и непрерывную спектральную плотность, причем

j / (X) ® М' ^0.

Второе условие можно заменить аналогичным требованием отно

сительно стационарности третьего порядка, а также третьих и третьих абсолютных моментов (несомненно, что это условие можно ослабить и дальше). Мы, однако, остановимся на условии 2, так как оно пригодится и в дальнейшем (фактически оно уже использовалось в теореме 6 § 3). Если х (п) стационарен в узком смысле, то в теоремах, аналогичных теоремам И, 12, 13, условие 2 можно заменить некоторым необходимым и достаточным условием. На самом деле это можно сделать и для теоремы 10 (если х (п) стационарен в узком смысле), но в этом случае необходимое и достаточное условие слишком сложно, чтобы быть интересным. Условие, о котором идет речь, формулируется в терминах совместной функции распределения GN,x (х) вещественных и мнимых частей всех элементов w (X). Так, например, GN, о (я) есть, с точностью до множителя (ЛС^л)1^, входящего в w (0), распределение среднего значения, и мы ищем для него предельное распределение. Нужное нам условие имеет вид

2'. lim lim ( || ^ ||2^, х (^) — 0- а-*оо N-*oo J

Цх||>а

Интересно сравнить условие сильного перемешивания и условие обобщенной линейности процесса в связи с доказательством теорем типа 11, 12 и 13. Так как обобщенный линейный процесс стационарен в узком смысле, то различие будет заключаться в замене обобщенного линейного процесса на процесс с сильным перемешиванием *), замене условия (Ь) на (Ь)' и введении условия 2'. Сформулируем теоремы, доказательства которых приводятся в приложении к этой главе.

Теорема 10'. При сформулированных выше условиях 1—4 величина Цр ® DN) р асимптотически нормальна с нулевым средним и матрицей ковариаций (4.3) ).

Теорема 1Г. Пусть выполнены условия 1, 2, пусть х (п) имеет абсолютно непрерывный спектр с плотностью, непрерывной {и отличной от нуля) при X = 0, и Tr / (X) равномерно ограничен*, тогда имеет место утверждение теоремы 11. Если опустить условие 2, но потребовать, чтобы х (п) был стационарным в узком смысле, то условие 2' при X = 0 будет необходимым и достаточным.

Теорема 12'. Пусть выполнены условия 1, 2, пусть х (п) имеет абсолютно непрерывный спектр с плотностью, непрерывной (и отличной от нуля) в точке X, и Tr / (X) равномерно ограничен. Тогда утверждение теоремы 12 остается в силе. Если х (п) стационарен в узком смысле, а условие 2 опущено, то необходимым и достаточным условием является 2'.

Теорема 13'. В условиях теоремы 12' имеет место утверждение теоремы 13.

Замечание. Конечно, теоремы 1Г и 12' можно объединить в одну, однако мы предпочли выделить случай среднего значения. Эти теоремы близки к результатам Розанова [1963]; в частности, он доказал необходимость и достаточность условия 2' при выполнении остальных сформулированных условий в случае хх.

Рассмотрим теперь матрицу С (п). Мы сначала приведем аналог теоремы 11', так как он легко вытекает из сформулированной теоремы. Для этого нам понадобится условие, аналогичное 2'. По-види- мому, проще всего сформулировать это условие, введя величину

р q

Ух-<? = 5 S [/Ar{cu (re)—(”)}]а.

2, ; = 1 21=1

распределение которой мы обозначим GN, q (ж). Тогда нужное условие имеет вид

2". lim lim f ^GN% q (dx) = 0.

a->oo N-^-oo J

x>a

Имеет место следующая

Теорема 14'. Если х (п) стационарен в узком смысле, удовлетворяет условиям 1, 2 и имеет абсолютно непрерывный спектр с непрерывной спектральной плотностью, то для любого целого q ^ 0 совместное распределение величин

V N^(пи^ — ун^пМ, й} = ^Pi u = l, q,

сходится к многомерному нормальному распределению с нулевым средним и матрицей ковариаций, указанной в § 3, тогда и только тогда, когда выполнено условие 2".

Эта теорема сразу вытекает из теоремы 11'. В самом деле, в условиях теоремы p^q последовательностей yiju (т) = xt (т) Xj ^тГ пи) — — Чи (пи) образуют многомерный стационарный процесс с нулевым средним и конечными ковариациями, удовлетворяющий условию сильного перемешивания и имеющий абсолютно непрерывный спектр с непрерывной спектральной плотностью. Применим теорему 11' к последовательности /^-мерных векторов V^Va W — Чи (я)} вместо V N xN. При этом роль необходимого и достаточного условия теоремы И' играет 2", за исключением того, что вместо си (п) фигурируют с15 (п). Однако величина

V N {си (и) — уг; (и)} — VN VctM — Yu («)}

имеет дисперсию порядка О GV"1), так что в условии 2" и формулировке теоремы с-^ (п) можно заменить па с^ (п). Теорема доказана.

Ей соответствует следующая теорема без штриха:

Теорема 14. Пусть х (п) — линейный процесс, причем 8 (az) имеет конечные четвертые семиинварианты Кц^ъ тогда величины

VN {сц{пи) — ун(пи)}, i, / = 1, . .., р; ы = 1, ...,q, асимптотически нормальны с нулевым средним и матрицей ковариаций. указанной в § 3.

Доказательство приведено в приложении.

Ни одну из этих теорем нельзя признать вполне удовлетворительной. Мы не будем далее углубляться в эти вопросы из-за их сложности, а также из-за того, что теоремы такого типа, по-видимому, не очень важны. Это объясняется тем, что для практики важнее величины

гн (и) = см (п) {Ci (0) с, (0)}-1/2,

и той центральной ролью, которую играют величины, рассматривавшиеся в теоремах 13, 13'.

Интересно отметить, что по крайней мере при выполнении условия

3 171« О")2 < 00

распределение коэффициента автокорреляции

с (0)

асимптотически нормально для линейного процесса, без каких-либо предположений о четвертых моментах (мы отсылаем читателя к работе Андерсона и Уолкера [1964]). Фактически природу такой ситуации можно попять, рассматривая доказательство теоремы 11 гл. V. Этот результат является довольно специальным, ибо в многомерном случае аналогичный результат уже не имеет места; именно, представляется невозможным, используя технику Андерсона и Уолкера, доказать асимптотическую нормальность величин

M )(0) (О)]1'2

без предположения конечности четвертых моментов, а лишь па основе условия

если только г (п) не является скалярным процессом.

УПРАЖНЕНИЯ

Пусть х (н) — скалярный процесс вида х (п) = a cos пХ + Р sin пХ, где X иррационально, а а, Р — независимые случайные величины с нулевыми средними и единичными дисперсиями. Показать, что xN сходится к нулю с вероятностью 1, хотя х (п) не обладает свойством перемешивания.

Пусть х (п) стационарен в узком смысле, имеет нулевое среднее и непрерывную в нуле спектральную функцию. Показать, что xN сходится к нулю с вероятностью 1. (Использовать теорему 1 и среднеквадратичную сходимость xN к пределу, который равен нулю с вероятностью 1.)*

Вывести формулу (3.3).

Показать, что последовательность независимых одинаково распределенных случайных величин обладает свойством перемешивания.

Показать, что у (и) — п-1/2 удовлетворяет условию (Ь), но не удовлетворяет условию (Ь)' из § 4.

Пусть х (п) — скалярный процесс, удовлетворяющий условиям теоремы 14. Положим г (/г) = с (п\/с (0); показать, что любое конечное семейство величин 7V1/2 (г (и) — р (и)} асимптотически нормально с нулевым средним

и ковариациями между г (zz) и г (и), равными

2 {Р (m) Р (^ + и — 0 + р (^+ ^) Р (^ — и) — 2р (т) р (и^ р (т— р)—

— 2р (zn) р (z?) р (т — м) + 2р (zzz)2 р (w) р (v^.

Пусть х (н) — последовательность независимых одинаково распределенных величин с нулевым средним и конечной дисперсией. Показать, что N^r (/г) асимптотически нормален с нулевым средним и единичной дисперсией. (Заметим, что никаких предположений о четвертых моментах здесь не делается.) Показать, что для любого конечного подмножества значений п величины N^2r (?г) совместно асимптотически нормальны с единичной матрицей ковариа-

м

цпп и, следовательно, статистика N ^ г (/г)2 (711 фиксировано) может быть исполь- 1

зована как хи-квадрат с М степенями свободы для проверки гипотезы о независимости X ^п\

Если х^ (и) и xj (/г) — независимые линейные процессы, то Лт1,2ги (/г) распределен асимптотически нормально с нулевым средним и дисперсией

-Ui w о w

2 PH W PH W = ——S 1

( Ui W ^ У fiWdXy^— Л—Л

^Замечание. Здесь также не нужны предположения о четвертых моментах.) Показать также, что любое семейство величин Д/Кг^ (/г) (для конечного множества значений п) совместно асимптотически нормально с нулевым средним и ковариационной матрицей (для запаздываний п и р)

2 PaWPa^-H- РСт=-оо

9 (Олшен [1967]). Пусть хп — последовательность элементов гильбертова пространства ^?, такая, что || хп || ^ а < сю и (хт1 хп) стремится к нулю при п оо и любом фиксированном т. Показать, что произвольный элемент и £ 3€ можно представить в виде

к

iu=2aw+e+ii,

1

где т| ортогонально ко всем хП1 а е имеет произвольно малую норму. Вывести отсюда, что (zz, х}Ц стремится к нулю для любого и £ сЖ Пусть w (X) вычислено по N наблюдениям за одномерным процессом х (п). Если х (/z) — стационарный процесс второго порядка с абсолютно непрерывным спектром, причем / (X) ^ ^ а «< оо для всех X, то последовательность xN = w (X) удовлетворяет указанным выше условиям и, следовательно, слабо сходится к нулю при А' оо. Вывести отсюда, что если и; (X) не сходится к нулю в среднеквадратичном, то она не может сходиться ни к какой случайной величине.

Показать, что если скалярная последовательность у(Л > («) удовлетворяет условиям (а), (Ь)', (с) § 3, то

1m 1—L_ = оо. 7 = 0, 1

Показать также, что если

(n) = [{log^}1/2-{log (W-l)}1/2]1/2, то условия (а), (Ь)', (с) выполнены, однако

1™„>0.

N-oo Na

ПРИЛОЖЕНИЕ

Доказательство теоремы 10

Мы хотим доказать асимптотическую нормальность элементов матрицы D^B (см. (3.10)). Так как первый множитель в выражении ^D'nYnYnD'n^X X ^D"nYnXn) Для этой матрицы сходится к R (0), то нам достаточно доказать центральную предельную теорему для Dn^YnXn- В свою очередь для этого достаточно доказать теорему для произвольной линейной комбинации элементов матрицы D'nY^Xn. В самом деле, если это доказано, то характеристическая функция фдг (0) фиксированной линейной комбинации сходится к ехр (—1/202н2), где о2 = а'2а, а 2 — предел при N —>- оо матриц ковариаций элементов D^YnXm, расположенных в некотором определенном порядке (этот предел, как нам известно из теоремы 8, существует). Вектор а здесь определяет рассматриваемую линейную комбинацию и Ф;у (0) = ф^ (0а), где ф^ — совместная характеристическая функция элементов D"nYnXn.

Таким образом, ф^у (9а) сходится к ехр (— г/202а'2а), откуда в силу произвольности а следует доказываемое утверждение. Итак, рассмотрим

р 9 N(N) / х

2 2аи 2(~крж)=

2=1 j = lП=1

00N(N) / \

= 2 2 2 °*5 2а* 8 (п~к^ (1 dj (.v) *) ’ k= — оо 2 j 71=1

где а^ (к) есть /-я строка матрицы А (к),:-

4(k)s(n—к), 2 II А W II2 <°°-

где е (м) — независимые одинаково распределенные случайные векторы с нулевым средним и матрицей ковариаций G. Перепишем х^ в виде

00^(7V) / \00

xn= 2 (2 2 2 ai^Siw^ а^п~и^eW= 2

*U = -oo2 j 72=1U= — oo

Конечно, Ц;у,и зависят от сц^ но так как atj фиксированы, мы пока не вводим их в обозначения. Мы уже установили в теореме 8, что дисперсия xN сходится к

л

2л j 2 <4jahlhkWMlj№<oo-(1)

-л г, j, к, I

Величины r|2v, и независимы и имеют конечные дисперсии, откуда следует, kN

что можно найти последовательность kN->oo1 такую, что для yN = 2 4№,и

будем иметь

lim Е ^xN — yN)2) = 0.

N-*oo

Поэтому достаточно доказать теорему для последовательности yN. Для этого в свою очередь достаточно установить (см. Гнеденко и Колмогоров [1949], стр. 110), что для любого д > 0 выполняется условие Линдеберга, а именно, что

kN

2 J(2)

u=—k^ | г |>6

где FNi и — функция распределения величины tjjv, и* Рассмотрим теперь частный случай, когда

=/) — 2j dj^N)) ai 8

Следуя Эйкеру [1965], мы заметим сначала, что из условия (Ь) § 3 следует равенство

..\y(^W\

hm max —<■ ■■— = 0.

N->oo X^n^N

Поэтому существуют целые числа mN ->оо, такие, что

lim mN maxN-oo l^n^Nlim mN maxN-oo l^n^NI У^ W I<W) ~I У^ W I<W) ~

lim mN max

N-oo l^n^N

lim mN max

N-oo l^n^N

I У^ W I

<W) ~

I У^ W I

<W) ~

Пусть un — номер, при котором достигается

У^ (”) "a?WУ^ (”) "a?W«i (л —u)«i (л —u)max**" ^N^u^kNmax**" ^N^u^kNТогдаТогда

У^ (”) "a?W

У^ (”) "a?W

«i (л —u)

«i (л —u)

max

**" ^N^u^kN

max

**" ^N^u^kN

Тогда

Тогда

<1! 2' (<£-W»-4HI 2'(-<^)II.

где ^' означает суммирование по всем п, таким, что |м — uN | > t1^^]»

а 2"—по остальным п, 1 < п <. N. Правая часть последнего выражения

У^ W"djWУ^ W"djWоценивается величиной

У^ W"djW

У^ W"djW

< Л II “i (^ II2 7 +miv sup || аг (v) II max IJуп

которая, очевидно, стремится к нулю для всех г, /. Заметим теперь, что

sup-hN^u^hNsup-hN^u^hNE(^,„E(^,„'‘•'>><^U 2 Сда?Н"-“>|Г’

sup

-hN^u^hN

sup

-hN^u^hN

E(^,„

E(^,„

n=l

где p — наибольшее собственное значение G. Имеем

nw, U = 2 S ®O^. U (i, /),

следовательно,

sup {E (!]), „)}1/2 С

N (Ny \

~p || 2 ("Ur)“‘i-»>||.

n= 1

что стремится к нулю при N —>- оо. Пусть q^ и—дисперсия г]у} и* Тогда (2) равно

hN

2 ^ u (^n, и < С max С x^Gn, и

-hN lx|>6(2V,u)N N\x\>6(N,u)

6 (TV, u) =6 (TV, u) =6Qn, u6Qn, u

6 (TV, u) =

6 (TV, u) =

6

Qn, u

6

Qn, u

где С — верхняя граница для сумм дисперсий q^ u, a G^, и — функция распределения случайной величины q^ u4n, и\ однако величина q"^ u4n> и имеет вид ф^ ие(м), где ф^ и^Ф^, и = 1> так что область, где она превосходит по модулю 6 (N, и), содержится в области, где 8 (м)' G-18 (и) *> 62 (N, и); в самом деле,

^, U® (“) 6(“)' I’n.u^^n, ugV2) (G-1/2s W e W G~i/2) (GM^n, u) =

= e W G-1<2 (Gl/\N, u^ uG*/2) G-i/28 ^ ^ g w G-i g (M).

Так как распределение 8 (uy G-1 е (м) не зависит от и и 6 (7V, м) -^ оо, то (max qNi ы)-1 также стремится к бесконечности, и теорема доказана. Из дока- зателъства видно, что вместо равнораспределенности 8 (и) достаточно потребовать, чтобы величины

j x^Fu t^dxy

x>6(N, и)

где Fu — функция распределения (е (иУ G ^e (m)}V2, сходились к нулю равномерно по и. Дальнейшие подробности можно найти в работе Эйкера [1965].

Доказательства теорем И и 12

Теорема 11 сразу следует из теоремы 10, если дополнительно предположить, что / (X) кусочно-непрерывна. Однако кусочная непрерывность / (X) используется в теореме 10 только в связи с теоремой 8, которая устанавливает асимптотическую формулу для матрицы ковариаций. Но мы уже знаем из следствия 4, что если / (X) непрерывна в нуле, то Д/N xN имеет матрицу ковариаций, указанную в теореме 11, так что эта теорема не нуждается в дальнейших пояснениях. Для теоремы 12 ситуация аналогична. Рассмотрим случай X ^ 9, л, оставляя подробное рассмотрение двух других случаев читателю. Типичный элемент матрицы

N

KN ^ = D-N1 2 yWW yW (пУе^п~т^ 6D^m, n—i

имеет вид

2 у у coscos t (n_m) e

jV 2J 2-1 sinsin ”

m n

где синусы и косинусы могут появиться в любой комбинации, а Хи даются формулой (4.2). Если X £ (0, л), то для достаточно большого N имеем Хи £ (0, л), и = 1, . . ., т. Теперь, определяя м, как в начале доказательства теоремы 8, получаем нужную нам матрицу ковариаций:

HP®D^E^u')(Ip®D^ = j f№®KN^d9.(3)

-Л

Элементы матрицы KN (9) являются линейными комбинациями членов 'NN

1 XI ,- in (6 ± Хи) 1 XI „гп (6 ± Xd)

Vn , VN ,

с коэффициентами ± 1/2 или ± i/2. Рассмотрим

ЛN

-Л1

лN'

J Vn , "Vn

лN

(4)(4)+ ( (/(6)-HM)^4=2e-in<9-4)

(4)

(4)

—л1

Первый интеграл равен нулю при Хи =^ Х„, ибо он равен

N

2«/Wy2 ein (Х« ± V = 2л/(X) 6».

П=1

Квадраты модулей двух последних сомножителей во втором интеграле равны соответственно LN (9 — Xu), LN (9 + Ху). (См. § 3 математического приложения.) Поэтому сходимость второго члена к нулю доказывается почти так же.

как сходимость чезаровских средних ряда Фурье функции, непрерывной в точке X, к значению функции в этой точке (в нашем случае это значение равно нулю); единственное (незначительное) усложнение состоит в том, что 1и и Ху могут отличаться от X на величину порядка кт!N. Следуя рассуждениям § 3 математического приложения, мы можем найти d-окрестность точки X, внутри которой || / (0) — / (X) || < е, а вне LN (0 — Xu) < е, LN (0 — Ху) < е. Аналогично, Ln (0 + Ху) < е вне такой же окрестности точки —X.J Рассмотрим, например, случай, когда во втором множителе берется +XD. Тогда второе слагаемое в (4) оценивается величиной

8 j/,№(0-^и)1/2^(0 + ^)1/2^0 +

|6-Х | ^6

+ j ||7(0)-7(Х)||^(0-Хо),/2^(0+М^

I е—х | >6

<2ле + 81/2j ||/(0)-/(Х)||^ (0 + V/2d0<

I в—хi>б

<е{2л+ [ ||/(0)-/(X)|H0| -^J ||7(0)-7(X)||LjV(0 + XD)1/2d0<

Iе+11 <в

<е (2л+ ( II / (0)-/(X) 11^0]-4-се1/2 = 0 (8^2),

так как / (0) непрерывна в точке —X. Таким образом, ненулевой вклад в (4) получается только тогда, когда +Ху равно —Хи. Аналогичный вклад получается, если вместо —Хи подставить +Хи и заменить +Хуша +Хи. Суммируя эти вклады с соответствующими коэффициентами, мы получаем

2л/ (X) ® 7g + 2л/ (X)® 7g,

что и требовалось.

Можно заметить, что даже если / (X) не непрерывна в точке X, но имеет односторонние пределы / (X + 0) и / (X — 0), теорема все же будет верна с заменой / (X) на V2(/ (X + 0) + / (X — 0)). При X = 0 никакого обобщения не получаем, так как / (—X) = / (X).

Доказательство теоремы 10' § 4

Так как из (Ь)' следует (Ь) (см. § 3), то асимптотическая формула для ковариаций Р по-прежнему имеет место. Поэтому вновь рассмотрим вектор и, причем, следуя Розенблатту [1962], положим

где

и (/) = 2 ж W ® W' ^ ДО = S ® W W- SjТк

Здесь

Sj = {n\j (a (TV) + b (TV)) < n < U + 1) a (N)^jb (N)},0<,1<с^ c(N') = YN {a(jV) + 6(TV)}-i],

где a (N), b(N), с (TV) —целые числа, такие, что a^N), b(N), c(N)-+oo, b (N)/a (TV) 0, a

Tft={n|(/c + l)a(TV) + ^(TV)<n<(/c + l)(a(TV) + b(TV))}, k = 0, 1,c(TV) —1,

Tc (N) = {n | c (N) la (TV) + b (TV)) < n < TV}.

Положим S=U Sj, T=\J T^, так что S (J T содержит все целые числа от 1 до TV. Покажем сначала, что II р ® D^ ^ ^ (^) сходится к нулю по ве- k

роятности. В самом деле, этот вектор имеет матрицу ковариаций

j fW®2 2 V^D-NVN4m')y<N4nYD-^eUTl"m)K\<iK< -лТ

< 2л sup || / (X) || 1р ® ^ DNyW (") 1PWn.т

Но так как {с (TV) b (TV)}/{с (TV) a (TV)} -> 0, то заведомо с (TV) b (N)/N ->- О, значит, в силу условия (Ь)', диагональные элементы неотрицательной матрицы, которая входит вторым множителем в тензорное произведение, сходятся к нулю; следовательно, и все тензорное произведение сходится к нулю. Поэтому достаточно рассмотреть только (Jp 0 D"^1) ^ и UV Положим

2 2 ^ w «^ м

5J^= 2 ^ u (z’ п‘

и

Обозначая через к/(*, •, •, •) четвертый семиинвариант для х^ (п), имеем

2Б<4и(‘->»=2( 22 {тг^-т^нд-рн ии ТП, п, р, q^Su

+ ?i (Р—"О Vi (9 —") + Yi (9—m) Yi (p — n) +

+ *i(0, n — m, p—m, q— m)} y^N) (m) y^ (n) y(^ (p) y^N) (q)/^ (N)).

Это выражение не превосходит

j2^W)2^wawpSv^^- J +

+22222^°-.

u m n p qI

(5)

Поскольку a(N)/N ->0, то, в силу (b)',

Так как, кроме того,

2 2 «^ (”)2

и Su j

то первое слагаемое в (5) стремится к нулю для любых I, j. Второе слагаемое ограничено величиной

\ 1 200

sup - l^n^Nsup - l^n^N^} SS2{i^°’a’Mi22

sup - l^n^N

sup - l^n^N

J а, b, с=—сои m^Su

где мы условимся считать, что z/j^(n) = O при тг^О и п*> N. Последнее выражение не превосходит

sup < J f V V V I Ki (0, a, b, c) L l^vMjWj ZJ ZJ ZJ 1 z k

a b c

ибо при только что установленном соглашении

У^Ч™) t/^m + a)У^Ч™) t/^m + a)У^Ч™) У^Ч^ + а) 5JWУ^Ч™) У^Ч^ + а) 5JW

У^Ч™) t/^m + a)

У^Ч™) t/^m + a)

У^Ч™) У^Ч^ + а) 5JW

У^Ч™) У^Ч^ + а) 5JW

что в силу неравенства Шварца не превосходит единицы. Из (Ь)' и условия 2 доказываемой теоремы следует, что второй член в формуле (5) стремится к нулю, а значит, сходится к нулю и все выражение (5).

Положим теперь

nw, и=2 2 ^р^.«^ ^(6)

и рассмотрим величину

2^, и.

и.

асимптотическую нормальность которой мы и должны установить (см. начало доказательства теоремы 10). Имеем

Iе 04, Л1/4 <221 аи । (Е 04, и о, 7)))1/4, г з

поэтому ^ В (Ц^ и) стремится к нулю. и

Согласно теореме Ляпунова (см. Гнеденко и Колмогоров [1949], стр. 110), величины ^^w^u были бы асимптотически нормальными1, если бы слагаемые и

Ц^, и были независимыми. Чтобы доказать, что центральная предельная теорема имеет место, как и в случае независимых слагаемых, рассмотрим события

Е (ь т^ = ^jc (N)^ < цх, , < (m; +1) с (N)-*}.

Докажем, что

2р{(Ж ^)}<p(2^,j<^)<2"p<Ci^o> т^, 33

где ^ —суммирование по всевозможным подмножествам с (N) индексов mj, таких, что

С(^)2

а 2" — аналогичная сумма по подмножествам целых чисел mj, таких, что

с^с^X.X.

с^

с^

X.

X.

Для доказательства заметим, что события Q Е kb mj), когда mj пробегают з

все целые числа, образуют разбиение с (А)-мерного пространства на непересе- кающиеся параллелепипеды. Очевидно, что каждое из событий, вероятности которых суммируются в левой части доказываемого неравенства, влечет за собой событие в средней части, так что первое неравенство справедливо. С другой стороны, каждое ц^ лежит в каком-либо полуинтервале (mjc (A)-2, kmj + 1) X X с (TV)-2], причем если происходит среднее событие, то mj удовлетворяют соотношению (*). Таким образом, доказано и второе неравенство. Пусть Fj^ltN — функция распределения величины Ц^,;’ 7 = 0, . . ., с kN) — 1. (Мы нумеруем FjiN подобным образом лишь для того, чтобы не вводить сложные индексы.) Тогда

Fl, N * F2,n * • • • * Ес (Ю, n (я —с (А)-1) <2 Цр (^ (7, т^'(7)

3

так как из 2 тру, i^x — c^Ny1 следует, что для некоторого множества чисел з

mj выполняется каждое из событий Е kb mj).

Аналогично

2'Ц Р (Я U, mj)) < Fu N * ... * Fc W>, N (® + c (jV)-i)•(8)

3

Покажем теперь, что 2 р(П Eki, mj)) можно заменить правой частью соотношения (7), а 2" Р(П ^^’ т^— левой частью (8), в том смысле, что разность между указанными выражениями будет стремиться к нулю при подходящем выборе а (А), b (А), с (А). Отсюда будет следовать центральная предельная теорема, так как

Ft, n * ^2, n * • • • * Fc <N)t N

стремится к нормальному распределению. Имеем, во-первых,

для некоторого к, ибо

Е {шах | r]N,, |р < Е {2 I Тх, j I2} < c W№.

3

С другой стороны,

c (2V)— 1c ^N^-

< c W g (b (W))< c W g (b (W))? ( Q EU, mj))- [J P^EU, mj))

< c W g (b (W))

< c W g (b (W))

3=03=0

(здесь g — функция, фигурирующая в условии сильного перемешивания). Это следует из того, что событие Е kh mj) определяется величинами х (п) для п £ 6 Sj, причем каждое из множеств Sj отделено от другого по крайней мере b (А) единицами времени. Повторное применение условия сильного перемешивания дает нужный результат. Всего имеется {2с (А)3 кв-1/^0 ^ множеств Е kl, mj), для которых шах | ц^- | не превосходит с kN) к в-1/2. Следовательно,

12"р (0 £ У’ ^ ~ 2" П р <s (/-mi» I <с w <2с w3 ka” 1/2}с wg (6 ^^ +е

(это можно установить, разбивая выборочное пространство на подмножество, в котором

max | rpv, j К с (TV) кг-1/2,

и его дополнение). Конечно, аналогичный результат справедлив и для 2'* Если мы условимся считать, что g (я) > (1 + ^)-1, ^>0 (это не ограничивает общности), то мы можем выбрать с (N) так, чтобы

cW<{ — log g (Ь (jV))}1/2, ибо

log (с (TV) {2с (A^g-1^ W)=ac (3T) + 3C(W) logc (jV) + log с (ЛГ),

что имеет порядок, меньший с (TV)2 при c(TV)->oo. Теперь, полагая b^N) = =^1/2, a(N) = N/c(N)—N^2, мы видим, что

а W > i~172 —у1/200 ’

{log (l + Z,(W))}l/2

a (N)/ Nli2

6 W —\{log(14-b(jV))}1/2

и теорема доказана.

Доказательства теорем 11' и 12'

Если у^ (п) равны единице, то

Ну, и —Ну, и ——7= V а'х ^,OU—7= V а'х ^,OU

Ну, и —

Ну, и —

—7= V а'х ^,

OU

—7= V а'х ^,

OU

и в случае стационарного в узком смысле х (/г) распределение ц^-^ не зависит от и. Условие Ляпунова можно теперь заменить условием Линдеберга. Как мы увидим, это можно было сделать и для теоремы 10' и получить необходимые и достаточные условия в случае стационарности в узком смысле. Однако эти условия было бы довольно трудно интерпретировать, и поэтому мы рассмотрели случай стационарности в узком смысле только в теоремах 1Г и 12'.

Необходимость условия 2' очевидна, так как если FN — функция распределения величины "VN xNl сходящаяся к (нормальной) функции распределения F, то, в силу теоремы 8,

Иш [ |И|2^(^) = [ ||<TW

N-*oo J J

где интегрирование производится по р-мерному евклидову пространству. Более того, если теорема верна и FN сходится к F, то для любого а > 0

.lim J ||л:||2^(^) = J || х ||2F (dx).

N °°||хП^а||x||^a

Поэтому

limf |M|W (dx) =(|И|27^),

N-*oo ,JJ

||хЦ>а||x||>a

так что 2' действительно имеет место. Мы должны пересмотреть только одно место в доказательстве теоремы 10', касающееся распределения величин ц^.и

в предположении их независимости. Необходимым и достаточным условием сходимости распределений сумм

и

к нормальному является условие (2) этого приложения, в котором следует считать 0 ^ и ^ с (N) — 1. В нашем случае, когда FNtU не зависит от и, оно принимает вид

I X |>6c (N), то это соотношение равносильно следую-J x^H^(dx>)=01I X |>6c (N), то это соотношение равносильно следую-J x^H^(dx>)=01Иш с (TV) f x^Fn, и (dx) = 0. N-*oo’

I X |>6

c (N), то это соотношение равносильно следую-

J x^H^(dx>)=01

I X |>6

c (N), то это соотношение равносильно следую-

J x^H^(dx>)=01

Так как N]a (N) эквивалентно щему:

Иш

N-*OO

| х \>6c(N)

где HN— функция распределения величины

a(N)

Это выполняется, если

lim lim f x2Fa> N (dx) = 0, a-*oo N-*oo J |x|>a

где Fat N — функция распределения величины

N

У а'ж(Л).

Vn

Так как | а' "V N xN |2 <; a'aNx'NxNl то условие 2' при Х = 0 в свою очередь превращается в достаточное условие асимптотической нормальности величин У ту a'xN при любом о ^ 0, и теорема доказана.

В случае теоремы 12' ситуация лишь немного усложняется. Теперь мы рассмотрим

2 ж (”) cos n^N. vN, J=^ )1/2 2 ж (n) sin nX-jv,

где XN — число, кратное 2л/TV, которое стремится к X при N -> оо. Рассмотрим случай X ^ 0, л, так как случай X = 0 уже был рассмотрен, а случай X = л почти от него не отличается. Пусть / непрерывна в точке X. Распределение величин uNljS vNlj зависит от / даже для стационарного х (п). Если, однако, положить

^,j = /{» ть№ и

“№’У=("у) ' '21X^№S^n — aN,j^N\t

VN,2 *(re)sin{(n— aN,

Si

то uNi j и vN)j для любого / имеют те же распределения, что uNi 0> un, о» причем

Up^ j — UN, j COS аjy, j^N — VN, j sin ClN, j^Ni

UN, un, j cos aNi jXN-\- uN) j sin aNi jXN.

Вновь нам достаточно рассмотреть случай, когда каждая из последовательностей {uN)p uN,jY 7 = 0, 1, . . ., с (N) — 1, состоит из независимых компонент. Условие типа (2) для асимптотической нормальности ^^vJ имеет ВИД

c(N)-l

lim У I x^Ft N^ = 0,6>0,

N-oo,

0|x|>6

где Fj,^— функция распределения величины ^, j = a'juNt j + ^w, j и aj, bj — произвольные вещественные векторы. Однако

Л^, i = (aj cos aN, j^N-V^j sin aN, J^nY un> j~\~(bj cos a^y, jXy — aj sin л^у, J^nY un, is поэтому

I ^, j I < («j«j + b-bj)1/2 (“nJ“nj + vn, jVN,))1/2.

Условие

lim c (N) f x^G^^dx),N-*ooJ e

x>6

где GN—функция распределения u'N uN + v^ vN, j, достаточно для асимптотической нормальности. Теперь, рассуждая так же, как при доказательстве теоремы 1Г, мы получаем достаточность условия 2'. Необходимость доказывается точно так же, кац в теореме 1Г.

Доказательство теоремы 14

Рассмотрим сначала величины к

^W = 2 л ^ 8

-к

которые получаются как скользящие средние конечного числа независимых одинаково распределенных случайных величин. Тогда для фиксированного конечного множества значений параметра п величины

Nv m=iNv m=iXi (m) x j (m 4- w)Xi (m) x j (m 4- w)

N

v m=i

N

v m=i

Xi (m) x j (m 4- w)

Xi (m) x j (m 4- w)

могут быть записаны в виде

N

-у=- 2уиu=1 2> г>

гДе Уи равно x*i (т) x*j (т + м) для некоторого набора i, /, п и уи (т) конечно зависимы в том смысле, что уи (т^ yv(P) независимы, если | т — р\ превы-

шает некоторое фиксированное число (вида 2Х + $, где q определяется множеством значений п). Векторный процесс уи (т) теперь стационарен в узком смысле и удовлетворяет условию сильного перемешивания. Более того, спектр этого процесса (после центрирования z/u) абсолютно непрерывен и спектральная плотность непрерывна. Поэтому, согласно теореме 10', величины V N ^j ^—^ц (и)}, где чц (тг) = Е (сц (тг)), асимптотически нормальны.

Докажем сначала следующую лемму, принадлежащую Бернштейну [1926], которая будет использоваться и далее в этой книге. Мы будем ссылаться на нее как на лемму Бернштейна.

Пусть xN — последовательность векторных случайных величин с нулевыми средними, и пусть для любых 8 > 0, £ > 0, Т| > 0 существуют последовательности случайных векторов yN ^, zN (е), такие, что xN = yN (е) + zN (е), где распределение yN ^ сходится при N —>• оо к многомерному нормальному распределению с нулевым средним и матрицей ковариаций 2(e), причем

lim 2(e) = 2, P^n^Y in^>^<x\.(9)

е-*0

Тогда распределение xN сходится к многомерному нормальному с матрицей ковариаций 2.

Доказательство. Если второе из соотношений (9) имеет место для любых ц > 0, £ > 0, то аналогичное соотношение верно и для a'z^ (е), где а — произвольный вещественный вектор; аналогично, первое из соотношений (9) имеет место, если заменить 2(e), 2 на a'2(e) а, а'2а. Поэтому, так же как при доказательстве теоремы 10, достаточно ограничиться скалярным случаем. Положим тогда а'2а = о2. Пусть ^ > t0 и £ достаточно мало; введем множества

^1 = {(о | | zN (е) | <^,^2={® I *о + £ < yN (8) < ^1 —U»

^3 = {to I to <. XN < ^}, ^4 = {(О I to — t, <_ yN (s) C ^1 + ^}*

В силу (9), Р^Е^^Л— ц и

P (£3) > P № A ^2) > P (^1) + P (^2) - 1 > P (^2) - Y],

P (^4) > P (^ П ^3) > P (^1) + P (^з) -1 > P (^з) - Г].

Поэтому

P (^2) - ц ^ P (^з) ^ p Ш + n.

Кроме того, для достаточно малых 8 и £ и достаточно большого N

Р(Я2) + ГЦ= /;^-9 (уJ

где | Ц1 | <Ц, | Лг I <Л- Поэтому для достаточно большого N

Р№)=—j=- ( e-xiW ^ + т)з, Из К 31],Д/2ла2 J

и лемма доказана.

Вернемся теперь к доказательству теоремы 14. Заметим прежде всего, что вместо сц (тг) можно рассматривать с^- (п), так как V^ {cij W — ctjWV как мы уже знаем, сходится к нулю почти наверное (см. доказательство теоремы 6 в этой главе). Положим

xn = VN (сц^—'Щ^, 9n W = VN Gu М — чи МУ

Выбирая К достаточно большим, мы можем сделать предельные ковариации величин yN (е) сколь угодно близкими к ковариациям xN. В самом деле, спектральная плотность fK (X) процесса х (п) сходится равномерно к / (X,); если рассмотреть выражение (3.3), то первые два члена в пределе при N -> оо зависят только от матрицы / (X) (см. текст ниже (3.6)). Оценка последнего слагаемого в (3.3), даваемая выражением (3.6), показывает, что эти слагаемые для х (м) и х (/г) будут сколь угодно мало отличаться одно от другого при достаточно большом К. Теперь, так как величина zN (е) = xN — yN (е) имеет нулевое среднее, в силу неравенства Чебышева нам достаточно доказать, что дисперсия zN (е), а именно

NvaT^cij^ — Cij^,(10)

сходится к нулю. Положим z (п) = х (п) — х (п). Тогда

VN (ctjW — Cij(.n^ =

= чА= 2 ^z' ^ ^ (т + ") + ^i ("0 Ч (m + га) + zz (гаг) Zj (гаг + п)}, " т

и мы должны доказать, что дисперсия каждого из трех членов этого разложения сходится к нулю равномерно по N. Средний квадрат первого члена равен

N

JV"12 2El22 ^ajqWS^l +n-U^X

I, m=\ 1ИЖ Plu|^K q

x У У агг(у)ег(7п —у) 2 2a^)8s(m+ra-w)], kl>K rlwl$K s

что после центрирования дает дисперсию

2 2 2 2(22 (арга98 2' 2" “ip W Щг (m — l+t) ajq (v) ays (m — Z+v)+ p q t s I mt и

+ aps°qr 2"' 2"'“‘Р №“is (m + n — l + t) O-jq^ ^ir 1т~ n~l + “) + t и

+ ^pqrs 2 ^ip W ^зч (^ + ^) «гг kt-Vm — I) ajs (Z + zn + n — Z)}), t

где 2' — сумма no | Z | > 7<, 2 " — по | и | ^ К, 2]"' — по множеству, содержащему не более конечного числа значений t > К или и > К, и последняя сумма — по такому же конечному множеству значений t. Таким образом, только первая из этих сумм могла бы не стремиться к нулю; для фиксированных р, д, г, s с точностью до множителя oproqs она равна

2('-^){2'Clip (i) air («4-т)| | 2 a/g(y)aJs(y + T)| ,(11)

|Tf<W-lJJ

что по абсолютной величине не превосходит

ОООООО

2' । “tp w । 21 “ir w । {21 “^ (012 21 “ь w i2)1/2-

При К -> оо это выражение стремится к нулю.

Второй член, очевидно, имеет такую же структуру и по тем же причинам сходится к нулю. Дисперсия третьего члена имеет аналогичную структуруг только суммы 2 \ 2'"’ 3 заменяются на суммы вида 2 • Равномерную по N t

сходимость к нулю можно доказать аналогично; например, член, содержащий четвертый семиинвариант, для фиксированных р, q, г, s оценивается следующим образом:

N'^pqrs 2 2 2' “ip W а3ч ^ + ") “ir (i +0 »ys (i + m + ”—0 <

I m

<S*i“jpWi i“^(z+n)i 2 i «г,-о+т)а^ (<+?+«)!»

что, очевидно, стремится к нулю. Теорема доказана.

Глава V

Статистические методы спектрального анализа

ВВЕДЕНИЕ

Существует довольно обширный круг задач, в которых статистические процедуры лучше всего реализуются при непосредственном использовании исходных наблюдений без привлечения преобразования Фурье. Некоторые из них мы рассмотрим в гл. VI. Методы, основанные на смешанных моделях авторегрессии и скользящего среднего, которые будут рассмотрены в гл. VI, представляют определенный интерес при небольших выборках (как это часто бывает в экономике), когда доход, получаемый в результате правильного вклада в параметрическую модель, весьма высок, и поэтому такой вклад обязательно будет сделан. Подобные методы важны также в задачах прогнозирования и регулирования, где они особенно хорошо приспособлены к машинным расчетам итеративного характера.

С другой стороны, в общей ситуации (например, в науках о Земле), когда объем имеющихся данных велик, следует, очевидно, использовать спектральные методы. Основанием для этого служит фундаментальное свойство инвариантности, заключенное a priori в предположении о стационарности (эта инвариантность оказывается в некоторых случаях единственной основой для априорных суждений и находит свое проявление в физических понятиях частоты, фазы и амплитуды). Если в условиях большого числа наблюдений (например, 1000) применяется модель типа авторегрессии или скользящего среднего, то часто приходится вводить очень много параметров, чтобы адекватно описать изменения данных. Например, в скалярном случае вместо 100 спектральных ординат может возникнуть необходимость оценивать 100 параметров авторегрессии. Каким образом следует тогда интерпретировать эти параметры? По-видимому, естественно было бы исследовать собственные колебания авторегрессионной системы, однако это опять приведет нас к спектральным рассмотрениям, как и методы, основанные на преобразовании Фурье. Подводя итог, можно сказать, что в условиях, когда имеется большое число наблюдений и анализ данных нужен не столько для прогноза или регулирования, сколько для изучения источников статистической изменчивости данных, на первый план выступают спектральные методы, обсуждаемые в этой главе.

ФИНИТНОЕ ПРЕОБРАЗОВАНИЕ ФУРЬЕ

Как мы уже говорили, центральное место будут занимать финитные преобразования Фуръе

N

которые будут вычисляться для частот X = 2л W, к = 0, 1, . . ., N. Удобно ввести для этих частот специальное обозначение: юк = = 2nk/N; мы не указываем на зависимость от N, так как это не приведет к недоразумениям.

Мы уже рассматривали такие величины в гл. IV (см. теорему 6 и обсуждение, следующее за соотношением (3.7), теоремы 13, 13' и упражнение 9 к гл. IV). В случае когда х (п) — линейный процесс (см. гл. IV, соотношение (3.4) и ниже), можно весьма полно исследовать свойства w (X). Итак, рассмотрим

N

NОО

1—ОО

= 2л и)у= 28 w ^пХ+г„ w,

rN (X) =2 A (j) e^R,. N W,

где

ом

{ F г(п)ешх—^ e(n)einX), O-^/^V,

n=-;4-lп=^-74"1

3N-з

[—2 8(^)einX+ F ^Дп^е™^— V</<’0,

n=ln=N+l.

N-зN

F г^е^— 2 s^e™^ N<J<Loo, n=-j4-ln—1

NN — j

— F 8 (n) einX — F 8 (n) einX 1 ’ — o° < / <^ — N.

n=ln=-J4-l

Будем теперь рассматривать случай, когда е (/г) имеет конечные 2fc-e абсолютные моменты. Тогда

^тах{Е[{(|л(7^^^

х(2^(П^^

С 2 II А W II max [Е «Rj. N (X)* RL N (X))h}]1/2ft < y2nNX

<Cft2H0’)iimin(1’ (i/m1/2)’(2-d

так как при /, N-^oo

E {№, x (X)* Ri. N <<> = | 0 ^ . > д;

потому что члены, содержащие 8; (п) только в первой степени, не дают вклада в математическое ожидание. Константа ск зависит только от абсолютных моментов величин ^j (м) до порядка 2к. Заметим теперь, что можно найти т, такое, что

2 молк^.

'1 3 \>т

Тогда правая часть (2.1) не превосходит

2 iMwn(W'scl«+(Tr),rt 2 и</)н.

|;|^^э=-оо

и, выбирая V^ большим, чем е-12 J/ т 2 И ОН мы видим, что

не превосходит е. Таким образом, в силу произвольности е

т(Х) = (2 А (/) е^ w^, X) + rN (X),■

где w (е, X) определяется через е (п) так же, как w (X) через х (п), причем

lim max Е {(rv (X)* rN (X))h} = О,N->oo x‘

при условии, что 2k-e абсолютные моменты 8 (п) конечны. В частности, rN (X) сходится к нулю по вероятности.

Более сильный результат можно получить при дополнительном условии

5 НЛ(/)И 1/|1/2<оо,

так как тогда из (2.1) следует, что

max [Е ^rN (КГ rx р))^ ^-^- Ск 2 || А (П II I 7 С^^" -

и, значит, 2к-е абсолютные моменты компонент вектора rN (X) имеют порядок N-k при N -> оо равномерно по X, если 2к-е абсолютные моменты компонент е (п) конечны т).

Теорема 1. Если х (п) — линейный процесс, причем величины е (п) имеют конечные 2к-е абсолютные моменты, то

^W=^A (/) w (е, Л) + rN

где rN(k) имеет абсолютные моменты порядка 2к, сходящиеся к нулю равномерно по X; если, кроме того, 2 IM (?) II |/|1/2<°°, то 2к-е абсолютные моменты rN(k) имеют порядок N~k равномерно по X.

Если х(п) представляется в виде

х^ = ^ А^Цп-Й, §И(/)||<оо,(2.2)

— ОО—оо

где е (az) — некоррелированные векторы с нулевым средним и матрицей ковариаций G, то rN (X) сходится к нулю в среднеквадратичном равномерно по X.

Позже мы используем, некоторые аспекты этой теоремы, однако в данный момент она ненамного увеличивает наши возможности, поскольку в оставшейся части параграфа мы собираемся рассмотреть статистические процедуры, основанные па распределении (4.6) гл. IV для Vj (и) (т. е. Wj (Х^)), которое было установлено при несколько более общих условиях. Однако предварительно мы сформулируем результат теоремы 1 в терминах величины

I (е, X) = w (е, X) w (е, X)*.

Теорема 2. Если х (п) — линейный процесс, то его периодограмма I (X) представима в виде

I (X) = {§ A U) ^^} / (8, X) {§ A U) eijx)4 Rn W,

где при условии конечности 2к-х моментов е (п) к-й абсолютный момент величины RN (X) стремится к нулю при 7Vоо равномерно по X; если же 2 II А (у)|| | у I1/2 < оо, то этот момент имеет порядок yy-W равномерно по X. Если х (п) удовлетворяет условию (2.2), то первый абсолютный момент RN (X) стремится к нулю.

Следствие I1). Пусть х (п) — линейный процесс с конечными четвертыми моментами; тогда для любых фиксированных Х1? Х2

г 0,Xt ^= Ч- Х2

lim cov{7PQ(X1), jV-*OOlim cov{7PQ(X1), jV-*OOtpr^teq^VХ^-Х^О^Л,

lim cov{7PQ(X1), jV-*OO

lim cov{7PQ(X1), jV-*OO

/рг ^fsq OWpA^tqA^

Х^ —Х2 —0, zb л.

Более того, если Х1? Х2 имеют вид 2nj/N, у = 0, 1, . . ., [V2A7], то среднеквадратичная скорость сходимости имеет порядок О (А7-1) равномерно по у, если 2 II (у)|| |у |1/2 <С оо.

Доказательство.

cov (7pg (е, Xi), ITS^. M) =

" 4Я2/У2 ^ {2222 гР^ е9 W 8Г (0 8s (т) X .т I к э

X exp [i {(/ — к) Xj — (Z — т) Х2}] | — —^ ^pq^rs, где (5pq — ковариация между гр (п) и ед (п). Это выражение равно OprOqs ( sin 1/2А (^4 —Х2) 3 2 . OpsOqr Г sin 1/2.V ^ + Х2) З 2 , ^pgrs 4л2 \ in sin 1/2 (Aj — Х2) J 4л2 |^ 2V sin 1/2 (Xj-j-Х2) / * N ’

где xpqTS — четвертый семиинвариант величин ер (п), ед (п), гТ (п), 8$ (п). Если Xi и Х2 имеют вид 2njlN, то при Xj Х2 или Х4 ^ —Х2 первые два члена равны нулю. Эти члены стремятся к нулю также для любых фиксированных Х1? Х2, если только Xj ^ Х2 или Xj ^ —Х2. Так как величина RN (X), согласно теореме 2, сходится в среднем к нулю, то мы можем пренебречь ею при оценке ковариаций. Таким образом, например, при Х4 = Х2 = X Ф 0, ±л имеем

lim cov <lpq (X), Irs (X)} = 2 5 2 S gpk W x N-*ooк I m n

x Sql (^) ^rm (^) §sn (^) ^hmOlnf^^* ~ fpr (X) fas (X) = fрт (X) fSq (X),

x) Мы напоминаем читателю, что при вычислении ковариации двух комплексных случайных величин вторая из них берется комплексно сопряженной.

где gpuW— элемент матрицы 2 ^ (/) exp ijX на пересечении р-й строки и А-го столбца. Если 2 IMG) II |7|1/2<°°> то второй момент Rn (X) имеет порядок O^N-1), и так как при ’k^=2ni/N величина cov{ZP7(X), Irs (X)} — fpr (X) fSq (X) имеет порядок O(V-1), то отсюда следует нужный результат для случая Х| = Х2 = Х^0, + л. Остальные случаи рассматриваются аналогично.

Теперь мы рассмотрим статистические выводы, основанные на w (X). Предположим, что имеет место одна из теорем 13, 13' гл. IV и что Vj (и) = w (Х^ и = 1, . . ., т, имеют распределение (4.6). Сначала мы будем иметь в виду ситуацию, когда для исследования выбрана некоторая частота X, и нас интересует относительно узкий диапазон вокруг X, так что т мало по сравнению с N. В этих условиях представляется приемлемой асимптотическая картина, описываемая упомянутыми теоремами 4.13 и 4.13'. Здесь мы позволим себе обратить внимание на следующие очевидные соображения. Все, что мы в состоянии доказать,— это некоторая математическая теорема, основанная па некоторых предпосылках. Конечно, эта теорема может быть более или менее полезной в соответствии с ее общностью; например, можно представить себе обобщения теорем 13, 13' гл. IV, дающие асимптотические разложения распределений Vj (zz) в духе теоремы Берри — Эссеена и ее уточнений (см. Крамер [1937], гл. VII). Вопрос о применимости подобных теорем должен, конечно, решаться в каждом конкретном случае. Если бы т не было мало по сравнению с V, то, вероятно, предпочтительнее рассмотреть предельную ситуацию, в которой и т и N стремятся к бесконечности, причем, возможно, так, что m/N -> 0. В других случаях (например, если т невелико) такая модель является мало подходящей. Так или иначе, мы далее рассмотрим и тот случай, когда т стремится к бесконечности.

В связи с распределениями, которые будут получены ниже, мы будем всегда, когда это возможно, ссылаться на соответствующие результаты многомерного анализа. Подобный способ изложения представляется целесообразным, поскольку предполагается, что большинство читателей уже знакомы с этой областью. К сожалению, мы не имеем возможности во всех случаях действовать таким образом.

Если мы положим, используя обозначения теоремы 13 гл. IV,

Vj (п) = у {£> W + ^J (j^, zz = 1, ..., т,

то, согласно формуле (4.6) гл. IV, асимптотическое распределение величин ^j (zz), ту (zz) при X ^ 0, л будет многомерным нормальным распределением с нулевым средним и матрицей ковариаций, ненулевые элементы которой имеют вид

Е {В; (и) В^ (u)} = Е {^ (iz) x^k (zz)} = 2Re yjk (X)} = cjk (X),

E {В; (zz) XU (u^ = — E ^j (zz) ^ (zz)} = - 2 Im tfjk (X)} = qjk (X), (2'3)

причем при / = к, конечно, Cj (X) = 2fj (X), a qj (X) = 0. Если X = = 0, л, то qjk (X) равно нулю при всех /, к, ибо функция qjk (X) непрерывна и меняет знак при переходе через 0 и л. Следует также оговориться, что при X = 0 и, для четного N, при X = л имеется одно значение и, для которого ки = 0, л, а соответствующие т^ тождественно равны пулю. При этом Vj вещественны и имеют (вещественные симметричные) матрицы ковариаций / (0), / (л) соответственно. Поэтому случаи 0, л следует рассматривать особо. Иногда, чтобы избежать лишних вычислений, мы будем опускать специальное исследование этих случаев, которое легко получается из случаев X =^= 0, л. Мы также не будем далее постоянно напоминать об асимптотическом характере результатов. Следует иметь в виду, что во всех случаях мы можем получить асимптотические распределения рассматриваемых статистик, обращаясь с величинами Vj (и) так, как если бы они имели многомерное комплексное нормальное распределение. Правомерность такого способа вычисления асимптотических распределений (см., например, Фиш [1963], стр. 184) вытекает из того, что во всех случаях рассматриваемые статистики являются непрерывными функциями от и, (и) (за исключением, быть может, множеств нулевой вероятности относительно предельного распределения). Мы также часто будем опускать аргумент X, когда это не приведет к недоразумениям.

Асимптотическая многомерная нормальная плотность величин ^j (ы), Ц; (и), X ^ 0, л, распадается на т множителей, имеющих одинаковые ковариационные матрицы; именно, вектор

(и) = (^1 (и), . . ., £р (и), Т]! (и), . . ., Лр (w))

имеет матрицу ковариаций

PF(X) =PF(X) =cW qPY — qW cW_cW qPY — qW cW_

PF(X) =

PF(X) =

cW qPY — qW cW_

cW qPY — qW cW_

Так как на диагонали q (X) стоят нули, то величины ^ (и), ц; (и) независимы для любого I.

Для неизвестных параметров распределения (4.6) гл. IV при

X ^ 0, л легко получаем оценки максимального правдоподобия:

Суд W = "^ 2 ^> w + Пу (w) Ла

,t "(2-4)

qjk = "2^" 2 V^j И Па (и) — ПУ (w) ^h (и)},

и

где суммирование производится по т значениям Хи. Отсюда

/УА (X) = | £уа (X) - iqjh (X)} = ^ 2 W W (2.5)

Если X = 0, л, то q (X) = 0 и fjk (X) = 'IzCjk W* При X = О одна из частот Хи всегда равна нулю (и л при X — л). Кроме того, данные всегда будут центрироваться (по меньшей мере), в результате чего мы будем иметь w (0) = 0. Частоты Хи1 ближайшие к X = 0, л, таковы, что соответствующие величины Uj (и) будут попарно сопряженными, за исключением, быть может, одной (когда т четно). Поэтому удобно ограничиться рассмотрением лишь тех значений и, которые соответствуют частотам, лежащим правее нуля или в нуле (и левее л или в л). Имеем

_[^гт]

сл(0) = у[4т] 1 2 {^(“)^(“) + т],(и)т]й(и)},

1

где суммирование происходит по и, таким, что Хи = 2nu/N, и = = 1, . . ., [VM

_ [^(m+l)]

с^(^)=4 [4(m+1)]1 2 {^(^M^+n/MnHw)},

1

где суммирование ведется по и, таким, что Х^ = л — 2ли/М\ и = = 0, 1, . . ., [Ч2 (т - 1)1.

При малых т использование подобных оценок, по-видимому, неизбежно, если только вычисления не требуют больших затрат. Были предложены различные модификации, которые мы обсудим позже.

Теорема 3. Пусть х (п) удовлетворяет условиям теоремы 13 или 13' гл. IV, а и (и) определено формулой (4.5), где Хи1 и = 1, . . . . . ., тп выбраны ближайшими к некоторой фиксированной частоте X. Тогда оценки максимального правдоподобия для с (X), q (X), / (X), полученные из предельного распределения и (и), даются соотношениями (2.4) и (2.5).

Совместное асимптотическое распределение величин Cjk (X), qjk (X) получается из комплексного распределения Уишарта, которое мы обсудим в § 6, однако в этом параграфе оно нам не понадобится.

По-видимому, наиболее важные статистические процедуры основываются на взаимных спектрах, коэффициенте когерентности и фазе для пары процессов, а также на оценках переходной функции одного процесса по некоторому количеству других и на соответствующих сводных и частных коэффициентах когерентности. Мы рассмотрим эти и некоторые более сложные случаи ниже. Мы не сможем приводить все подробности, ибо иначе пришлось бы иметь дело с классическим многомерным анализом во всей его сложности, а для этого потребовалась бы отдельная книга. В § 6 мы даем некоторое понятие о комплексном многомерном анализе, ибо этот предмет, по-видимому, представляет определенный интерес, хотя пока, кажется, не нашел никаких применений.

Напомним еще раз, что в дальнейшем мы не всегда указываем на асимптотический характер наших утверждений, хотя все результаты получаются из предельного распределения, описанного в теореме 3.

(а) Индивидуальные спектры

Распределение оценки fj непосредственно получается из теоремы 3; впрочем, из соотношения (2.4) и предшествующего ему замечания ясно, что при X ^ 0, л это есть распределение дисперсии с 2т степенями свободы т). Поэтому 2^///;- распределено как %2т (хи-квадрат с 2т степенями свободы). Кратчайший несмещенный доверительный интервал ) для fj с коэффициентом доверия (1 — а) имеет вид

2/тг $ / г 2/п А

"ь И’ iК1

° 2та2т

где 1а2т, Ь2т\ — интервал, вероятность которого относительно xL' распределения равна (1 — а). Величины ап, Ьп затабулированы в работе Тэйта и Клетта [1959] для п = 2, 3, . . ., 29 и а = 0,1; 0,05; 0,01; 0,005; 0,001. В этой работе затабулированы также значения а2т, Ь2т для геометрически самого короткого несмещенного интервала (при тех же значениях параметров а, п), используемые аналогичным образом. В качестве грубого приближения можно считать, что In (fj/fj) имеет нормальное распределение с нулевым средним и дисперсией т-1. Хотя при этом, возможно, придется работать в терминах In fj и In fj, приближенный метод в данном случае практически себя оправдывает. Для сравнения приведем приближенный интервал для fj при т = 10, а = 0,95:

0,538/, = /,ехр ( — 1,96-^Ъexp (1,96^=-) = 1,859/,-

и интервал минимальной длины

0,531/; </;< 1,978/;.

Стоит обратить внимание на длину интервала, достигающую 1,5/;. Так как значение т = 10 не является необычным, то отсюда уже ясно, как осторожно следует интерпретировать наблюдаемое значение. Даже если увеличить т до 20, приближенный интервал (для а = 0,05) будет включать значения от 0,645/; до 1,550/;.

х) Имеется в виду выборочная дисперсия по 2т независимым наблюдениям над нормальной совокупностью с нулевым средним.— Прим, перев.

(Ь) Когерентность

Определим выборочный коэффициент когерентности Gjk (X) формулой

2 1 \I f jk (X) |

,k -у^ЫЧ^2 ‘

2\тР (Ж I Ojk) = (m_(m_2)| ж (1 — Ж2) 2 2п=02\тР (Ж I Ojk) = (m_(m_2)| ж (1 — Ж2) 2 2п=0Это есть оценка максимального правдоподобия. При X ^ 0, +л она имеет следующую плотность распределения:

2\т

Р (Ж I Ojk) = (m_(m_2)| ж (1 — Ж2) 2 2

п=0

2\т

Р (Ж I Ojk) = (m_(m_2)| ж (1 — Ж2) 2 2

п=0

^g U.m + n—^Y^ х2п,(и!)2

(2.6)

Для гауссовских данных при X ^ 07 +л это совпадает с распределением выборочного сводного коэффициента корреляции между одной и двумя другими величинами по 2т наблюдениям без центрирования. Сейчас мы не будем доказывать формулу (2.6), так как она вытекает из теоремы 5, устанавливающей распределение сводного коэффициента когерентности. Почему распределение Gjk является распределением сводного коэффициента корреляции, можно понять, рассмотрев три вектора-строки:

(МП, НД2),^н, пИП, W И),

(МП, М, ^н, МП, М™)),(2.7)

(ш) ( —МП, — М2),— Мт), МП, Мт))-

Последние два из них ортогональны. Поэтому квадрат сводного коэффициента корреляции равен

-(2 н(“)^(«)+У^^(“^Г М2^(“)(“)+2^w5kМ2- ии. ии

2^ w^w21^н+2"мм

_ииии-

х {2 W + 2 Л; № }" -=6}h.

IJJjJk

Таким образом, коэффициент когерентности действительно совпадает с указанным сводным коэффициентом корреляции. Если Gjk = 0, то распределение (2.6) получается сразу, поскольку в этом случае (2.7) (i) не зависит от (2.7) (ii), (2.7) (iii), а тогда, как хорошо известно, распределение сводного коэффициента корреляции не зависит от распределения векторов регрессии. Если же 6jk =^= 0, то указанная формула для распределения не так очевидна, ибо (2.7) (ii) и (2.7) (iii) являются векторами специального вида с совпадающими случайными величинами в разных строках.

При Gjk = О, X ^ 0, ±л плотность (2.6) принимает вид

2 (m - 1) х (1 - ^Т"2, поэтому распределение величины (т — 1) о^ (1 — о^)"1 имеет плотность

(Ц0^Х<ОО,

т. е. плотность распределения Фишера F с 2 и 2 (т — 1) степенями свободы. Это можно, конечно, использовать для проверки гипотезы о наличии когерентности, однако такая процедура вряд ли будет применяться. Более вероятно, что потребуется доверительный интервал для Gjk. Его можно найти с помощью подробных таблиц функции распределения (2.6), составленных Эмосом и Купменсом [19631, например, используя «симметрично ограниченный» интервал

а1

^^^А^б, Р УI ^jk) dx = j p(x\Gjk)dx^-^a, (2.8) 6b

где р (х | Gjk) задается формулой (2.6).

Рассмотрим, наконец, случай X = 0, ±л. Тогда т частот вида 2nj/N, по которым вычисляется / (0), получаются при/ = 0, ±1, • • •• Предположим, что данные центрируются и вклад, отвечающий / = 0, отсутствует, ибо для нулевого среднего w (0) = 0. (Остальные w (сок) при этом не изменяются.) Тогда Gjk (0) (асимптотически) распределен как простой выборочный коэффициент корреляции между двумя гауссовскими величинами с коэффициентом корреляции Gjk (0), вычисленный по т — 1 парам наблюдений, a Gjk (л) имеет аналогичное распределение с заменой Gjk (0) на Gjk (л) и т — 1 на т. Чтобы показать это, например, для Gjk (0) и нечетного т, рассмотрим две строки случайных величин

"(^•(1), .. ^ (4 (m-1)) , Т), (1), •. - , Т), (4^-!))) ’

(М1), ..gft (у(т —1)) , r]k(l), Пй (у 1))) .

Здесь Vj (it) = tr (cou), ou = 2лиЖ. Квадрат коэффициента корреляции между этими строками равен

{(S м2 + 2 п; W2) (X Sk (“)2+2 Пл и2)} ~=\и (от/иошон^^

откуда сразу следует сформулированный результат.

В связи с оцениванием когерентности упомянем здесь об одной проблеме, к которой мы вернемся позже. Эта проблема возникает из-за того, что фаза может быстро меняться в рассматриваемом

диапазоне частот. Тогда, если /;, fk1 Ojk практически постоянны, но ^jk быстро меняется, то, поскольку

cjk — 2 (f jfk) /“ ojk cos Qjki Qjk =2 (fjfk) / Qjk sin O/a,

среднее значение величин cjkl qjk по диапазону может быть мало; следовательно, мало может быть и среднее величины Ojk1 которое оценивается в нашей процедуре. В этом параграфе, однако, мы рассматриваем узкие диапазоны (т постоянно при возрастающем N), и обсуждение этой проблемы мы отложим до § 7.

(с) Комплексный коэффициент регрессии и фаза Положим

I о, =

^Мы часто будем опускать аргумент X.) Оценкой максимального правдоподобия для этого параметра является

л,fk W

, х = о, л.

< ch (А)

Рассмотрим условное распределение Vj (и) при фиксированном vk (и), ^0, л. Легко показать, что его плотность представляет собой произведение т множителей вида )

(2.9)(2.9)1 Г Jj^M^jW^ML

(2.9)

(2.9)

^>(1-^) Pl h^-o^

т. е. «одномерных» комплексных нормальных распределений со средним ^jkvk (и) и дисперсией /; (1 — о)/г). (Доказательство этого факта мы оставляем в качестве упражнения к этой главе.) Отсюда сразу следует, что при фиксированном vk (и) действительная и мнимая части величины $jk—^jk независимы и имеют одинаковые нормальные распределения с нулевым средним и дисперсией (2т)"1 fj (1—0^)//^. (В самом деле, нетрудно проверить, что вещественная и мнимая части ^jk являются коэффициентами регрессии строки (2.7) (i) на (2.7) (ii) и (2.7) (iii); требуемый результат тогда вытекает из классической теории регрессии.) Более того, остаточная сумма квадратов равна 4mfj (1 — ^k)i так что f, (1 — о^) является оценкой для fj (1 — о^), не зависящей от $jk. Это позволяет производить проверку гипотез и строить доверительные интервалы, «точные» в той

мере, в какой применимо многомерное нормальное распределение. Эту точность не следует переоценивать, хотя она, очевидно, является положительным свойством. Так, 100(1 —а)%-й доверительный интервал для получается в виде

[{(m-1) АГ1 h (1 - ^ Тг. 2Ш-2 (а)]1/2,

X =7^ 0, л,

(1-^)11/2 ^ (а),(2.10)

-v — m — 2, Х = 0; х^т—1, Х = л.

Здесь F2, 2т_2 (а) есть 100а %-я точка для F-распределения с указанными степенями свободы, a £v (а) имеет аналогичный смысл для /-распределения Стьюдента. Как мы уже отмечали, в случае X = 0 предполагается, что ш (0) исключено посредством центрирования. Можно также построить доверительные интервалы отдельно для вещественной и мнимой частей, однако это вряд ли может понадобиться. Важнее то, что мы теперь можем построить доверительный интервал для фазы. В самом деле, Qjkl очевидно, является аргументом комплексного числа ^jk, a 9jk — аргументом ^jk. Поэтому величина ^jk exp (—iQjy) имеет вещественное математическое ожидание | ^jk |. Следовательно, математическое ожидание величины | ^jk | х х sin ^jk — 9jk) равно нулю. Так как эта величина имеет вид

Re ^jk cos 6jk — Im ^jk sin 9^, то ее условная дисперсия при фиксированном ик (и) равна (2т)-1 fj(l — o2jk)/jk. Полагая s2 = /j(l —njh)/{(2m —2)/й}, мы видим, что

s"11 ^jk | sin (Qjk — Qjk)

имеет ^-распределение с (2т — 2) степенями свободы. Поэтому 100(1 — а)%-й доверительный интервал для Qjk дается соотноше- ниель

] Sin (Qjk Ojk) | ^ —т - t2m-2 (a) = { - 2f ^m-2 (a) 7 ^ ^ 0, Л,

IPjfel1 0^(2771 — 2) )

(2.11) где t2m-2 (а) есть 100a %-я точка для двусторонней гипотезы для /-статистики с 2т — 2 степенями свободы.

Теорема 4. Пусть выполнены условия теоремы 3; тогда асимптотические доверительные интервалы для ^jk (X) и Qjk (X), X ^ 0, л, можно получить из соотношений (2.10) и (2.11).

При построении доверительного интервала возникает одна проблема. Можно условиться, что числа 0^ должны лежать в интервале (—л, л], так что в принципе 0^ также могут быть определены в этом интервале. Однако, действуя таким образом и применяя (2.11), мы получаем доверительную область на единичной окружности,

состоящую из двух непересекающихся кусков одинаковой длины, одного с центром в точке 9,^ и другого с центром в диаметрально противоположной точке. (Конечно, эти куски могут срастись, и статистическое утверждение станет бессодержательным; вероятно, это действительно будет так, когда коэффициент о^ не близок к единице, и в какой-то мере это зависит от величины т.) Если коэффициент о^ велик, то второй из этих кусков, казалось бы, можно отбросить, так как 9jk вряд ли примет значение, отличающееся от истинного на величину порядка л (или, что то же самое, величины Cjk и qjk едва ли обе будут иметь неверный знак, если о^ близок к единице). Это, однако, приведет к тому, что статистическое утверждение уже не будет точным. Другая возможность состоит в том, чтобы локализовать 9jkl Qjk в фиксированном интервале длины л; например, можно* определять их как главное значение арктангенса, чтобы они лежали в интервале (—л/2, л/2]. Проблема, однако, остается, так как теперь, чтобы получить точную доверительную область, следует найти пересечение первоначальной области (состоящей из двух кусков на всей окружности) с заранее выбранным интервалом, т. е. мы должны взять часть интервала (—л/2, л/2], образованную значениями 6^, удовлетворяющими (2.11) г). Эта часть вновь может состоять из двух кусков, один из которых (не содержащий 9,^) будет обычно меньше другого. Возможно, что практики предпочтут первый метод и будут отбрасывать интервал, не содержащий 9^, во всяком случае- когда оба интервала не слишком велики.

Распределение фазы само по себе, по-видимому, не представляет большого интереса, за исключением, возможно, случая Ojk (X) = О, когда оно является распределением величины arctg {qjklcjk), где qjk и Cjk — уже независимые гауссовские величины (относительно предельного распределения). В этом случае Qjkl определенное как главное значение арктангенса, имеет, как легко показать, равномерное распределение на (—л/2, л/2].

Построенный нами доверительный интервал, конечно, не является единственно возможным, однако он обладает хорошими свойствами (см. Нейман Е. [1954]). В самом деле, мы показали, что он является кратчайшим несмещенным интервалом (см. примечание на стр. 279). Таким образом, он обладает некоторыми достоинствами и может с пользой применяться, пока не появится лучшая процедура.

(d) Множественная регрессия, когерентность, фазовые процедуры

Методы предыдущего пункта распространяются на случай, когда одна переменная, скажем у (п^ должна быть связана с р другими хх^п^ х2(п). . . ., хр ^п\ Предполагается, что все эти процессы

Э Мы оставляем читателю проверку того, что это является точной доверительной областью для параметра 6jkl ограниченного значениями (—л/2, л/2].

совместно стационарны, и мы выделяем один из них у (п) лишь для удобства обозначений. Рассмотрим сначала условное распределение величины иу (и) при фиксированных ик (и). Здесь индекс к относится к процессу хк, индекс у — к процессу у, а условное распределение, о котором идет речь, получается из совместного распределения типа (4.6) гл. IV для иу (и) и ик (и). Обозначим через fx матрицу с элементом fjk в /-й строке и к-м столбце, fxy — вектор-столбец с к-й компонентой fky, равной взаимной спектральной плотности между хк и у. Символом fyx, естественно, мы будем обозначать транспозицию вектора fxu. Условное распределение имеет плотность

J —| Vy (w)—У Pfeffe W |2|

, ,.-—j-г exp |j—Tj—^Ц-г1 1(2.12)

Здесь величина ayp, которую мы называем сводным коэффициентом когерентности, определяется соотношением

^УР ~ fy fyxtx f хуч

а вектор Р с компонентами Р^ имеет вид

Р ~ fxfxy

Будем предполагать, что fx невырожденна, хотя это условие может быть ослаблено. Сводный коэффициент когерентности является адекватной мерой степени связанности у (п) и xk (п) на частоте X. Интерпретируется он аналогично обычному коэффициенту когерентности (см. § 2 гл. II, перед формулой (2.10)). Именно, считая, что у (п) и хк (п) получаются в результате выборки из процессов с непрерывным временем, мы можем определить

^а. е («) = 2 (п — 6ft).

Рассмотрим теперь коэффициент корреляции между компонентами у (п) и £а,0 (п), отвечающий частотам +Х (т. е. узким диапазонам вокруг этих частот). Максимизируя его по ак и 6^, мы и получим сводный коэффициент когерентности. Чтобы получить для пего и для вектора р оценку максимального правдоподобия, следует лишь заменить fx, fy, fyh на fx, fy, fyk. Таким образом, имеет место

Теорема 5. При условиях теоремы 3 асимптотическое распределение величины Gyp при X ^ 0, л имеет плотность

4^=H?W ^р'1 (1 - 2Ft (т, т; р; a^wY

При X = 0 следует заменить р на "Ч 2р и т на Ч2 (т — 1) (в предположении, что х (п) центрирован), а при X — л имеет место аналогичный результат с заменой р на Ч2р и т на Ч2 т.

Замечание. Здесь S (•, •) — бета-функция, a 2Ft — вырожденная гипергеометрическая функция. Эту плотность можно также

записать в других формах (Андерсон [1958], стр. 134, соотношение (38)). Она совпадает с плотностью сводного коэффициента корреляции между одной вещественной нормальной величиной и 2р другими вещественными нормальными величинами, вычисленного по 2т наблюдениям без центрирования. Доказательство теоремы, приводимое ниже, несложно и, разумеется, охватывает случай р = 1Т с которым мы имели дело в формуле (2.6). Результат теоремы представляется несколько неожиданным. Геометрическое объяснение мы приведем в § 6. При % = 0, л доказательство такое же, как и в случае (2.6), и мы его опускаем.

Доказательство. Рассмотрим 2р + 1 векторов-строк вида: «у=(6Д1), •••, Ытк ПД!), «)=(6,(1), • ••, 6,Н, пД1), • ••, n,W);/ = 1, • р,

ь'з=Ц—ii;(i), .— ib(m), 6,(1), • • •, ^Н); i=i, р-

Здесь ^, ц^ отвечают процессу у^п), а ^-, ц;- — процессу х^пу Тогда Gyp — сводный коэффициент корреляции между ау и 2р векторами aj, bj, /=1, ..., р. Чтобы это доказать, воспользуемся соответствием, установленным в начале доказательства теоремы 13 гл. IV. Так как fx = ЧДс^ — iq^, fxy^Mcxy — iQxyY где cXl qx — квадратные матрицы, a cxyi qxy — столбцы, то, используя упомянутое соответствие, имеем

°ур — 2 ^Cxyi ^х^°ур — 2 ^Cxyi ^х^^х- Qx^х- QxQx"сх-Qx"сх-

°ур — 2 ^Cxyi ^х^

°ур — 2 ^Cxyi ^х^

^х

- Qx

^х

- Qx

Qx"

сх-

Qx"

сх-

что, как нетрудно показать, совпадает с указанным коэффициентом корреляции.

Рассмотрим теперь условное распределение оур при условии, что фиксируются значения компонент векторов а^ bj, / = 1, . . ., р» Из (2.12) непосредственно получаем, что вектор условных математических ожиданий а у равен

р

2 (т^ + ^^л),= 7^ + ^k*

k=i

Остаточная дисперсия величин ^ (и), ц^ (и), и = 1, . . ., т, т. е. дисперсия относительно условного распределения, также получается из (2.12) и равна 2fy (1 — ОуР). Величины Ьу (и), ц^ (и), и = = 1, . . ., т, независимы и нормальны относительно этого условного распределения. Следовательно, условное распределение о^ совпадает с условным распределением квадрата сводного коэффициента корреляции между одной нормальной случайной величиной и 2р другими по 2т наблюдениям без центрирования, ибо, поскольку а^ bj фиксированы, их вероятностная природа не имеет никакого

значения. Согласно Андерсону [1958], стр. 131, формула (31), плотность такого распределения имеет вид

^-1/202 (1 _ж)т-р-1 ^(1/202)2 жр+з-1 (т + у —1)! )

(т —р —1)! 2j \ (Р + 7 —1)!/ ’

7=0

где

92 = {2/у (1 — Оур^"1 У S {TW^z + Mz^z + ^lakht + б^Ьйг} =

= 2m{/y(l-o^p)}-ip*/xp.

Среднее значение этого распределения равно

2^ Vfу (1 ^.ур)} 1 Р*/хР — 2/п У у (1<Г£р)} tyxi^jxy = ^ ТГ" •

Далее, О2 как функция от случайных величин S7 (и), ц7 (и) с точностью до постоянного множителя равна

SlPW) I2и

и, следовательно, пропорциональна случайной величине ^mi имеющей ^-распределение с 2т степенями свободы, ибо величины Р*^ ^ независимы и имеют (одномерное) комплексное нормальное распределение. Таким образом, О2 = {сфр/(1 — °ур)^ Х^т- Подставляя это в условное распределение для о2р, мы видим, что оно принимает ту же форму, что и распределение соответствующего сводного коэффициента корреляции (см. Андерсон [1958], стр. 131). Таким образом, интегрируя по переменным ^ (и), т]7 (и), и = 1, . . ., т*, ] = 1, ... ...,/?, мы получаем то же распределение, что и для сводного коэффициента корреляции, ибо, несмотря на различие случайных векторов, которые фиксируются, мы в обоих случаях фактически интегрируем относительно распределения /2т- Доказательство теоремы завершено.

Если Gyp = 0, то из замечания, предшествующего доказательствуг вытекает, что величина

г— ( ^УР \т— р

имеет /^-распределение с 2р и 2т — 2р степенями свободы. Для случая Gyp ^ 0 подробных таблиц, по-видимому, не существует. Если р = 1, то можно, конечно, использовать таблицы Эмоса и Куп- менса [1963]. Для р = 2, 4. 8, 16, 32; о2ир = 0; 0,1; 0,2; . . ., 1,0; (рп — р) = 5, 10, 20, 40, 80, 160 левые и правые концы «симметрично ограниченных» доверительных интервалов для ОуР с коэффициентами доверия 1 — а, где а = 0,05; 0,01, указаны в работе Гровса и Хен- нана [1968]. В этих таблицах о^р обозначено через г, gpp — через срг ат — через М. Например, для т : 42, р = 2, а — 0,05 и G^p —

= 0,80 левый и правый концы доверительного интервала равны соответственно 0,69 и 0,86. Соответствующий интервал для оур есть [0,83, 0,93]. В работе Кхатри [1966] обсуждаются преобразования величины Gyp, которые приводят к распределениям, почти не зависящим от о^р. С точки зрения построения доверительных интервалов эти результаты, однако, не кажутся полезными, хотя их можно применять для проверки гипотетического значения о^.

Можно определить частный коэффициент когерентности как

2 _ 1^к|2

(| 2УУ I I ’ где 5 — матрица

= Xfxu fx / ’

а | S?/fe |2 обозначает квадрат модуля определителя, получающегося вычеркиванием первой строки и (А:+ 1)-го столбца, | Ру | = det fx и । у/лг । — определитель, получающийся вычеркиванием (&-г1)-й строки и (&J-l)-ro столбца. Чтобы получить теперь Oyk.pt следует заменить fyi fyx, fx на fyi fyxi fx. Эта величина равна также частному сводному коэффициенту корреляции между столбцом ау и парой столбцов akl bh после устранения, посредством регрессии, всех а^ bj, j =^k, / = 1, . . ., p. Она является адекватной мерой связанности процессов у (п) и хк ^п) на частоте Л после устранения всех линейных эффектов, обусловленных процессами Xj ^п), включая их прошлое и будущее. Мы предоставляем читателю проверку справедливости утверждения, касающегося вида Оук-р- ^но вытекает из соответствия, установленного в начале доказательства теоремы 13 гл. IV, как и в случае теоремы 5. Мы опускаем также доказательство следующей теоремы, подобное доказательству теоремы 5.

Теорема 6. При условиях теоремы 3 асимптотическое распределение величины Оук-р совпадает с распределением простого коэффициента когерентности, вычисленного по (т— /^ + 1) частотам Хи (или по т — р в случае X = 0 вследствие центрирования):

Несколько более вероятно, что (при р > 1) может понадобиться проверка значимости oyk.pi так как нулевая гипотеза о том, что связанность между у (п) и Xj (п) па частоте X обусловлена лишь процессами Xj (п) при / ^ к, может быть правдоподобной a priori. Критерий основан на использовании статистики

распределенной по закону F^, sm-sp- Напомним, что

Этот вектор имеет компоненты

Величины 6к определяют опережение или запаздывание у (п) относительно хк (п) на частоте X после устранения всех линейных эффектов, обусловленных другими процессами xj (п) (включая прошлое и будущее). Имеет место

Теорема 7. При условиях теоремы 3 асимптотические 100 (1 — а)%-^ доверительные интервалы для pfe и, в случае X ^ 0, л, для 0^ могут быть получены из соотношений

'{(m —p^/^l — o^l/^l^.am^p^)}172, %¥=0, л,

I Ph — Ph |,

[^■^(l—^p)|/“|}1/2<v(a), v = m —p —1,X = 0,

v = m— p, X = л, |sin (0fe — 6h)|C-4-

где

2_ tyO-o^H^\S —2m—2p *

Конечно, при построении доверительного интервала для 6к возникает та же проблема, что и для фазы в связи с теоремой 4 (см. обсуждение, следующее за этой теоремой).

Методы, рассмотренные в этом параграфе, по существу являются классическими регрессионными и корреляционными методами с тем единственным усложнением, что векторы регрессии (мы будем называть их регрессорами) имеют специальный вид, и это сказывается на распределении при ненулевом значении параметров. Конечно, тот факт, что величины $jk комплексны, тоже привносит дополнительную специфику, например в связи с понятием фазы. Скоро мы увидим, что аппарат многомерного дисперсионного анализа полностью переносится на рассматриваемый случай. Мы отложим обсуждение этих вопросов до § 6 не потому, что считаем их маловажными, но чтобы избежать здесь слишком продолжительной дискуссии о методах, которые до сих пор почти не применялись.

ДРУГИЕ ВЫЧИСЛИТЕЛЬНЫЕ ПРОЦЕДУРЫ ДЛЯ ФПФ

Мы ввели сокращение ФПФ для «финитного преобразования Фурье». Вычисление таких преобразований при больших N является обременительным делом, так как требует порядка N2 операций (каждая из которых включает сложение и умножение). Поэтому весьма важно, что существуют более простые процедуры. Эти процедуры, по-видимому, имеют длинную предысторию, однако в послед-

нее время они связываются с работой Кули и Тьюки [1965]. Про цедура основана на следующей простой идее. Пусть

^ = П"й ^=П«;+г 1г—1И1k= 3 NjVb5=1по модулю N. Имеем^ = П"й ^=П«;+г 1г—1И1k= 3 NjVb5=1по модулю N. Имеем/ = 0, 1, ..., 8—1, Ns = l,Uj = 0, 1, . .., n.j— 1,и, = 0, 1, . .., nj — 1,/ = 0, 1, ..., 8—1, Ns = l,Uj = 0, 1, . .., n.j— 1,и, = 0, 1, . .., nj — 1,

^ = П"й ^=П«;+г 1г—1

И

1

k= 3 NjVb5=1

по модулю N. Имеем

^ = П"й ^=П«;+г 1г—1

И

1

k= 3 NjVb5=1

по модулю N. Имеем

/ = 0, 1, ..., 8—1, Ns = l,

Uj = 0, 1, . .., n.j— 1,

и, = 0, 1, . .., nj — 1,

/ = 0, 1, ..., 8—1, Ns = l,

Uj = 0, 1, . .., n.j— 1,

и, = 0, 1, . .., nj — 1,

п = и1 + п1(иг+п2(и3 + п3(.. . ns_1us)') . . .),

k = vs + ns (vs^i + ns-! tVs-г + ns_2 (. • • ^2^)) . . .),

откуда видно, как Uj, Vj получаются последовательным делением. Тогда

NN/. — У X (п)V2itN ^/. — У X (п)V2itN ^^по^ =^по^ =

N

N

/. — У X (п)

V2itN ^

/. — У X (п)

V2itN ^

^по^ =

^по^ =

т/2^у 2 • • • 2ж (и) П ехр {t2jm> 2 "лг^т"} •

v " Us UI3 = 11=3

В самом деле, при вычислении произведения пк можно опустить все члены NNyl^Nb у > Z, так как их вклад в 1пюк есть целое кратное 2ni. Далее выполняется s последовательностей операций, у-я из которых требует 2Nnj вещественных операций (умножение, а затем сложение), так что в целом производится приблизительно 2N 2^7 вещественных операций. Таким образом, мы получаем последовательность массивов, первый из которых имеет N входов Лз+1 (и17 . . ., и^ = х (п), причем указанный элемент располагается по адресу и^ . . ., us. Затем массивы формируются последовательно по формуле,

Aj^, ..., Uj_t, Vj, ..., vs)^^Aj+1(uit ..., и}, vj+1, ..., v3) xuj

Хехр |г2лп7- У ^ту}» y = s,s—l,..., 1,(3.1)

В массиве Aj комплексные элементы с v3l . . ., vs1 отвечающими к и N — к, и с одинаковыми uYl . . ., Uj^ являются сопряженными,

а для NЧг^ — вещественными. Тогда

8

Если N = Ц nf^ то для осуществления вычислений потребуется 1

всего около 2N 2 Ptni вещественных операций. Для реализации этой процедуры можно отбросить либо добавить небольшое число наблюдений, чтобы получившееся N было «в высокой степени составным»; если, например, имеется 1539 наблюдений (число 1539 было взято из таблицы случайных чисел), то, учитывая, что 1539 = 34-19, можно отбросить 81, чтобы получить N = 36-2. С другой стороны, если это возможно, мы могли бы добавить 81, чтобы получить N = = 34-22-5. В первом случае потребуется 2-1458-20 = 58 320 операций, во втором 2-1620-21 = 68 040 операций (при большем числе наблюдений). Сравните это с 2 368 521 операциями, требующимися для вычисления «в лоб». Таким образом, описанная процедура экономит более 95% первоначального объема работы и делает вычисления вполне реализуемыми.

Формулы становятся особенно простыми, когда Пг = 2; в этом случае типичная сумма в правой части (3.1) имеет вид

AjH^Uh Uj-li 0? Vj+h ys) +

+ 4ж(“1, .Uj_v, 1, ^+1, . ps) exp рл 2-^Т } ’ (3-2)

так что некоторые из операций, включавших умножение и сложение, сводятся фактически только к сложению. В этом случае число операций равно 2sN = 2N log2 N и относится к N2 как 2 log2 N/N. Основываясь на этом, Кули и Тьюки [1965] предложили следующую процедуру. Последовательность х (п) дополняется нулями с одного или двух концов, чтобы получившийся ряд имел длину N', N ^ N' = 25 < < 2N. Затем он обрабатывается (после модификации, которую мы опишем ниже) как ряд из N' наблюдений. Таким образом, вместо w (co/J мы получаем

w(-^) ,& = 0, 1,N'-l.

Эта процедура может потребовать больше операций, чем первая, однако она может иметь другие преимущества с вычислительной точки зрения (см. Кули, Тьюки [1965]). В случае N = 1539 придется взять N' = 2048 и произвести 2048-22 = 45 056 операций умножения с последующим сложением. Мы получим N' значений w (X) вместо N, однако это не дает никаких преимуществ, ибо исходными являются всего N наблюдений х (п).

Модификация исходного ряда, о которой упоминалось выше, заключается во введении сглаживания на его концах, устраняющего резкий переход от нулевых значений к ненулевым. Исходный ряд х (п) заменяется на aN (п) х ^п^ где aN (п) — коэффициенты сглаживания; можно взять, например,

aN (п) = <aN (п) = <пИГ 1пИГ 11,N — пМ1,N — пМMCnCN — М, N-M^n^N,MCnCN — М, N-M^n^N,

aN (п) = <

aN (п) = <

п

ИГ 1

п

ИГ 1

1,

N — п

М

1,

N — п

М

MCnCN — М, N-M^n^N,

MCnCN — М, N-M^n^N,

или

'^(l-cos^),'^(l-cos^),In (и) = *In (и) = *1,1 / / лN — пУД! —COS Л-^j-1,1 / / лN — пУД! —COS Л-^j-п С М < N,М <.n<N—M, N — M<n<N.п С М < N,М <.n<N—M, N — M<n<N.

'^(l-cos^),

'^(l-cos^),

In (и) = *

In (и) = *

1,

1 / / лN — п

УД! —COS Л-^j-

1,

1 / / лN — п

УД! —COS Л-^j-

п С М < N,

М <.n<N—M, N — M<n<N.

п С М < N,

М <.n<N—M, N — M<n<N.

Некоторое предпочтение, по-видимому, отдавалось сглаживанию, которое приближается к единице на концах гораздо медленнее, как, например, aN<n?)=^-^—cos .

Введем

N^^ = у^Г 2 aN weinX*n = i

и определим w(X) соотношением

W (А) = —W (А) = —N

W (А) = —

W (А) = —

2 ^ w w^^(з.з)

п = 1

Именно эта величина вычисляется для (щ = 2^/7^ процедурой Кули —Тьюки.

Имеем

Е {ш (X) w (X)} = J | <piV (X—0) |2 / (0) d0.

Роль сглаживания можно понять, рассматривая эту формулу. Желательно, чтобы | ср у (0) |2 было по возможности мало при достаточно больших 0, ибо только тогда мы будем уверены, что отклонение w (A) w (А) от / (А), вызванное намного большим значением / (0) в другой точке 0, достаточно удаленной от А, невелико. Как подсказывают наши примеры и как мы позднее и будем делать, можно взять aN (п) = uN (n/N), где uN (х) — непрерывная функция х.

Предположим сейчас для простоты, что aN (тг) и (n/N). Говоря: «при 6, далеких от нуля», мы подразумеваем, что велико расстояние от нуля до 6 в единицах длины 2k,N; перепишем поэтому Е (w(X) xw (X)) в виде

Мл.

Е (w (X) w (X)) = j N"11 срЛ- ^/N) |2 / (X — ф/Лт) йф,

— Na

где X — 6 = ф/Л\ Теперь

что быстро приближается к

1и (ф) = —т=г f и (х) dx.у 2 л J

Рассматривая теперь и (х) как функцию на (— оо, оо), обращающуюся в нуль вне интервала (0, 1), мы видим, что если эта функция v раз дифференцируема, так что v-я производная является линейной комбинацией интегрируемых функций и 6-функций (но не их производных), то й (ф) = О (| ф |-v) при ф—> оо. Таким образом, чем выше порядок приближения и {х} к нулю в точках 0, 1, тем быстрее убывает й (ф) при возрастании | ф |, значит, тем быстрее убывает Фу (X) при возрастании | X |. Например, для и (х) = 1 величина I Фх W I2 равна

_sin2_(V^

2луУ sin2 (1/2Х) ’'

что убывает как X*2 при возрастании | X |. Если и (х) = = V2 (1 — cos 2л^), то v = 3 и | ф^ (X) |2 должна убывать как I X |*6. В самом деле,

j±(f + cos2„)e^ О

что имеет требуемый порядок ф-6.

Конечно, введя сглаживание, мы должны будем кое-чем поступиться. Во-первых, как мы увидим, применение сглаживания приводит к появлению корреляции между величинами w (<щ) в их асимптотическом распределении. Впрочем, если N/N' <^ 1, то заметная корреляция между w {^ имеется в любом случае, и, как показывает приведенная ниже теорема 8, при N/N' <^ 1 использование сглаживания может упростить ковариационные свойства w {^ь)- Во-вторых,

как мы увидим ниже, использование сглаживания приводит к увеличению дисперсии. Этот эффект будет незначительным, если коэффициент сглаживания близок к единице на большей части диапазона, где он отличен от нуля, чего, как мы знаем, можно достичь, если нас интересует лишь поведение ср^ (ф/TV) достаточно далеко от нуля (в единицах 1/7V).

Итак, применение сглаживания позволяет не слишком дорогой ценой гарантировать отсутствие нежелательного отклонения Е {ip(X) и) (А,)} от / (X), обусловленного очень большими значениями / (6) при 6, достаточно удаленных от X. Можно, конечно, возразить, что если для некоторого 6 отношение / (9)// (X) очень велико, это будет нам известно заранее, и мы сможем предотвратить нежелательный эффект, например, с помощью предварительной фильтрации. В таком случае действительно следует подумать о выборе процедуры, однако весьма вероятно, что использование сглаживания во многих случаях будет полезной и недорогостоящей мерой предосторожности.

Мы хотим исследовать асимптотические свойства оценок w (X). Рассмотрим ситуацию, когда N = [aTV'], V2 < а Cl, и Nr (имеющее вид 25) возрастает так, что а остается постоянной. Исходя отчасти из предыдущих примеров, положим

’(3.5)

где uN (^) — непрерывная функция, такая, что | uN (^) | С 1 и lim uN (^) = и (х), 0<z< 1,(3.5')

N-*OO

где и (х) также непрерывна.

Если MIN —> 0 при N —> оо, то это выполняется в рассмотренных выше примерах с и (х) = 1. Если M/N а, то в первом примере и (х) = ^а-1 при Са, и (х) = 1 при аС^ ^ 1 — а и и (х) = = (1 — х) а-1 при остальных х. Второй пример аналогичен, и мы оставляем его рассмотрение читателю. Ситуация, когда и^ = \, в определенном смысле является наиболее подходящей, ибо при N —> оо отношение М/N, по-видимому, должно стремиться к нулю. Однако представляет интерес и другой случай, так как в каждом конкретном примере М/N не равно нулю, и чтобы получить некоторое представление о том, что происходит при больших V, имеет смысл рассмотреть и этот более общий случай.

Исследуем теперь совместное распределение величин w (X) для т/ значений Хи = 2njuINr, ближайших к фиксированной частоте X. Мы будем иметь в виду соотношение т = ат' (которое может выполняться лишь приближенно), так что Х'и покрывают примерно такой же диапазон, что и Хи. Как и в § 4 гл. IV, мы приходим к рассмотрению последовательностей aN (ri) ехр 1пХ’и. Легко проверить, что они (или их действительные и мнимые части) удовлетворяют условиям (а), (Ь), (с) § 4 гл. IV. В самом деле, вводя для удобства обозначение

X' (к) вместо Х^ рассмотрим

N

lim^^.(3.6)

2 «n (m)2

Это равно

N

e-mX цтaN ^ aN ^^^

N-*oo I

J u2 (ж) dxо

ибо

N1

У ^ aN W = 5 ^^d$'10

где й (^) — кусочно-постоянная функция, равная aN (т) на интервалах вида 1т/N — (2А)"1, m/N + (2N)~4. Так как й (^) ограниченно сходится к и (^) при почти всех £, то отсюда следует (3.7). Аналогично, числитель выражения (3.7) с точностью до множителя ехр (—1пХ) равен

1

Ит J м (ж) м (^ + у) exp ^i2nax(jk — j^ (уу) } dx

и, в силу тех же соображений (с учетом того, что /у — h = k—Z), сходится к

1

Ф^_; = J IZ2 (^) ei2naxlk-r> dx.о

При и (^) = 1 это равно

егая(к-п

\ па (к — Z) / ’

так что (3.6) в этом случае равно

р-тХршп^ /Sin па №-1^I па (к — I) J *

Обозначим через Ф матрицу с элементом фи-^ в и-й строке, у-м столбце. Эта матрица эрмитова и в интересных случаях (например, и (х) ^ #= 0 п. в.) невырожденна. В случае а = 1 и и (^) = 1 она, конечно, равна единичной матрице. Положим и (и) = w (Х^) и обозначим

через и вектор, составленный из ^-мерных векторов и (и), так что Vj (и) попадает в строку с номером (и — 1) p-A-j. Имеет место следующая

Теорема 8. Пусть v — определенный выше вектор, где ш (Х^) вычислены по формуле (3.3) для т' значений Х'и вида 2nk/N', ближайших к X, a aN (п) даются соотношением (3.5) с непрерывной функцией и ^, и (^) ^ 0 п. в. Тогда если х (п) удовлетворяет условиям теоремы 13 или 13' гл. IV, то распределение и сходится при N -> оо, N = = [aV'], где V2 < #^1, и комплексному многомерному нормальному распределению с плотностью

.1е-^<ф®/(Х))-1? Х^О, л.

лрт det {Ф® / (X)}

Результат остается справедливым при X = 0, если исключить Х'и = = 0, и при X = л, если исключить Х'и = л.

Доказательство этой теоремы почти не отличается от доказательств теорем 13 или 13', и мы его опускаем.

Не следует переоценивать значение теоремы 8. Дело в том, что процедура Кули — Тьюки, как правило, будет применяться только для очень больших N, а в этом случае более подходящей является ситуация § 4, когда т’ может возрастать вместе с N. Однако эта теорема позволяет в рассматриваемом случае провести все рассуждения § 2 для единственной фиксированной частоты X. В самом деле, матрица Ф известна. (На практике в качестве а берется NIN' Поэтому мы можем образовать вектор

у = (ф-1/2®7р)у.(3.8)

Обозначим через и (и) /э-мерный вектор с компонентами, занимающими те же р мест в и, что и v (и) в и. Таким образом, чтобы получить и (и), мы сначала образуем р векторов Vj с и-и компонентой Vj (и), и = 1, . . ., т*, затем находим v^ = Ф_1/2у/, тогда Vj (и) является н-й компонентой Vj.

Следствие 2. Если выполнены условия теоремы 8 и векторы и (и), и — 1, . . ., т', определены, как указано выше, то они имеют те же асимптотические свойства, что и векторы и (и) в теореме 3, и все результаты § 2 имеют место с заменой v (и) на v (и) и т на т'.

Хотя этот общий результат, очевидно, и представляет некоторый интерес, практически весьма вероятно, что а будет очень близко к единице и и (х) = 1 (точнее, aN (п) равно или близко к единице для большей части своих значений). Тогда мы сможем заменить величины v (и) более простыми и (и). Наиболее очевидная формула

имеет вид

т'N

=2 ^пДД^1^ 2 <М«)2} •(з.9)

и—\п= 1

(Мы сейчас не делаем различия в обозначениях между этой оценкой и другой, введенной ранее.)

Интересно исследовать первые и вторые моменты таких оценок. Так как

N1

-^г 2 ^ ^ j ^2 ^ ^Х

О

и последняя величина совпадает с диагональными элементами матрицы Ф, то средним значением асимптотического распределения fjk (X), как и должно быть, является fjk (X). Дисперсию можно получить из теоремы 8. Рассмотрим ковариации для предельного распределения этих величин.

Следствие 3. Ковариации ) величин fjy (X), вычисленные относительно предельного распределения теоремы 8, равны

^т/ ^ и2 (х) dx^ 2 Тг (Ф2) fik (X) fu (X), Х^О, л,

= j , *Г(ЗЛ°)

(т ) u4(x)dx^ Тг(Ф2){/;к(Х)Д(Х) +

+ Ы^Нм(Ж Х = 0, л.

Мы оставляем доказательство этого следствия в качестве упражнения, так как оно легко вытекает из теоремы 8.

Если т' не является малым, то хорошую аппроксимацию для Тг Ф2 дает следующая формула:

т'— 11

-т'4-10

так как указанная сумма является чезаровской суммой ряда Фурье (при нулевом значении аргумента) для свертки с собой функции, равной а-1и2(р/2ла) на интервале [0, 2ла) (и нулю вне этого

интервала). Это приводит к приближенной матрице ковариаций вида

1

J и^ (я) dx

-^-/ (X) ®/'(X)—®, т = ат'1 Х^О, ± л.

( и2 (х) dx^О

Очевидно, что асимптотическое распределение матрицы /, которая дается процедурой Кули — Тьюки при фиксированных т, т’, не совпадает с распределением, полученным в § 2. В частности, в скалярном случае статистика 2mflf имеет асимптотическое распределение хи-квадрат только при а = 1 (даже если и (х) = 1). Этому, однако, не следует придавать слишком большого значения. Порядок Zc-го семиинварианта предельного распределения величины /, найденной при помощи процедуры Кули — Тьюки, равен т-к^. Поэтому если т не слишком мало, то использование величины v{///} в качестве %2 с

v =v =12тп ( ^' и2 (х) dx^б1j и4 (я) dxО12тп ( ^' и2 (х) dx^б1j и4 (я) dxОт-^ат\т-^ат\(3.11)(3.11)

v =

v =

1

2тп ( ^' и2 (х) dx^б

1

j и4 (я) dx

О

1

2тп ( ^' и2 (х) dx^б

1

j и4 (я) dx

О

т-^ат\

т-^ат\

(3.11)

(3.11)

степенями свободы будет неплохой аппроксимацией. Это правило дает распределение с правильным средним и приближенно правильной дисперсией, причем неточность обусловлена введением простого предельного выражения в знаменатель. Распределение будет также иметь приблизительно правильную форму. В соответствии с этим мы можем обращаться с матрицей /, как если бы она имела комплексное распределение Уишарта (см. § 6) с «числом степеней свободы» v, даваемым формулой (3.11), вместо v = 2т для финитного преобразования Фурье. Несомненно, нужны дальнейшие исследования этих приближений. В тех случаях, когда описанная аппроксимация законна, она чрезвычайно упрощает расчеты, позволяя перенести все результаты предыдущего параграфа на статистику (3.9) с заменой 2т на число v, найденное по формуле (3.11).

Вычисление величины v для функций и (я), отвечающих примерам, приведенным перед формулой (3.3), разумеется, вполне тривиально; например, в первом случае

и (я) = <

1,

1 — х

а

cl^x^ 1 — CL, 1 —а<^<; 1,

где а = MIN. Отсюда

2m (1 — 4а/3)21 —8а/5-

Во многих случаях а будет чрезвычайно малой величиной (скажем, Ю,05), и тогда (3.11) переходит в v = 2т.

Если а очень мало по сравнению с единицей, то, используя подходящее сглаживание, можно добиться, чтобы коэффициенты | ф; | быстро стремились к нулю при возрастании /. Это в некотором смысле приблизит Ф к единичной матрице. Однако ясно, что это можно делать лишь до определенного предела; если а мало по сравнению с единицей, то приближенное рассмотрение распределения статистики (3.9) может дать, по-видимому, лишь грубую аппроксимацию, так что потребуется использование следствия 2. Как мы уже отмечали, процедура Кули — Тьюки дает ощутимую пользу, когда N очень велико, и более реалистичной является асимптотическая модель, в которой т возрастает вместе с N, как в § 4. Использование сглаживания, по-видимому, не оправдывается в достаточной мере желанием обосновать асимптотическую теорию статистики (3.9), хотя этот вопрос и заслуживает дальнейшего исследования. С другой стороны, следствие 3 и идущее за ним обсуждение показывают, что применение сглаживания имеет некоторые недостатки; например, в одномерном случае дисперсия оценки равна

11

ттГ1/ W2 j ^4 W dx ( ^ и2 (х) dx |2оо

и достигает минимума при и (х) = 1. Таким образом, сглаживание приводит к увеличению дисперсии. Его применение оправдывается уменьшением смещения.

Мы закончим этот параграф двумя замечаниями. Во-первых, есть нечто парадоксальное в утверждении теоремы 8, из которой следует, что, используя частоты 2nk!N\ лежащие в данном диапазоне ширины 2nmlN вокруг %, мы можем получить оценку для / (X), которая в скалярном случае имеет распределение ^т* с 2т/ > 2т. Почему тогда нельзя взять сколь угодно малое а и соответственно сколь угодно большое тЛ Объяснение, конечно, состоит в том, что если а очень мало по сравнению с единицей, то для применимости асимптотических результатов нам, возможно, придется взять N' 1т', значительно превышающее Nlm. Поэтому число N. которое для данного т' обеспечивает хорошее приближение к асимптотическому распределению теоремы 8, будет давать хорошие результаты в теореме 3 для значений т, по крайней мере столь же больших, как т'. Вопрос этот заслуживает более подробного рассмотрения, чем данное здесь.

Второй вопрос, возникающий в связи с процедурой Кули — Тьюки, относится к корреляции между оценками в соседних диапазонах. Если оценка производится методами § 2, то очевидно, что мы

можем разделить т частот, по которым оценивается / (X), например, на два непересекающихся подмножества, состоящие из т^ и т2 частот, и получить две асимптотически независимые оценки / (X) с vg = 2шг- степенями свободы. Для процедуры Кули — Тыоки, как видно из теоремы 8, это, разумеется, не верно. Конечно, если сглаживание подобрано хорошо и т исходных частот разделены на два множества из mv и т^ частот так, что первое целиком лежит левее второго и т\, т^ не являются малыми, то корреляция может быть совсем незначительной. Мы можем непосредственно вычислить эту корреляцию- относительно предельного распределения двух оценок; аналогична формуле (3.10) получаем

1

km’^Y1 { j и2 (ж) dx } 2 Тг (Ф12Ф*) fP)®f РУ,о

где на пересечении [(г — 1) р + /]-й строки, [(/с — 1) р + Z]-ra столбца находится ковариация между оценкой tu (X) по первому подмножеству частот и оценкой fkl (X) по второму подмножеству, а Ф12 имеет пц строк и ш2 столбцов и состоит из элементов сри_р, и =--= 1, . . ., тс v = т^ + 1, . . ., Ш1 + ш2. Этот результат мы также оставляем в качестве упражнения к этой главе. В скалярном случае коэффициент корреляции между двумя соседними оценками принимает вид

Тг (Ф12Ф12)/д 1Тг(Ф11Ф1*1)Тг(Ф22Ф»2)]1/2 ’’

где Фц7 Ф22 — квадратные матрицы типа Ф порядка т^ и ш2 соответственно; например, Фи состоит из элементов матрицы Ф, лежащих в столбцах и строках с номерами от 1 до т^. Ситуация теперь достаточно ясна. Нетрудно распространить эти результаты на случай, когда т частот разбиваются более чем на два подмножества.

ОЦЕНКИ СПЕКТРОВ ПРИ БОЛЬШИХ У И m

Мы рассмотрим теперь проблему спектрального оценивания в условиях, по-видимому, наиболее близких к «реальным ситуациям», когда N очень велико (например, более 2000) и спектральные оценки должны производиться для семейства диапазонов равной ширины л/М, с центрами в частотах л//М, причем отношение N/М также велико. Если NIM велико, то распределение хи-квадрат для спектральной оценки можно с успехом заменить нормальным. Таким образом, мы рассматриваем асимптотическую ситуацию, когда N и М неограниченно возрастают, однако М/N при этом стремится к нулю. Именно такая модель, а не процедуры, описанные в § 2 и 3, использовались в основном при статистических реализациях спектральных оценок. Мы ограничимся оценками, которые являются квадратичны-

ми функциями наблюдений, т. е.

7 (А.) = 2j2j ^«0 (А.) (и) ОТ (l>)'-(4-1)

Предположим пока, что х (п) имеет нулевое среднее, так как с исключением тренда мы будем иметь дело позднее, однако подчеркнем, что на практике необходимо по меньшей мере центрирование данных. Наиболее важен класс оценок, для которых bul) (X) = Ьи_и (X). Подобные оценки естественны, так как математическое ожидание ^j (и) я к М зависит только от и — и. На самом деле, как показали Гренандер и Розенблатт [1957], можно, не теряя общности, ограничиться такими оценками. Впрочем, не все практически используемые оценки относятся к этому классу. Если

Ьп О^ = Ьпе-^,то наша оценка принимает вид

f(X) = 2 Ьпе-'пХ\^\* х^х'<и + пУ,

-N+1

где 2 обозначает суммирование по всем и, таким, что и и иД-п лежат строго между 1 и N. Положим кк = 2лЖп и запишем оценку в виде

(4.2)

где С (п)— матрицы, определенные в § 3 гл. IV. Введя

-7V+1

мы можем переписать (4.2) в виде

j i(e)KNp-e)de,(4.3)

-л

где I (0) определено соотношением (3.8) гл. IV. Формулы (4.2) и (4.3) являются основными; в частности, (4.3) показывает, что оценки рассматриваемого типа являются усреднениями «периодограммы» / (0) с ядром (или «спектральным окном» )) KN (X) в качестве весовой функции. Так как математическое ожидание / (0) при весьма общих предположениях сходится к / (0), то отсюда видно, что ядро К v (X) следует выбирать так, чтобы при возрастании N оно концентрировалось в нуле. Соответственно последовательность кк (также завися-

щая от 7V) будет стремиться к нулю со скоростью, которая уменьшается при возрастании N. Мы, однако, увидим, что KN (Л) недолжно концентрироваться в нуле слишком быстро при 7V оог ибо иначе дисперсия (4.2) не будет стремиться к нулю.

В важном классе случаев мы будем иметь

кп = к (п/М),(4.4)

где к (х) — непрерывная четная функция, к (0) = 1, | к (х) | < 1, и

J к2* (я) dx <С оо.

Ниже мы приведем примеры. Мы увидим, впрочем, что не все случаи укладываются в описанную схему. В случае так называемой оценки Бартлета требуются лишь незначительные изменения, а оценки типа рассмотренных в предыдущем параграфе требуют отдельного исследования.

Часто удобнее вместо KN (%) рассматривать

что приближенно равно

N-1

2 м.„1м>=-адм»=А_кД^.

-N+1

Обсудим теперь некоторые примеры.

Пример 1. ФПФ. Рассмотрим оценку

j

где / пробегает т последовательных целых чисел, а т растет вместе с N. Имеем

N-1

/‘>>-42^- 2 (i-^cto^-v"»-"/,

3-N+1

где т частот toj — ближайшие к %. Это есть просто преобразованная формула (2.5). Положим

где (Од — первая частота в сумме, определяющей /<F) (X). Мы часто будем опускать аргумент X в дальнейших рассуждениях, так как он

фиксирован, однако следует помнить, что кп зависит от X. Последнее выражение равно

ггЦХ' -toq-A-tt/N) -in(mdDi-X'-]-(ja -л/N)

ет(Х-Х')ЛZL^ е

m2i sin (n^/N)*

Мы ввели обозначение

так что | % — X' | ^ n!N. (Если X совпадает с серединой диапазона, занимаемого т частотами ФПФ, то X — X' = 0.) Имеем

гплт/jV— тлт[Н

Ъ — ргтЦХ-ХзЛZZfnm2i sin (пл/УУ)

т. e.

kn = e^^-^kn = e^^-^sin (mnlN) msin (nn/N)sin (mnlN) msin (nn/N)| X — X' | <^ KjN,| X — X' | <^ KjN,\n\<N-l.\n\<N-l.

kn = e^^-^

kn = e^^-^

sin (mnlN) msin (nn/N)

sin (mnlN) msin (nn/N)

| X — X' | <^ KjN,

| X — X' | <^ KjN,

\n\<N-l.

\n\<N-l.

Теперь fmW можно записать в виде

N-l

-N+1

Если положить 2mM=N, то эта оценка приводит к функции

и

( л"1, I л/2, К (%) = л

I 0,|%|>л/2.

Пример 2. Процедура Кули —Тьюки. Здесь мы имеем

iм W=4- 2 {1^ (2 -w «-V W ^) (2 =w««W «*"'1) *}. 3пп

где (Oj имеют вид 2nj/N' и являются ближайшими mf частотами к X. Это есть формула (3.9), в которой мы для простоты положили Af"1 ^CLn W = 1» что не ограничивает общности. Наличие сглаживания делает невозможным даже приближенное приведение этой оценки к виду (4.4). Если aN (п) = 1, то, как в примере 1, получаем

iBW-4r 2 (*-т)«И«-<»,

х ’т* sin (nn/N ) ’11। 1

Мы по-прежнему будем часто опускать аргумент X в обозначении для кп. Полагая 2т'М = N', вновь приходим к функциям

о,

Если aN (zz) ^ 1, то предположим, что aN (п) равномерно ограничена (по N и п) и, как было оговорено,

N

Предположим далее, что существует непрерывная функция и {х\ 0 ^ х ^ 1, которая является поточечным пределом кусочно-постоянных функций uN (х), равных aN (п) в интервалах (nIN — l/2^, n/N + 1/27V). Очевидно,

1

и2 (х) dx= 1.

6

Тогда для оценки Кули — Тьюки со сглаживанием мы положим о

Пример 3. Усеченная оценка. Здесь

м

i 2 (‘ -^) с-м

к ^ =К,Д^ =к ^ =К,Д^ =j 1, |а;|С1,

к ^ =

К,Д^ =

к ^ =

К,Д^ =

И>1, . 2М + 1 . sinX

2л sin 1/2Х1

sin Xл X

Для этой оценки функция к (х) разрывна. Это имеет свои недостатки. Первый боковой максимум функции К (X) достигается вблизи точки Зл/2 и составляет около 2/Зл от величины главного максимума. Поэтому если спектральная плотность / (X) имеет острый пик в точке X, то, как видно из (4.3), это приведет к появлению пиков в оценках для точек на расстояниях +Зл/2М, +5л/2М, . . . от X из-за совпадения боковых максимумов с пиком спектральной плотности.

Это может повлечь за собой неверные выводы. Другим нежелательным свойством является знакопеременность К (X). Из-за этого оценка спектральной плотности может принимать отрицательные значения. Это будет происходить в точке, где / (X) имеет глубокую впадину, близко подходящую к нулю. По причинам такого рода усеченная оценка применяется редко.

Пример 4. Оценка Бартлета. Здесь

м

-м "

_ 1-| п\!Мп~ 1-| n\/N е

Вновь, хотя эта оценка и не имеет в точности вида (4.4), мы можем ввести функцию

ТогдаТогда|ж|<1,|ж|<1,KW = i{KW = i{И>1.И>1.sin V2X V АV2X /sin V2X V АV2X /

Тогда

Тогда

|ж|<1,

|ж|<1,

KW = i{

KW = i{

И>1.

И>1.

sin V2X V А

V2X /

sin V2X V А

V2X /

Пример 5. Оценка Тьюки — Хэннинга. Эта оценка широко распространена благодаря влиянию Тьюки. Она вычисляется по формуле

рп (X) = | /т (X) + 1 ]т (X - л/М) + 4 /<Г) (1 + п/М\

Соответственно

кп = 4>- (1 + ео8-^-) , п = 0, ±1, ..., ± М,

Х(^) = /т(1+С08Лж)’ М'^1’

1 0,И>1,

7 2лл \ Л2— л2) /

Конечно, К у (X) легко получить из ядра для усеченной оценки с помощью того же «скользящего суммирования», которое было использовано для получения f№ (X) из fT\ Функция К (X) не всюду положительна, однако ее первый боковой экстремум, располагающийся вблизи 5л/2, имеет (отрицательную) величину, составляющую всего лишь около 8/(105л) = 0,021 от высоты главного максимума. Именно этот аргумент приводится в защиту этой оценки ее сторонниками. Конечно, в силу соображений, высказанных выше в связи с использованием сглаживания, мы вряд ли сможем достичь лучшего.

чем оценка Бартлета, если хотим, чтобы первый нуль К (%) был в точке 2л, а средняя высота К (%) по сравнению с высотой основного максимума была минимальна. Однако наибольший боковой экстремум для оценки Бартлета относительно более высок (в 105/9 раз выше), и в некоторых случаях это обстоятельство может оказаться важным (см. обсуждение усеченной оценки).

Пример 6. Оценка Парзена. Естественно искать ядра среди тех, которые успешно применяются в теории суммирования рядов Фурье. Одним из них является ядро Джексона — Валле-Пуссена

12 / sin1/2X \4

V \ х /

которое также обращается впервые в нуль при К = 2л. Оно более сконцентрировано в нуле, чем ядро Фейера (оценка Бартлета); в самом деле, отношение его величины при X = л к величине главного максимума равно 16/л4 по сравнению с 47л2 для ядра Фейера. По этой причине вместо него было предложено

Это ядро не обращается в нуль в точке 2л, но имеет в ней малое значение и очень низкие боковые максимумы. Оно, конечно, положительно. Имеем

kN (х) = к^ = <kN (х) = к^ = <1 — 6ж2 + 6|^|3, |#|1 — 6ж2 + 6|^|3, |#|£2£22(1-|а:|)3,. 0,2(1-|а:|)3,. 0,£2£2

kN (х) = к^ = <

kN (х) = к^ = <

1 — 6ж2 + 6|^|3, |#|

1 — 6ж2 + 6|^|3, |#|

£

2

£

2

2(1-|а:|)3,

. 0,

2(1-|а:|)3,

. 0,

£

2

£

2

Пример 7. Оценка Абеля. Последние две оценки мы упоминаем лишь потому, что они не лишены интереса, хотя и не будут использоваться. Для первой из них

kN (х) = к(х) = е~а|*1, 0 < а,

К^-К^-Л(л2 + Х2)•Л(л2 + Х2)•

К^-

К^-

Л(л2 + Х2)•

Л(л2 + Х2)•

Пример 8. Оценка Даниэля. Здесь мы полагаем

kN (х) = к (х)kN (х) = к (х)sin ^ляsin ^ля^ля^ляК (X) = < л ’10,К (X) = < л ’10,| Х|<л/2, | X | > л/2.| Х|<л/2, | X | > л/2.

kN (х) = к (х)

kN (х) = к (х)

sin ^ля

sin ^ля

^ля

^ля

К (X) = < л ’

10,

К (X) = < л ’

10,

| Х|<л/2, | X | > л/2.

| Х|<л/2, | X | > л/2.

Примеры 7 и 8, как и пример 1, требуют больших вычислительных затрат. На самом деле ясно, что примеры 8 и 1 очень тесно связаны. По-видимому, не существует никаких веских доводов в пользу

применения оценок 7 или 8. Предлагались и другие оценки, например оценка типа (4.4) с к (ж) = 1 — я2 при | х | < 1 и к (х) = 0 при | х 1 > 1.

Вопросу о выборе «спектрального окна», вероятно, придавалось чересчур большое значение. Стандартными процедурами являются 1, 2, 4, 5 и 6, из них 2 и 5 используются наиболее широко. Представляется вероятным, что процедура 2 станет преобладающей. Мы можем рассмотреть выборочные свойства таких оценок и с общей точки зрения, так как по крайней мере семь из восьми предложенных процедур использовались в разных случаях на практике. Сейчас мы приступаем к этим рассмотрениям.

В связи со следующей формулой для ковариации напомним читателю еще раз, что при вычислении ковариации двух комплексных случайных величин мы берем вторую из них сопряженной. Имеет место

Теорема 9. Пусть х(п) — стационарный процесс четвертого порядка, причем

33 3 1 »ДО (°, n, р, g) I < ОО, 21 ^Зк (и) | < ОО, n, р, д= — оо—оо

/, /, к, Z = 1, ..., р,

и пусть оценка f определяется соотношением (4.2) с кп вида (4.4), где к (х) непрерывна, равномерно ограничена и к (0) = 1, или же t — одна из оценок примеров 1—8. Тогда при М -> оо, M!N->0 (М = 1l2m-1N в примере 1 и М = V2 (m')-1 N в примере 2) Ит -2 cov | hi М. z ( Х2 + -^-) } =

" 0,+ Х2 (mod 2л),

j ^(ж)е^&/г&(Х)/гД21), Х1 = Х2 = Х#=0, ±л,(4.5)

j р2 (ж) ^ dx у.к ^ hj ^ + f и ^ fh.

<Xi = + Хэ = 0. + л.

Сходимость равномерна по Х1? Х2 для всех точек тора —л ^ X; < л, Z = 1, 2, для которых | Xj + Х2 | ^ 8 (mod 2л) при любом фиксированном е > 0.

Эта теорему мы докажем в приложении к этой главе.

Заметим, что нет необходимости отдельно формулировать результат для Xi = —Х2 = X, так как в этом случае мы имеем дело с ковариацией между fij (X) и f^ (X — кр!М^. Если использовать принятые нами тензорные обозначения, то в случае Xi = Х2 = X =/=0, л

результат можно записать в виде

{ j &2 (ж) е^^ ^ j / (X) 0 / ру.

В формулировке теоремы 9 мы хотели подчеркнуть следующие обстоятельства: (а) оценки в двух фиксированных точках Х^ и Х2 становятся некоррелированными при 7V -^ сю, но (Ь) оценки в точках, отстоящих друг от друга на расстояние пр/М, вообще говоря, коррелированы. Фактически оценки вычисляются в точках, отстоящих на расстояние кр1М, так что это замечание существенно.

Величина j /с2 (^) exp (ipnx) dx равна нулю при р ^0 в примерах 1, 2, 3 и 8. В примерах 4, 5 и 7 она принимает следующие значения:

Пример 4:при р = 0; - 9-9- при

и

Пример 5: -|- при р = 0; 4~ при р= + 1:

1

-у при /9= ±2; 0 при |/?|>2.

Пример 7:•

В примере 6 ситуация аналогична примеру 4, хотя формулы более сложны. Для примера 6 коэффициент ^ &2 (х) dx при р — 0 равен 367/560.

Если взять к (х) как для усеченной оценки и положить М = N, то усеченная оценка перейдет в периодограмму. Конечно, при М = N теорема 9 не имеет места. Тем не менее мы можем подставить М = N в формулу (4.5) для данной к (х) и попытаться получить формулу для ковариаций периодограммы. Сравнивая получающийся результат с правильным, вытекающим из следствия 1, мы видим, что они не совпадают; однако соотношение (4.5), использованное таким незаконным образом, дает удвоенное верное значение. (Причину этого следует искать в коэффициенте (1 — | п \/N), который не влияет на ответ, когда М/N -^- 0, но сказывается при М = N.) Этот парадоксальный результат наводит на мысль, что по крайней мере для усеченной оценки теорема 9 практически может давать сильно завышенное значение дисперсии.

Интересно проследить значение константы

2Nv =—М J к2 (х) dx

в наших примерах. Так как для ФПФ v = 2т, то естественно в общем случае положить т = V2v, и мы так и сделаем. Величина v

определяется согласно правилу, что число степеней свободы случайной величины, пропорциональной %2, равно удвоенному отношению квадрата ее математического ожидания к дисперсии. Отсюда получаем таблицу 1.

Таблица 1

ОценкаОценкаФПФФПФКули — ТьюкиКули — ТьюкиУсеченнаяБартлетаТьюки — ХэннингаУсеченнаяБартлетаТьюки — ХэннингаПарзенаАбеляДаниэляк И = { уПарзенаАбеляДаниэляк И = { уа?2, | х |1;х I > 1а?2, | х |1;х I > 12т = N]M 11^m'N/N'^y ^ и4 (ж) dx = (N/М}] ^ и4(х) dx ооN/M3N/M3N]3M(1120 А)/(367 М^2а N[MN/MV^N^SM^2т = N]M 11^m'N/N'^y ^ и4 (ж) dx = (N/М}] ^ и4(х) dx ооN/M3N/M3N]3M(1120 А)/(367 М^2а N[MN/MV^N^SM^V—число степеней свободы

Оценка

Оценка

ФПФ

ФПФ

Кули — Тьюки

Кули — Тьюки

Усеченная

Бартлета

Тьюки — Хэннинга

Усеченная

Бартлета

Тьюки — Хэннинга

Парзена

Абеля

Даниэля

к И = { у

Парзена

Абеля

Даниэля

к И = { у

а?2, | х |1;

х I > 1

а?2, | х |1;

х I > 1

2т = N]M 11

^m'N/N'^y ^ и4 (ж) dx = (N/М}] ^ и4(х) dx оо

N/M

3N/M

3N]3M

(1120 А)/(367 М^

2а N[M

N/M

V^N^SM^

2т = N]M 11

^m'N/N'^y ^ и4 (ж) dx = (N/М}] ^ и4(х) dx оо

N/M

3N/M

3N]3M

(1120 А)/(367 М^

2а N[M

N/M

V^N^SM^

Следует остерегаться предположения, что оценка тем лучше, чем выше, для данных М, N, число степеней свободы. Фактически во всех случаях, когда v превышает N/М, это происходит из-за корреляции между соседними диапазонами. В общем это не так уж плохо, ибо мы рассчитываем, что для соседних диапазонов истинные значения / (X) близки, а плавность перехода в ошибках оценок, обусловленная высокой степенью корреляции между соседними диапазонами, исключает резкие скачки случайной природы. Неприятность, однако, в том, что такое увеличение v достигается за счет расширения спектрального окна за пределы диапазона ширины п!М, и, следовательно, на оценку в середине диапазона будут влиять значения / (X) в точках, удаленных от середины более чем на к!2М< В случае оценки 2 применение сглаживания должно уменьшать число степеней свободы, если только и ^^ 1. И вновь приходится проявлять осторожность в выводах, так как еще не было исследовано смещение оценок, для уменьшения которого и предназначено сглаживание.

Как только что было отмечено, мы должны исследовать смещение спектральных оценок. Не следует преувеличивать значения дальнейших выкладок, ибо на практике столь же часто приходится использовать спектральные оценки для нахождения спектральной массы целого диапазона, как и для оценивания спектральной плотности в отдельной точке. Однако некоторые представления о таком понятии, как смещение, необходимы, ибо иначе можно было бы

подумать, что мы в состоянии произвольно быстро увеличивать число степеней свободы v, заставляя М возрастать сколь угодно медленно при увеличении N. Далее мы в основном следуем Парзену [1957].

Очевидно, величина смещения будет зависеть от гладкости / (%), и мы предположим, что

§Н||Г(п)||<оо, д>о.(4.6)

Мы будем интересоваться только главным членом асимптотического разложения для смещения и предположим также, что для того же самого q

Им ^.kVX=kq<eo(4.7)

Если kq конечно для некоторого qOl то при q < qQ оно равно нулю. Если мы исходим из теоретически заданных последовательности Г (тг) и функции k ^xY то в качестве q можно взять наибольшее число, удовлетворяющее (4.6) и (4.7), хотя целесообразно рассматривать q как наибольшее вещественное число, удовлетворяющее (4.6), а к (х) — как функцию, выбранную так, чтобы выполнялось (4.7). В случае процедуры Кули — Тьюки потребуется дополнительное условие

lira Mq {1 --пу ^.-^ ^С^)^ («+«)} =0(4.8)

N->oo I)

для любого фиксированного п. Здесь вновь суммирование ведется по всем и, для которых и и и + п лежат между 1 и N. Имеет место следующая

Теорема 10. Если f, М, N удовлетворяют условиям теоремы 9, число q удовлетворяет условиям (4.6) и (4.7), сглаживание удовлетворяет условию (4.8) и Mq!N-^0 при ^^1, то

ОО

И™ MqE V(X)-/(X)} = -5- 2 Г(л)| п |«.(4.9)

Доказательство. Для оценок с кп вида (4.4), а также для усеченной оценки имеем

мчци (АН*

q N-1ОО

= 4г{ 2. (4.10)

-N+1-оо

Разобьем теперь (4.10) на три слагаемых, из которых первое оценивается следующим образом:

|-^Г 2 ?M(»)e-inXl<

^ъИ^Г 2 Н"^^-*о,?>о.

\n\^N Второе сводится к

4г 2 Чт)г»1ь«(-)е-“|.(4.11)

При q > 1 это не превосходит

Т 2 I И I I T>k (/?) | -^ 0.-N+1

При д<1 выражение (4.11) ограничено величиной

cMqN"4 2 |тл(«)|И<'-*0,0<д<1.

Утверждение справедливо и при q = 0, так как

N-lN-1

14г 2 Чт)тт«м)<4г 2 44ы»)1

-N+1-Л*+1

и обе суммы N-lN-1

*2^ 2 (1 I ^Wh "2л 2 IV^MI

-N+l-N4-1

имеют один и тот же предел. Наконец,

-4г 2<">]-

= 12 1-kW [п]яу {п)1

Из условия пт = kq < оо

|х| —о Ы9

следует, что {1 — k (n/M)^l\ п/М | 9 ограниченно сходится к kq для любого фиксированного п, откуда следует утверждение теоремы. То же самое, очевидно, верно и для оценки Бартлета.

Для ФПФ рассуждения аналогичны, однако к (х) заменяется на

kN W = ^(Х-Х')МkN W = ^(Х-Х')Мsin ЧгЛят sin Q-J^xJm^sin ЧгЛят sin Q-J^xJm^| % — V | < л/TV.| % — V | < л/TV.

kN W = ^(Х-Х')М

kN W = ^(Х-Х')М

sin ЧгЛят sin Q-J^xJm^

sin ЧгЛят sin Q-J^xJm^

| % — V | < л/TV.

| % — V | < л/TV.

т— 1“2“т— 1“2“\ 2л )/ TV J ’\ 2л )/ TV J ’Величина к — К равна

т— 1

“2“

т— 1

“2“

\ 2л )

/ TV J ’

\ 2л )

/ TV J ’

{ ^ — ( 7 о 4

где 2n/0/7V — наименьшая частота в сумме, определяющей оценку. Первые два вклада в смещение сходятся, как и выше, к нулю, если q удовлетворяет условию (4.6) § 4. Если требуется, чтобы смещение имело порядок О (M"q\ то следует наложить условие

lim(4.12)

для любого фиксированного п. Рассмотрим

lim n"qMq /1знИ/гЛ^Ж1jV_>oot т sin ^к^Мт)) / ’

Г л2п2 Гm/N^ — m^]N^1 Л,. ГЛ2п2 f(1 — т^ Mq1 Л

limттт-^Mq И = lim1 ^,

^пЧ IJ jN-*oo L6^1 Л2J >

что равно л2/24 при q=2 и нулю при #<2. С другой стороны,

(1 _е«а-х->М)—s™l^L^Mq, х = п]М, (4.13) х7 т Sin (i/^/zzi) ’’х 7

будет стремиться к нулю при N -> оо, если Mq!N стремится к нулю. Для процедуры Кули— Тыоки мы полагаем

^ W - е«^-^м —^^х. ^— • 2 aN W aN {и + п),

где суммирование происходит no N — | п | значениям и, таким, что и и и + п лежат между 1 и N. Если опустить последний множитель в выражении для kN \xY то (4.12) будет вновь выполняться при q ^ 2 с теми же значениями kq. Таким образом, чтобы этот результат имел место для процедуры Кули — Тьюки с настоящей функцией kN (х), необходимо потребовать выполнения (4.8).

Теорема показывает, что если q удовлетворяет сформулированным условиям, то смещение имеет порядок не выше О \M"q\ Во всех рассмотренных случаях к0 = 0, так что в условиях теоремы смещение, во всяком случае, стремится к нулю. Некоторые частные результаты отражены в таблице 2. Число kq в третьем столбце, разумеется, отвечает наибольшему значению q, для которого kq конечно.

Таблица 2 в каком-то отношении дезориентирует, так как, например, усеченная оценка, имеющая здесь наилучшие показатели, обладает, как мы уже знаем, плохими свойствами в отношении

Таблица 2

Оценка

q, для которого hg < оо

hq

ФПФ

?<2

&2

= л2/24

Кули—Тьюки

9<2

&2

= л2/24

Усеченная

q С оо

kq

= 0

Бартлета

?<1

= 1

Тьюки — Хэннинга

?<2

^2

— л2/4

Парзена

9<2

&2

= 6

Абеля

9<1

— а

Даниэля

q<2

^2

= л2/6

к (а:) = 1 — х2

?<2

^2

= 1

{/(6)-/(Х)}^0,{/(6)-/(Х)}^0,смещения (имеет заметный боковой экстремум, который может причинить неприятности). Проведенный нами асимптотический анализ не обнаруживает дефектов такого рода. Для периодограммы смещение равно

{/(6)-/(Х)}^0,

{/(6)-/(Х)}^0,

Г sin2 i/2W (X —0)

J 2л^8ш2 1/2(Х-6) -л

что имеет порядок О (log N/N), если / £ Lip 1 в окрестности Z. (См. математическое приложение. В частности, это условие выполняется, если / дифференцируема в точке X.) Если q ^ 1, то, учитывая, что Mq!N —►- 0, мы можем подобрать М так, чтобы M"q = О (log N/N). Впрочем, при таком выборе М дисперсия увеличилась бы много больше, и этим замечанием мы хотим лишь дать представление об ориентировочных границах для скорости убывания смещения.

Если мы хотим сравнить смещение со стандартным отклонением, то имеет смысл рассмотреть среднеквадратичную ошибку, которая равна дисперсии плюс смещение в квадрате. Так как дисперсия имеет порядок О (M/N), то, если смещение есть в лучшем случае О (M"q)^ порядок среднеквадратичной ошибки будет наименьшим, когда

(4.14)(4.14)M^O(Nvo+2q)Y

(4.14)

(4.14)

Для усеченной оценки этот результат, конечно, малосодержателен; из него следует, что M/N может сходиться к нулю сколь угодно быстро, без каких-либо неблагоприятных последствий для оценивающей процедуры, если / (X) является достаточно гладкой. Это может привести к неправильным выводам при конечном фиксированном N. Для q = 2 формула (4.14) дает М = О (W1/5). Практическая ценность этого правила, по понятным причинам, не очень высока. В случае 7 = 2 асимптотика смещения имеет вид M'^k^” (X), так что для среднеквадратичной ошибки при М = с№5 в скалярном

случае, когда X ^0, +л, имеем

lira 7V4/5E [{/(X) - / (X)}2] = ср (X) ( к2 (ж) ^ + с^к} {/" (X)}2;

N-*OOV

1/51/5правая часть достигает минимума при

1/5

1/5

" 4kW4W

Р (X) j* /с2 (ж) dx

При этом произведение N4^ на среднеквадратичную ошибку стремится к

2 (/2 (X) J к2 ЬМх^ W)2/5-

Из проведенных рассуждений уже видно, что смещение и дисперсия действуют в противоположных направлениях, так что, если мы увеличиваем М, чтобы уменьшить смещение, мы уменьшаем и скорость убывания дисперсии. Дальнейшее исследование этого явления читатель может найти в работе Гренандера [1951] или Бартлета и Медхи [1955].

Полученные результаты, касающиеся ковариаций, можно применить для нахождения дисперсий и ковариаций некоторых других рассмотренных статистик. Мы не будем приводить всех подробностей, как в теореме 9, а упомянем лишь то, что представит интерес в дальнейшем.

w)+4^w},w)+4^w},Следствие 4. В условиях теоремы 9 при X ^ 0, л (mod 2л)

w)+4^w},

w)+4^w},

lim-^"var(^W) = 2 f k2^dz hi^fjWO-Oii N-oo MJI

H™ ^ var tin W) = 2 J &2 (^ { A W fj W W) + 3 Qii W} ,

lim cov £п (p), qn = ( к2 (ж) dxcu (X) ди (к), N-*o° м

°ij W ^ 0,°ij W ^ 0,Hm var(MX)) =A J X2to^{2z^Ll. ,

°ij W ^ 0,

°ij W ^ 0,

и, если спектральное окно неотрицательно,

Ит -^ var psu (X)) =4 j X2 (ж) dx (1 — а?, (X)}2.

Замечание. Частоты 0, л представляют интерес только для а^ (X). Мы не стали отдельно останавливаться на этом случае только ради простоты. Позже мы покажем, что при подходящих ограничениях на х (я) в случае o^- (X) = 0 величина 0fj- (X) имеет равномерное распределение, тогда как при QtiW ^0 она асимптотически нормальна, так что ее дисперсия представляет интерес. Этот результат для коэффициента когерентности, без сомнения, справедлив при более общих предположениях, однако мы не сочли целесообразным обсуждать их здесь.

Доказательство. Первые два соотношения получаются легко, так как с^ и qtj — линейные функции от /^ и f3i.

При рассмотрении коэффициента когерентности мы ограничимся неотрицательными спектральными окнами. В этом случае нетрудно показать, что о^ (X) ограничен единицей. Благодаря этому можно получить асимптотику его дисперсии относительно M/N с помощью простых рассуждений (см. Крамер [1946], стр. 388). Имеем

hiWhiW ] 1/2/ ab У/2hiWhiW ] 1/2/ ab У/2

hiWhiW ] 1/2/ ab У/2

hiWhiW ] 1/2/ ab У/2

Разлагая эту функцию четырех переменных в ряд Тейлора в окрестности а, р, у, 6, где а = E{/Zj- (X)} и т. д., и ограничиваясь линейными членами, имеем

+ (» - Р) ^- (« -7) ^ - У - 6) ^ } + 0

% ^ 0, + л, откуда получаем х) с той же точностью дисперсию о^ (X):

/Vр

^™ -^ var (оц (X)) = у {1 — Qi, (X)}2 j /^ ^ дж-

В случае о^ (К) ^ 0 можно аналогично получить дисперсию фазы

Предположим, что с^- (X) ^0 и что 0г-7- (X) лежит внутри интервала [—л/2, л/2] (с учетом знаков ди (X) и Сц (X)). При условии о^ (X) -^0 другие случаи могут быть рассмотрены аналогично и дисперсия получается такая же. Разлагая арктангенс и действуя, как выше,

Ч [(сфУ^б)]1^ отличается от Е (о^ на величину порядка M/N.

получаем

О ’О ’^и (^) ^ 0.^и (^) ^ 0.^ Т var ^ ^ = 4 j k" dx { "^

О ’

О ’

^и (^) ^ 0.

^и (^) ^ 0.

Как и следовало ожидать, дисперсия равна нулю, если о^ (X) = 1.

АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ СПЕКТРАЛЬНЫХ ОЦЕНОК

Мы ограничимся в этом параграфе доказательством центральной предельной теоремы для наших спектральных оценок в случае линейных процессов. Без сомнения, подобный результат можно установить, опираясь на условие сильного перемешивания, но мы ограничимся более простым случаем. Предположим, что

*(«)= 2 А^е(п — j),*(«)= 2 А^е(п — j),^ II AU) II < °°,^ II AU) II < °°,(5Л)(5Л)

*(«)= 2 А^е(п — j),

*(«)= 2 А^е(п — j),

^ II AU) II < °°,

^ II AU) II < °°,

(5Л)

(5Л)

где е (тг) — независимые одинаково распределенные случайные векторы с нулевым средним, ковариационной матрицей G и конечными четвертыми моментами. Если мы рассчитываем на содержательный результат, то мы должны быть уверены, что смещение имеет меньший порядок, чем стандартное отклонение, так что после нормировки предельное распределение / (X) будет концентрироваться вокруг / (X). Поэтому мы дополнительно потребуем, чтобы

(5.2)(5.2)1 iin sup v1/21| / (X) — Е (/ (X)) || = 0.

(5.2)

(5.2)

N-* оо X

Сформулированные условия имеют еще тот недостаток, что нам приходится предположить существование четвертых моментов (для е (п)), тогда как наши статистики связаны только со вторыми моментами. Как видно из следующей теоремы, этот дефект можно устранить, если (5.1) дополнить условием

sup |/ 11И (7)Н< оо(5.3)

OO<J<OO

(которое, как легко видеть, не сильнее и не слабее (5.1)).

Теорема 11. Если ос (п) удовлетворяет условиям (5.1), (5.2) и (5.3), то для того, чтобы распределение величин

v’/s ^jk ^ + ^-fjk (М + -»} ; /, k = l,

q = 1, . . ., r; I — 1, . . ., 5,

где Xt, I = 1, . . ., s,— произвольные частоты, сходилось к комплексному многомерному нормальному распределению с матрицей коварна-

ций теоремы 9, необходимо и достаточно, чтобы

N

1

сходилось к нулю по вероятности. Последнее выполняется, если 8 (тг) имеет конечные четвертые моменты, причем условие (5.3) можно тогда опустить.

Доказательство этой теоремы также помещено в приложении к этой главе.

Представляется вероятным, что эти условия могут быть ослаблены и нечто менее ограничительное, чем абсолютная сходимость А (/), будет достаточным. В связи с этим мы рекомендуем читателю работу Уиттла [1964]. Мы сформулировали теорему в ее настоящем виде, ибо нам потребуется совместное распределение оценок в соседних диапазонах.

Чтобы избежать недоразумения, отметим, хотя это может быть и излишне, что рассматриваемое здесь комплексное многомерное нормальное распределение не является точным аналогом распределения, появляющегося в § 2, но в определенном смысле является предельной формой произведения т экземпляров распределений (4.6) гл. IV, по экземпляру для каждого элементарного диапазона частот в рассматриваемом диапазоне ширины л/М. Другими словами, мы, грубо говоря, используем нормальное распределение как аппроксимацию к хи-квадрат распределению при большом v.

Теорема 11, в пределах своей применимости, подтверждает асимптотическую применимость всех процедур §2. Во всех случаях асимптотическая теория приводит к нормальному или хи-квадрат распределению вместо, например, t- или ^-распределений, однако подобная модификация не является необходимой, ибо распределения, применявшиеся в § 2, дают результат, асимптотически эквивалентный методам настоящего параграфа. Для иллюстрации приведем несколько примеров. Начнем с построения доверительного интервала для спектральной плотности, который теперь становится очень простым, а именно:

2 (, , , * f х/2\1/21-1

Лр+ИаЦ^) ) ^Л<Ъ M-z(a)(v) } ,

где 2 (а) есть 100 (1 — а)%-я точка для стандартного нормального распределения (коэффициент доверия равен 100а%). Эта процедура, как легко видеть, эквивалентна процедуре § 2 (а); последняя, возможно, несколько предпочтительнее, хотя выяснение этого вопроса требует более тщательного анализа.

Распределение статистик cjk и qjh также получается из этой теоремы. Будучи вещественными линейными комбинациями комплексных нормальных величин, они имеют вещественное нормальное

распределение. Их дисперсии и ковариации, очевидно, совпадают с вычисленными в § 4. В частности, при ojk = 0 величины cjk и qjk имеют одинаковые дисперсии, равные

2 ( V^dxfj^HhW-

Их отношение q^Jcjk распределено как отношение двух независимых нормальных случайных величин с нулевым средним и единичной дисперсией, поэтому 6 = arctg {qjk^jk) имеет равномерное распределение в (—л, л] в предположении, что при локализации 6 в этом, интервале мы учитываем знаки qjk и cjk. Для коэффициента когерентности рассмотрим сначала случай Gjk = 0 и предположим, что fj > 0, fk > 0. Тогда при Х^О, +л величина

v сзк + ^к

4 Ш

распределена как хи-квадрат с двумя степенями свободы и, поскольку fjfklfjfk сходится по вероятности к единице, vo^ распределена как хи-квадрат с двумя степенями свободы. При X = 0, +л, в силу аналогичных соображений, величина у о^ распределена как хи-квадрат с одной степенью свободы. В § 2, когда т было фиксировано, мы получили, что у (v — 2) Gjk/(1 — o2k) имеет jF-распределение с 2 и v — 2 степенями свободы. При v —> сю это согласуется с установленным результатом, так как Gjk стремится по вероятности к нулю, a 2F2, v-2 сходится к хи-квадрат с двумя степенями свободы. Даже при v = 60 существует заметное различие между точками значимости для этих двух распределений (3,15 для F2,60 и 2,99 для у Х2 ПРИ 5%-м уровне). Мы подробнее обсудим аппроксимации такого типа для гауссовских процессов в § 3 гл. VI, однако представляется вероятным, при данном ограниченном уровне наших знаний, что /’-аппроксимация будет лучшей в большинстве случаев.

В случае ojk Ф 0, ^ > 0, /h > 0 мы поступим следующим образом. Рассмотрим при X =^0, +л

^^=v,/2 ^ - ^) ^3™ •

Очевидно, если левая часть имеет нормальное распределение при v -> сю, то это же справедливо и для v1/2 (ojk — Oj^, так как последний множитель сходится к единице по вероятности. Однако vi/2 (д^_ vi/2 I 12zk2zzZz^LlLzt£7^L(£^LZLL^^

;Vfjfk

I 2 12 ^i — fl) fk + (fk— fkMj )hhhh ’

а эта величина имеет такое же асимптотическое распределение, что и ш+^ (7„-ш■

так как, например, v1/2 | fjK — fjk | сходится по вероятности к нулю. Но последнее выражение есть линейная комбинация комплексных нормальных величин и поэтому является нормальной величиной с дисперсией, которая, согласно предыдущей формуле, равна (1 — Oj^)2 4о^. Итак, v1/2 (ojk — G3^ нормальна с нулевым средним и дисперсией (1 — сг^)2, в согласии с формулой для дисперсии, полученной в § 4 х). Поэтому, в частности, величина

^1/2(^А — gjh)

нормальна с нулевым средним и единичной дисперсией 2). Это приводит к доверительному интервалу

.1—ок . .-1 — ок

° jk ^172 2 (а) ^ ^Л ^ ^^ ^^172 2 (а) ’

где 2 (а) теперь 100 (1 — а)%-я точка для стандартного нормального распределения.

Для X = 0, +л эта формула требует модификации, однако мы оставляем эти относительно несущественные случаи в качестве упражнений. Здесь также может оказаться предпочтительной процедура, основанная на таблицах Эмоса и Купменса [1963], применявшаяся в § 2 для фиксированного v (т. е. тп). Эти таблицы покрывают очень широкий диапазон значений v (фактически до v = 250), хотя при очень больших v оба метода дают почти одинаковый результат.

Приведенные примеры достаточно иллюстрируют положение вещей. Сформулируем заключение в следующем виде:

Следствие 5. В условиях теоремы 11 справедливы все результаты § 2 с заменой 2т на v, определяемое по таблице 1.

Представляет реальный интерес обобщение теоремы И на случай, когда х (п) не является линейным процессом, но зато удовлетворяет условию сильного перемешивания; так, линейная модель непригодна в ситуации, когда все х (п) положительны, и, за исключением довольно специальных случаев, мы должны считать а5 и 8 (п) неотрицательными (в скалярном случае). Тогда, однако, их автокорреляция должна быть положительной для любого значения запаздывания,

что часто не соответствует действительности. Теорему 11, несомненно, можно было бы обобщить и на такой случай, однако здесь мы ограничимся лишь этим малоудовлетворительным утверждением.

Обсудим теперь некоторые дальнейшие результаты, принадлежащие Вудруфу и Ван Нессу [1967]. Выше мы рассмотрели процедуры, позволяющие строить доверительные интервалы для различных характеристик, определяемых плотностью / (X). Возникает, однако, новая проблема, если все значения X, для которых вычисляется / (X) (т. е. X = nk/М, к = 0, . . ., М^ должны рассматриваться одновременно, так как если мы требуем, чтобы одновременно для всех к оцениваемые величины лежали в наших интервалах, то уровень доверия, который мы приписываем этим интервалам, будет, очевидно, слишком завышен. Трудность состоит в том, что М растет вместе с N, т. е. в конечном счете мы должны одновременно делать неопределенно большое число доверительных утверждений. Необходимо знать распределение какой-либо статистики типа

Именно ее и рассматривали Вудруф и Ван Несс. Очевидно, что теперь потребуются более сильные ограничения, чем использованные в конце § 4, и мы предположим, что

z(n) = y А G) Цп — fb

где е (тг) — независимые, одинаково распределенные векторы с параметрами (0, 7р), конечными восьмыми моментами и

5 IM (у) 716 <М

Предположим также, что

min det {А (X)} > 0, К (X) = 2 А (/) е^х; X-оо

M = O(NaY ос < 2/5,

и что 2а '(3 — 46) > 1 при 6 < 3/4. Это есть некоторая модификация условий Вудруфа и Ван Несса, хотя, насколько может судить автор, сформулированные условия не являются определенно менее или более ограничительными. Они, однако, проще формулируются, в особенности для 6 ^ 3/4. Эти условия не кажутся излишне ограничительными, хотя установить их связь с явлениями реального мира было бы не легко. Мы рассмотрим оценивающие процедуры типа тех, которые обсуждались в § 4 и 5. Вудруф и Ван Несс предполагали, что KN (^) ^ 0, и существенно использовали условие, что к (я) = 0 при | х 1 < 1. Это исключает процедуры 3 и 5 § 4, каждая из которых

представляет определенный интерес. На самом деле, если

J \KN^\ax=o^NY -л

то условие KN (%) ^ 0 можно опустить. Последнее выполняется для процедур 3 и 5. Требование к (я) = 0 при | ж | < 1 исключает процедуры 7, 8 и, что значительно более существенно, процедуры 1 и 2. Эти процедуры, как и любые другие процедуры неусеченного типа, удовлетворяющие условию

х^к2 (ж) dx < оо, р> {(^з0-)^-1}

также могут быть включены в обсуждаемую теорему. Возможно, что последнее условие слишком сильно, но оно достаточно для наших целей, так как во всех примерах 1, 2, 7 и 8 0 может быть взято сколь угодно близким к единице, тогда как (10/3) а — 1 < V3. Для процедуры Кули — Тьюки возникает проблема в связи со сглаживанием. Сглаживание должно «хорошо» вести себя при N оо1 чтобы исчезали эффекты смещения. Мы оставляем детальную разработку этого вопроса наиболее трудолюбивым читателям и ограничимся случаем без сглаживания. Чтобы упростить обозначения, положим

с надлежащей модификацией в случае к = 0, М в соответствии с полученными выше результатами. Аналогично, положим

var{oz,. (-^^-ч!-^)2, ^°’ ^

Г. Г А / л/с \ о /л/с Xin /| (л/с/Л/) (1 — оЬ (л/с/д/)) var [sin 19ц у м ]1pn,klM^\^tiV-

= {2 log (2M)}-1^2,

bN = {2 log (2M)}1/2 -V2 (2 log 2M)’1/2 {log (2 log 2M) + log 2л},

у = U^X —p bN .

Доказательство следующей теоремы, мало отличающееся от приведенного в работе Вудруфа и Ван Несса [1967], мы опускаем.

Теорема 12. Пусть процесс х (п) и оцениваюгцие процедуры для спектров и взаимных спектров удовлетворяют оговоренным

условиям. Тогда

^z.v = exp( —e x),^z.v = exp( —e x),v Г {|/;(nW)-/^W^m Р max r^—

^z.v = exp( —e x),

^z.v = exp( —e x),

N->oo Lo^k^M {var (/j (л/с/Л/))}/

lim P Г maxN->oo *-0;<^Л/lim P Г maxN->oo *-0;<^Л/exp ( — e x^exp ( — e x^HSuWM^-Gjj^k/MH^{var (o^ ^uklM^V^

lim P Г max

N->oo *-0;<^Л/

lim P Г max

N->oo *-0;<^Л/

exp ( — e x^

exp ( — e x^

^Zjy I =exp( —e x).^Zjy I =exp( —e x).lim PN-*oolim PN-*oomax

^Zjy I =exp( —e x).

^Zjy I =exp( —e x).

lim P

N-*oo

lim P

N-*oo

x-^н^м [var (sin {вг-у (л/с/Л/) —0^ (л/с/Л/)})]1/2

Понятно, что во всех случаях дисперсии могут быть заменены их оценками, так что практическая польза этого результата состоит во введении функции ехр (—e~xY которая определяет доверительный уровень, отвечающий точкам значимости aNx + bN. Некоторые точки значимости для этого распределения затабулированы в книге Оуэна [1962], стр. 307—309. При использовании этих результатов, по-видимому, требуется более низкий уровень доверия.

Эти результаты важны в принципиальном отношении, однако из-за их асимптотического характера на практике к ним относятся с большим недоверием, чем к результатам предыдущих параграфов. Известно, что в случае, когда рассматривается наибольшее значение из последовательности независимых одинаково распределенных величин, подобные формулы для экстремальных значений справедливы лишь при очень больших размерах выборки. Здесь же привлекаются и другие аппроксимации, и для пригодности формул, очевидно, порядок М столь же существен, что и порядок N. Можно предполагать, что приведенные соотношения дают лишь очень грубую аппроксимацию.

Мы закончим этот параграф ссылкой на работу Бриллингера и Розенблатта [1967b], относящуюся к полиспектрам. В этой статье эффективно разработаны аналоги теорем 9, 10 и 11 для спектров высших порядков.

КОМПЛЕКСНЫЙ МНОГОМЕРНЫЙ АНАЛИЗ г)

В этом параграфе дается обзор методов многомерного анализа, приспособленных для анализа векторных процессов на данной частоте %. Изложение будет кратким, ибо рассматриваемый предмет весьма обширен и мог бы включить в себя весь классический вещественный многомерный анализ и многое другое. Он выходит за рамки вещественного многомерного анализа, ибо комплексное многомерное нормальное распределение, записанное как вещественное многомерное нормальное распределение для вещественных и мнимых частей рассматриваемых величин, имеет специальную форму. Эта специфика находит проявление в понятии фазы, которое лишено смысла в клас-

сическом многомерном анализе. Наш обзор, однако, ни в коей мере не будет полным; в частности, в дальнейшем исследовании нуждаются вопросы статистической обработки фазы для рассматриваемой нами ситуации. Мы будем предполагать, что наш векторный процесс х (п) удовлетворяет условиям теорем 13 или 13' гл. IV и что все рассмотрения относятся к данной частоте X ^ 0, л, которую мы зафиксируем и не будем вводить в обозначения. (Мы считаем, что X ^0, л, так как в противном случае многомерный анализ сводится к классическому вещественному многомерному анализу.) Таким образом, мы исходим из плотности

s=vv*- (6Л>

где матрица V имеет элемент Vj (и) в у-й строке и и-м столбце; j = = 1, . . ., р; и = 1, . . ., т. Имеем m-1S = f. С этой плотностью ассоциируется дифференциальная форма dV, которая равна произведению дифференциалов вещественных и мнимых частей всех и5 (и).

Теорема 13. Если комплексные случайные величины Vj (и) имеют плотность (6.1), то S = W* имеет плотность

р1

{л1/2Р(Р-1)Ц(т_7-)!)-1 е-тгу-^)(det Sfl-p (det/)-m.(6.2)

Это распределение называется комплексным распределением Уишарта.

Доказательство. Заметим сначала, что, вводя преобразование

V = AV, 7=AfA\ S = ASA\

где А — невырожденная комплексная р X р-матрица, имеем

^(f^dV-^h S)dV.(6.3)

В самом деле, <р (/, S) = | det А |“2тф (/, 5), и остается только проверить, что якобиан преобразования равен | det А |2т. Если А = С + ID, v (и) = а (и) + ib (и), и (и) = а (и) + ib (и), то, как в начале доказательства теоремы 13 гл. IV, имеем

1а(иУх"С —D" la^X

\bWVJD С3 \Ь (и)/ "

В упражнениях к этой главе мы покажем, как доказать, что определитель этого преобразования равен | det А |2. Отсюда сразу следует, что его якобиан равен | det А |2гп. Пусть ф (5) dS — плотность распределения элементов матрицы 5, где теперь dS — произведение дифференциалов р2 вещественных и мнимых частей элементов 5, лежащих на главной диагонали или выше нее. (Вещественные и мнимые части элементов ниже диагонали не дают новых вещественных

случайных величин.) Согласно (6.1),

ф (5) dS = с^-т^) (det ГТ g, (5) dS,(6.4)

где gt (S) получается в результате интегрирования по всем переменным в (6.1), кроме тех, которые определяют 8. Конечно, gv (5) не зависит от /. В силу (6.3), замена 5 на 3 и / на / не меняет ф (5) dS, и это позволяет записать (6.4) в виде

ф (8) 48 = се-TrU"^) {det у-^™ g (8) dS,

где g (S') dS = g (S') dS. Известно, что существует только одна с точностью до постоянного множителя такая «инвариантная дифференциальная форма» (см., например, Хелгасон [1962], стр. 402). Преобразование 8-^8 есть линейное преобразование р2 вещественных случайных величин из матрицы 8. Его определитель равен | det А |2Р. (Мы укажем способ доказательства в упражнениях.) Вследствие этого (det 8ГР dS есть инвариантная дифференциальная форма. Итак,

ф (5) dS = ce-^S) (det S^-p (det fym dS,

и остается только найти константу с.

Мы будем в основном следовать Гудмену [1963], но Заметим сначала, что с не зависит от /, и рассмотрим интеграл

{ {detS}ke-Tr(s)dS,

где можно интегрировать по множеству положительно определенных матриц, так как мера множества вырожденных матриц равна нулю. Положим 8 = Т*Т, где Т — верхняя треугольная матрица с положительными элементами на диагонали. (Легко показать, что 8 представима в таком виде. Единственность следует из того, что если 8 — Т*!^ 8 = T*T2l где У1!, Т2 имеют требуемый вид, то Т"1!^ — унитарная верхняя треугольная матрица с положительными элементами на диагонали и, значит, равна единичной.) Якобиан ^ равен

д^ _ 9Р/2р-1/2р-3 f

дТ И 221 е е

где ^- — элементы Т. Это следует из соотношения

min 0, k)

Sjk “ 5

г=1

если упорядочить рассматриваемые вещественные параметры следующим образом: $ц, Res12, Im s12, . . ., Reslp, Im slp, s22l . . . . . ., Im Sp_^i p, Spp4 £ц, Re t^2i Im t^2l . . ., Re t^p, Im t^p^ t22l . . . . . ., Im tp^, p, tpp\ тогда якобиан превращается в определитель

треугольной матрицы и легко вычисляется. Это приводит к интегралу j | det Т р ехр (- Тг ф*!^ 24^-1 ... tpp dT =

= 2Р j t^W-it^W-s ... <2h+i exp (_Tr (7*7)) aT-

Так как

Tr (7*7) = t^ + (| (12 p + ty + ... + (I hP |2 + • • • +t^, то этот интеграл приводится к произведению интегралов, из которых р имеют вид

<^(P+h)-(2?-D еХр ( —<^) dtjj = X (p + k — ;)!,

а остальные р^р — Г)12 —вид

j j ехр (— | tjh |2) du)h dvjh = л, tjk = ujk + ivjk,

] <Lk\ j, k=l, . . ., p.

Поэтому рассматриваемый интеграл равен

р

^(P-DlJ^ + y-l)!.

Полагая k = m — р, находим

р

с — {kWCp-1) (т— у)!} \1

что и требовалось.

Теперь, когда ответ известен, мы можем доказать результат, и не используя единственности инвариантной дифференциальной формы, путем вычисления совместной характеристической функции элементов S с помощью соотношений (6.1) и (6.2). Эти вычисления довольно несложны, и мы предоставляем их читателю, который захочет по-другому доказать соотношение (6.2).

Теорема 13 является аналогом результатов, обсуждавшихся в пункте (а) § 2. Ее ценность, по-видимому, ограничена. Мы не будем обсуждать вопросы типа проверки значимости различия между двумя спектрами, так как подобные вопросы также не представляются практически важными. Вместо этого мы продолжим обсуждение несомненно важных вопросов, аналогичных рассмотренным в пунктах (Ь) и (с). С этой целью введем второй стационарный процесс у (п) с ^компонентамии предположим, что векторный процесс (ж (пУ • у^пУ) стационарен и удовлетворяет условиям теорем 13 или 13' гл. IV.

В соответствии с этим мы получим разбиение fx fxu

LA/Х /у J

где fx — матрица спектральной плотности х (п). fy — матрица спектральной плотности у (п). а элементами матрицы fxy = fyx являются взаимные спектральные плотности между х, (п) и ук (п). Мы, конечно, будем использовать обозначения /х и т. п. для оценок, полученных из vx, j (и), / = 1, . . ., р; vy, k (и), k = 1, . . ., q\ и = 1, . . ., т, где первый индекс указывает на процесс, по которому вычисляются эти статистики. Будем обозначать через их (и) и т. п. вектор с р компонентами vXi j (и). j = 1, . . ., р. Предположим. что т ^ р + q. Заметим, что р m-мерных векторов с элементами vx, j (и) порождают ^-мерную гиперплоскость в Ст (комплексном m-мерном пространстве) и что аналогичную гиперплоскость порождают q векторов с т координатами иу, , (и). Мы ищем два новых случайных вектора, каждый из которых лежит в соответствующей гиперплоскости, таких, чтобы истинная когерентность между ними была максимальна. Найдя их, мы ищем следующую пару, некогерентную с каждым членом первой пары и такую, что когерентность между ее членами максимальна, и т. д. Максимизированные коэффициенты когерентности р^ можно назвать каноническими. Среди них не более min (р. д) коэффициентов отличны от нуля. Соответствующие случайные векторы с компонентами pt*z;x (и). ^tvy (и). имеющие коэффициент когерентности р^,

21Нг*^|2.

=——— z; = 1 .. ., min(p, q\.

называются x- и ^-дискриминантными функциями, а векторы pf (и vz) называются векторами коэффициентов х- (и ^дискриминантных функций. Если р > q. то можно найти р — q дискриминантных функций Цд+)УХ (и). 7 = 1, . ... р — q. которые некогерентны со всеми ^киу (и), и аналогично в случае q> р. Говорят, что функции ц^+^х (^) отвечают каноническим коэффициентам когерентности pg+j- = 0, «тождественно равным нулю». Мы можем нормировать дискриминантные функции так, чтобы их средний квадрат равнялся единице (так что знаменатель последнего выражения равен единице). Тогда

Е (^/хР-у) = 64 = Е (vf/yVj),

I Е (l^/xyV;) I2 6-’р2, i = l,j = i,

Следующая теорема является простым алгебраическим фактом, и ее доказательство опускается.

Теорема 14. При р ^ q нор мированные векторы коэффициентов дискриминантных функций определяются однозначно с точностью до множителя, по модулю равного единице и одинакового для членов

каждой пары, из соотношений

\fxyfyfyx рг fx\ Нг — О?

det-р?/,1= О, ,= ■

Р? > Р= > ... > р; » О, р;+1 = р,^2 - ... = р= _ О, vi = P;/y1Wb i = l,

Числа pf являются каноническими коэффициентами когерентности. При р < q мы можем получить эти параметры, поменяв ролями х и у. Теперь мы можем определить соответствующие выборочные величины цг«, vf, pz- путем простой подстановки fx вместо fx и т. д. Они имеют простую геометрическую интерпретацию, установить которую мы предоставляем читателю.

fxy fy f^yfxy fy f^yСовместное асимптотическое распределение величин рг- было найдено Джеймсом [1964], формула (112). Мы не будем здесь заниматься ни этим распределением, ни его выводом. Вместо этого мы рассмотрим некоторые критерии значимости для гипотез о связанности процессов х (п) и у (п) на частоте X и соответствующие доверительные процедуры. Рассмотрим несколько более общую ситуацию, когда одновременно наблюдаются три векторных процесса х (п), у (п), z (п) с р, q и г компонентами, причем векторный процесс (х (п)' • у (п)' : z (п)') удовлетворяет условиям теоремы 13 или 13' гл. IV. Имеем

fxy fy f^y

fxy fy f^y

fxz fyz /z _

Мы хотим проверить гипотезу о связанности х и у (на частоте X) после исключения всевозможных эффектов, обусловленных z. Таким образом, исходная гипотеза состоит в том, что fxy — fxzf^fzy равно нулю, так что vx (и) — fxzfz^z (и) некогерентно с иу (и), и вся видимая связь между хну обусловлена только их общей зависимостью от z.

Теорема 15. Полученное из асимптотического распределения (6.1) отношение правдоподобия для проверки гипотезы о равенстве нулю fXIJ — txztzHzy есть монотонная функция «лямбда-критерия» )

Л(т-г, р, = , (6.5)

^ — fx fxzfz^fzxi В — (/Ху fxzfz1fzy) (fy fyzfz^zy) ^ (f yx fyzfz^fzx)»

Имеет место равенство

Л(т —г, р, q) = П 11 Х^т~г — j—/с + 2, 1, 1), (т—г)>/? + 7. (6.6) j=i h=i

где каждый множитель N (т/, 1,1) имеет вид (1 — р2), где р — простой коэффициент когерентности для т' наблюдений. При нулевой гипотезе эти сомножители асимптотически независимы и распределены как простые коэффициенты когерентности при равной нулю истинной когерентности. Отсюда

р qр, q

ЦЦт-Л р, q^^y^y"1-^1 2 2 П (+++)} ’

Э — \ k=lU,

(и, d^G, Ь)

O^z/^1, т">г-^ p-V-q.(6.7)

При больших т величину

— m"lnA(m— г, р, q^ где

Р q

3=1 k=\

можно приближенно рассматривать как хи-квадрат с 2pq степенями свободы.

Замечание. Более точную аппроксимацию распределения Л можно получить из результатов Андерсона [1958], стр. 207—209 (см. также Рао [1965], стр. 500). Можно, в частности, использовать асимптотическое разложение, первые два члена которого имеют вид

Р (— m" In Л< z) = Р (%2Рд^ ^ +

где %и — хи-квадрат величина с и степенями свободы.

Доказательство. Мы опустим доказательство того, что отношение правдоподобия имеет указанный вид. Рассмотрим сначала случай г = 0. Пусть s — плоскость в Ст1 проходящая через начало координат и порождаемая строками матрицы Ух (которая имеет элемент vx, j (и) на пересечении j-й строки и ^-го столбца). Л-крите- рий принимает вид

det {/у fхиf и1л=———(1 —.

det{/+

Коэффициенты р, определяют взаимное расположение плоскости s и плоскости t, натянутой на строки матрицы Vy (с элементами vy, k М)- Соответствие между Ут и 5 порождает вероятностное распределение на пространстве т) Gp, т (С) всех таких плоскостей, проходящих через начало координат. Это распределение инвариантно относительно унитарной группы U (т), поскольку Vx и VXU (т) имеют, очевидно, одинаковое распределение. Когда мы говорим, что порождаемое распределение инвариантно, мы имеем в виду, что вероятность любого множества S таких плоскостей совпадает с вероятностью множества gS, получающегося из 8 действием любого элемента g унитарной группы U (т) (gS есть множество ^gs; s S^. Если t0 — фиксированный элемент из Gq, т (С), то распределение коэффициентов pz, описывающих взаимное расположение s и Zo (s имеет инвариантное распределение в Gp, т (С)), не зависит от фиксированной плоскости (ибо 5 и gs имеют одинаковое распределение, а рг одинаковы для пар gs, gtQ и s, £0). Отсюда следует, что распределение pz не зависит от распределения плоскости t0, если она не фиксирована, а распределена случайно независимо от s; в частности, t0 может иметь инвариантное распределение в Gq, т (С), независимое по отношению к s. Отсюда также следует, что распределение Л не изменится, если одна из плоскостей распределена инвариантно и независимо по отношению к другой, которая может иметь произвольное распределение. Поэтому, чтобы найти распределение Л (т, р, д), можно взять в качестве Vy матрицу

Vy = Uq : 0].

Кроме того, Л (т , р, д) не меняется при преобразовании Vx->- ->PVX1 гдеР невырожденна. Поэтому можно положить /х = 1Р. Теперь, обращаясь к случаю г ^ 0, положим Е = {/т— У? (УгУ*)"1^}- Тогда Е проектирует на ортогональное дополнение подпространства, порожденного строками Vz в Сп\ Таким образом, при г ^0 мы связываем VXE и VyE, где VXE не зависит от Vy (так как Е (VxEVy) = fxy — fxzf^tzy = 0). Кроме того, при фиксированном Е строки матрицы VXE порождают плоскость s £ Gp, т_г (С), которая имеет инвариантное распределение в этом многообразии, ибо унитарное преобразование, оставляющее инвариантным подпространство, натянутое на строки Vz, очевидно, коммутирует с Е. Поэтому А (т — г, р, д) имеет распределение, соответствующее семейству коэффициентов когерентности pf между ^-мерной инвариантно распределенной плоскостью в Ст"г и ^-мерной плоскостью в этом же

х) Пространство GP) т (С) как топологическое пространство с локально евклидовой топологией, определяемой локальной параметризацией с помощью элементов матрицы Vx, является аналитическим многообразием, которое называется грассмановым многообразием.

пространстве, натянутой на строки матрицы

[^ : 0],

причем инвариантно распределенная плоскость порождается строками матрицы W, имеющими комплексное нормальное распределение с нулевым средним и ковариационной матрицей /р. Таким образом, условие г 0 приводит лишь к уменьшению степеней свободы, и мы можем, не ограничивая общности, рассматривать Л (m, р, q). Отношение Л (m, р, q) имеет вид

~ det { S

\ (т, р, q) =^,

det №iw^1

где wt есть 2-й столбец матрицы W. Эта величина и ее знаменатель независимы; в самом деле, она функционально не зависит от элементов матрицы, определитель которой находится в знаменателе, ибо эти элементы можно привести к произвольным допустимым значениям (т. е. таким, которые образуют эрмитову положительно определенную матрицу) невырожденным преобразованием W ->- PW, которое, как мы знаем, не изменяет Л. Мы предоставляем читателю доказать, используя подходящее преобразование координат т), что элементы матрицы WW* распределены независимо от остальных параметров, необходимых для задания распределения W, от которых только и может зависеть Л. Положим

det {2= Sj

э

и заметим, что

~9 S- " ~

Л(т, р, ?) = Ц^1к = Дл(/п-/ + 1, р, 1).

1 1 1

Более того, каждое из отношений ЛДт — / + 1, р, 1) не зависит от остальных. Рассмотрим, например, Л (т — / + 1, р, 1), Л (т — k + 1, р, 1), к > /. Второе из них не зависит от элементов т

матрицы 2 ^^’*7 определитель которой находится у него в знаме- к

х) Это можно сделать, полагая W = GLAS где G — унитарная, L — квадратная диагональная, а А — матрица размера рХт с ортогональными строками. Строки матрицы А порождают подпространство, определяемое W. Дифференциальная форма по элементам W распадается на произведение двух форм, одна из которых содержит только элементы А, а так как плотность зависит только от WW* = GLG, то утверждение доказано.

нателе. Оно заведомо не зависит от

h-1к-1

5j+1

а значит, от элементов матриц

к—1тк-1т

2 WiW?+2 tot^i, 21x7twt + 2 wtw*зкj+1k

и, следовательно, от отношения Л (т — / + 1, р, 1), которое является функцией только этих элементов. Отсюда следует высказанное утверждение. Разумеется, Л (т'. р, 1) = 1 — р2, где р — сводный коэффициент когерентности между одной комплексной нормальной случайной величиной и р другими, от нее не зависящими; таким образом, р2 распределен как сводный коэффициент корреляции с 2/) вещественными величинами по 2^' группам наблюдений. Мы можем повторить описанную процедуру для каждого множителя Л (т , р, 1) = = Л ^т', 1, р) и в результате придем к разложению

~р 9 _

Л(^, р, q) = п п Х(т — / — k + 2, 1, 1),j=i k=i

где каждый множитель не зависит от других и имеет вид 1 — р2, где р — простой коэффициент когерентности для т' = т — / — — к + 2 наблюдений. В силу (2.6), (1 — р2) имеет плотность

(т/ — 1) хт'"2,0^ж^1,

а —2 (jn — 1) In (1 — р2) имеет хи-квадрат распределение с двумя степенями свободы. Итак, полагая ajk = т — / — к + 1, имеем

_р q

£ = — In Л (m, р, 9) = 2 2 a^j. л,

7=1 k=l

где xp k — независимые и одинаково распределенные величины с плотностью ехр (—х). Поэтому характеристическая функция £ равна

Ц (1 — г^е),

к

откуда легко получаем плотность |:

2II (г^;)}-

з к(и, ъ)Ф(з, к)

Это доказывает теорему, за исключением ее последнего утверждения. Оно довольно очевидно, так как

— т" In Л (т, р, q) = 2 2 "Ц” { ~" ^зк In Л (^ — / — к + 1, 1, 1)},з к Зк

и при т, больших по сравнению с р и q, коэффициенты (m72ajft) близки к единице, так что правая часть близка к сумме pq независимых случайных величин, каждая из которых имеет распределение %2. Впрочем, нетрудно было бы оценить и (6.7).

Прежде чем перейти к дальнейшему, мы рассмотрим некоторые частные случаи, иллюстрирующие полученные выше общие результаты. Насколько нам известно, такие методы никогда не использовались на практике, так что предлагаемым примерам нельзя придать практическое звучание. Тем не менее мы надеемся, что эти методы найдут применение.

Если х (п) содержит детерминированную компоненту 2 (ct7 cos п07 + Pj sin п07), где а7 и 07- — векторы из р компонент, то среднее значение величины их (и) отлично от нуля, особенно для тех и, которые отвечают частотам 2ku/N, концентрирующимся около частоты %, близкой к одной из 07*. В этом случае вектор средних значений для их (и) зависит от и. Мы приводим здесь этот пример только для того, чтобы показать, что может возникнуть желание проверить гипотезу о равенстве нулю среднего значения их (ы). В этих обстоятельствах можно рассмотреть каноническую связанность между их (и) и и у (и) = 1 (т. е. q = 1). Выше было получено распределение Л-критерия при нулевой гипотезе Е (их (и)) = О, и мы видели, что оно совпадает с распределением (1 — р2), где р2 — сводный коэффициент корреляции между одной вещественной случайной величиной и 2р другими по 2т группам наблюдений, когда истинная корреляция равна нулю. В нашем случае Л-критерий, конечно, имеет вид

1 - ц? (mTW^^ Дх = 1 - р*Ь (X)

где цх — вектор средних значений их (и). Мы позже рассмотрим подобную проблему с другой точки зрения. Возможно, что более подходящим будет критерий, основанный на выборе иу (и) = exp iuX, который приведет к тому же самому распределению новой статистики критерия.

Рассмотрим пример, в котором, скажем, р океанографических «параметров» должны быть связаны с q + 1 метеорологическими параметрами, причем предполагается, что все возможные связи обусловлены одной известной линейной комбинацией метеорологических параметров. В этом случае г — 1. Критерий строится путем исключения с помощью комплексной регрессии известной линейной комбинации из всех океанографических переменных и из q линейных комбинаций метеорологических переменных (линейно независимых по отношению к заданной). Конечно, его можно построить проще в соответствии с (6.5). Величина

— (2т — p — q — 2) In Л (ап — 1, р, q).

рассматриваемая как хи-квадрат с 2pq степенями свободы г), служит для проверки гипотезы о том, что имеется всего один аргумент причинной зависимости. Полное отношение Л (m, р, q + 1) распадается на множители

А^т, р, q-V^^A^m, р, 1)Л(^—1, р, q), где первый множитель в правой части отвечает критерию для проверки связанности заданной линейной комбинации метеорологических переменных с океанографическими переменными.

В качестве несколько более сложного примера рассмотрим проверку гипотезы о том, что связанность всецело обусловлена одной линейной функцией метеорологических переменных и, кроме того, что зависимость распространяется лишь на некоторое заданное подмножество pY < р = Pi + р^ океанографических параметров. Теперь разложим Л по формуле

Л (m, р, q-V 1) =Л(т, рь 1) Л (m— pVl р^ 1) А (т—1, р, q), где Л (т, Pi, i) — критерий связанности между заданной линейной комбинацией и заданными океанографическими переменными, A^m — pi, р2, 1) = Л(т, р, 1)/Л(т, рь 1), где числитель такой же, как в примере (ii), и А (т — 1, р, д) такое же, как в примере (ii). Если заданная линейная функция некогерентна на рассматриваемой частоте с рг заданными океанографическими переменными, то первый множитель приводит к хи-квадрат распределению с 2pY степенями свободы; независимо от справедливости первой гипотезы второй множитель приводит к %2 с 2р2 степенями свободы, если остальные р2 переменных не связаны с заданной линейной комбинацией (помимо возможной связи через первые pi переменных), тогда как третий множитель приводит к %2 с 2pq степенями свободы, если заданная линейная комбинация является единственным аргументом причинной зависимости.

Две другие проблемы мы упомянем здесь лишь кратко; первую — потому, что ее практическое решение опирается в настоящее время на асимптотическую (для больших т) теорию, которая в рассматриваемых приложениях является несколько ненадежной, и вторую, связанную с доверительными процедурами для коэффициентов дискриминантных функций,— из-за трудностей изложения результатов в настоящем контексте, когда число вещественных параметров не бывает меньше двух, а часто достигает восьми или десяти.

л Первая проблема возникает тогда, когда, вычислив коэффициенты pi, упорядоченные так, что pi ^ р2 ^ . . ., мы обнаруживаем, что только первые s < min (р, g) из них имеют заметную величину,

т) Здесь, конечно, применима теорема 15 во всей ее общности, и мы не обязаны использовать приближенное у.?рд-распределение.

а остальные малы. Тогда мы можем попытаться проверить гипотезу, что только 5 из истинных коэффициентов когерентности отличны от нуля. Если бы были известны истинные дискриминантные функции, отвечающие этим ненулевым коэффициентам, например для переменных я, то мы могли бы, действуя как раньше, построить критерий Л (т — 5, р — s, q). В противном случае можно использовать выборочные дискриминантные функции взамен неизвестных истинных. Согласно (6.5), это приводит к отношению

Л (т, р, q){det (/х txzt z4zx) I ^^ fx^

где z соответствует s переменным, определяемым первыми s выборочными дискриминантными функциями. Знаменатель, очевидно, равен

11(1-Pi),1

так что наш критерий принимает вид

~min(p, q)

= Д (1-р?).(6.8)

Цо—р!)«+1

Распределение этой статистики может быть получено из точного распределения р^, г = 1, . . ., min (рп q). Можно также получить аппроксимацию, используя совместное асимптотическое распределение этих величин при фиксированных р и q и т ->- оо. Рассмотрение вещественного случая читатель может найти в работе Хзу [1941]. Основной результат состоит в том, что (6.8) асимптотически можно рассматривать как Л (т — s, р —s, q — s) при условии, что в точности s канонических коэффициентов когерентности отличны от нуля; другими словами, величину

П<1-Р'<>

1

можно приближенно использовать как хи-квадрат с 2 (р — s) (q — s) степенями свободы.

Наконец, мы очень кратко обсудим доверительные процедуры для коэффициентов дискриминантных функций. Рассмотрим случай, когда требуется построить доверительную область для вектора коэффициентов v, определяющих дискриминантную функцию 2 (и) = = ^*уу (и), причем предполагается, что после устранения влияния г переменных их, 5 (и) остается только по одной истинной дискриминантной функции для х и у с ненулевой канонической когерентно-

стью. Нормируем v, условившись, например, что первый ненулевой коэффициент равен единице. Тогда мы можем разложить полное отношение критерия по формуле

Л(т, р, q-[-r) = А(т, р, г) А^т — г, р, q) —

= Л (т, р, г) А^(т— г, 1, q) Av (т — г— 1, р— 1, q),

где первый множитель служит для проверки гипотезы о связанности переменных х и z, второй — для проверки связанности переменных Н и у (в предположении, что v известен) и последний — для проверки гипотезы о том, что есть только одна функция £ с ненулевым коэффициентом когерентности. Последний множитель, конечно, является функцией неизвестных коэффициентов £ (подчиняющихся указанному ограничению). Таким образом, поскольку Av (т — г — 1, р — 1, q^ имеет известное распределение при гипотезе, что только один канонический коэффициент когерентности отличен от нуля, соотношение

Р {Av (m—-г—1, р — 1, q)^.a)=a

можно использовать для нахождения доверительной области для компонент v с коэффициентом доверия а: для этого следует найти векторы v, удовлетворяющие неравенству

Av (т — г—1, р- 1, q^^a.(6.9)

Проиллюстрируем эти рассмотрения на простом примере р = 2. Тогда

Av(m —1, р — 1, 9) =,

где Л (т — г, р, q) — полный критерий (не зависящий от v) связанности после устранения влияния переменных z, а ср — квадрат канонического коэффициента когерентности между £ (и) и q переменными у после устранения влияния z. Последний равен

v*SvФ v*Xv ’

где А и В определены в (6.5).

Соотношение (6.9) переходит тогда в

V* (Я-Г —z1 л) v^O;

IL1—Л (m — г—1, р — 1,'

таким образом, доверительная область для v определяется указанной эрмитовой формой.

Можно было бы, конечно, рассмотреть и более сложные случаи.

В заключение отметим, что в соответствии с принципом, сформулированным в следствии 5, методы этого параграфа применимы, с заменой 2т на число степеней свободы, когда М и N неограниченно возрастают, но так, что M/N-^Q.

. ПРАКТИЧЕСКИЙ СПЕКТРАЛЬНЫЙ АНАЛИЗ

этом параграфе мы не будем постоянно различать спектры и взаимные спектры и во всех случаях, когда не может возникнуть недоразумение, будем говорить просто о спектре или спектрах.

Чтобы согласовать наши обозначения с теми, которые обычно используются в практическом спектральном анализе, мы изменим их следующим образом:

Мы будем обозначать через А выборочный интервал, который до этого момента мы считали единичным.

Мы будем работать в терминах частоты /, равной числу колебаний в единицу времени. Таким образом, X = 2л/.

Положим Хц (/) = 2л/г-; (%), X = 2л/.

Тогда fn = (2А)-1 — частота Найквиста, или частота свертывания.

Ширина диапазона, по которому производится спектральная оценка, равна теперь (2МА)-1.

Предположим, что мы раз и навсегда выбрали некоторую процедуру оценивания (например, процедуру Кули — Тьюки или Тью- ки — Хэннинга и т. д.). Ясно, что обычно так оно и бывает, ибо выбор того или иного метода определяется той программой, которая лучше всего «идет» на имеющейся вычислительной машине, личным опытом работы исследователя с определенной методикой оценивания и т. п., а отнюдь не желанием найти оптимальную для рассматриваемой проблемы процедуру.

После этого должны быть приняты некоторые решения, которые отражаются в выборе значений A, N и М (или т) г). Производя выбор, мы, очевидно, должны учитывать такие факторы, как

скорость убывания | Xtj (/) | при возрастании /;

стоимость увеличения N;

требования к точности и степени разрешения.

В связи с последним пунктом заметим, что под точностью мы подразумеваем то, что измеряется дисперсией, однако мы еще должны установить, что понимается под разрешением. Для этого необходимо ввести понятие полосы частот. Это можно сделать по-разному, однако, поскольку для нас это понятие служит исходным и мы не собираемся давать точных указаний, как измерять полосу частот, здесь нет необходимости в пространном обсуждении различных определений. Нас интересует, насколько выраженный характер в истинном спектре (скажем, в скалярном случае) имеют узкие

В этой книге не рассматриваются ситуации, когда весьма важное значение имеют относительно высокие частоты (как, например, в акустике) и численные методы становятся слишком дорогостоящими. В таких случаях первостепенную роль играют аналоговые устройства, использующие методы фильтрации.

высокие пики. Полосу частот для такого локального максимума можно определить как половину ширины пика на уровне, составляющем половину его максимальной высоты над уровнем спектра в окрестности. Полосу частот для спектра в некоторой области можно определить нестрого как минимум подобных величин по всем «заметным» пикам в этой области. Как уже отмечалось, для измерения это понятие определено слишком нечетко. Оно, конечно, тесно связано с колебанием спектра на интервале /, а именно, с функцией

О) (6) = sup I / (М) - / (%2) I, I %! - %2 | < б, М, %2 € L

которая в свою очередь зависит от скорости стремления к нулю коэффициентов а7- в формуле для линейного процесса. Поэтому понятие полосы частот в скрытой форме уже присутствовало в наших рассуждениях (см. упражнение 2). Здесь же нам потребуется нечто менее определенное и более приспособленное к обсуждению практических вопросов на интуитивном уровне.

Конечно, выбор оценивающей процедуры нельзя произвести без каких-либо априорных сведений о поведении спектра. Во многих областях подобная информация существует из опыта предшествующих аналогичных исследований. При ее отсутствии единственным выходом из положения является «пробное» вычисление. Блэкмен и Тьюки [1959] описали «скорый, но грубый» способ выполнения подобного пробного исследования, основанный на попарном суммировании наблюдений, образовании попарных разностей и суммировании их квадратов. Таким образом, величину

5 {ж (2Дп) — х (2 Дп — Д )}2 (7.1)

можно (после соответствующей нормировки) рассматривать как оценку спектральной массы в интервале от /п/2 до /п. Мы, однако, не будем останавливаться на этом способе, ибо он, по-видимому, предназначался для ранних поколений быстродействующих машин. Современное оборудование позволяет обойтись без подобных методов. Большим достоинством ФПФ и процедуры Кули — Тьюки является то, что они дают исходную оценку для I (%), на основе которой можно проводить все дальнейшие вычисления. Таким образом, исходное пробное исследование может заключаться просто в первом применении этих процедур, т. е. в первом выборе значений т или т* (возможно, меняющихся с частотой). Если же эти процедуры недоступны, то начальная оценка X (/), скажем, по методу Тьюки — Хэннинга с завышенным значением М представляется все же более предпочтительной, чем использование формул типа (7.1). Во всяком случае, мы будем предполагать, что имеется хотя бы качественная информация, на основе которой можно проводить дальнейшие вычисления.

Мы рассмотрим вопрос о выборе N позже, хотя N должно выбираться в первую очередь. Выбор А в основном мотивируется стремлением избежать наложения частот, хотя, конечно, возникают и пробле-

мы стоимости; например, может оказаться очень сложным разобрать запись процесса для очень коротких интервалов. Грубое правило, предложенное Тьюки, предписывает брать в качестве /п величину 3/2/шах, где /щах —«максимальная интересующая нас частота», так что

А = (3/шах)

Если спектральная масса сосредоточена ниже 2/тах, то это означает, что эффекты наложения ниже /тах отсутствуют.

Перед тем как выбрать М, имеет смысл произвести следующую обработку информации.

Данные по возможности следует нанести на график. Это чрезвычайно важно не только потому, что дает некоторое представление об их характере, но и потому, что (а) предохраняет от ошибок при записи и (Ь) позволяет заметить отклонения от стационарности. Большие ошибки при записи могут полностью исказить результаты спектрального анализа. Нет никаких автоматических правил, кроме соблюдения аккуратности, которые исключали бы ошибки, и построение графика (с последующей тщательной проверкой) является одним из лучших способов их обнаружения. Мы предполагали до сих пор стационарность, однако не исключены и радикальные изменения в механизме случайности. Важным приемом при изучении таких изменений является разбиение временного ряда на отрезки, в которых стационарность сохраняется.

Можно осуществить ту или иную предварительную фильтрацию. В экономических задачах обычно производится предварительная фильтрация для устранения «трендов», которые можно грубо представлять себе как скопления спектральной массы на нулевой частоте. В конечном счете цель фильтрации состоит в таком использовании априорных сведений, которое по возможности приблизило бы спектр к равномерному, прежде чем начнется оценивание. В какой-то мере это можно рассматривать как операцию «пригонки» оценивающей процедуры к имеющимся данным. Для ФПФ и процедуры Кули — Тьюки роль подобной предварительной фильтрации не так велика, ибо эти методы дают исходные оценки, основанные на спектральных окнах с узким диапазоном Qn/N или 2nJN'). Тем не менее предварительная фильтрация необходима, в частности, для устранения значительных концентраций спектральной массы в тех случаях, когда отсутствуют точные сведения о природе этих концентраций. Конечно, после завершения вычислений влияние фильтрации должно быть учтено. В принципе это сводится просто к делению на частотную характеристику фильтра. В действительности же последовательность операций, включающая фильтрацию, спектральную оценку и деление на частотную характеристику фильтра, дает не тот же самый результат, что просто оценивание без фильтрации; в самом деле, если бы это было не так, то фильтрация была бы вовсе не нужна! Этот вопрос, по-видимому, требует дальнейшего

исследования, и фильтрацию следует применять с осторожностью. Ясно также, что может потребоваться учет фильтрации, которая произошла естественным путем (например, из-за инерции записывающего устройства).

Во всех случаях необходимо центрирование данных, но может потребоваться и более сложная регрессия. Подробно мы обсудим ее последствия в гл. VII. Центрирование повлияет в основном на оценку при / = 0. В этом случае приближенная корректирующая процедура состоит в делении на (1 — M/N). В более общем случае, когда с помощью регрессии устраняется полиномиальный тренд порядка (г — 1), оценку на частоте / = к/2М можно делить на {1 — (r/N) KN (2nf)}. При / = 0 и г = 1 это правило переходит в предыдущее.

Наконец, коснемся проблемы, обсуждавшейся ранее в связи с оценками взаимных спектров и состоящей в том, что если 6 (2л/) быстро меняется в зависимости от /, то оценка когерентности может быть сильно занижена. Приближенный способ заключается в сдвиге по времени одного ряда относительно другого, что приводит к вычитанию из фазы величины /60. Конечно, величина 60, определяемая сдвигом, может меняться от диапазона к диапазону (т. е. в зависимости от к). Таким образом, если пробное исследование показало, что в рассматриваемом диапазоне 6 между i-м и /-м процессом может иметь вид а + 6/, где b велико, то перед началом вычислений для этого диапазона /-й процесс следует сдвинуть относительно г-го на [6] единиц времени.

Пусть В — полоса частот предварительно найденного спектра или той его части, которая нас интересует. Тогда следует положить (МА)-1 = В, ибо ширина диапазонов (в единицах /) равна (2МД)-\ и если мы подберем ее так, чтобы она равнялась половине полосы частот, то будет достигнуто приемлемое разрешение. Отсюда

Относительная ошибка оценки спектра (в смысле отклонения от ожидаемого значения) измеряется коэффициентом вариации

Т7 ( var (Хг) IV2 / м \1/2 Г f 1 2 / х л 1 1/2

Аппроксимируя последний множитель, получаем

м ^^ 12/тах

У2 BV^ ’

где V — требуемый порядок величины относительной ошибки, т. е- требуемый коэффициент вариации ). Итак, мы установили про-

стые приближенные правила для определения А, М и N по заданным В, /тах и V. Их следует рассматривать только как общее руководство и нельзя принимать слишком всерьез, хотя бы потому, что они часто приводят к чересчур завышенным значениям N; если, например, единица времени — секунда и

/тах — Ю, 5=1/2, Г =0,1, то

Д=1, М = 60, ^ = 24000.

Довольно ясно, что для многих целей такое значение V слишком мало. Если заменить его значением 0,3, то N уменьшается до величины порядка 2 700, что представляется более приемлемым. Более точным кажется другой подход, основанный на теореме 11 §5. На практике описанная последовательность действий вряд ли будет выполняться в явной форме, даже в настоящем ее виде. На деле процедура скорее всего носит частично экспериментальный характер, когда методика дополняется некоторой «игрой» при выборе М, в особенности если используется ФПФ или метод Кули — Тьюки. Правило, предложенное Дж. М. Дженкинсом, предписывает пробовать три значения М. Первое, заниженное значение дает приближенные указания относительно расположения основной спектральной массы. Второе, завышенное значение дает представление о необходимой величине разрешения, и компромисс достигается при выборе третьего значения. В этих вопросах, как и в ряде других, настоящим учителем является опыт и никакая книга не в состоянии заменить его!

УПРАЖНЕНИЯ

Пусть

§ |М(/)П1/|6<~. V4<6.

Используя неравенство

|| 2 8 м einX || < 2 || 2' 8 W г (n + s) ][, 1-Г

1/4 <d <3/4,1/4 <d <3/4,6 > 3/4.6 > 3/4.показать, что

1/4 <d <3/4,

1/4 <d <3/4,

6 > 3/4.

6 > 3/4.

при 8 -> 0, т. е. h (к) удовлетворяет условию Липшица с показателем д. Вывести отсюда, что / (X) также удовлетворяет этому условию.

Показать, что если выполнено условие упражнения 1, то

S ||Г(п)|||п|6<оо.«*ОО

Пусть Vj (и), / = 1, 2, для фиксированного и имеют комплексное многомерное нормальное распределение, причем матрица /, фигурирующая в формуле (4.4) гл. IV, является функцией от и вида

fufu/1P12^^U-Pi2e~i6u /2 _/1P12^^U-Pi2e~i6u /2 _и = 1и = 1т.т.

fu

fu

/1P12^^U

-Pi2e~i6u /2 _

/1P12^^U

-Pi2e~i6u /2 _

и = 1

и = 1

т.

т.

Считая р; (и), и = 1, . . ., т, независимыми, получить оценки максимального правдоподобия для /п /2 и а12 = Р12 (/1/2)_1^2- Построить критерий отношения правдоподобия для проверки гипотезы о том, что Оы не зависит от и.

Пусть в примере 4 Ои = а + Ри. Построить оценки максимального правдоподобия для /ь /2, сг12, а, Р и критерий отношения правдоподобия для гипотезы р = 0. Обсудить примеры 4 и 5 в связи с процедурами оценки когерентности, предложенными в § 6.

Доказать соотношения (2.9), (2.12), (3.10) и (3.12).

Рассмотрим оценку вида

л

f(X)=( I (Q) KN (К—0)d0,(*)

-Л

М

Kn (X) =4- У vix.

-М

Показать, что

N

2 ( 2л/с \ и Х\ iz ( 2л/с л/ \ Т ( л/ \

-2V+1

т. е. что спектральная оценка в точках 2nklN в точности совпадает с «естествен* ной» интегральной суммой, аппроксимирующей правую часть соотношения (*).

Пусть

Показать, что определитель А равен | det (С + ID) |2. (Используя полярное разложение А = С + iD и изоморфизм, установленный при доказательстве теоремы 13 гл. IV, сведите доказательство к случаям эрмитовой и унитарной матрицы Л.)

Определить вид матрицы, обратной к А = С + iD4 используя изоморфизм, упомянутый в упражнении 8.

Пусть S — эрмитова р X р-матрица и 5 = PSP*. Показать, что якобиан такого преобразования р2 вещественных параметров матрицы S равен |detP|2p. (Рассмотрите произвольную комплексную матрицу Т. Множество всех таких матриц образует р2-мерное комплексное векторное пространство, и если Т записана в виде столбца, как указано в § 5 математического приложе-

ния, то преобразование Т ->- РТР задается матрицей Р ^ Р'. Векторное пространство матриц Т разлагается в прямую сумму ортогональных подпространств, отвечающих эрмитовым и косоэрмитовым матрицам, каждое из которых является левоинвариантным относительно Р ^ Р'. Заметив, что косоэрмитова матрица Z может быть записана в виде гУ^ где ¥ эрмитова, покажите, что в упражнении 8 можно взять А в виде Р 0 Р' с D = 0 и С, действующей в вещественном векторном пространстве, которое можно отождествить с множеством симметричных эрмитовых матриц. Таким образом, учитывая, что det (Р 0 Р'^ = | det Р |2р, согласно упражнению 8, получаем, что определитель А равен | det Р |4р, и S -^ PSP* как преобразование в пространстве эрмитовых матриц имеет указанный якобиан.)

ПРИЛОЖЕНИЕ

Доказательство теоремы 9

Точно так же, как мы получили соотношение (3.3) в гл. IV, находим^^-cov (cjk (п ), crs W) =

= N-1 2 ^jr (“) Vks (“+" — "') + ?/$ (w + «)Yhr (u —n') +

+ »/hrs (°* ”'» “, “ + ")} <P^ (“, ”'. ”).(1)

где* для ri' *>п

0,u^—N-yn’^

* n-Vu,/ кт

•^^

N

v 0,u^ N— n.

Мы используем это выражение при вычислении ковариации между tju М и/rs (^2 + яр/М) (при этом вторая величина берется комплексно сопряженной). Начнем с оценок типа (4.2), где кп дается соотношением (4.4). Тогда произведение указанной ковариации на N/M распадается на три слагаемых, из которых первое равно

2 VVm) \м)еХ

п п'

X 2 УЗгМ Укз (и + п — п’) <pN(u, п', п)) =

2N-2оо

=^Т2-22 yjr(u)yhs{u-v)e-ivKt х

d=-2N-\-2 п— -оо

N-1

х{^- 2(2)

Обозначим сумму в фигурных скобках через LN (и, и, п). Она зависит также от Xlt Х2, р, но эти величины постоянны в наших рассуждениях.

Покажем теперь, что при N -*- оо выражение в фигурных скобках ограниченно сходится к нулю при Xj Х2 и к

J k^^einpxdx

в остальных случаях. Отсюда будет следовать, что при N -> оо величина (2) стремится к нулю при Х4 ^ Х2 и к

оооооо

( № W е^ ^ А 2 V/r (“) eiuka А- 2 Yks (0 ^=

—оэ—оо—оо

= j k^xV^dx^Q^skM (3)

при Xt = Х2 (в силу мажорированной сходимости, а также абсолютной сходимости ряда ^jh (и)). Заметим сначала, что выражение в фигурных скобках не превышает по модулю

но, поскольку каждая из этих сумм является аппроксимацией интеграла

J к- (х) dx

от положительной непрерывной 1) функции, то очевидно, что они сходятся при возрастании М к последнему выражению и, следовательно, равномерно ограничены. Аналогично, для любого е > 0 можно найти Т, такое, что

|^ 2 LN^ у, «)|<8|п| >МТ

при достаточно больших М^ равномерно по и, р, Xh Х2 и р. Поэтому остается рассмотреть только

-^- 2 <“’v*п^

|n|^TM

Разобьем интервал [ — Т, Т] на непересекающиеся интервалы Е^ так, чтобы модули непрерывности 2) функций ф^, к (х) и ехр гкрх были меньше, чем ц > О, на Е^ Пусть в интервале Et содержится ег точек вида п/М. Тогда если Xj —

- ;w о (mod 2л), то при достаточно большом N

1-1- 2 k () k ("^^ ) einnp/Me-in^X1-X2^jv (и, n + v, и) | <

^Ег

<^ + 117 2| •(4)

1 ^Ег

Здесь сг зависят, например, от среднего значения к (х) на интервале Ег. Если А, а значит, и etl выбрано достаточно большим, то последнее выражение может быть сделано меньшим, чем т], равномерно по к, р, р и по Xh Х2, таким, что I ^i — ^2 I > е > 0- Тогда

|А 2 ln^v, п)|<«2 О2^)^7, \п\^МТ

(так как сумма всех е^ равна приближенно 2МГ). Если Xi— Х2=0, то т

^ 2j ^e^dx,

im^MT-т

так как слева стоит сумма, аппроксимирующая указанный интеграл. Из сказанного сразу получаем, что (2) стремится к нулю при | Xi — Х2 | ^ 0 и к (3) в остальных случаях, причем сходимость равномерна по р и X в случае Х4 = = Х2 = X, а сходимость к нулю равномерна по р и по | Xi — Х2 | при условии I Xi — Х2 | ^ е > 0 (mod 2л). Второе слагаемое в (1) дает выражение, вполне аналогичное (2), за исключением того, что Xt — Х2 заменяется на Xt + Х2 и г, s меняются местами, когда Xt — Х2 = О (mod 2л). Это дает вклад, который сходится к (3) при Xi = —Х2 = X равномерно по X и к нулю при Xi + Х2 ^ 5^ 0 (mod 2л) равномерно по I Xi + Х2 | ^ е > 0 (mod 2л). Третье слагаемое ограничено величиной

та? 2 2 2 НжИ^Ь^°-<“^^

п', и» П= —ОО

которая стремится к нулю равномерно по Хп Х2, р.

Отсюда следует доказываемая теорема, так как при Xi = Х2 = X ^ О, л только первый член дает ненулевой вклад и все сходимости равномерны, и аналогично при Xi = —Х2 = X ^ О, л. При Xi = Х2 = 0, +л вклад дают оба слагаемых. Однако сходимость в окрестности уже не равномерна в силу неравномерной сходимости к нулю второго члена в (4) при Xt — Х2 = О (mod 2л) и в силу неравномерной сходимости соответствующего члена для второго слагаемого в (1) при Xi + Х2 = 0 (mod 2л).

Нам остается рассмотреть случай, когда кп не удовлетворяют соотношению (4.4). Согласно примечанию 1 на стр. 343, усеченная оценка охватывается предыдущими рассмотрениями. Оценка Бартлета несущественно отличается от оценок рассмотренного типа, и мы оставляем подробности читателю. Случай ФПФ несколько более сложен. Рассмотрим величину, которая получится, если подставить первую компоненту (1) в нужное нам выражение для ковариации. Аналогично формуле (2), получим

2N—2 ооN-1

22 lirWlks^—v) ^. 2 ln(u, v, n)j .

-2N+2u=-oo-N4-1

где теперь

L'n(u, v, n)^N (и, n + v, п)кп+0 (Xt) кп (xf+^) e-l"»i-^ е^М, а кп указаны в примере 1 § 4. Имеем

А^м, «)=

{. т(и4-п")тс . тпл

(5)(5)Sin —- Sin ГТ—e-WWeinVN^ ^ n + u,n)

(5)

(5)

(п + п)л • пл

m Slni—1V” Sin ~TV"

где

Х'=4г ^'+^тп-1)У Х"=А2. {g"+-A(m-l)} ,

a q', q" — целые числа, выбранные так, чтобы X' и X" были наиболее близки к Х4 и Х2 + пр!М соответственно.

Разобьем сумму (5) на две, одну по | п | <тМ и другую по | п | ^ тМ. (Они содержат приблизительно одинаковое число членов, поскольку N = = 2тМ ^ Так как

I L'n (и, V, п) | = фдг (nt n + У, n)I L'n (и, V, п) | = фдг (nt n + У, n). m(v-Vn^Ti . тппл

I L'n (и, V, п) | = фдг (nt n + У, n)

I L'n (и, V, п) | = фдг (nt n + У, n)

^810^' SIB —

и ^>N (n, n + p, n) < max {(1 — | n |/N), (1 — | n + v |/TV)}, то, применяя неравенство Шварца к части второй суммы, соответствующей п ^ тМ, "И полагая N — п = и (или N — п — и = и^ мы получаем следующую оценку для этой части суммы (5):

тМ

1 ^ / sin (umn/N') \ 2 п

М 2\ т sin (ил/N) / N *

и—О

Выберем а так, чтобы

sin (umn./N') т sin (пл/TV)sin (umn./N') т sin (пл/TV)тМтМ

sin (umn./N') т sin (пл/TV)

sin (umn./N') т sin (пл/TV)

1\пJ sin (итл/N) 1 2 и 1^п

М2j\ т sin (пл/TV) ) NМ2-i

u=[aM—l]и=[аМ— 1]

Это можно сделать, так как настоящая сумма является аппроксимацией «хвоста» интеграла от интегрируемой положительной непрерывной функции. Однако часть этой суммы по п < аМ также асимптотически пренебрежима, так как она равна

[аМ]

1 Г 1 \п Г sin (пшл/TV) "12 п ^

N t М 21 |_ msin (пл/TV) J М J 1

u=0

и выражение в фигурных скобках является аналогичной аппроксимацией соответствующего интеграла. То же самое справедливо и для п ^ —mM^ так что нам остается лишь первая часть суммы (5). Доказательство того, что она схо-

дится к нулю при (Х4 — Х2) ^ 0 (mod 2л) равномерно по | Xt — Х2 | > 8 и к величине

f sin21/2лж _iP3C„ ( 0, р>1,J ^лт2\ 2, р = о,

равномерно по ^ = Л2 = X в остальных случаях, не отличается от приведенного выше доказательства для оценок типа (4.4). Второй и третий члены рассматриваются аналогично, и эта часть теоремы доказана.

В случае процедуры Кули — Тьюки прежде всего заметим, что если нет сглаживания, то изменения коснутся только соотношения (5), где т заменится на т a N на N', так что т/т — N/N' принимает наименьшее значение (согласующееся с требованиями, что т, N, т s N' целые и N ^ N' = 2s). Доказательство теоремы в этом случае не отличается от соответствующего доказательства для ФПФ. Если же используется сглаживание, то поступим следующим образом. Имеем

vcov{/W(X1)/<cs>(x2+^)} =

m'

=v~4^v t^f 2 2cov {2 ^(s) xi($) e’SMa 2aN w Xh w

a, b=l

2 aN^XrW еШ(Й*>.(6)

где m значений (Da вида 2л£/Лг' концентрируются вокруг Xt и аналогично т* значений tob — вокруг Х2 + пр/М. Мы снова можем представить эту ковариацию в виде суммы трех слагаемых, одно из которых выражается через четвертые семиинвариантные функции для xj (п); как и раньше, можно показать, что оно асимптотически пренебрежимо. Рассмотрим вклад, который дает математическое ожидание произведения первой и четвертой сумм из последнего выражения в фигурных скобках, а также математическое ожидание произведения второй и третьей сумм. Это приводит к выражению

N-1

22

и, v=-2V+l

TV- 1

х2^w(XiH-X2+^p/M)^K^(^l—^p+(u+u-w)U2—X')} х

w=—N4-1

sin nwm'IN' sin л (ip + p— u\ m' /N', ,

mf sin льа/N' m' sin л (w + v—u^N' ^ ’

где

<р^(м, у, u>) = -^- 2 aN ^ aN ks — w^ aN ^s-Vu^ aN ^v^-s — uT)

и (Xj — ^i)^<2 nlN', (X2 — Xp < я/N'. Суммирование здесь производится по всем s, таким, что значения аргументов лежат между 1 и ^, для каждых и, и, ю. Легко видеть, ^что ф^ ограничена величиной с (1 — | ю \/N) и при N -^ оо

сходится к

и4 (ге) dx

О

для любых фиксированных и, и, w. Совершенно так же, как выше, можно показать, что рассматриваемый вклад в ковариацию сходится к нулю, если Xj + + Х2 Ф 0 (mod 2л). Если же Xt + Х2 = О (mod 2л), то выражение в квадратных скобках сходится к величине

( № (ж) е1рях 4х = f u*(x)dx Г ^.1/2Ч е^ах,

— ОО0— ОО

которая равна нулю при р 0 и

1

J и4(ж)dxо

в противном случае. Доказательство этого факта вновь аналогично соответствующему доказательству для ФПФ. Выполнив суммирование по и, us получаем при Xi = —Х2 = X

j k4x)e^dxf3sWfrkW.

Оставшийся член, который соответствует другому попарному объединению множителей в фигурных скобках в правой части формулы (6), дает вклад

j KHxV^axhrWUW

при Х4 = Х2 = X и нуль в остальных случаях. Теорема доказана.

Доказательство теоремы 11

В силу условия (5.2), входящего в формулировку теоремы, мы можем рассматривать

Заменим это величиной

V1/2 {/ (X)—Е G(8)

1/2°°1

Yw=2^ 2[2 л^4"2 {8М8(«)'-7р}Л'(/+п)],

-N+1-ООи

где ^' — сумма по 1 — / ^ и ^ N — п — j при п ^ 0 и по п + 1 — / ^ ^ и ^ N — ; при п ^ 0. Таким образом, Y'N содержит «квадратичные члены» выражения (7). Если бы е (/г) имели конечные четвертые моменты, то все элементы матрицы Yn сходились бы к нулю в среднеквадратичном, ибо в этом случае математическое ожидание квадрата нормы Yn не превышает

.N—1ОО

с^Ц 2 р„| 2 H^WHM(/ + n)||}2 = O(v/A7),

-2V+1;=-оо

где с — конечная константаг). С другой стороны, дисперсия величины (8) выражается через моменты 6j (и) не выше второго порядка. Поэтому ковариации между элементами (8) для разных значений X одни и те же, независимо от того, имеет е (и) конечные четвертые моменты или нет, а так как при этом предположении ковариации для (7) и (8) асимптотически совпадают, то ковариации для (8) асимптотически должны иметь вид, указанный в теореме 9.

Покажем теперь, что Y'N стремится к нулю по вероятности, если это выполняется для

(v1 /2/JV) 2 ' {s' (“) 8 (“) — Р},

уже бед предположения о конечности четвертых моментов 8 (и). Покажем, что Y'n можно заменить на У^, отличающуюся от У^ тем, что сумма 2' распространяется на все ич 1 ^ и ^ N. В самом деле, математическое ожидание нормы Y"n — Y'n не превосходит

оо

=2 lfcnl | 2 П^<7>11 IH(/ + n)l|(|n| + 2|/|)J <с 2 |А„|,

— 7V4-1 "-оо-2V+1

так как в силу условия (5.3) доказываемой теоремы

2 IM(7)IIIM(/ + n)|||7|<C 2||Л(/)||<оо,

§ II A (j) HUI A (i + n) || h I < 2 II А ^ II II А V + ”) II (I 7 + « 1 + 1 7 I) < ~.

Однако

N—1

^'^N) 2 |knl-*0;

-W4-1

например, для оценки, основанной на финитном преобразовании Фурье, имеем

.,„ N-1 ■N-1

Vст .,/ М Н/21VI sin (птл/W) I/ log v \

N2j J 71 I^ w /M2jmsin (пл/Л7) I\ vl/2 ) •

-W+l!-W+l

В свою очередь У" можно заменить на

1/2°°л N°°

(2{4-28w8м'-7?} (2 А^вУХУ»

ибо для любого р-мерного вектора z

1/2°°

z* (Yn-Y^z = z* 2L— { 2 А (]) ?jx X

Nоо

х (^1 2 8 (^) 8 (иу-1р^ ( 2 t1-^) е-^^А (n + jy)}

1—оо

где мы положили /сп = 0 при ] п | > N. Так как /V-1 ^ (е (и) е (и)' —7р) сходится почти наверное к нулевой матрице, то для любого т] > 0 последнее выражение почти наверное не превосходит величины

,ОООО

1/2zч

я Z*^A w el5x {2 -к^ ^Kn+i)KA +п'} *=

= t]z*[v1/2{/W-E(/(X))}]z,

которая сходится к нулю в силу условия (5.2). Итак, мы видим, что сходимость

N

величины v^W-1 2 (8 (“) 8 (и)' — /р) по вероятности к нулю достаточна для 1

сходимости Уп по вероятности к нулю.

Теперь мы докажем центральную предельную теорему для (7). При доказательстве этой теоремы конечность четвертых моментов ej (п) будет использоваться только в асимптотической формуле для ковариаций (7). Условие (5.3) использоваться не будет. Таким образом, мы получим то, что нам нужно, так как мы уже показали, что (7) и (8) имеют одинаковые ковариационные свойства и что при условии (5.3) величиной У^ можно пренебречь.

Положим

«(I) („) = ( °’8(пУе^<А,

1 б(п), 8 (п)' г (п) > Л,

и т] (п) = тф1) (п) — Е (т](1) (п)). Тогда для достаточно большого Л

Е (т)(1> (л)' т](1) (п)) <; е.

Пусть теперь

Х^ = и^А"УкпУ У(п)= 2 А U) п (« — /);

тогда и (п) и и (п) — линейные процессы с нулевыми средними и спектральными плотностями соответственно:

A. h (X) Gi (e) h (X)*, A к (X) G2 (e) к (X)*, К W = 2 A W «U\

где при Л —> oo (т. е. е -> 0) Gi (e) -> G, G^ (е) -> 0. Рассмотрим величину v1/2 Vk^-^^=^4k^-^k^{7u»(X)-E(/UD (Х))}+

+v1/2{f,u (X) —Е (/„ц (X))}+v,/2 {/„ (X)—E (/„ (X))},(10)

где только для настоящих целей мы обозначаем, например, через fUD (X) матрицу взаимных спектров между элементами процессов u(n) и v(n). Имеем

lim vE {Tr [(/„ (X) —Е (fD (X))) 0е (X)—Е Ц» (X)))*D =

N-*oo

= Тг (А, (Х)/0 (X)*) J X2 (ж) ds, X#=o, ±л,

и удвоенное то же значение при X = 0, +л. Эту величину можно сделать сколь угодно малой, подбирая достаточно малое е, т. е. достаточно большое Л. То же самое верно для второго и третьего слагаемых в правой части (10). С другой стороны, при достаточно малом е, т. е. при достаточно большом Л, тензор кова-

риаций первого слагаемого в правой части (10) произвольно близок к тензору ковариаций левой части (10). Поэтому, согласно лемме Бернштейна (см. п. 5 приложения к гл. IV), достаточно доказать теорему для и (п) вместо х (пУ и, следовательно, мы можем считать, что все моменты «возмущения» ц (и) конечны. Чтобы избежать лишних обозначений, мы вернемся к х (п) и 8 (/г), но будем считать, что все моменты 8 (/г) конечны. Точно так же мы можем ограничиться случаем, когда А (/) = 0 при | j | > Т. При этом мы пренебрегаем другим и ^п) вида

—

1>т

спектральная плотность которого

-^L( 2 А^е^^ 2 А^е^У1Л>г1Л>т

имеет норму, не превосходящую величины

1Л>Т

которая может быть сделана сколь угодно малой.

Таким образом, мы ограничились случаем, когда

*м= 2 А ^8 (га—/')’чо

I j

где 8 ^ — независимые одинаково распределенные векторы с нулевым средним, единичной матрицей ковариаций и конечными моментами произвольного порядка.

Из теоремы 1 вытекает, что

tp(X) = A(X)tp(g, X) + O(7V-1/2),(12)

где математическое ожидание нормы второго члена в правой части имеет порядок 7V-1/2. Повторяя рассуждения, подобные проведенным выше, можно показать, что вкладом этого слагаемого можно пренебречь; например, для ФПФ имеем

vV2{/<F)(X)_E(;(F)(X))} = vl/2 ^^„^„^„^^(^ ,

где toy, как и раньше, т частот, ближайших к X. Последнее равно

{ "т" 2 h ^ ( ю (8’ “^ w 4’ “>)* — "^ ZP ) А (“l)* } + °^М”1/2)-

В самом деле,

v1/2 ^т-1 -Г- h (toj^ Gh ^toj-)* — Е. G^ (X)) ) =0 (v 1/2W-1/2)О(Л/~ */2),

так как выражение в фигурных скобках есть среднее от т величин, каждая из которых имеет порядок Лг-1/2 равномерно по j. Аналогично, слагаемое O(N-1/2) в соотношении (12) дает в общее выражение вклад порядка О^М-1^У Таким образом, мы свели вопрос к- рассмотрению величины

V1/2 ( А 2 h <м1> ( w <8' mj) (8- “1)*—A zp ) h ^Й*

5

Для других оценок ситуация совершенно аналогична, и мы опускаем подробности. В итоге мы придем к выражению

^,2h ^«e^-EUeaWhW*.^,2h ^«e^-EUeaWhW*.(13)(13)

^,2h ^«e^-EUeaWhW*.

^,2h ^«e^-EUeaWhW*.

(13)

(13)

Рассмотрим, например, случай оценки типа (4.2), где кл удовлетворяют (4.4). В этом случае приходим к выражению вида

vV2 j h^) (ze(0)—А-/р) h(Q)»KN(k-Q)dQ = -Л

=v1/2 [x(x) j {^(e)--УД xN(X-0) W<i0+

-Л

+ j {х(0)-мх)} pe(6)—^-zp}/i(e)*x2v(%-e)de+

-Л

Л

+ j H6) {/е(Э)—^/p} {A(0)-X(X)}*^(X-0)d0- — Л

Л

-j {^(O)-^^)} ^Ze(O)—^-/p} {A(0)-A(X)}*^(X-0)d0] .

-Л

(14)

Последние три члена дают вклад, который, очевидно, сходится к нулю по вероятности; например, второй из них дает матрицу взаимных спектров, оцененных в точке X между двумя процессами рассматриваемого типа, причем спектральная плотность одного из них обращается в нуль в точке X. Таким образом, в итоге нам остается рассмотреть (13), т. е.

v1/2{7e(X)-E(/e(X))},

и мы должны доказать теорему для этой величины. По-видимому, простейший путь состоит в том, чтобы показать, что семиинварианты выше второго порядка стремятся к нулю при N -> оо, а первые и вторые моменты сходятся к указанным в теореме (для 8 (/г) вместо х (п)). Отсюда будет следовать теорема. То, что касается первых и вторых моментов, уже было доказано в § 4 (так как 8 (п) есть просто частный случай х (/г)). Остается доказать сходимость к нулю семиинвариантов произвольного порядка t > 2. Для этого достаточно рассмотреть семиинварианты компонент 1г (X), а это в свою очередь сводится к рассмотрению четных семиинвариантов компонент и) (е, X) порядка t > 6. Последние получаются из соотношения

log Еlog ЕтN| exp i 2 ^и^и (е, X) | = У log E | exp i ( У 9^171= 1UтN| exp i 2 ^и^и (е, X) | = У log E | exp i ( У 9^171= 1U1У2л771У2л77Л“п8Л“п80»0»

log Е

log Е

тN

| exp i 2 ^и^и (е, X) | = У log E | exp i ( У 9^171= 1U

тN

| exp i 2 ^и^и (е, X) | = У log E | exp i ( У 9^171= 1U

1

У2л77

1

У2л77

Л“п8

Л“п8

0»

0»

где и пробегает т целых значений между 1 и р. Это равно

N5 ^ (0ieix‘n71=1N5 ^ (0ieix‘n71=11У2л-У1У2л-У., е^п., е^п2ЙП2ЙП

N

5 ^ (0ieix‘n

71=1

N

5 ^ (0ieix‘n

71=1

1

У2л-У

1

У2л-У

., е^п

., е^п

2ЙП

2ЙП

где гр — совместная производящая функция семиинвариантов величин ем (л), п = 1, . . ., т. Коэффициент при

opet2... ерopet2... ер2о—^2о—^

opet2... ер

opet2... ер

2о—^

2о—^

который и является нужным семиинвариантом, равен

NNп=1п=1г (S t АП п('1- М е 13г (S t АП п('1- М е 13/ 1 \</2\ 2л^ )/ 1 \</2\ 2л^ )^cNl~t/2^cNl~t/2

N

N

п=1

п=1

г (S t АП п

('1- М е 13

г (S t АП п

('1- М е 13

/ 1 \</2

\ 2л^ )

/ 1 \</2

\ 2л^ )

^cNl~t/2

^cNl~t/2

Так как t ^ 6, то он имеет порядок не выше О (N-2). Отсюда следует, что любой t-и семиинвариант, t ^ 3, компонент 1г (X) имеет по меньшей мере порядок О (N~2). Теперь достаточность доказывается простой проверкой.

Обратимся к доказательству необходимости. Положим ZN = v1/2 {/— Е (/) } и XN = ZN — YNl так что ZN = XN + YN. Пусть ц (n) — определенный выше процесс, и [пусть XN — процесс, построенный по и (тг) так же, как XN строится по г^п^ a Yn = ZN — XNl так что вновь ZN = XN + YN и YN = YN — — (XN — XN). Пусть теперь у — произвольный комплексный вектор; положим zN = xN + Un — xn + Ую гДе xn = v*XNv1 yN = v*YNv и t. д. Нам известно, что распределение xN сходится к нормальному, причем дисперсия может быть сделана сколь угодно близкой к значению, указанному в теореме 9, за счет выбора достаточно большого А. Более того, для любого 8 > 0 найдется достаточно большое А, такое, что Е ((хn - xn^ < е- Предположим теперь, что распределение zN также сходится к нормальному. Пусть FN — совместное распределение xNl yN\ рассмотрим подпоследовательность значений N, для которой Fn сходится в обычном (слабом) смысле к F. Тогда F — собственное распределение, так как распределения zN и xN сходятся для любой подпоследовательности. Далее, полагая

z2 dF (х, у),z2 dF (х, у),х2 dF (я, у),х2 dF (я, у),

z2 dF (х, у),

z2 dF (х, у),

х2 dF (я, у),

х2 dF (я, у),

имеем

= +„

где ц может быть сделано сколь угодно малым. Заметим теперь, что Е (xNyN) = = 0, ибо, записывая сомножители в виде квадратичных форм соответственно от элементов е (п) — т) (п) и е (п), мы видим, что могут возникнуть лишь произведения типа

(ег (т) — т]; (т)) (е, (я) — ^ (n)) (ek (р) — 1) (ej (р) — 1), т ^ п, так что либо пц либо п отлично от р; поскольку математическое ожидание ^j W — Л; (w) равно нулю, Е (x'NyN) = 0. Следовательно,

I Е (xnUn) 1 = 1 Е ($n (xn — ^n)) b

и эта величина может быть сделана сколь угодно малой за счет выбора достаточно большого А. Кроме того,

Е (| xNyN |) < ctE (| yN |) < c,

где c^ зависит от А. Поэтому для подпоследовательности Nj, для которой FN сходится, мы также имеем

ху dF (х, у) = Ит Е (xNjyN^

и эта величина сколь угодно мала при достаточно большом Л. Отсюда следует, что величина

Су = y^d1' ^х’ У^^ — ах — 2 j ху dF <х, у)

при достаточно больших А сколь угодно мала. Мы уже отмечали, что вероятность

P(I^2V — XN | >8)

можно сделать произвольно малой» выбирая достаточно большие А и N. Следовательно, и

Р(к^1>е)

будет сколь угодно малой величиной при достаточно больших Ли/. Таким образом, поскольку величины yN„ не зависят от А , они должны сходиться по вероятности к нулю, а так как это верно для любой последовательности, для которой 1^ сходится, то yN сходится по вероятности к нулю. Последовательность YN также сходится по вероятности к нулю, а вместе с ней и

1/200^°°

“ (Х)=25Г Тг { ( 2 л е'5К) ("Г 2 е е (2 А е"шУ} •

Следовательно,

ЛооN

— Л—ОО1

также сходится по вероятности к нулю. Можно предположить, что матрица § А (/)* А (П

невырожденна, и мы видим, что условие теоремы является необходимым.

Глава VI

Статистические выводы для рациональных спектров

ВВЕДЕНИЕ

История развития анализа временных рядов начинается с появления временного анализа, ведущая роль в котором принадлежит Дж. У. Юлу. Под временным анализом здесь понимается анализ авторегрессионных моделей, и терминология отражает тот факт, что статистические выводы основываются на выборочных автокорреляциях, а не на выборочных спектрах. В общем случае она указывает на использование исходных данных, а не их преобразований Фурье. К 1943 г. асимптотическая теория для авторегрессионных систем в основном была подытожена в работе Манна и Вальда [1943]. После войны такие системы изучались для низких порядков авторегрессии более точным образом в предположении гауссовости. С начала пятидесятых годов «чары» спектральных методов отвлекают исследователей от временного анализа, и действительно, в некоторых приложениях, когда N очень велико, спектральные методы занимают центральное место. В других приложениях, например в экономике, ситуация может быть иной, ибо если объем доступных данных невелик, то удачный вклад в параметрическую модель приведет к большому выигрышу, так что такой вклад должен быть сделан почти наверняка. Разумеется, очень многое зависит от конечной цели анализа. В некоторых экономических задачах прогнозирования, как и в некоторых задачах регулирования, авторегрессионные схемы весьма привлекательны. С другой стороны, изучение, например, ветровой нагрузки на летательный аппарат с необходимостью приводит к спектральному разложению регистрируемых данных. В последние годы наблюдается некоторый возврат к применению параметрических моделей, особенно в связи с задачами прогнозирования и регулирования, к которым, как мы говорили, они хорошо приспособлены. Под параметрической моделью мы понимаем в основном смешанную модель авторегрессии и скользящего среднего, и настоящая глава основывается именно на таких моделях. Не следует, однако, слишком подчеркивать «временной» аспект, ибо не существует никаких серьезных доводов против применения к таким моделям методов Фурье, и на самом деле эти методы окажутся полезными в нашем рассмотрении.

СТАТИСТИЧЕСКИЕ ВЫВОДЫ ДЛЯ АВТОРЕГРЕССИОННЫХ МОДЕЛЕЙ. АСИМПТОТИЧЕСКАЯ ТЕОРИЯ

Рассмотрим векторную авторегрессионную модель

^В^п-Й-г^, В^ = 1Р,(2.1)

О

где е (и) — независимые одинаково распределенные случайные векторы с параметрами (О, G), а 5 (у) — квадратные матрицы, такие, что все корни многочлена

det ^Bij^О

лежат вне единичного круга. Тогда, как утверждает теорема 4' гл. I, стационарное решение такой системы имеет вид

^^A^ln-iV А^ = 1Р,(2.2)

О

где || А (у) || экспоненциально стремится к нулю при возрастании у. Теорема 4' гл. I утверждает также, что любая другая последовательность, удовлетворяющая уравнению (2.1), отличается от этого стационарного решения только на слагаемое вида

£(и) = У2 ^c(h Ь ujzWbq, и), |zu|< 1, и г э

где b Ц, и) — фиксированные векторы, а с (i, j, и) — случайные величины, подобранные так, чтобы решение удовлетворяло q начальным условиям. Таким образом, существует а > 1, такое, что an£ (я) сходится к нулю почти наверное. Отсюда легко вывести, что наличие | (и) не сказывается ни на одном из утверждений формулируемой ниже теоремы 1. Поэтому в дальнейшем мы будем предполагать, что х (и) стационарен.

В таком виде модель не вполне удовлетворительна, так как она предполагает, что х (п) имеет нулевое среднее. Если х (и) имеет постоянное среднее ц, то, конечно,

q

^Ви^ = Е(гН, О

так что если х (м) заменяется на х (п) — ц, то (2.1) имеет место для нового процесса с {е (и) — Е (е (и))} в правой части, и вообще, если ц (и) — среднее значение х \п\ то из (2.1) вытекает соотношение

2 В (у) ц <n — f) = Е (е(п)).

О

Мы предпочтем отложить обсуждение таких вопросов до гл. VII, где рассматриваются общие задачи регрессии. Однако, поскольку всегда будет необходимо производить по крайней мере центрирование, мы рассмотрим в этой главе оценивающие процедуры в предположении, что среднее значение х (и) постоянно, но не обязательно равно нулю. Естественно оценивать ц посредством х. Для оценивания остальных параметров рассмотрим соотношение

Е (2 В (у) х^п — у) (^(т) — ц)'} = Е{е(и) (^(иг)— ц)'}, т^п. о

которое преобразуется в

q

2 В (и) Г (и — v) = 6^G, v>0.(2.3)

Естественно использовать эти соотношения при и = 0, 1, . . ., q для оценивания В (у) и G путем подстановки С (п) (см. § 3 гл. IV) х) вместо Г (п).

Другой способ состоит в том, что величины 8 (п) считают гауссовскими и используют метод максимального правдоподобия. Это приводит к оценкам, которые отличаются от рассмотренных выше. Для иллюстрации рассмотрим случай р = q = 1, когда функция правдоподобия равна

^^WTV2- ехР [ - 2^ 2 V W - Р^ kn - 1) - Р (1 - Р)}2] X

X [2л а2 {(1 — р2)}-1Г,/2ехр[— ^ (х (1) — р)2 (1 - р2)] ,

где, как обычно, В (1) заменено на —р, a G— на о2. Уравнения максимального правдоподобия имеют вид

(1 — р) (ж — р) 4-2 ^х (N) 4- х (1) — 2р) = О,

NАААА

2 «ж W—р) (* («—1)—и)}—р 2 (^ W—р)2 421

+ Р ^ (1) -|1)2 + (я (V) - ц)2 - 62/(1 - р2)} - 0,(2.4)

N

о2 =4' { 2 {№) —р) —р(ж(,г —!) —I^F + ^t1) —Р)^1 —р2)}- 2

Эти оценки отличаются от полученных из (2.3) на величины порядка N-1. Амплитуда отклонения зависит также от р, что ясно, например,

т) См. примечание на стр. 233. Мы вычисляем здесь С (,г) после центрирования.

из соотношений

-7+01/2{^(1) + ^а 2р

г1+0^(1 —р)

Поправка к х мала, если N велико и р много меньше единицы. Уравнения максимального правдоподобия нетрудно выписать в общем случае, а иногда и при небольших N разумно использовать эти уравнения для оценивания. Мы, однако, не станем далее обсуждать эти вопросы и обратимся к свойствам решений уравнений (2.3). Позже, в предположении гауссовости, мы рассмотрим свойства точных выборочных распределений оценок, близких к тем, которые получаются из (2.3) или (2.4).

Нам придется вновь ввести тензорные обозначения. По-видимо- му, хорошо было бы полностью избавиться от векторно-матричных обозначений, использовавшихся до сих пор, и записать (2.3) при и > 0 в виде

q .

2 Pi: М Yi (и~^) = 0, и, v = 1, . . ., q, i, j, k—V, . . ., p, u=0

где мы ввели обозначения pz. j (и) = pi (w), у7-, k (u — v) = ^ (u — v) и приняли обычное соглашение о суммировании по повторяющимся индексам. (Естественно рассматривать pi.j(^) как тензор, ковариантный по первому индексу и контравариантный по второму.) Однако, поскольку специалистам по статистике и теории вероятностей более привычны векторно-матричные обозначения, мы сохраним эту символику и перепишем (2.3) в виде х)

{/р ® Гд} Pg = Yg,(2-5)

где Гд состоит из q2 блоков, причем в блоке (и, и) находится матрица Г (и —у),столбец Pg имеетэлемент рь j (и) в строке с номером

(г — 1)pq+ (и —1) р + Лтогда как уд имеет элемент уг, k (и)

в строке(к — 1)pq + (z; —1) р + г. Здесь вновь и, и = 1, . . .

. . ., q;i,j, к =1, . . ., р.Таким образом, мы располагаем эле

менты в порядке возрастания индексов, так что в первую очередь учитывается номер строки, затем величина запаздывания и, наконец, номер столбца. Мы, конечно, могли бы определить рд, располагая элементы в порядке возрастания запаздывания, строки, а затем столбца. Если определить yQ, располагая в таком же порядке элементы ^1к (у), то изменения в (2.5) сведутся к тому, что (/р ® Гд) заменится на Гд ® 1р. Мы остановились здесь на этом, потому что позже нам придется менять способ упорядочения.

Матрица 1Р ® Гд по предположению обратима. В самом деле, это равносильно обратимости матрицы Гд. Если бы Гд была вырож-

денной, то

Е ((2 2 аг (и) Хг (п — ^))2} = О

для всех п, где некоторые коэффициенты czf (и) отличны от нуля; но тогда, в понятных обозначениях,

2 2 ^t W oci(n—u)='5\ ^ W х kn—uY

Отсюда следовало бы, что

(2 а W eiuK)* f (К) (2 а(^) eiuX) — 0 п. в.

Однако это соотношение невозможно, так как определитель / (X) п. в. отличен от нуля.

Наши уравнения для оценок принимают вид

{I р ® Cq^ pg =Cq,(2.6)

где Cq получается из Г9 подстановкой с л (п) вместо уг;(^), cq получается из уд, а рд, конечно, является оценкой для рд. Так как

q

G = S5(u)I>),(2.7)

О

то G мы оценим по формуле

q_

Gq = y В^С^иу(2.8)

о

Очевидно, Cq с вероятностью 1 невырожденна, и поэтому

pg —^1 р 0 ^g1} cqi

что сходится к Pg с вероятностью 1, ибо все элементы Cq и cq сходятся в этом смысле к элементам Гд и уд, как утверждает теорема 6 гл. IV. Аналогично, G сходится с вероятностью 1 к G. Таким образом, мы доказали первую часть следующей теоремы:

Теорема 1. Если х (и) порождается уравнением (2.1), где 8 (и) и В ^ удовлетворяют^ сформулированным условиям, Гд, pg, Cq определены в соотношении (2.5) и ниже, Pg определено соотношением (2.6), a Gq — соотношением (2.8), то pg, Cq и Gq сходятся почти наверное к Pg, Гд и G соответственно. Более того, распределение VN (Рд — Рд) сходится при N оо к нормальному с нулевым средним и матрицей ковариаций (G ® Гд)-1.

Доказательство. Рассмотрим сначала случай, когда ц = 0 и центрирование не производится. В этом случае запишем

N

ctj(u—v)—N~1 2 {Xi(m — u)Xj(m — и^ + йи(и, у) = 771=1

= си^и, v) + dij(u, у).

Здесь для и — и = п

du (и, у) = ^-си (п) 4- N-1 2 + Vх t И х) (т + и)},т

где S' ± содержит члены из с^ (и), не входящие в с^ (и), или наоборот. Легко видеть, что последнее слагаемое имеет вид N-1 (у + yN\ где yN — стационарная в узком смысле последовательность (образованная из тех слагаемых в с15 (и), не входящих в с^ для которых т > N — иУ а у — фиксированная случайная величина. Следовательно, N1/2dij (и, v) сходится по вероятности к нулю, так как nN^^c^ (и) + N-1^y сходится к нулю почти наверное, a N~1/2yN сходится по вероятности к нулю в силу неравенства Маркова). Подставим теперь в Гд вместо Г (и — у) матрицу с элементами с^ (и, и). Обозначим полученную матрицу Cq. Аналогично, определим cq (взамен Cq), подставляя с^ ^ и) вместо с^ (и — и). Если bq удовлетворяет уравнению

(Iр ® Cg) bq=Cq,

то

VNцр®с^ фч-^-VN(cq-4)^Vn<ip®dV^

где D определяется через d^ (и, и) так же, как Cq через с^Ди, и). Правая часть, очевидно, сходится к нулю по вероятности, a Cq невырожденна с вероятностью 1; поэтому VN (bq — pg) сходится к нулю по вероятности и при изучении предельного распределения мы можем рассматривать bq вместо р. Но

"VN (Ip ® Cq) ₽g

есть тензорная запись выражения

<3N

■^2 В^ 2 ж(п-и)х'(n — v) =

NN

= "y^ 2 eH^ (^ — v) — —^ 51 ^^^ (n — u)^ z;=l,...., q,

11

так чтотак что

так что

так что

VN (IP®CQ) (bg-^q) = -e.

где компонента вектора е с номером (Z—1)д? + (^—1)р + / равна N

eu^=~w '2ibi^x^n—u^

Таким образом,

Е(е) = 0, ЕЮ = (С®Гд),

ибо

Nу=- 2 ei HM^-u)Nу=- 2 ei HM^-u)N

N

у=- 2 ei HM^-u)

N

у=- 2 ei HM^-u)

у=" 2 6h W Х1 Р)} = <W>z(w —У),

где Gtk — элементы матрицы G. Если мы сможем показать, что е асимптотически нормален, то, учитывая, что (/р ® Cq) сходится с вероятностью 1 к /р ® Гд, мы покажем, что VN (bq — pg) асимптотически нормален с матрицей ковариаций (G ® Гд1). Разумеется, если мы предположим, что четвертые моменты Zj (п) конечны, то этот результат будет следовать из теоремы 14 гл. IV, так как в этой теореме в качестве VNci5 (и) можно взять вц (у), а ^tj (п) можно принять равными нулю. Однако, просмотрев доказательство теоремы 14 гл. IV, можно убедиться, что в данном случае асимптотическая нормальность имеет место и без существования моментов выше второго порядка. В самом деле,

р ООN

Z=1 m=0n=l

где коэффициенты a 7-, z (m), экспоненциально стремящиеся к нулю, являются элементами матриц А (т) в представлении

ж (п) = 2 А (т) z^n — myо

Таким образом, вц (у) не содержит «квадратичных» членов (т. е. членов вида 8^ (п) Zj (п)). Доказательство теоремы 14 (см. приложение к гл. IV) проходит и в настоящем случае. Мы должны лишь в качестве xt (п) (входящих в с^ (п) в теореме 14) взять 8^ (п), а в качестве Xj (м) — наши теперешние Xj (п — у). После усечения на номере К бесконечной суммы, определяющей х (у — и), и замены xj (п — у) усеченной суммой процесс 8^ (и) Xj (у — и) будет удовлетворять условиям теоремы 10' гл. IV, так как он будет стационарным в узком смысле с непрерывной спектральной плотностью. Тот факт, что влиянием усечения можно пренебречь, доказывается еще проще,

чем в теореме 14 гл. IV, так как здесь отсутствуют члены с четвертыми семиинвариантами (из-за отсутствия квадратичных членов) и, поскольку второй сомножитель равен 8/ (и), нужно рассмотреть только разложение х5 (п — и) по величинам 8 (и).

Если ц не предполагается равным нулю, то мы заменим Xj (п) на Xj (^) — Xj. Тогда можно считать, что ц равно нулю. Обозначим временно через ctj (п) величину с^- (и), вычисленную по х5 (и) — Xj. (Мы воспользуемся этим обозначением только в данный момент, а потом вернемся к обозначениям с15 (п) для величин, вычисляемых после центрирования.) Тогда

Сц (") — Сц (п) = ^Xj (и) + Xi ( — П) Xj — XiXjY

где, например, при и^О

NN -п

Xj (^) = (N — п)-1 2 ^/(^), ^г ( — n) = (N—n)-1 2 ^zW- т=1т—1

Очевидно, что ctj (м) — с^ (п) сходится к нулю почти наверное. Кроме того,

Vn (.Cij^ — CijOiy)

сходится к нулю по вероятности, так как, например, VNx3 асимптотически нормален, a Xj (п) сходится к нулю почти наверное. Отсюда следует, что теорема остается справедливой после центрирования, и доказательство завершено.

Совсем не обязательно оценки для В (у), полученные по этому методу, будут такими, что все нули оценки для g (z) — ^В (и) z11’ лежат вне единичного круга. В самом деле, в простейшем случае р = q = 1 эта оценка равна

g(z) = 1 + г (1) z,где если, например, нет центрирования, то

/ N-1\

/ 2 ^(^)^(^+1) \

\ S^w2

1

и г (1) больше единицы, если, скажем, х (п) = 1, п — 1, . . .

. . ., N — 1, х (N) = V2, N > 3. Если же вместо с15 (п) мы используем величины (1 — | п |/V) с^ ^п^ то все нули определителя оценки §^ = ^^ М ^и будут лежать вне единичного круга. Мы не приводим здесь доказательства, но в случае р = 1 оно следует из упражнения 7 к этой главе. (Нули могут попасть на единичную окружность, но это будет лишь в том случае, когда периодограмма равна нулю для N — q из ю5, у = О, . . ., N — 1.)

Мы могли бы исследовать также асимптотическое распределение G. Оно зависит от четвертых моментов х (я), и хотя V N kG — G) асимптотически нормальна, тензор ковариаций предельного распределения весьма сложен и малоинтересен. Поэтому мы оставим этот вопрос и обсудим некоторые частные случаи.

Рассмотрим сначала случай р = 1. Тогда наша формула принимает вид

*det

Р<?=—C^Cq, a= = c(0)— CgC9 с9 =’(2 9)

lim ^Е < - ₽q) (Pq-₽q)'} = аЧ7.

N-*oo

Здесь Cq обозначает квадратную матрицу порядка q с элементом с kt — у) в i-й строке и у-м столбце, cq есть ^-мерный вектор-столбец с элементом с kj) в у-й строке. Мы оставляем доказательство второго соотношения в качестве упражнения к этой главе. Разумеется, det

Pg = - Г9 ^9, о2 = 7 (0)-ТдГд.

С"1С"1Налицо почти полная аналогия с классической теорией регрессии, если мы рассмотрим регрессию вектора с компонентами х kq + 1), х kq + 2), . . ., х kN) на q других векторов (после исключения среднего), у-й из которых имеет компоненты х kq + 1 — у), • • • . . ., х kN — у). Единственное отличие состоит в том, что при вычислении центрированного произведения, например, двух указанных векторов, мы используем и члены вида х кп) х к^ — у) при у + 1 ^ ^ я < q + 1. Вследствие этого вычисление Cq требует нахождения только q ковариаций вместо q kq + 1)/2 в классической регрессионной модели. В остальном процедура оценивания и асимптотическое распределение в точности такие же, какие получились бы в классической регрессионной модели. Отсюда следует, что все статистические процедуры, применяемые в классической теории регрессии, асимптотически пригодны и в этой задаче, поскольку они зависят только от распределения вектора pQ. Конечно, вычисления во всех случаях упрощаются в соответствии с только что сформулированным правилом. При этом не только сокращается количество вычисляемых ковариаций, но и легко выполняется обращение матрицы Cq. В самом деле,

С"1

С"1

-Oq-1 J ’

где P — матрица, обращающая порядок элементов вектора (т. е. элементы Р равны единице на второй диагонали и нулю на остальных местах). Мы оставляем доказательство этой формулы в качестве упражнения к этой главе. Если авторегрессия порядка q — 1

уже подобрана, то все составляющие этой обратной матрицы находятся непосредственно, и вычисление pQ является простой задачей. Мы приступаем к более подробному обсуждению некоторых из этих процедур. Доверительные процедуры настолько очевидны, что мы опускаем их описание. (В этих процедурах, конечно, используется замена а2 и Г9 на о2 и Cq при формировании оценки для ковариационной матрицы pQ.)

Оценивание спектра

Если мы постулировали авторегрессионную модель, то нам вряд ли потребуется оценивание спектра, однако такая задача все же представляет интерес, хотя бы потому, что авторегрессионная модель могла постулироваться с целью дать некоторый способ спектрального оценивания. Спектральная оценка имеет вид

Л q

о

Рассмотрим VN 0— /)//, где для краткости опущен аргумент К. Положим (X) = 2 Р W eiu\ ^W = S Р W eiuK- Тогда V"N 0— f)/f отличается от |/"W {| h |“2 — | h |“2}/| И |“2 на величину, которая сходится по вероятности к нулю, так как о2 сходится к о2 с вероятностью 1. Но

Vn1 а |2+

I 2| Л | Л |2R

и это также отличается от

2 /TVRe

на величину, которая сходится по вероятности к нулю, ибо (fe/A) сходится к единице с вероятностью 1. Последнее, очевидно, асимптотически нормально с нулевым средним и дисперсией

где уи’и — элементы матрицы, обратной к Г^. Относительная сложность этого выражения отражает, по-видимому, тот факт, что применяемый метод оценки по существу не приспособлен для спектрального оценивания.

Интересно оценить последнее выражение в том случае, когда истинный порядок авторегрессии q0 мал по сравнению с предполагаемым порядком q. С этой целью мы можем рассмотреть предел

отношения последнего выписанного выше выражения к q, когда q стремится к бесконечности (q0 остается постоянным). Мы не станем входить здесь в подробности вычислений и сошлемся на упражнение 7 гл. VII. Используемые там рассуждения показывают, что предел равен 2, если X ^0, л, и 4, если А = 0, л. Следовательно, если q велико по сравнению с qOl то мы можем рассматривать V (N/q) (f — h как нормальную величину с нулевым средним и дисперсией 2/2. Таким образом, q приближенно следует отождествить с М из наших предыдущих рассмотрений, что едва ли является неожиданным. Все это говорит не в пользу применения авторегрессионных процедур для спектрального оценивания, ибо если q равно М, то при больших М вычислительные затраты для авторегрессионных процедур будут, очевидно, гораздо большими, чем для процедур, рассмотренных ранее.

Порядок авторегрессии

Более важной проблемой в этом круге приложений является определение порядка авторегрессии. Основным шагом здесь будет рассмотрение р (7) (для авторегрессии порядка 7). Мы видим, что

6(-\ V d^j’

где для удобства мы обозначили через | С^’ ^ | минор матрицы Cq, дополнительный к элементу в Z-й строке и q-м столбце, вместо использованного ранее обозначения det (Cg’ 9\

Тогда легко видеть, что р (q) равно (—1)9+1 | Cg*+1,1) |/det (Cg), и в соответствии с соотношением (4.2) гл. I мы полагаем

— Р (^) = Р (^ 11. g—1),

где в правой части стоит оценка коэффициента автокорреляции между х (я) и х (п — q) после устранения посредством регрессии величин х (п — 1), . . ., х (п — q + !)• Дисперсия величины VN (р (q) — р (q)) равна о2 det (Tg^/det (Гд). При нулевой гипотезе, что процесс авторегрессионный порядка q — 1, это равно единице. Таким образом, для проверки гипотезы о том, что порядок авторегрессии равен (q — 1), мы можем использовать V*N Р (^) как нормальную величину с параметрами (0, 1). С точки зрения классического анализа наименьших квадратов было бы естественно использовать статистику

Wp(9|l9-1)У 1 —р2 (g 11,9-1) ’

которая, очевидно, имеет то же самое предельное распределение. Эта процедура почти наверняка более предпочтительна, как мы

увидим позже, когда будем исследовать точное выборочное распределение р (при малом qY однако это видно также из следующих соображений. Если мы применяем статистику J^Wp (g| 1, . . ., q — 1), то мы используем некоторую оценку (а именно, 1) для ее дисперсии при нулевой гипотезе. Если, однако, нулевая гипотеза не верна, то дисперсия величины р (q) = — р (q | 1, . . ., q — 1) будет меньше; в самом деле, асимптотически она равна

Л^о2 det (Г^О/det (Г.) = {TV"1 det (Гд+1) det (ly^/fdet (Гд)}2.

Но мы знаем из теоремы 6 гл. I, что

Л2/14{7(0)(1-^)}

1р(9|1,...,q1)т0)(1_Д2_1)},

а из соотношения (4.3) гл. I получаем

„ det (F0+i)

т (0) (1 - RD = Т (0) - yi7Tg = АА ,

откуда

lim Ar{var 0 (9)} = 1 — p2(g 11, ..., q — 1) = (1 — 02 (q)) < 1.

N-*oo

На самом деле, как мы позже увидим, предпочтительнее использовать статистику

Удг-др^Ц, ..., д-1),(2 1().

V1 — р2(д| 1,д—1)

как t Стьюдента с (N — д) степенями свободы. Далее мы предложим ряд других аппроксимаций. Введение множителя в знаменатель будет приводить к возрастанию значения статистики критерия, даже если нулевая гипотеза верна, и с этим связано использование /-распределения Стьюдента. В то же время мощность критерия возрастает, поскольку при альтернативной гипотезе знаменатель может быть существенно меньшим.

Интересно выписать нашу формулу для р (q | 1, . . ., q — 1) при малых q. Имеем

5 = 1,р(1|0)=г

9 = 2,р(2|1)=|

9 = 3, р(3|1,2) =

(1),

Cyi)|/det (С^ = - r(l) 1 r(l) г (2) r(l) 1 r(3) r(2) r(l)

^(2)-r(l)2

1 — F(l)2

1 r(l) r(2)

r(l) 1 r(l)

r(2) r(l) 1

Но : авторегрессия порядка q.

Н1: авторегрессия порядка q 4- s

В пункте (Ь) мы рассмотрели случай s = 1. Теперь нас интересует общий критерий для проверки пригодности модели авторегрессии порядка q, т. е. «критерий согласия». В такой ситуации s должно быть велико, вероятно много больше, чем q. В классической теории регрессии мы рассматриваем q + s «переменных регрессий» ж1? х^ . . ., xq, . . ., хд^8 и для проверки того, что последние 5 из них не влияют на зависимую переменную, образуем величину

р^ остаточная сумма квадратов после регрессии на х^ ..., xq+s остаточная сумма квадратов после регрессии на xb ...sxq

Аналогом этой статистики в нашем случае является Og^Gg, так что введем величину

l-T^+sl^^+i°ql-T^+sl^^+i°q{det (Cg-i.s+i) det (Cq)^{det (Cq^ det (Cq+1^ *{det (Cg-i.s+i) det (Cq)^{det (Cq^ det (Cq+1^ *

l-T^+sl^^+i

°q

l-T^+sl^^+i

°q

{det (Cg-i.s+i) det (Cq)^

{det (Cq^ det (Cq+1^ *

{det (Cg-i.s+i) det (Cq)^

{det (Cq^ det (Cq+1^ *

Эта величина безразмерна и может быть выражена через г (тг). По аналогии с классической ситуацией мы приходим к статистике

Fs, N-q-sFs, N-q-s(2.11)(2.11)_^2(^ + 5|^) N — q — s

Fs, N-q-s

Fs, N-q-s

(2.11)

(2.11)

"l-B2(g + s|g) 5

Мы предоставляем читателю доказать, что распределение NR2 (q + s | q) при N -> сю сходится к хи-квадрат распределению с s степенями свободы, так что

1 —Я2 (q + s\q)

сходится к единице с вероятностью 1. Чтобы это сделать, можно представить R2 (q + s | q) как квадратичную форму от р (q + 1), . . . . . ., р (q + s), матрица которой с вероятностью 1 сходится к обратной матрице ковариаций этих величин. Это асимптотически обосновывает (2.11); однако представляется вероятным, и мы подтвердим это дальнейшими исследованиями, что лучше, как было рекомендовано, рассматривать эту статистику как Fs, N_q_s.

Другой способ проверки рассматриваемой гипотезы был разработан Кенуем [1947]; Уиттл [1951] указал на его связь с рассматриваемым критерием. Так как

{1 — ^2(9 + s 19)} = П{1 ~Р2(9 + /11, 2, .... 9 + 7-1)}

1

(см. теорему 6 гл. I), то если Но верна х), приближенно получаем

^(9 + S|9)«W[l-I]{l-p2to + 7|l,2,q^~

^Nj\p\q+j\l,2,q),

1

где мы пренебрегли произведениями, вклад которых сходится по вероятности к нулю при Но. Последнее выражение по существу совпадает со, статистикой Кену я, которая, однако, вычисляется следующим образом. Находим

аи= 3 Р(Л Р(“ — 7+ “ = 0, 1,2g,

3

где сумма берется по тем значениям у, О^у^#, для которых u — j также лежит в этом диапазоне. Затем находим

2g

У ^цГ и — м)

dj = (N + q-n1,2\-q’ / = д+ 1,9 + s.

о

Тогда при гипотезе Но распределение величины

g+s

j=g+i

стремится при N —> оо к хи-квадрат распределению с s степенями свободы. Мы не будем приводить здесь подробное обоснование этого критерия 2). Заинтересованный читатель может обратиться к книгам Грепандера и Розенблатта [1957], стр. 106, или Хеннана [1960], стр. 116. Этот критерий легко реализуется, если авторегрессия g-го порядка уже построена, ибо нам нужно лишь найти аи и с их помощью образовать скользящее среднее для г (п). Изменение значения s требует лишь незначительных дополнительных вычислений. В настоящее время, однако, реализация (2.11) в любом случае потребует меньших вычислений и, по-видимому, нет никаких серьезных

оснований для использования критерия Кенуя вместо критерия, основанного на (2.11) 1)).

Случай, когда р>1. Теперь р соответствует матрице

S'(1) "

(2.12)(2.12)В' (2)

(2.12)

(2.12)

вЧч) _

согласно правилу, установленному в § 3. гл. IV (см. (3.10) и далее). Эта оценка аналогична той, которую мы получили бы, если бы оценивали матрицу В (определенную аналогично в терминах В (/)) по методу наименьших квадратов, рассматривая регрессию каждой из последовательностей Xj (п). п = 1, 2, . . ., N, на pq последовательностей Xj (п — и). Как и в случае р = 1, аналогия является неполной, поскольку в настоящей процедуре используются произведения, отсутствующие в среднеквадратичной регрессии, и сумма квадратов и произведений для pq векторов регрессии будет иметь одинаковые значения вдоль любой диагонали. Из теоремы 1 следует, что здесь также полностью применима соответствующим образом модифицированная и упрощенная классическая теория регрессии. Следует также отметить, что решение уравнений (2.5) является не столь трудной задачей, как это может показаться на первый взгляд; каждую строку соотношения

q

х^— — 2 В (и) х (п —- и) + е (^)

1

фактически можно рассматривать отдельно, поскольку коэффициенты для г-й строки, расположенные в столбец сначала по возрастанию и. а затем по номеру столбца, имеют вид

где Уг — вектор с компонентой у^ (у) в строке с номером ^и — 1) р + ку Соответственно столбец оценок равен

— Cq1^,

где С). — вектор с компонентой cik (у) в строке с номером ^и — 1) р + + к). Другими словами, мы находим регрессию вектора из V — q компонент Xi (пу п = q + 1, . ... N. на pq векторов с компонентами Xj (п — иУ п = q У У . . .. N, соответствующих значениям 7 = 1, . ... р. и = 1, . . .. q. однако используем все подходящие произведения, чтобы упростить вид регрессии.

х) Это в какой-то мере опровергает мнение, высказанное автором ранее в работе [1960], стр. 117. В вычислительном отношении ситуация сильно переменилась.

Теперь, следуя хорошо известным правилам, можно реализовать стандартные критерии и доверительные процедуры. В качестве иллюстрации рассмотрим сначала критерий для проверки гипотезы о том, что все В (и), и = 1, . . ., q, равны нулю. Это будет критерий для нулевой гипотезы, что х кп^ сериально независимы, против гипотезы, что х (п) порождается авторегрессией порядка не выше q. Естественно использовать статистику

Л kN, р, pq) =Л kN, р, pq) =5Let{C ^ — B'CqB\5Let{C ^ — B'CqB\det {С (0)}det {С (0)}

Л kN, р, pq) =

Л kN, р, pq) =

5Let{C ^ — B'CqB\

5Let{C ^ — B'CqB\

det {С (0)}

det {С (0)}

где В было определено выше соотношением (2.12). Если бы мы имели дело с классической регрессией р векторов из N наблюдений на pq других векторов, где первые р векторов гауссовы и независимы во времени, то статистика Л при нулевой гипотезе (отсутствие зависимости) имела бы распределение, которое хорошо изучено и достаточно подробно затабулировано х). Подробности читатель может найти в книге Т. Андерсона [1958]. Хорошее приближение получается, когда

-{A-ltp + p^j-logA (2.13)

рассматривается как хи-квадрат с p^q степенями свободы. Мы обоснуем здесь использование этого приближения в смысле, который будет уточнен.

Заметим, что

С (0) — B'CqB = Gq,

так как

У В (и) С (и) = В'1У В (и) С (и) = В'1Таким образом,Таким образом,' С (1)'С(2)_C(q).' С (1)'С(2)_C(q).-B'CqB.-B'CqB.А (А, р, pq)А (А, р, pq)det (Gq)det \GqW t^-Cq))det (Gq)det \GqW t^-Cq))det )Gq)det ^Gq 4~ В'CqB}det )Gq)det ^Gq 4~ В'CqB}

У В (и) С (и) = В'

1

У В (и) С (и) = В'

1

Таким образом,

Таким образом,

' С (1)'С(2)

_C(q).

' С (1)'С(2)

_C(q).

-B'CqB.

-B'CqB.

А (А, р, pq)

А (А, р, pq)

det (Gq)

det \GqW t^-Cq))

det (Gq)

det \GqW t^-Cq))

det )Gq)

det ^Gq 4~ В'CqB}

det )Gq)

det ^Gq 4~ В'CqB}

- cl Я {/„ + G" vp-B'CqBGq 1/2 y1.

Далее,

N «1^ + Gq ^B'CqBGC'-) - lip + GX!2BTqBG"1 /2)} == N {(GqX‘2 -G~V2) B’CqBG-1/2 + G" i/2B’ (Cq- Г,) BGq 1 /2 +

т G"1/2BTqB (G~1/2 - G~1/2)},

г) Оставшаяся часть этого параграфа тесно связана с § 6 гл. V.

и при гипотезе В = 0 это сходится по вероятности к нулевой матрице, так как NX,2B асимптотически нормальна и, например, Gq^2— G“1/2 сходится к нулю с вероятностью 1; но

N Tr (G"1,2BTqBG~1/2} = 2Vp' (G ® Г,1)"1 р,

что асимптотически распределено как хи-квадрат с p^q степенями свободы. Однако

— ^lnЛ(7V, р, /л/) =-ЛЧп Ц (1 +г|),

где п — собственные значения GT^B'CqBGT^2, которые, очевидно, сходятся к нулю почти наверное. Поскольку, как мы видели, N^n есть хи-квадрат с p^q степенями свободы и

N 2 rl < N У In (1 -1- гЪ < N 2 Л + N 2 г? In (1 + ГТ),

то средний член при больших N тоже распределен как хи-квадрат с p^q степенями свободы; в самом деле, N^r^ In (1 + г?) сходится по вероятности к нулю, потому что каждый In (1 + +) сходится почти наверное к нулю. Можно предположить, что способ использования (2.13), указанный после этого соотношения, предпочтительнее использования МУг^ однако приходится довольствоваться тем, что это подтверждается только рассмотрением (которое мы дадим ниже) случаев, когда р = 1 и q мало.

Более интересен критерий для проверки гипотезы В (q) = 0. Здесь мы полагаем

(2.14)

Доказательство того, что при N —> оо распределение статистики- {W-/7(^-1)} In Л

сходится к хи-квадрат распределению с р2 степенями свободы, совершенно аналогично предыдущему, и поэтому опускается.

Вообще, можно рассмотреть

Л (Л7 — QiP, р, д2р)^Л (Л7 — QiP, р, д2р)^det (Gq)det (G9i)det (Gq)det (G9i)

Л (Л7 — QiP, р, д2р)^

Л (Л7 — QiP, р, д2р)^

det (Gq)det (G9i)

det (Gq)det (G9i)

и использовать

(11

— |+ — qip--^ (p-V q^ ) In A, 71 + 72-7,

как хи-квадрат c p2q2 степенями свободы для проверки нулевой гипотезы, что х (п) порождается авторегрессией порядка qXl против альтернативы, что порядок равен 7>7j. Такие процедуры использовались, по-видимому, очень мало (хотя тесно связанные с ними процедуры широко применялись в экономике).

Все результаты этого параграфа неудовлетворительны в том отношении, что они носят асимптотический характер и не сопровождаются никакими указаниями о размере выборки, необходимом для хорошей аппроксимации. Как уже говорилось, далее будут получены некоторые более точные результаты в предположении гауссовости; затем мы рассмотрим также некоторые выборочные эксперименты (и теоретические результаты) для негауссовских данных, которые показывают, что предложенные здесь аппроксимации будут весьма точными при достаточно большом (например, больше 50) эффективном числе наблюдений (которое равно коэффициенту при —log Л) и что в случае, когда р и q малы, удовлетворительная точность достигается при гораздо меньших значениях (скажем, до 20). Разумеется, эти результаты носят эмпирический характер.

Мы не рассматривали в явном виде доверительные процедуры для элементов В, так как они достаточно очевидны и в то же время трудно интерпретируемы из-за высоких размерностей. Здесь могут быть использованы процедуры классической теории множественной регрессии (см., например, Т. Андерсон [1958], стр. 288—290), модифицированные с учетом более простого характера настоящей ситуации, как мы уже неоднократно подчеркивали. Для иллюстрации рассмотрим доверительную область для В (q).

Если при вычислении det (Gq) в (2.14) мы заменим В (q) на {5(^) —5(^)}, то распределение получающейся при этом статистики Лд будет совпадать с указанным распределением для Л, так как в конечном счете оно сведется к распределению случайной величины, которая равна произведению N на квадратичную форму от элементов {S (q) — В (q)}, причем матрица этой формы равна обратной от (оцененной) матрицы ковариаций В (q). Таким образом, если найти % (а) из соотношения

Р {—— р (q — 1)) log Л, < х (а)} = 1 — а,

то область, задаваемая неравенством в скобках, определит доверительную область для В (q) с коэффициентом (1 — а).

3. СТАТИСТИЧЕСКИЕ ВЫВОДЫ ДЛЯ АВТОРЕГРЕССИОННЫХ МОДЕЛЕЙ. НЕКОТОРЫЕ ТОЧНЫЕ РЕЗУЛЬТАТЫ

В этом параграфе мы дадим обзор некоторых результатов, полученных в предположении гауссовости и относящихся к распределениям тех коэффициентов автокорреляции или частной автокорреляции, па основе которых делаются статистические выводы для авторегрессионных моделей. Мы рассмотрим в основном случай р = 1, так как большинство известных результатов относится к этому случаю. В. конечном счете получение любого нужного распределения с любой заданной точностью требует лишь достаточной энергии и применения вычислительных машин. Фактически число затабули-

рованных распределений относительно невелико, и большая часть обсуждаемых далее результатов получена более 10 лет тому назад г). Это частично отражает тот факт, что основное внимание с тех пор переместилось на спектральные методы, однако объясняется еще и тем, что эти точные результаты на самом деле не вполне точны, ибо предположение о гауссовости выполняется обычно не точно и начиная с какого-то момента слишком точный расчет нужного распределения теряет смысл. Как мы уже говорили, сейчас наблюдается некоторый возврат к параметрическим моделям, который, возможно, приведет в будущем к дальнейшему развитию теории точных распределений, в особенности для случая /?>1.

Рассмотрим сначала случай р = 1 и начнем обсуждение этого случая с распределения г (1) в предположении, что х (п) — нормальные одинаково распределенные величины с параметрами (ц, о2). По существу первый вывод точного распределения статистики такого рода принадлежит фон Нейману [1941], который рассмотрел

N- (^-1)-1 V 1_ 62

N_— §2 1

А-1 W — ж}2 1

(В этом параграфе N фиксировано, и мы не нуждаемся в каких-либо индексах, указывающих на число наблюдений, по которым вычисляется х.^ Это выражение называется иногда отношением фон Неймана. Оно, конечно, близко к 2 (1 — г (1)), причем различие обусловлено лишь коэффициентами при крайних членах. Как видно из выражения для функции правдоподобия при q = 1, приведенного в § 2, достаточными статистиками в простом марковском случае являются

^—1N-lN-1

/1 х^пУ, 2 ^(^+1) ^(рУ х (I)2 + х (Ny, ^ Ц^У x(l)~yx(Ny 2*12

так что в такой простой марковской модели выбор статистики, даже для проверки гипотезы р = 0, неизбежно будет неоднозначным. (Более подробное обсуждение этого вопроса см. в работе Т. Андерсона [1948].) Несколько позже Р. Андерсон [1942] рассмотрел круговой коэффициент автокорреляции

N-1

^J Ц^(м) —+ + (м + 1) — + } + {ж (А) —+(!) —^

ГN7'•

2 ^ («)—^12

1

х) Отметим, в частности, в дополнение к ссылкам, приводимым далее, следующие работы: Даниэле [1956], Диксон [1944], Дженкинс [1954а], Купменс [1942], Лейпник [1947], Мэдоу [1945] и Рубин [1945].

Его можно записать в виде

x'PWPxх'Рхx'PWPxх'РхP — I — N^W,P — I — N^W,(3.1)(3.1)

x'PWPxх'Рх

x'PWPxх'Рх

P — I — N^W,

P — I — N^W,

(3.1)

(3.1)

где I — единичная матрица порядка N, 1 есть TV-мерный вектор, все компоненты которого равны единице, a W — циркулянтная матрица, элементы которой равны 1/2 на двух диагоналях, соседних с главной, а также в правом верхнем и левом нижнем углах, а на остальных местах равны нулю. Если U — основной циркулянт

О 1 0 0 ... О

О 0 1 0 ... О

О 0 0 1 ... О

О 0 0 0 ... 1

1 0 0 0 ... О

то W = V2 (U + ^7') = V2 (U + U-). В общем случае можно рассмотреть г = ^xr PAPx^lx' Рх = и!и, где А невырожденна и симметрична, а Р идемпотентна и симметрична, поскольку все три упомянутые статистики имеют такой вид. Первый относящийся сюда результат — это

Теорема 2. Пусть г = х' РАРх/х' Рх = u/v, где х — вектор с компонентами х (п), которые являются независимыми гауссовскими случайными величинами с нулевыми средними и единичными дисперсиями, матрица А симметрична, а Р симметрична и идемпотентна. Тогда случайная величина г независима по отношению к х'Рх. В частности, Е (гш) = Е (и^/Е ^vmY

Впервые это было замечено, по-видимому, Э. Питменом. Доказательство весьма просто, так как мы можем привести г ортогональным преобразованием к виду S^j^S^n гДе Hj — собственные значения РАР, а количество слагаемых в каждой сумме равно рангу Р. Вводя полярные координаты, мы видим, что это отношение зависит только от полярных углов, а знаменатель равен длине вектора с компонентами |у, которая не зависит от полярных углов. В частности,

Для иллюстрации рассмотрим

г (1). Тогда Р имеет вид (3.1) и

[010... 0

4 N—1 2

101... 0

010... 0

0 0 0 ... 0 1

0 0 0 ... 1 0.

Следовательно,

Е(г(1)) =Е(г(1)) =Тг(РЛР) _ Тг (РЛ) _ Тг(Л) — N-WA1

Е(г(1)) =

Е(г(1)) =

Tr (Р) N— 1N — 1

~2^—I)2N—1 ’

2Тг{(РЛР)2} + {Тг(РЛР)}2 _№—ЗК^З

"W2 — 1— (ДГ —1)3

Отсюда

var (г (1)}

Таким образом, дисперсия величины {г (1) + 1/^ — 1)} с точностью до А^-2 совпадает с дисперсией обычного коэффициента корреляции с центрированием для N + 2 пар наблюдений. Собственные значения А равны ^N/(,N — 1)} cos (Ttj/(N + 1)), ] = 1, 2, . . ., N (мы оставляем это читателю в качестве упражнения). Они, конечно, не совпадают с собственными значениями РАР, но этот результат показывает, что хотя пределы, в которых изменяется т (1), не равны ±1» как для обычного коэффициента корреляции, они все же близки к правильным, если N не очень мало. Таким образом, используя г (1) + (N — I)-1 как обычный коэффициент корреляции для АГ + 2 пар наблюдений, мы должны получить хорошую аппроксимацию, если N не очень мало 1). Мы обсудим подобные аппроксимации ниже. Ситуация упрощается, когда А = W и Р = I — А"-1! 1', ибо 1 теперь является собственным вектором W, отвечающим единичному собственному значению, а другие собственные значения равны cos (2л/7АГ), 7 = 1, . . ., N — 1. Таким образом, г (1) меняется в пределах cos (2л/А") и — 1 (при четном А") или —cos (л/А") (при нечетном А"). Так же как выше, мы можем найти его среднее и дис-

!) Здесь (и далее) автор имеет в виду использование распределения обычного коэффициента корреляции в качестве приближения к распределению рассматриваемой статистики.— Прим, перев.

Персию, которые равны соответственно —^N — 1) 1 и

(уу2 _ зту)/((7у + 1) (N - I)2} = (TV + 2)-1 + О (TV-3).

Это наводит на мысль использовать г (1) + (TV+ 2)-1 как обычный коэффициент корреляции для (N + 3) пар наблюдений. Практически в этом нет нужды, поскольку точки значимости для истинного распределения при небольших N затабулированы в работе Р. Андерсона [1942], и мы упомянули об этом только для того, чтобы подготовить почву для приближенных процедур, предлагаемых далее. На самом деле сравнение приближенных и истинных точек значимости показывает, что аппроксимация является очень точной при N ^ 20. То же самое относится и к отношению фон Неймана, среднее которого равно 2, а стандартное отклонение 4 (А — 2)/(А'2 — 1). Если положить г = (1 —~62/s2j , то можно использовать эту статистику как коэффициент корреляции для (N + 3) пар наблюдений, ибо ее дисперсия равна (N + 2)-1 + О (/V-3). Точки значимости для точного распределения также известны, и мы просто предлагаем некоторый довод в пользу приближенных процедур. Для этого случая мы приводим таблицу 1.

Таблица 1

Сравнение истинных и приближенных точек значимости для г= (1— у62/<2)

{г|Р(г>я) = р}

N

р = 0,05

р = 0,01

Истинные

Приближенные

Истинные

Приближенные

4

0,610

0,669

0,687

0,833

5

0,590

0,622

0,731

0,789

6

0,555

0,582

0,719

0,750

7

0,532

0,549

0,693

0,716

8

0,509

0,521

0,669

0,685

9

0,488

0,497

0,646

0,658

10

0,469

0,476

0,624

0,634

15

0,397

0,400

0,539

0,543

20

0,350

0,352

0,480

0,482

Очевидно, что эта аппроксимация также является очень точной при N ^ 20 (на самом деле трудно вообразить ситуацию, в которой она была бы неудовлетворительной при N ^ 10). Для многих целей достаточно использовать г (1) + (N — I)-1 как коэффициент корреляции для (N + 2) пар наблюдений.

Выведем теперь распределение величины г (1), по-прежнему предполагая, что х независимы. Фактически мы рассмотрим совместное распределение величин г (у), у = 1, . . ., q, где

^(7) = ^^-, w^^u^u-’y

Такой выбор г (у) мотивируется тем, что матрицы Wj коммутируют и близки к матрицам, фигурирующим в числителях г (у). Кроме того, в ряде важных случаев Р будет проектором на ортогональное дополнение подпространства, порождаемого некоторыми собственными векторами всех матриц Wj. Эти векторы имеют на Z-м месте компоненту cos ^2ukHN^ или sin (2л&£/7У), причем собственное значение в обоих случаях равно cos ^ukjlN^ (для WjY Таким образом, если к пробегает значения от 0 до Р/2ЛЭ, то мы получаем N векторов, на которые мы проектируем, если хотим подобрать конечный ряд Фурье по N точкам. Следовательно, если мы обрываем ряд Фурье на частоте 2nK!N и если Р проектирует на ортогональное дополнение подпространства, порождаемого первыми 2К + 1 собственными векторами, то мы должны исключить cos ^2uk]lNY & = 0, 1, . ... К, из списка возможных собственных значений для PWjP; остаются собственные значения cos (2л/су7А), к = К + 1, . . ., [7V/2], причем каждое из них повторяется дважды, за исключением того, которое отвечает к = -^N при четном N. Так как матрицы PWjP, у = 1, . . ., q, и Р коммутируют (если Р такова, как было описано выше, что мы и предположим), то они могут быть одновременно приведены к диагональному виду ортогональным преобразованием. Сложим попарно квадраты нормальных величин, коэффициенты при которых равны cos ^2uk]!N^ (2nk/N ^ л); поскольку г (у) не меняется при изменении масштаба и переносе начала координат, мы можем предположить, что получившаяся случайная величина имеет плотность ехр (—xY х ^ 0 (гамма-1 распределение). Если N четно, то мы будем иметь еще одну величину с плотностью л-12^-12 ехр (—х^ (т. е. гамма-1/2 распределение). Поэтому мы можем написать

м

^ X (/с, у) wk

7П = ^Ч, 7 = 1, q,(3.2)

где X (к, у) = cos {2л (К + *) j/N^ к - 1, ...ЛА (0, у) - (-1)' для четного N и X (0, у) = 0 для нечетного N, wk имеют гамма-1 распределение, a w0 — гамма-1/2 распределение. Если N четно, то N = 2М + 2К + 2, в противном случае N = 2М + 2К + 1. Случай, когда К > 0 и q = 1, был подробно рассмотрен в работе Р. и Т. Андерсонов [1950], где затабулированы 5 %- и 1%-е точки

значимости для значений К, соответствующих задачам оценивания сезонных вариаций. Имеет место следующая теорема (Ватсон [1956]):

Теорема 3. Если w^ в (3.2) — независимые гамма-1 величины, Wo — гамма-1/2 величина, не зависящая от w^, и г ^ определены соотношением (3.2), то плотность совместного распределения величин г (j), 7 = 1, . . ., q, дается соотношением (3.6) (с учетом всех замечаний, сделанных ниже этого соотношения). В частности, если г (/) — xf PWfx/x' Рх, где х удовлетворяет условиям теоремы 2, Wj = =+ U^)^ а Р — проектор на ортогональное дополнение под

пространства, порождаемого 2К -]- 1 векторами, соответствующими регрессии х (п) на cos 2^kn/N, k = О, . . ., К, sin 2ukn/N, k = = 1, . . ., К, то соотношение (3.6), где . X (к, /) = = cos {2л (К + к) j/N}, к = 1, М; X (0, j) = (—1)J при четном М, X (0, у) = 0 при нечетном М и N = 2М + 2К + 2 при четном N, N = 2М + 2К + 1 ^ри нечетном N, дает совместную плотность распределения для г (7).

Доказательство. Удобно положить s (7) = г (7) — — X (0, 7) = Uj/u и найти сначала совместную характеристическую функцию величин и5 и и. Она равна

◦оосq

ф (9,, . .., 0„ х|>) = j ... j exp Ц 2 ^3ui + ^) X 001

м м

х ехР (— 2 ^) [р^ -^ехр(- ^ av1/2j П^’ 1о

причем множитель в квадратных скобках появляется лишь в случае четного N. Это выражение равно (см. Рао [1965], стр. 148)

37q

[ll (1 —* 2 ЛИА D — MA j)} — ity) ] (1 —гф)~1/2, /1=11

где последний множитель также включается лишь в случае четного N (мы не будем далее повторять эту оговорку). Это равно

Мq

(1 _ nj,)-0™ ц ( ! _ i 2 о A (*, п у1 л {к, п = ( Mk’f'^0’у)). /1=11

(3.3) Заметим, что любой минор порядка ^+1 матрицы

[Т : ^(к, 7)1

из М строк и q + 1 столбцов, у которой первый столбец состоит из единиц, а в к-й. строке и (7 + 1)-м столбце находится X (к, j),

не равен нулю для всех, за исключением конечного числа, значений гр. В самом деле, достаточно доказать это для [1 ,: X (k. j) —А (0, /)] или, что равносильно, для [1 • X (к, /)]. Если бы для последней матрицы это утверждение было неверно, то мы могли бы найти (q -j- 1) постоянных а;. таких, что

q

^a.-cos-^A^O, 1^^^[Адг],.... ^+1,

о

где все ки различны. Это, однако, невозможно, так как отсюда вытекало бы, что тригонометрический многочлен 2aj cos ^j степени q равен нулю для (g + 1) значений 2nkjN в интервале (0, л], что возможно лишь при а7- = 0. Таким образом, не более q из М множителей в произведении (3.3) могут одновременно обращаться в нуль (исключая отдельные значения гр), и мы можем разложить это произведение в сумму дробей, образованных всевозможными наборами из q сомножителей, а именно

м

h=l^1<^2< <hq || (1 — i 2 X (ku. j) By)

Умножим обе части этого соотношения на один из знаменателей правой части и приравняем 0; тем значениям, которые обращают все множители этого знаменателя в нуль, т. е.

19-V^^ у)]"1!,

где 0 имеет требуемое значение па к-м месте. Тогда

C^,*g) = П {l + ИМ^, J)]"1^)}"1,h^И> • • •, kqгде X (&) — вектор с компонентой X (к. j) на у-м месте. Легко подсчитать, что это равно х)C^,*g) = П {l + ИМ^, J)]"1^)}"1,h^И> • • •, kqгде X (&) — вектор с компонентой X (к. j) на у-м месте. Легко подсчитать, что это равно х)с^. . . ., kq)с^. . . ., kq)п& Ф Ь1» • • ч ^qп& Ф Ь1» • • ч ^q1T1TЭто выражение, очевидно,Это выражение, очевидно,не изменится,не изменится,на kQt, ]) = к(к, j) — Х(0, /); таким образом, получаемФ (0ц ..., 0е, тр) =на kQt, ]) = к(к, j) — Х(0, /); таким образом, получаемФ (0ц ..., 0е, тр) =X' w£ (ku, J)если К (к, j) заменитьX' w£ (ku, J)если К (к, j) заменить

C^,*g) = П {l + ИМ^, J)]"1^)}"1,

h^И> • • •, kq

где X (&) — вектор с компонентой X (к. j) на у-м месте. Легко подсчитать, что это равно х)

C^,*g) = П {l + ИМ^, J)]"1^)}"1,

h^И> • • •, kq

где X (&) — вектор с компонентой X (к. j) на у-м месте. Легко подсчитать, что это равно х)

с^. . . ., kq)

с^. . . ., kq)

п

& Ф Ь1» • • ч ^q

п

& Ф Ь1» • • ч ^q

1

T

1

T

Это выражение, очевидно,

Это выражение, очевидно,

не изменится,

не изменится,

на kQt, ]) = к(к, j) — Х(0, /); таким образом, получаем

Ф (0ц ..., 0е, тр) =

на kQt, ]) = к(к, j) — Х(0, /); таким образом, получаем

Ф (0ц ..., 0е, тр) =

X' w

£ (ku, J)

если К (к, j) заменить

X' w

£ (ku, J)

если К (к, j) заменить

с (Ад, . . ., kq)

ZJ ’ ’ ZJq

ki<k2<...<kgj-J {1— £ 27)9,-^}

U=1j

т) В этом параграфе удобно ввести обозначение | aj, к | для определителя матрицы [aj, h].

Мы можем теперь почленно найти обратное преобразование Фурье. Типичный член этой суммы (если заменить числитель на единицу) равен, очевидно, совместной характеристической функции величин

(3.4)(3.4)V=y0= 2 Уи,V=y0= 2 Уи,и=1и=1и} = S M&u,/)Уи, w=l, . .., q,

(3.4)

(3.4)

V=y0= 2 Уи,

V=y0= 2 Уи,

и=1

и=1

где уи имеет гамма-1, az; — гамма-(Л/ — q — V2) распределение, что соответствует плотности

sgn | X (кц, 7) Isgn | X (кц, 7) IIX (ku, 7)|1/2 kM-q-ЧгУIX (ku, 7)|1/2 kM-q-ЧгУ(^и» /)(^и» /)1 I X'(k)1 I X'(k)A^Al, ^2» • • •, ^qA^Al, ^2» • • •, ^q1 ’ X (ku, 7)1 ’ X (ku, 7)

sgn | X (кц, 7) I

sgn | X (кц, 7) I

IX (ku, 7)|1/2 kM-q-ЧгУ

IX (ku, 7)|1/2 kM-q-ЧгУ

(^и» /)

(^и» /)

1 I X'(k)

1 I X'(k)

A^Al, ^2» • • •, ^q

A^Al, ^2» • • •, ^q

1 ’ X (ku, 7)

1 ’ X (ku, 7)

(Здесь и далее мы используем факториальные обозначения для гамма- функции во избежание путаницы с нашими обозначениями для сериальных ковариаций.) Таким образом, типичный член суммы после обратного преобразования Фурье дает вклад, который получается из плотности величин уи, и = 0, . . ., q, посредством линейного преобразования (3.4):

где sgn(£) — знак х. Согласно (3.4), Уо = и' [K(ku, +

где zz — вектор с компонентой uj на у-м месте. Это равно V ; и'

Таким образом, вклад типичного члена суммы в совместную плотность равен

М— q—1/о

Переходя от переменных Uj и v к переменным s(j^ у = 1, . . ., q, v и интегрируя по z; от 0 до oo, получаем вклад

1 : s'

M—q—1/2

(M-V2)! sgniM^j)!

(M-q-1/..у |X(AU,/)|V2

1 i MkUln

n pi X'(k)

T i X (ku,

(3-5)

где 5 — вектор с компонентами s (7). (Якобиан этого преобразования равен и4 и интеграл от ехр (—р) иИ-1^ равен (И — ^г)!.) Разумеется, мы считаем, что (3.5) равно нулю, если компоненты вектора $ выходят из области допустимых значений. Теперь мы можем перейти к исходным случайным величинам г (7) и исходным коэффициентам X (&а, 7), в результате чего получаем совместную плотность в виде

11M-q-l/2M-q-l/2(М-1/2)! у ^I-q-^2y.(hi,(М-1/2)! у ^I-q-^2y.(hi,2., hq^R2., hq^R1 i A (ku, j)1 i A (ku, j)sgn1; А'(0)г: X №и. j)sgn1; А'(0)г: X №и. j)k^ki, . . ., hqk^ki, . . ., hq1 ii А(0)'^/2х i• X (ки, j)1 ii А(0)'^/2х i• X (ки, j)1 ; МЦГ X (kUl j)1 ; МЦГ X (kUl j)(3.6)(3.6)

1

1

M-q-l/2

M-q-l/2

(М-1/2)! у ^I-q-^2y.

(hi,

(М-1/2)! у ^I-q-^2y.

(hi,

2

., hq^R

2

., hq^R

1 i A (ku, j)

1 i A (ku, j)

sgn

1

; А'(0)

г

: X №и. j)

sgn

1

; А'(0)

г

: X №и. j)

k^ki, . . ., hq

k^ki, . . ., hq

1 i

i А(0)'

^/2

х i

• X (ки, j)

1 i

i А(0)'

^/2

х i

• X (ки, j)

1 ; МЦ

Г X (kUl j)

1 ; МЦ

Г X (kUl j)

(3.6)

(3.6)

Здесь /-я компонента вектора г равна г (7). Последний множитель в знаменателе появляется лишь в случае четного N; в этом случае показатель для первого множителя в числителе должен быть также уменьшен на V2, а (М — 1/2)!, (М — q — V2)! должны быть заменены на (И — 1)!, (И — q — 1)!. Область R, в которой изменяются k^ k2, . . ., kqi состоит из наборов kVl k2) . . ., kqi для которых $ (7) являются возможными значениями выражений

2 X (^ич ]) УиУо+^Уи

т. е. из всех наборов kv, k2l . . ., kqi для которых $ (7) лежат в наименьшем выпуклом многограннике с вершинами (0, 0, . . ., 0),

(Цк^ 1), .. ., "Цк^ q)), .. ., (X(kqi 1), . . -A<kqi q^.

Иначе говоря, мы включаем в R все (Jc^ k2l . . ., kq), для которых г (1), . . ., г (д) лежат в наименьшем выпуклом многограннике с вершинами (X (0, 1), . . ., X (0, 7)), (X (к^ 1), . . ., X (к^ q)), . . . . . ., (X (kqi 1), . . ., X (kqi q)). Таким образом, совместное распределение г (7), 7 = 1, . . ., q, найдено, и доказательство теоремы 3 завершено.

Именно это распределение для q = 1 и К = 0 затабулировано в работе Р. Андерсона [1942], а для q = 1 и нескольких избранных значений К — в работе Р. и Т. Андерсонов [1950]. Само по себе оно не представляет большого интереса, за исключением частного случая q = 1, так как вряд ли кому-либо может понадобиться распределение г (2) или {г (2) — г (1)2}/{1 — г (I)2} в ситуации, когда нулевой является гипотеза о независимости х ^. То, что действительно нужно при q > 1 — это распределения, основанные на авторегрессионной модели порядка q (или q — 1) для х (п). Однако, если пред-

положение о независимости не выполняется, то задача сильно усложняется, так как теперь матрица в показателе экспоненты функции правдоподобия для х (п) не будет коммутировать пи с W^ ни с любыми другими разумно выбранными Aj (т. е. с такими, которые разумно использовать для определения автокорреляций). Это привело исследователей к введению фиктивного предположения о циркулярно коррелированном процессе. Предполагается, что х (п) = х (п + АГ) для п = 0, 1, 2, . . ., N — 1, так что фактически процесс определен на множестве целых чисел, приведенных по модулю N. Предполагается также, что х (п) стационарен в том смысле, что Е (ж ^т^ х (я)) = — ^^n — mY где все числа приведены по модулю N. Так, если N = 20, то Е (х( — 5) х (54)) = у (19). Тогда матрица 1\ с у (п — т) в m-й строке и п-м столбце является циркулянтной; например, при W = 5 мы имеем матрицу

7(0) 7(1) 7 (2) т(3)

7(4)

7(4)

7(0)

7(1)

7(2)

7(3)

7(3)

7(4)

7 (°)

7(1)

7(2)

7(2)

7(3)

7(4)

7(0)

7(1)

5(1)

7(2)

7(3)

7(4)

7(0).

Поэтому она может быть записана в виде

Гд=о

где U — основной циркулянт, определенный выше. Так как, очевидно, у (N— у)^у(у), то теперь в качестве нулевой гипотезы уместно рассматривать случай, когда

rv= 5 TtiWp7 = 0

Каким образом следует выбирать у (у)? Мы можем ответить на этот вопрос, рассматривая обратную от ковариационной матрицы I\v для N наблюдений в случае авторегрессии порядка q. Мы предоставляем читателю доказать, в качестве одного из упражнений к этой главе, что при N > q матрица, обратная к Г v> па пересечении у-й диагонали выше главной и Zc-й строки имеет элемент (в случае о2 — 1)

2 Р (Ю Р (“ + /), 0<7<Q,

и

о,q<b

где суммирование производится по и от 0 до min(fc — 1, q— j, N — k— 7). Эта матрица, конечно, симметрична относительно главной диагонали. Сказанное наводит на мысль положить

_ qq-з

VN^^bjU3, 6,= SP(u)P(u + /) = 6_,..(3.7)

-qО

Заметим, что 6Q = pg и если Р9 = 0, то 6^»! = PQ_19 и т. д. Кроме того, Гдг положительно определенна, так как собственные значения Г^1 равны

qq

2 Sje^k = | ^ ₽ (w) PUtoh р , tok = ^- .

-qО

Пригодность такой аппроксимации мы обсудим позже. Функция правдоподобия равна теперь

q

(2л)~1/2”|ГуГ1/2ехр (-4 2 VW^ ,(3.8)

О

так что статистики x'WjX достаточны для б7-, / = 0, . . ., q.

Соответственно функция правдоподобия для x'PWjPx, / = = 0, . . ., q, где Р определено выше, равна

q

I Гу Г1/2ехр ( -4 2 bjx'PWjP^ ,

О

где ГЛэто матрица ГЛг, рассматриваемая как матрица преобразования на области значений оператора проектирования Р. В самом деле, Рх имеет матрицу ковариаций 2 б^И^Т^ и Р2 = Р, так что выражение для показателя экспоненты верно; с другой стороны, Р коммутирует с Гх, так что РГХР = Г у, где Гv определена выше. Таким образом, собственные значения Гх равны

q

^б^х k--I\--l, ...,К-ГМ, -q

причем каждое повторяется дважды, кроме того, которое соответствует o)/t = л в случае четного N.

Теорем а 4. Если х (п), п = 1, . . ., N,— циркулярно коррелированные величины с матрицей ковариаций, задаваемой соотношением (3.7), то совместная плотность величии г (/) = х PWjPxix'Рх, где Р удовлетворяет условиям теоремы 3, получается из (3.6) умно-

жением на

аК-M ЧЧ

(26,cosjn)1/8 2 {Зб^ГЧЗ^о-))-^,(3.9)

-qК+1 -ЧО

где в случае нечетного N следует опустить первый множитель, а также — V2 в показателе последнего множителя.

Доказательство. Чтобы получить совместную плотность статистик xr PWjPx, j — 0, . . ., q, следует добавить множитель

I гл- Г1/2ехр ( — -у {(60 — 1) x'Px-V 2 6/PWjPx j ) =

ч

= i rv Г1/2 exp ( - p {(60 - 1) + 2 б? (J) } ) 1

к плотности, которая была найдена для случая 67- = 0, / = 1, . . ., q. При интегрировании по и мы должны заменить ехр (—и) в выражении, предшествующем (3.5), на

А,4~

|ГЛЖ /2ехр( — р{2б;г(/)0.о

Из-за этого появляется множитель (3.9), произведение которого на (3.6) дает совместную плотность в случае, когда исходной плотностью является (3.8), и теорема доказана.

Само по себе распределение (3.6) может быть полезно лишь в очень специальных случаях, так как, не говоря уже о сложности формулы, циркулярная зависимость является неприемлемой фикцией. Это, конечно, не относится к случаю q = 1, ибо в этом случае можно рассматривать распределение г (1) при нулевой гипотезе независимости. Теперь мы изучим характер аппроксимации распределения х’PW^Рх, которая дается распределением, полученным в предположении, что исходной плотностью является (3.8), тогда как истинная плотность определяется соответствующей авторегрессией. С этой целью мы оценим две характеристические функции, используя каждый раз тильду для обозначения циркулярного случая. Ограничимся случаем, когда никакого центрирования нс производится, и сравним распределение статистик x'WjX, / = 0, 1, . . ., q, полученное на основе описанного выше циркулярного предположения, с распределением статистик x'AjX, полученным при соответствующем нецпр- кулярном предположении, где

N-i

х/А^~--- 2 ос (п) х (п-\-j),(3.10)

‘1

так что г (/) — х'Ajxlxx, если нет центрирования. Характеристическая функция для «г'И^г, как мы знаем, равна

ф((Н (00, 61,, ^ == | In - (2i 2 9/^) ГЛ- Г* 2-

Отсюда.

NСЮ

ф (9) = logv (9) = — 4 2 log (1 ~<Ра) 4 2 4 ( 2 ^) ’

Фь = < 2i 2 9j cos jtok У 2л/ (o/J, wk — 2^k, A.

I о1

Типичный семиинвариант величин N^x'Wjx равен

х (s0, s,, ..., sg) = iV”^4-1 (s— 1)! 2 р2л/ (<oh)}s j j^ (cos jakyjJ,

q

Ysj-s. (3.11)

0

Рассмотрим теперь x'AjX, /=-0, ....q, в пециркулярпом случае. Характеристическая функция равна

<р(9Ы/у-(2120А) ГуГЧ

так что

NОС

W) = i°g<p(9)= -42 iog(i-<pe=4 24(2 ^) ’

11к

где ф& есть к-е собственное значение матрицы (21 2 9jГЛ..

Теорема 5. Пусть х имеет компоненты х (п), п — 1, . . ., N, которые являются нормальными величинами с нулевыми средними. Если матрица ковариаций Гх вектора х определяется соотношением (3.7), то семиинварианты N~хх' WjXдаются соотношением (3.11). Если матрица Г v ковариаций х соответствует авторегрессии с коэффициентами Р (/), / = 1) . . .^ q, и величины N~rx'AjX определены соотношением (3.10), то их семиинварианты равны

x(s0, 5ь

ЛQq

X-I? V^^A^M^^ + O^N-8),^Sj = s,(3.12)

-л3=10

где f (X) — спектральная плотность, отвечающая Гу.

Доказательство. Мы покажем, что

Nлq

4-2 ^^4г t {2л/ДО2(9>сов7^}$^ + О^^ k—1-лО

и тогда (3.12) будет следовать из выражения для гр (6) точно так же, как (3.11) следует из выражения для гр (6). Доказательство заимствовано из книги Гренандера и Сегё [1958], стр. 276. Величины ^у/21 являются собственными значениями произведения матриц C^QjAj) и Гу. Обе эти матрицы — «теплицевы», т. е. имеют одинаковые элементы вдоль любой диагонали, причем элемент на j-й диагонали ниже или выше главной равен j-му коэффициенту Фурье четной интегрируемой функции, а именно 2л/ (X) для Гу и 2 97- cos /X для 26/^;- Обе эти функции в настоящем примере бесконечно дифференцируемы (поскольку / (X) отвечает авторегрессии). Пусть МN (f^ обозначает теплицеву матрицу, соответствующую функции /,. Таким образом, Гу = Мх (2nf (X)), 2Z 2 ^jAj = MN (2Z 2 6 j cos/X). Мы получим утверждение, сформулированное в начале доказательства, если сможем показать, что

N-1 Тг {Му (Л) Му (/2) . /. Му Up) - Му UJ2 .eaP^ =

= О ^N-XY

В самом деле, полагая р = 2s и считая, что s функций fj равны'2л/(Х), а остальные s этих функций равны 21 2 6/ cos /X, мы видим, что

jV-1 Тг (Т/Л. у о ... MN (/„)) = ЛГ-iTr {(2/ 2 M,iVH = w12 Ф^

тогда как

Лq

N-1 Тг VMX (Л R... fP)} = j {2л/ (X) 2/ 2 0/ cos jXy dX. — л0

Обозначая теперь через m^Uk) элементы матриц MNUkh мы видим, что

SN=^<MNU^ ... мхо =

" 2 ^П1П2 (/1) ^лг^З (/2) • • • ^ПрП! Up)) (3.13)

где суммирование происходит по 1 ^ Hj ^ N для всех /. Обозначим через Ту сумму, которая получится, если для / = 2, 3, . . ., р заменить пределы суммирования на 1 ^ iij << 00. Покажем, что Ту — А$у есть О (1); отсюда будет следовать требуемое, так как,

например,

2 ^П1П2 (/1) ^П2Пз (/2)

п2=1

= 2 {i j/a^a^-^^A J Ше^мх= П2=1—Л-Л

Л

= ^ j /1 ft) /2 ft) е^-^- dl = mni„3 (Ш,

поскольку/; (X) вещественны, так что TN равна Tr ^МN У^2 ••• /р)}- Таким образом, остается только доказать, что SN — TN есть О (1). Эта разность сводится к сумме конечного числа членов вида (3.13), где 1 ^ гц ^ N, хотя бы один индекс пробегает от N до бесконечности и остальные — от 1 до оо. Применяя прием, который только что был использован для доказательства соотношения Т N = = Tr {МN (fj2 • • • fp)V мы можем свести рассмотрение к случаю

2 ^П1П2 (/1) ^п^пз (/2) ••• ^nqni(fq)i 2 ЛТ Q ^ Р,l^n^N; N<.rij<. оо; / = 2, 3, . . ., q.

Пусть теперь k, I и п — произвольные целые числа, тогда V2 I к — Ц меньше или равно одному из чисел | п — к |, | п — I |. Кроме того,

^n№ (Л) = {1 + (^1 — ^2)2} 10 (1),

где О (1) может зависеть от /;, но не от пъ п2. На самом деле это верно и в предположении, что /; лишь дважды непрерывно (или ограниченно) дифференцируема. Очевидно, что это верно для любого произведения величин /; (при том же условии). Таким образом, если /, g — линейные комбинации произведений /;, то

2 mhn (/) тп1^ = п

= 0(1) 2 О+Ог-^Га+^-^Г^ n=N

= 0(1) {i+.L^-z)2}"1 2 [{i + ^-^r+O + ^-m^ n=N

^(IXl + ^-Z)2}-1.(3.15)

Применяя это повторно, мы видим, что (3.14) равно

О^Д + ^-Пз^аЧ^з-Кв^ {l + ^-^T1,

где г равно q или q— 1. Используя преобразования (3.15), сведем это к

ОО N

0(1) 2 2 o +

nr=N ni=l

= 0(1) § [{l+M2r2+{l + (n+l)2}-2+...+{l + (n+jV-l)2}-2]K n=l

<O(l)§n (rt2+l)"2=O(l), и утверждение доказано.

Сравнивая теперь (3.11) и (3.12), мы видим, что семиинварианты величин N^x'WjX и N^x* А3х с точностью до членов порядка N*8 отличаются только заменой интеграла на интегральную сумму. Это показывает, что результат теоремы 5 дает по крайней мере асимптотически пригодную аппроксимацию распределения г (/) в'нециркулярном случае. Из него вытекают также следующие два замечания.

Среднее и дисперсия статистик N^x'AjX (при нециркулярной гипотезе) могут быть точно найдены, и мы можем сделать поправки к этим статистикам, после которых они с достаточной степенью точности будут иметь среднее и дисперсию распределения N^xWjx при фиктивной циркулярной гипотезе. Эти поправки будут иметь порядок N-1. Теорема 5 показывает, что семиинварианты величин N^x'AjX порядка выше второго отличаются от соответствующих семиинвариантов N^x’W^x, полученных для циркулярной модели, на величины порядка выше N*1. Таким образом, после указанных поправок все семиинварианты будут отличаться от соответствующих семиинвариантов, полученных в предположении циркулярное™, на величины порядка выше N-1, и нетрудно показать, что это будет выполняться равномерно относительно порядка семиинварианта. Если мы применяем циркулярную модель для нахождения совместного распределения N^x'WjX, то мы получаем аппроксимацию с ошибкой порядка o(vV-1) распределения модифицированных величин N^x'AjX (модифицированных так, чтобы они имели правильное среднее и дисперсию) при нециркулярной гипотезе.

Полученный результат наводит на мысль, что предпочтительнее даже заменить функцию log ср (9) тр (9) на интеграл, аппроксимацией которого она является, и получить приближенное распределение по этой новой функции вместо ф (9). В самом деле, если это проделать, то семиинварианты порядка выше второго будут отличаться от истинных на величины порядка О (N~2). Это рассуждение, по-видимому, нуждается в более тщательном обосновании, однако есть еще один неотразимый довод в пользу только что указанного способа, а именно тот факт, что во многих случаях найденная таким

способом характеристическая функция соответствует «хорошему» распределению, которое заменяет «плохое», получаемое из (3.6) и (3.9). По-видимому, первым эту идею применил Купменс [1942]. В примечании на стр. 372 читатель найдет ссылку на другие относящиеся сюда работы. Для иллюстрации рассмотрим следующий пример.

Следуя Лейпнику [1947], рассмотрим распределение г (1) без какого-либо центрирования, но для циркулярной модели с q = 1. Тогда

N- 1

1 ~1 XI 1бо + б^ОЗО);Л

logq) (6) = — -у- У log 4 1 — 2i ■. ■ —5 У ,

72(1+ Р2 — 2р cos со, ) ’

о

где мы, как обычно, положили Р(1)= —р. Приближенно это равно

2л

—[ log ( 1 -2/ -гOo+.9iCosXj dX =

4л J & 11 + р2 —2pcosX )

о 2л2л

= ~-^ | J log{y—2zcosX)dX — j log (1 +р2 — 2pcosX) dX} , оо

1 +Р2 — 2i90, z = (p + ^ 9i).

Вычисляя интегралы, получаем

"Т1^"Т1^У+1А2 —4z2 \АТ2/У+1А2 —4z2 \АТ2/

"Т1^

"Т1^

У+1А2 —4z2 \АТ

2/

У+1А2 —4z2 \АТ

2/

так что совместная характеристическая функция равна

При 90 = 9t = 0 она, как и должно быть, равна единице. Довольно очевидно, что это выражение является характеристической функцией, так как переход от суммирования к интегрированию сохраняет свойство положительной определенности. Во всяком случае мы убедимся в этом, вычисляя обратное преобразование Фурье.

Итак, мы должны найти

14л214л200/

1

4л2

1

4л2

( С g-i(e0^+eisi) / ^ + ^2~?Ai2.\ dSQdSv.

(Подинтегральное выражение, очевидно, абсолютно интегрируемо при 7V>3.) Этот интеграл

”4^2'j f ^-V2yso-2si JLdhJk^^-/^^^^

вычисляется и равен

1/2((l+P2)so-2psi).1/2((l+P2)so-2psi).

1/2((l+P2)so-2psi).

1/2((l+P2)so-2psi).

Теперь, интегрируя по s0, получаем распределение г (1) в виде

<W(1 _ ^n-d (1 + 2_ 2р?)-1/2У(3.16)

;V2 (1/2ЛГ_1/2)! ^'\ ТУ у )\1

Если р = 0, то это является плотностью распределения коэффициента корреляции для N + 3 пар наблюдений. Если, как в начале этого параграфа, мы вычислим среднее и дисперсию г (1) без центрирования и в предположении независимости, то получим Е (г (1)) = О, var (г (1)) = (N + 2)"1, что согласуется с настоящим результатом, так как (N + 2)-1 равно дисперсии коэффициента корреляции для N + 3 пар наблюдений. Как отмечалось выше, в случае, когда производится центрирование, мы должны прибавить (N + 2)-1 к величине г (1), после чего можем использовать ее как коэффициент корреляции.

Обобщение полученного результата на автокорреляции более высоких порядков и частные автокорреляции затруднительно из-за сложности обращения интегральной аппроксимации совместной характеристической функции. Однако Даниэле [1956] получил некоторое приближение к распределению частного кругового коэффициента автокорреляции г (/ | 1, . . ., / — 1) в предположении, что х (/г) порождается описанным выше циркулярным процессом (с матрицей ковариаций Г^). Определим здесь круговые частные коэффициенты автокорреляции г (/ | 1, . . ., / — 1) как частные коэффициенты корреляции между х (м) и х (/г — /) после устранения посредством регрессии величин х (п — 1), . . ., х (п — / + 1), где х (п — /с) при п — к ^ 0 считается равным х (N — п + к). Таким образом т),

г(/|1, .. ., /—1)г(/|1, .. ., /—1)|Су||Су|

г(/|1, .. ., /—1)

г(/|1, .. ., /—1)

|Су|

|Су|

где С3- есть / X /-матрица с элементом с (и — и) = N^x'PWjPx в ^-й строке и р-м столбце, а Р — матрица, осуществляющая центрирование. Имеет место

Теорема 6 ). Пусть х (1), . . ., х (п) — гауссовские циркулярно коррелированные величины (с матрицей ковариаций Г^,

*) Мы напоминаем читателю, что в этой главе | С^3^ | обозначает минор, Дополнительный к элементу i-й строки и /-го столбца матрицы С^.

определяемой соотношением (3.7)), и пусть ^q = 8q = 0. Тогда плотность распределения г (q | 1, ..., q — 1) с точностью до членов порядна o^N"1^ равна

ВСХ ^ГЦ!-^]!,~11)}^"1

при нечетном q, ^В^ ^-"кНВ^ ^ЖЧ^Ш, ...^-1)}2X

X {1 — г2 (^| 1, .. ., q — l)}1^3) при четном q.

Мы видим, что это распределение не зависит от у (п) и, следовательно, распределение г (q | 1, . . ., q — 1) с указанной точностью совпадает с распределением при нулевой гипотезе. Заметим также, что, в силу теоремы 5, эти результаты дают аппроксимацию соответствующих нециркулярно определенных статистик в нециркулярном случае (т. е. с матрицей ковариаций Гх, а не 1\). Мы обсудим эти вопросы подробнее после доказательства.

Доказательство. Можно считать, что Е (х (п)) = 0. Рассмотрим сначала случай, когда центрирование не производится. Для простоты мы будем использовать обозначения (только в этом доказательстве)

cj

Cj^'WjX, rj = —,

с0

однако сохраним обозначения г (у ) 1, . . ., / — 1) для частных коэффициентов корреляции, даже если они вычисляются без центрирования. Обозначим через Pj матрицу с элементом ru_D в и-й строке и р-m столбце, где и, v = 1, ...,/. Построим сначала преобразование Лапласа

qq

т (s0, s15 ..., sg) = Е {exp 5 $А-} = 11\ |”1/2|IW — 2 2 s3W $ | !г. оо

Теперь удобно выразить | Г^ |“1/2 через корни zb z2, . ..,zq уравнения 2 Р 0) ^q-3 = 0, которые по предположению все по модулю меньше единицы. В самом деле, Г]у имеет вид SB', где В — цир- кулянтная матрица

q

о

Ее определитель равен

q

11 (1-^)-

7 = 13

В этом можно убедиться, рассматривая равенства

qq N—1

[H(zN-zf)]2=i = {Ц П (z-zye-^)}^^

15=1 k=0

N—i q- П {20(/)^-M.h=00

откуда

q

|г„Г1/2= п (i-^).

Затем Даниэле вводит преобразование (см. (3.7), где определяются 6j)

q

60 — 2s0 = к 2 ^п ао = 1»о

q-5

6j — Sj = k "^ anawj, j=i,

n=0

Отсюда вытекает, что

ВВ’ - 5 = кАА',

q

где S—циркулянт 2'2sjWj1 а А—циркулянт, построенный по а; о

так же, как В строится по р (/). Так как ВВ’ — S — циркулянт, то ясно, что его можно записать в виде СС, где С — циркулянт, по крайней мере для определенных значений Sj. На самом деле это можно сделать многими способами, ибо всякая факторизация функции

q

2 (^j — Sj) еух —s0, dy = 6_у, sy = s_y,

-q

дает одну из искомых факторизаций (поскольку при X = 2nklN, к = 0, . . ., N — 1 мы получаем собственные значения факторизуемой матрицы). Так как это выражение положительно при вещественных и достаточно малых s^ то, как показывают рассуждения § 5 гл. II, оно может быть факторизовано по формуле

q

| За;еУХ|2.О

где корни многочлена 2 aj^ лежат вне или на единичной окружности. Множество значений s^ для которых один из корней лежит на единичной окружности, имеет нулевую (лебегову) меру в (2g + 2)- мерном пространстве вещественных и мнимых частей Sj ^ Таким

образом,

I вв- — S | = ^П(1

где Wj по модулю меньше единицы (исключая особые значения s7)- Мы можем также выразить к через Tj = с^с^ поскольку

$0 + 2^6! 4- • • • + 2rg6q — 2 2 Tjsi"

j = 0

q

к {2 «j + 2^ 2 Mu+i + • • • -r .

о

Вводя вектор г с компонентами г^ вектор Р с компонентами Р (/) и вектор а с компонентами а7- и обозначая и = 2 Ti8r мы находим, что

Q^. г) — 2и

Q(x, Г)=1— Ixr-Vx'PqX.

Итак, окончательно наше преобразование Лапласа принимает вид

(3.17)(3.17)Q (a, r)N/2А / 1 ~\

(3.17)

(3.17)

{Q (Р, г) — 2и}^/2 ^ \ 1 —^ /

Теперь мы перейдем от переменных s0, sb . . ., sq к и, ^, . . ., sq а затем к и, ап . . ., aq. Якобиан этого преобразования равен

^(*0, *1, . Sq) / — 2 \д (к, о^, ..., ag) \ Q (а, г) /

Первый множитель равен

(-1)9-1 к<1(-1)9-1 к<14" (! +«14" (! +«1• +а^• +а^а4а4ata2• •^q-1^-q. . aq_2 + aq aq_^ata2• •^q-1^-q. . aq_2 + aq aq_^CZqCZqо оо о0101

(-1)9-1 к<1

(-1)9-1 к<1

4" (! +«1

4" (! +«1

• +а^

• +а^

а4

а4

ata2

• •^q-1^-q

. . aq_2 + aq aq_^

ata2

• •^q-1^-q

. . aq_2 + aq aq_^

CZq

CZq

о о

о о

01

01

Следуя Дэниэлсу, обозначим его V2 (—l)'z""I/crV (а). Искомая плотность дается теперь обратным преобразованием Лапласа

ZNX 1 f f «'(a. r)^-»-1 Z(g)i> (2ni)9+i J •'• J {<2 (p, r)_2u}1/27V-9 [[(1 — w^

X exp (— uc0) du da.

где da обозначает dav da2 . . . daq. Мы можем теперь произвести обращение по и. Если ср (zz, а) — функция, для которой мы ищем обратное преобразование Лапласа, то совместная плотность величин с5 дается соотношением

/fab cb =5 {72^)» j ••• j ^ a)da} e-^du.

так что

j /(с0, псо, ..., rqcQ) еис» dc0 = -^ц j .J<p(u, a)da.

О

Дифференцируя q раз по и и приравнивая zz нулю, мы получаем совместную плотность для г/

ГТ (1-z^)

W-l)! V31 Г Г Q («, rp^'^ J (а)

(i/2;V-9-1)! q^,^ (ЗлоЛ"'] IB1-^)

Теперь деформируем контуры интегрирования так, чтобы они проходили через седловые точки числителя Q (а, г); при больших N значения числителя в этих точках существенно превышают по абсолютной величине значения в остальных точках контуров, и таким образом мы получим первый член асимптотического разложения для совместной плотности гь . . ., rq. Седловые точки находятся из уравнений

или

г + Pqa = О, откуда1)

О,— —РдЧ, так что

r) = l—r'Pq1r = l^y- .

Контуры интегрирования выбираются как линии наибыстрейшего спуска из седловых точек. Эти кривые должны удовлетворять уравнению Im {(> (сс, г)} = 0, в чем можно убедиться, полагая Q (а, г) = = exp {log Q (а, г)} и замечая, что линии постоянного модуля — это те, для которых log {Re (Q (a, г))} постоянен, т. е. Re (Q (a, г))

-1) Легко видеть, что по крайней мере при больших N величины а, определяемые следующим соотношением, принадлежат области, в которой могут изменяться а.

394 Гл. VI. Статистические выводы для рациональных спектров постоянна. Так как линии наибыстрейшего спуска должны пересекать их под прямым углом, то для линий наибыстрейшего спуска Im (У (а, г)) = const х). Но эти кривые должны также проходить через точку а, в которой Q (а, г) вещественно, а значит, Im (Q (а,1/)) = — 0. Если а = а + £т), то это условие выполняется, поскольку

Im 2 (а + ^Л» г) = 2ц' (r + Pq^ = 0.

Таким образом, вдоль линий наибыстрейшего спуска Q (а, г) = = | Pq^ |/| Pq I — Л'PqT\, очевидно, является убывающей функцией от ц, так как Pq положительно определенна. Затем Даниэле опускает множители [] (1 — z^ |j (1 — ^^ Очевидно, что первый из них быстро сходится к единице; но это верно и для второго, так как а является обычной оценкой наименьших квадратов для р, сходящейся к р с вероятностью 1 при возрастании N, а при а = Р все корпи по модулю меньше единицы. Мы доказали это в нециркулярном случае, однако для циркулярного доказательство аналогично. Пренебрегая этими множителями, мы вводим ошибку, которая экспоненциально сходится к нулю при N -> оо. Что касается области изменения ц7-, то заметим, что Q (а, г) 0 при Im Sj -> + оо. Следовательно, т) должно пробегать всю область, определяемую соотношением ц'РдЦ ^ | Pq^ И Pq I- Таким образом, вновь обозначая произведение дифференциалов через dp, имеем

X f . j J (a) |9

Функция J (а) является многочленом от a7-, а значит, и от ц7-. Заменяя ее первым членом разложения Тейлора в точке а, т. е. J (а), мы пренебрегаем членами типа

•••^q^ j • • • j (1 — 24

где х^ — новые переменные, получающиеся в результате линейного преобразования, которое переводит {| Pq |/| Ptm |} Pq в единичную матрицу. Таким образом, ошибка, обусловленная заменой J (а) на J (а), имеет порядок Аг-1. Однако, как замечает Даниэле, отбрасываемый множитель имеет вид

(l+c7V-i+...), где с зависит от г,. Следовательно, его можно записать в виде

{1 + cN^N^ 2 aj (Tj-pU)) +...).

3

t) См., например, Де Брёйн [1958], стр. 109.

Таким образом, включая первый член в постоянный коэффициент при плотности и замечая, что Tj — р (/) = О (7V1/2) (в том смысле, что такой порядок имеет стандартное отклонение), мы приходим к формуле

/(П, ...,г5) =

_ £ J С С / I pg+i ।4 * dn (1 + о (N-1^

I |Pgl Пdn(i + oVV )).

Более точная оценка не имеет большого смысла, так как в любом случае / (•) является аппроксимацией нужной плотности с точностью О (W-1), поскольку истинная система нециркулярна. Выполняя интегрирование, мы получаем

сJJM^^ (1 +о (А^1))(3.18)

(где С — новая постоянная), так как интеграл равен

I I rq I JVI lg+1 I JJ ''—/

Мы не будем вычислять С, так как в виде (3.18) эта плотность не представляет практического интереса. Заметим теперь, что по теореме 6 гл. I

(Здесь по-прежнему № (q | q — 1) обозначает сводный коэффициент корреляции между х(п^ и х (п— 1), . . ., х (п— q^ определяемый в терминах Г;.) По индукции получаем

1^+11 = 11 (1—72(711,(3.19)

С другой стороны,

/(а) = -^-|Р|,а=-Д'г,

где D — матрица в нижнем правом углу J (а). (Мы оставляем это в качестве упражнения к этой главе.) Так как г = —Р^ то мы находим т), что якобиан | дг/да | равен — | Pq |/1 Z) Ь Таким обра-

х) Поскольку а + 1)'г=0 = г + Рда, мы имеем Pq = D'dr/да.

зом, переходя от rh . . ., г9 к ah . . ., а9, мы получаем плотность

Перейдем теперь от ah . . ., aq к частным круговым коэффициентам автокорреляции г (/ | 1, . . ., / — 1), / = 1, . . ., 7. Мы вновь оставляем в качестве упражнения доказательство того, что якобиан этого преобразования равен

П (l-r2(/|l, ..../-l))1^'1^ нечетные з

X II {(1-7(Д1,,..^-1))(1-72(7|1,...^-1^ четные з

где произведение берется по всем указанным / от 1 до q. Теперь, используя (3.19), мы получаем совместную плотность частных коэффициентов автокорреляции (без центрирования) в виде

CQ^, г)-1'^ Н (1—72(у|1,— l))w-i>xнечетные з

х П {(1 —г2(/|1,l))1^-1 (1—^(/11,7 — 1))},

четные з

где Q (р, г) также должно быть выражено через г (/ | 1, . . ., / — 1). Если, однако, р (7) = 0, то Q (р, г), как легко видеть, зависит только от гп . . ., rq_Xl а значит, только от г (7 | 1, . . ., / — 1), / = 1, . . . . . ., q — 1. Из результата Даниэлса следует, что плотность г (q | 1, . . ., q — 1) при р (7) = 0 пропорциональна выражению

{1 —r2(7| 1, . .., 7—1)}т/2(^-1) при нечетном 7,(3.20)

{1 — г2(711, ..7 — l)}1^—1 ц — г (711, ...» 7 — 1)} причетном q.

Теперь легко учесть эффект центрирования. При циркулярном определении он сводится к замене Cj на с5 — Nx2. В соответствии с этим имеем

_ ,_ qq _

ТП^ S1, ...,sg) = |rN|-i/2|r^_ 2 2^+(2^-1257-)ТГ|-1/!>. оо

Второй член справа равен

I - 2 У SjW, |-v2 (1 + 2ДГ-1 2 s.r (Гя1 - 2 2 s,^)-1 1} -V2. о00

Последний множитель учитывает все эффекты центрирования. Далее, _ _ q _

l'(rjv—^^SjWjVT 1 равно произведению N на сумму элементов о

первой строки матрицы рассматриваемой формы, а эта сумма является обратной к аналогичной сумме для обратной матрицы. Множитель, учитывающий эффекты центрирования, принимает вид /

Теперь, вспоминая, что в преобразовании Лапласа (3.17) мы опустили множитель

и что

г) — 2и

Q (а, г) $

мы видим, что суммарный эффект центрирования сводится к замене N на N — 1 и к введению множителя (2аА (SP (/))• Включим (2Р (У))”1 в постоянный множитель, который может быть найден позже; тогда нам остается распорядиться только Vaj. Рассуждая так же, как перед соотношением (3.18), мы можем заменить эту сумму на 2а/ и вынести за знак интеграла при обращении преобразования Лапласа. Имеем (см. упражнение 5 к этой главе)

q

S^ = (l-r(l))(l-7(2|l))...(l-7(g|l.(3.21)

О

и мытого л уча ем из (3.20), что плотности для г (q | 1. . . ., q — 1) пропорциональны величинам

{1 — г (q | 1, . . ., q— 1)} {1 —г2 (q | 1, ..., q— 1)}1/22v— i ПрИ нечетнОм q,

{1 — г (q\ 1, .. ., q— 1)}2{1 — ^G/l 1, ..q—1)}1/2(^-з> ПрИ ^четном q;

для завершения доказательства теоремы остается вычислить постоянные.

Конечно, включая множитель (3.21) [в формулу, полученную для случая без центрирования с заменой N на N — 11, мы получим совместное распределение всех частных коэффициентов автокорреляции с той же степенью точности, однако, как отмечалось, такой результат не столь полезен, как утверждение теоремы.

Простейший случай с нечетным q — это случай, когда q = 1, и мы видели, что в этом случае использование г(1) + (7V + 2)-1 (сцен-

трированием) как обычного коэффициента корреляции для (N + 3) пар наблюдений дает очень хорошие результаты при N ^ 20 (а во многих случаях и при меньших TV). Если q четно, то простейшей статистикой является г (2 | 1). Согласно теореме, ее плотность при четном q имеет среднее —2/(N + 1) и дисперсию (TV—1) (N + ^X X {(TV + 1)2(TV + 2)}-1. Последнее равно (TV + 2)"1 + О (TV-3). Это наводит на мысль использовать г (2 | 1) + 2/(TV + 1) как обычный коэффициент корреляции для (TV + 3) наблюдений. В случае нечетного q, как легко видеть, среднее равно — (TV — I)"1, а дисперсия (TV — 2)/(TV — I)2. При q = 1 мы знаем точные результаты: — (TV — I)"1 и (TV2 — 3TV)/{(TV + 1)(TV — I)2}. Последнее отличается от того, что получается из (3.20), на О (TV-2), так что противоречия нет. В следующей таблице сравниваются точки значимости, полученные по формуле (3.20) для q = 2, и те, которые получаются при использовании г (2 | 1) + 2/(TV + 1) как обычного коэффициента корреляции для (TV Ц- 3) пар наблюдений.

Таблица 2

Пятипроцентные точки для двустороннего симметрично ограниченного критерия

Число наблюдений

15

20

25

Распределение (3.19)

Верхняя Нижняя

0,36

-0,62

0,32

-0,54

0,31

-0,46

7(2 | l) + 2/(7V+1) как коэффициент корреляции для (7V4-3) наб люде-

Верхняя Нижняя

0,35

-0,60

0,32

-0,50

0,30

-0,46

НИЙ

Согласие, очевидно, весьма хорошее.

Это подсказывает следующее правило: к r(q | 1, . . ., q — 1) нужно прибавить 2/TV в случае четного q или 1/TV в случае нечетного q и использовать полученную статистику как коэффициент корреляции для (TV + 3) пар наблюдений. Однако интуитивно чувствуется, что при возрастании q число «степеней свободы» не остается постоянным, как при использовании TV + 3, а будет уменьшаться. Впрочем, для подтверждения этой догадки требуется более точная аппроксимация.

Итак, метод для проверки значимости р (7) в авторегрессионной модели, а значит, и для определения порядка авторегрессии в принципе полностью описан. Мы не будем более подробно рассматривать относящуюся сюда проблему множественного статистического решения. Следует, однако, сделать еще два замечания. Первое из них.

принадлежащее Дженкинсу и основанное на соображениях, по-види- мому, недостаточно строгих, состоит в том, что (3.20) дает лучшее приближение для распределений нециркулярных статистик, чем для циркулярных т). Эти соображения основываются на среднем и дисперсии г (1), которые равны — (N — I)"1 и (N + I)"1 + + О (N"^. Последняя с точностью до N-3 совпадает с получаемой из (3.19), а среднее отличается от получаемого из (3.20) на члены порядка N"2, как и для г (1). Второе замечание состоит в том, что во многих приложениях при использовании критерия, основанного на г (1) или г (1) (т. е. при проверке гипотезы, что р (1) = 0 и что данные в целом независимы), обычно применяется односторонний критерий (что было отражено при построении таблицы 1). Это оправдывается тем, что истинный первый коэффициент автокорреляции на практике редко бывает отрицательным. Однако для автокорреляций более высокого порядка, по-видимому, нет оснований использовать односторонний критерий.

Сверх того, что было сказано, известно относительно мало. Распределение (3.12) позволяет получить доверительный интервал для р = р (1) в случае авторегрессии первого порядка; Даниэле [19561 и Дженкинс [1956] получили более точную аппроксимацию для соответствующего нециркулярного случая. Опираясь на эти результаты, Дженкинс предложил использовать переход от г (1), р к у, 6 по формуле

г (1) = sin у, р = sin 9,

после чего (у — 0) используется как нормальная величина с нулевым средним и дисперсией N~4 (Дженкинс показал, что в этом случае также аппроксимация для г (1) лучше, чем для г (1).) Это позволяет указать доверительный интервал для р.

Некоторые дополнительные исследования критериев согласия типа обсуждавшихся в § 2 были предприняты Чандой [1962, 1964]. (См. соотношение (3.11) и следующее за ним обсуждение критерия Кенуя.) В последней из цитированных работ Чанда рассматривает асимптотическое разложение распределения критерия, принадлежащего Бартлету и Диананде [1950], которое требует априорного знания параметров авторегрессии при нулевой гипотезе. В более ранней работе он вычисляет среднее и дисперсию статистики хи-квадрат

g+s

5=74-1

*) Подтверждение этому можно усмотреть в теореме 5, которая сравнивает Циркулярные статистики для циркулярного случая с нециркулярными статистиками для нециркулярного случая. См. обсуждение, следующее за этой теоремой.

(см. § 2). Он находит эти моменты с точностью до N-1 и строит модифицированную статистику

где

Л = Е(х*), S = 1/2var(%^),

которую затем использует как хи-квадрат с числом степеней свободы А21В. (Статистика ум, как и должно быть, имеет математическое ожидание А2! В и дисперсию (Л22В)/В2 = 2Л2/В.) Разумеется, А и В зависят от неизвестных параметров гипотетического авторегрессионного процесса. Затем он сравнивает точки значимости для у2, полученные с помощью %м, с теми, которые получаются, если использовать у2 как хи-квадрат с 5 степенями свободы; например, для гауссовских данных при N = 20, р = 1, s = 6, р = ±0,8 (где р — параметр авторегрессии) 5 %-я точка по ум равна 13,1, тогда как для у2 5%-я точка равна 12,6. При N = 60, р = 1, s = 12, р = = ±0,8 соответствующие точки значимости равны 21,3 и 21,0. Для авторегрессии второго порядка исследовался случай с осцилляцией (см. § 4 гл. I); используя обозначения а, 9, принятые в том параграфе, при п = 20, а = ±0,08, 9 — V^, $ = 6 получаем точки значимости 15,2 против 12,6. (Это наибольшее обнаруженное расхождение.) При п = 60, 5 = 12, а = ±0,8, 9 = ^л эти точки значимости равны 22,5 и 21,0. Чанда исследовал также влияние отклонений от нормальности.

Мак-Грегор [1962] применил метод, подобный методу Даниэлса, для изучения распределения коэффициента корреляции между двумя гауссовскими простыми марковскими процессами:

^1 М = РА (^ — 1) + £1 М» ^2 М = р2^2 (^ ~ 1) + ^2 W'

где е2 (ft) — независимые гауссовские величины с нулевым средним и единичной дисперсией. Если не обращать внимания на отсутствие центрирования, то такой выбор статистики для проверки независимости х^ (п) и ^9 (ft) представляется естественным, хотя, конечно, мощность критерия направлена против альтернатив, близких к авторегрессионной модели первого порядка для векторного процесса х (п).

Мы не будем воспроизводить здесь весьма сложную формулу для плотности (которая дает приближение с точностью до членов порядка 7V-1). Среднее значение распределения равно нулю, а дисперсия близка к N-1 (1 ± pip2)/(l — Р1Р2), чт0 равно дисперсии предельного нормального распределения (см. гл. IV, упражнение 8). Вид распределения наводит на предположение, что удовлетворительные результаты даст использование г как обычного коэффициента корреляции для N (1 — pip2)/(l + Р1Р2) наблюдений. (Конечно, pi и р2 должны быть оценены по наблюдениям, и придется произвести центрирование.) Эта процедура была предложена Бартлетом [1935].

Однако, если pt и р2 не равны нулю, то статистика г12 (0) дает неэффективный критерий для проверки независимости xY (/г) и х2 (п\, на самом деле можно найти статистику, которая во многих случаях более эффективна, чем г12 (0), и точное распределение которой в гауссовском случае известно. (См. Хеннан [1955 Ы.) Для этого надо построить регрессию х2 (2п), п = 1, . . ., [V2 (N — 1)] на \х2 (2п — 1) + х2 (2п + 1)}, ^i (2п) и {^ (2п — 1) + (2п + 1)} и использовать в качестве статистики критерия коэффициент при xt (2п\ [Мы предполагаем при этом, что х2 (п) — гауссовский простой марковский процесс, однако не нуждаемся в подобном предположении относительно xt (^)J Мы обсудим этот и аналогичные точные критерии для сериальных корреляций в ряде упражнений к настоящей главе, а также в заключительной главе. Во всяком случае можно получить более эффективные критерии, чем эти точные. Мы вновь сошлемся на только что цитированную работу, а также на последнюю главу.

По-видимому, никаких других исследований асимптотических свойств статистик, пригодных в случае р > 1, не предпринималось даже для случая q = 1, и мы оставляем этот вопрос в этом малоудовлетворительном состоянии (что касается q > 1).

СКОЛЬЗЯЩИЕ СРЕДНИЕ И СМЕШАННЫЕ МОДЕЛИ АВТОРЕГРЕССИИ И СКОЛЬЗЯЩЕГО СРЕДНЕГО. ВВЕДЕНИЕ

Как уже отмечалось, в последние годы весьма успешно применялись модели, сочетающие авторегрессию со скользящим средним. Детальные разработки статистических процедур для подобных моделей, особенно для случаев, когда число оцениваемых параметров невелико, можно найти в книге Бокса и Дженкинса [1970]. Мы не хотим дублировать здесь работу этих авторов и рассмотрим вопросы несколько иного рода. Начнем с обзора задач, связанных с пригонкой таких моделей в случае р = 1.

Одним из главных доводов в пользу смешанных моделей является их большая общность по сравнению с авторегррессионными, что может быть существенным преимуществом при небольшом объеме данных, когда важна экономия параметров. Основная проблема, связанная с их применениями, обусловлена сложностью пригонки таких моделей. Все использовавшиеся до сих пор методы основываются, в конечном счете, на методе максимального правдоподобия. Для иллюстрации рассмотрим простейший случай

х (тг) = е (тг) + ае (п — 1),| а | < 1, Е (е (т) 8 (тг)) = б^а2,

где х (п) — скалярный и 8 (п) — гауссовский процессы. Функция правдоподобия равна

(2л)_1/2лДбе1 (Г^у)}-1^ ex ( —^Тк^) ,

где ГЛ7 имеет о2(1-|-а2) на главной диагонали, ао2 на двух диагоналях, ближайших к главной, а на остальных местах —нули. Определитель Av ^ o-27Vdet (Fv) удовлетворяет соотношению

^N — (1 + а2) ^N-l—^^N-hДо— 1? Д1 = 1-[-а2,

откуда получаем

Л l-a2jV+2

Матрица Г^1 имеет довольно сложный вид (см. Шеймен [1969]), но она близка к матрице с элементами о*2 (1 — а2)-1 (—ар'-^ на пересечении /-й строки и k-го столбца, так что логарифм функции правдоподобия близок к

N- 1 ^^--тт^+т10^1-^)--^^2 (-«)^,

-2V+1 где

N-j

s;= 2 x(n)x(n + j).

Отсюда получаем уравнения для оценок максимального правдоподобия

N (1-а2)

7V-1

/ — a (1 — a2) У ( — iya?sj —

Iо2

-7V+1

—^ 2 <-1)^=^} =0.

-7V+1

Даже если мы отбросим первое слагаемое во втором уравнении (основ^ываясь эвристически на том, что оно есть О (1), тогда как остальные члены суть O(N)y решение полученного уравнения будет все еще весьма сложной задачей. Если же мы переходим от простейшего случая скользящего среднего первого порядка к рассмотрению, например, смешанной модели авторегрессии и скользящего среднего, то осуществить решение задачи такими методами становится чрезвычайно трудно. Бокс и Дженкинс [1970] производят по существу непосредственную оценку функции правдоподобия или по крайней мере квадратичной формы под знаком экспоненты, опуская члены, аналогичные г/2 log (1 — а2), на основании соображений, подобных приведенным выше.

Для смешанной модели авторегрессии и скользящего среднего встает проблема идентификации того же рода, что и возникавшая ранее для чистой авторегрессии. Мы получим однозначное представление для спектральной плотности, которая должна иметь вид

Q22 а № е^ 022лq2 р (/)02Q22 а № е^ 022лq2 р (/)02а(0) = Р(0) = 1,а(0) = Р(0) = 1,

Q2

2 а № е^ 0

2

2л

q

2 р (/)

0

2

Q2

2 а № е^ 0

2

2л

q

2 р (/)

0

2

а(0) = Р(0) = 1,

а(0) = Р(0) = 1,

если х (п) удовлетворяет уравнению

S^/)^^ — 7) = Sa(^)e(n — к),(4.1)

оо

где е (п)— независимые одинаково распределенные величины с нулевым средним и дисперсией а. Мы требуем, чтобы все корпи уравнения

g(z) = O, g(z) = 2a(i)z\ о

лежали на или вне единичной окружности, все корни уравнения

*00 = 0,/ф) = 3₽(7)Л

о

лежали вне единичной окружности и чтобы g (z) и К (z) не имели общих корней. Если дана система вида (4.1) (где 8 (п) обладают указанными свойствами) и если первое условие (касающееся корней g (z) и h (z)) выполняется, то можно, конечно, потребовать еще, чтобы g (z) и к ^ не имели общих корней. Однако если х (п) удовлетворяет соотношению вида (4.1), где к ^ не имеет корней на единичной окружности, то в общем случае нельзя сделать так, чтобы удовлетворялись и все остальные условия на корни к (z) и g (z) (с независимыми, а не просто ортогональными 8 (п)), за исключением гауссовского случая, когда это верно.

Для модели вида (4.1) Бокс и Дженкинс вычисляют аппроксимацию к сумме квадратов

ния суммы квадратов Бокс и Дженкинс вводят

е (м) = — 2 а (к) е (п — к) + х (п), п = — g + 1, • • • 1

начиная с некоторых начальных значений е (—q + 1 — s), . . . . ... е (—q). Затем находится 8 (я):

q

е (и) = 5 Р (/)е (” —/)-о

Если корни уравнения

^дО1^ ZS~k = 0о

достаточно далеки от единицы, то при больших N зависимость от начальных значений будет весьма слабой, и в итоге мы получим хорошую аппроксимацию к

N

5 е (и),

т. е. к основной компоненте логарифма функции правдоподобия. Затем минимум полученного выражения (которое, конечно, является функциэй от а (1), . . ., а (s), [3 (1), . . ., Р (q) и начальных значений) находится перебором по достаточно мелкой сетке, и таким образом мы должны получить хорошее приближение к оценкам максимального правдоподобия. Очевидно, что при больших q + s такой метод связан с очень большими вычислительными затратами (если N также должно быть велико); например, при q = s = 5 и N = 200 перебор сетки в 30 точек по каждому параметру потребует более чем 1018 умножений, что, конечно, неосуществимо. Использование методов, основанных на наибыстрейшем спуске, может сократить объем работ, однако задача вычисления большого количества производных также является трудоемкойт).

Таким образом, применения этого метода, по-видимому, ограничиваются случаями, когда q + s мало (возможно, не больше 3) или когда невелико число неизвестных параметров, например, когда g (z) пли h (z) имеют множитель (z — 1), возможно кратный. Бокс и Дженкинс действительно с большим успехом применяли такой метод для пригонки моделей высоких порядков по q и s, используя прием включения (z — 1) в качестве множителя 2)(т. е. представле-

х) Во всяком случае Бокс и Дженкинс подчеркивают, что их целью является не только оценка максимального правдоподобия, но и изучение функции правдоподобия в целом, так что вычисление ^ £ (п)2 Для сетки значений параметров является частью их методики. Несомненно, что это нуждается в серьезных оправданиях.

ния фильтра, описываемого, например, g (z), в виде произведения двух сомножителей, один из которых — разностный оператор). Читатель может найти дальнейшие подробности в указанной работе этих авторов. Мы далее также обсудим некоторые проблемы, связанные с этими (и другими) методами в смешанном случае.

В этом параграфе мы будем работать с центрированными величинами, и поэтому можем предположить, что векторы х (п) и 8 (/г) имеют нулевые средние.

Мы начнем с рассмотрения некоторых существующих методов оценивания параметров рационального спектра, отличных от тех, которые уже были затронуты. В § 5 мы предложим метод, основанный на принципе максимального правдоподобия (в предположении нормальности), но для функции правдоподобия, выраженной, для упрощения задачи, приближенно в спектральных терминах. Нашей целью будет получение оценки, которая по крайней мере асимптотически имеет такие же свойства, что и оценка максимального правдоподобия. При доказательстве этих свойств мы не будем ограничиваться гауссовским случаем. (Так, мы докажем асимптотическую нормальность оценок, предполагая только, что члены обновляющей последовательности 8 (п) сериально независимы и имеют одинаковое распределение с конечной дисперсией.) Наши оценки дают лишь некоторое приближение к оценкам максимального правдоподобия для гауссовского случая, так как используемое спектральное представление функции правдоподобия является приближенным и даже сами уравнения правдоподобия существенно нелинейны и могут быть решены лишь методом итераций. Эти оговорки не столь существенны, ибо, во-первых, они (первая, возможно, в меньшей степени) относятся и к тем методам, когда функция правдоподобия не представляется в спектральной форме, и, во-вторых, на практике данные обычно не являются гауссовскими, так что оценка максимального правдоподобия не имеет такого исключительного значения.

Мы начнем наши рассмотрения со случая скалярного скользящего среднего, так как он является простейшим и дает основу для более сложных рассуждений в смешанном случае. Таким образом, наша модель имеет вид

х М = 2 а № 8 (п — &) > а (0) = 1,о

где g (z) подчиняется оговоренному выше условию. На самом деле мы будем считать, что^(г) не имеет корней внутри единичного круга, а также на окружности. Трудно представить себе ситуацию, когда имелся бы корень не единичной окружности, не известный a priori. Исходя из общих соображений можно предположить, что подобные случаи встречаются с нулевой вероятностью. Если расположение такого корня известно, то предлагаемые далее методы могут быть модифицированы (путем предварительной фильтрации данных) таким образом, чтобы оценки для a (/с) сохранили те свойства, которые мы

далее установим. Мы не будем обсуждать этот вопрос более подробно.

Начнем с естественной оценки для спектральной плотности х (п^ а именно г)

S

М =(4-2)

Если мы предположим лишь, что 8 (п) — независимые одинаково распределенные величины с параметрами (0, о2), то эта оценка с вероятностью 1 будет сходиться к / (X). Ясно, что / (X) не обязана быть неотрицательной, но это будет выполняться, если s достаточно велико, так как при s = N мы получаем периодограмму / (X). Впрочем, последнее замечание не имеет большого значения, так как в предлагаемых далее методах s фиксировано a priori. Если / (X) положительна, то мы получаем непосредственную процедуру для оценивания а (/с), которая заключается в нахождении единственной (в существенном) факторизации

/ <х) = 1“ W е™ Г=^ I i (еЛ) I2’ «(°) = t (4.3) о

где а (к) таковы, что все корни g (z) лежат вне единичного круга. Если, как мы предположили, g (z) не имеет корней на окружности, то / (X) в самом деле будет положительна при достаточно больших N, и мы сможем найти начальные оценки для а (к). Они, однако, могут быть весьма неэффективными, как мы вскоре покажем, и при больших s вычисление таких оценок будет довольно трудоемким. Так как в § 5 мы укажем эффективный метод (эффективный в смысле, который будет там уточнен), то здесь мы рассмотрим лишь частный случай, чтобы продемонстрировать неэффективность оценок а (к). Мы рассмотрим случай s = 1, когда уравнение (4.3) для а (1), которую мы обозначим теперь а, принимает вид

г(1)г(1)ОС .1 + ^2 ’ОС .1 + ^2 ’

г(1)

г(1)

ОС .

1 + ^2 ’

ОС .

1 + ^2 ’

это уравнение имеет вещественные решения лишь при | г (1) | ^ V2. В этом случае

_ 2г (1)

1 + (1—4г (1)2)^2

Мы могли бы непосредственно найти (асимптотическую) дисперсию а, но здесь достаточно заметить, что величина |/*7У (а — а) асимптотически нормальна с дисперсией

1 + ос2 + 4а4 + ос6 + ос8 ,, /х (Г-^а2)2 '

Чтобы показать это, положим для упрощения записи {1 — 4г(1)2}1/2 = = ф(г), {1 —4р(1)2}1/2 = ф(р); тогда

V"N (а —а) = V"N (Л^ Л^ 3 =

= VN (г (1) — р (1))u' Ф (Р) ~ Ф (г) < =

р^; 1+ф(р) + {1+ф(г)}{1+ф(р)}

( )) 1 + ф(р)( )) 1 + ф(р)= УХ(г(1)-р

( )) 1 + ф(р)

( )) 1 + ф(р)

,8r(l) V5V{r(l)2-p(l)2}

"т~{1 + ф(г)} И + ф(р)} {ф(г) + ф(р)}

,зг^нгт-р^i

{1 + ф(г)}{1+ф(р)}{ф(г) + ф(р)} )

Последний множитель с вероятностью 1 сходится к а ,2а22д2(1+а2)(1 + а2)2

р (1) ср (р)"*"*1 —а21 — а2 *

Однако мы знаем (см. конец гл. V), что V N (г (1) — р (1)) асимптотически есть N (0, 1—Зр(1)2 + 4р(1)4). Производя упрощения, мы приходим к выражению (4.4). В следующем параграфе мы укажем оценку а, для которой VN (а — а) асимптотически есть N (0, 1 — а2), так что асимптотическая эффективность оценки а относительно а равна (1 — а2)3/(1 + а2 + 4а4 + а6 + а8), что составляет 0,76 при а = V4 и 0,26 при а = 1/2. Если а не очень мала, то эффективность будет неприемлемо низкой.

Первым более эффективную оценку (отличную от оценки максимума правдоподобия) предложил Дурбин [1959], указавший, что в рассматриваемой ситуации можно использовать длинную авторегрессию х(п) на х (и — 1), х (и — 2), . . ., х (и — иг). Если иг достаточно велико, то все дальнейшие коэффициенты авторегрессии практически равны нулю, и мы можем исходить из совместного распределения первых пг коэффициентов. Обозначим /-й из них через bj. (Такое отклонение от наших прежних обозначений оправдано, поскольку эта авторегрессия занимает особое место всюду в настоящем параграфе.) Рассуждая эвристически (мы предпочли дать строгое обоснование для другого метода ниже), мы видим, что совместное распределение величин bj нормально со средними Р7- (равными «истинным» коэффициентам авторегрессии) и матрицей ковариаций W"1^2^1. Как было указано в §3, матрица Г^ имеет на пересечении /-й диагонали ниже главной и k-ro столбца элемент

ии

и

и

где суммирование ведется по и, O^u^min (k — 1, т — ], т — к— /) Далее, учитывая, что

о

имеем

Y^jX (?2 —/) = 8 (тг),

так что, пренебрегая р; при 7 > тп, получаем

sт

!>>(7)=,4ISPJ=,»l2 = i;Оо

отсюда

2 а (/) е£Л| 2 М5Х |2 = (2 U)00о

следовательно,

2' а О') 2 PuPu+h у о,к = 1, 2, . .., т,(4.5)

7=0и

так как правую часть предыдущего соотношения можно разложить в ряд по неотрицательным степеням ехр (—iX). Подставляя вместо Р; их оценки Ъ^ мы получаем из (4.5) оценки а (к) для а (к). Используя указанную выше матрицу ковариаций для bj, можно найти матрицу ковариаций для а (к). Из-за сложности определения т трудно доказать какую-либо асимптотическую теорему об этих оценках, хотя, без сомнения, подобная теорема могла бы быть установлена. Конечно, для того чтобы получить какой-либо асимптотический результат, необходимо допустить, чтобы т неограниченно возрастало вместе с У, ибо для фиксированного т этот метод не будет состоятельным. Проблема заключается в определении пц ибо подходящее значение для т зависит от истинных а (7).

Мы обсудим еще один метод, принадлежащий Уолкеру [1962]; с асимптотической точки зрения он подобен методу Дурбина, и асимптотическая теория получается для него довольно просто. Недостаток метода Уолкера состоит в том, что он приводит не непосредственно к оценкам для а (7с), а к оценками для р (7). Последние, конечно, должны быть лучшими оценками, чем г (7). Затем для получения а (7с) понадобится факторизация оценки для / (X), найденной по этим улучшенным оценкам для р (7). Если s велико, то это потребует решения алгебраического уравнения высокой степени, что довольно неприятно. Трудность состоит также в том, что / (X) может не факторизоваться.

Метод Уолкера использует первые к + s автокорреляций, где к заранее фиксировано. Впрочем, выбор к сказывается на эффективности метода, так что фактически необходимо оценивание к по паблю-

даемым данным. Мы обсудим этот вопрос позже. Совместное распределение первых k -V s величин V N (j (у) — р (у)) асимптотически нормально с нулевым средним. Ковариация между Z-й и m-й из этих статистик (которая может быть получена из упражнения 6 к гл. IV) равна

p(Z, m) = 2 {p(Z)p(^+Z — m) + p(Z+Z)p(Z“-m) —

— 2р W Р 0) p(t-m) — 2p (У) p (m) p (t — I) + 2p^)2 p (Z) p (m)}.

Так как p (у) = 0 при \ j | > s, то только первые s из г (у) непосредственно пригодны -1) для оценивания р (у). Можно рассмотреть разложение совместного распределения г (у) в произведение распределения величин г (у), j — 1, . . ., s, при фиксированных значениях г (j), j = s + 1, . . ., s + к, и совместного распределения последних величин. Очевидно, что информация, касающаяся р (у), должна быть извлечена из первого множителя. Это сразу приводит к рассмотрению в качестве оценок для р (у) остатков регрессии г (у), / = 1, . . . . . ., s, на остальные к из этих автокорреляций. Коэффициенты регрессии неизвестны и должны быть оценены по наблюдениям. Мы не будем входить в подробности вычислений. Окончательная оценка имеет вид

г = г — QM^,(4.6)

где

г —вектор с компонентами г (у), у=1, ...,$;

Q имеет ц(у, s-j-m) в у-й строке, m-м столбце, у=1, ...,$; т=1, . ...к, где ц получается из ц заменой р (у) на г (у);

Мк имеет p(s4-Z, s+тп) в Z-й строке, m-м столбце, I, т — = 1, ...,к;

гк —-вектор с компонентами г($ + у), у=1, . ...к.

Нетрудно показать, что величина V^ (г— р)? ГДО р— вектор с компонентами р (у), у = 1, . . ., s, асимптотически нормальна, однако мы не будем выписывать ее ковариационную матрицу, так как нам нужен не г, а оценка для а. Чтобы ее найти, необходимо факторизовать оценку для спектральной плотности, или, другими словами, факторизовать

2 г (у) eiA.

х) Если бы р (Z, т) были заданными числами, а р (у) неизвестными (что в каком-то смысле противоречиво), то г (j), у > s, играли бы роль подчиненных статистик. Это замечание существенно, так как на практике необходима итерационная процедура, в которой ц (Z, т) оцениваются по предыдущей итерации.

Ясно, что для больших s это будет не простой задачей. (Впрочем, некоторый алгоритм для такой факторизации дается в работе Уилсона [1969].) Кроме того, теперь придется также преобразовывать матрицу ковариаций г(/), / = 1, . . ., s, в матрицу ковариаций оценок для а (/). Это приводит к еще более сложным выражениям, содержащим якобиан преобразования от г (]) к оценкам для а (/). Мы не будем обсуждать эти вопросы подробнее и перейдем к следующему параграфу, где рассмотрим некоторые асимптотически эффективные оценки, получаемые с помощью спектральных методов.

5. ОЦЕНИВАНИЕ ДЛЯ СКОЛЬЗЯЩЕГО СРЕДНЕГО И СМЕШАННОЙ МОДЕЛИ АВТОРЕГРЕССИИ И СКОЛЬЗЯЩЕГО СРЕДНЕГО

С ИСПОЛЬЗОВАНИЕМ СПЕКТРАЛЬНЫХ МЕТОДОВ

Методы, которые мы будем использовать, основаны на оценках спектра. На первый взгляд это может показаться странным, так как для оценивания параметров процессов с рациональным спектром по традиции следует применять «временные» методы, т. е. методы, основанные на автоковариациях (и для авторегрессионных процессов они действительно дают хорошие результаты). Однако мы уже знаем, что переход от х (тг) к w ^к^ упрощает рассмотрения, ибо он приближенно диагонализирует матрицу ковариаций. Можно ожидать, что такой переход упростит уравнения для оценок и в настоящем случае. По существу получаемые нами уравнения сводятся к уравнениям оценивания для авторегрессий, рассмотренным ранее в авторегрессионном случае.

Мы покажем, что предлагаемые нами методы оценивания асимптотически эффективны (это же относится и к методам §2) в следующем смысле. Если данные гауссовские, то мы можем найти оценки максимального правдоподобия и получить их предельное распределение. Эти оценки можно использовать независимо от того, являются данные гауссовскими или нет. Их асимптотическое распределение не зависит от предположения о гауссовости, если только 8 (га) — независимые одинаково распределенные векторы с параметрами (0, G). Мы покажем, что при этом условии наши оценки имеют такое же асимптотическое распределение, что и оценки максимального правдоподобия. Именно это мы имели в виду, когда говорили об асимптотической эффективности. Оценки максимального правдоподобия, конечно, слишком сложны в вычислительном отношении, чтобы применять их непосредственно; если бы это было не так, то их и следовало бы использовать.

(а) Скользящие средние. Случай р = 1

Мы получим наши оценки с помощью эвристических рассуждений, а затем докажем, что они имеют требуемые свойства. В гауссовском случае, как было ранее указано, функция правдоподобия зависит

в основном от квадратичной формы хТ^х. Последняя имеет видго* (PVNP*)~1 го,

где го — вектор с компонентами го ^^ (см. § 2 гл. V), а унитарная матрица Р имеет элемент N-1^ exp tn (о, на пересечении /-й строки и n-го столбца. Матрица РГ NP* при больших N очень близка к диагональной с элементами / ((о7) на главной диагонали, в том смысле, что в каждом элементе пренебрегаемые члены имеют порядок О (N'1) г)* В самом деле, элемент на пересечении и-и строки и z;-ro столбца равен

-^2 ^У(п~™^П^^^^{^%е*т^-^},

— sт

где т пробегает значения от 1 до N — / в случае неотрицательного / и от —/ + 1 ДО N для отрицательного /. При <ои ^(Оу это выражение, очевидно, имеет порядок N-1, тогда как при и = и оно равно

что отличается от 2л/ (X) на величину порядка N-1. Таким образом, с точностью до членов порядка N”1 мы должны минимизировать

N-1

/ («;) ’/ («;) ’2

/ («;) ’

/ («;) ’

о

Это приводит кЭто приводит куравнениямуравнениямssN-iN-i2“(о 21=07=0где теперь2“(о 21=07=0где теперь/ (CDj) COS (/c-Z) СО/~= 0, к = 1, . . ., s, сх (0) = 1,/ (Wj)2/ (CDj) COS (/c-Z) СО/~= 0, к = 1, . . ., s, сх (0) = 1,/ (Wj)2

Это приводит к

Это приводит к

уравнениям

уравнениям

s

s

N-i

N-i

2“(о 2

1=07=0

где теперь

2“(о 2

1=07=0

где теперь

/ (CDj) COS (/c-Z) СО/~

= 0, к = 1, . . ., s, сх (0) = 1,

/ (Wj)2

/ (CDj) COS (/c-Z) СО/~

= 0, к = 1, . . ., s, сх (0) = 1,

/ (Wj)2

22221=01=07=07=0/ (to/)2/ (to/)2(5.1)(5.1)

22

22

1=0

1=0

7=0

7=0

/ (to/)2

/ (to/)2

(5.1)

(5.1)

Г-

о

Решить эти уравнения было бы весьма трудно. Поскольку / (оу)-2, очевидно, входит как весовая функция, мы можем попытаться заменить ее на / ((о7)"2, после чего наши уравнения оценивания примут вид

ssN-1

s

s

х) См. в связи с этим теорему 7 гл. III.

Здесь f(toj) вычисляются по формуле (4.2). (Лучше было бы заменить их на оценки, получаемые с помощью оценок Уолкера г (/) [см. (4.6)1, если бы последние были известны. Однако в вычислительном отношении не сложнее получить асимптотически эффективную оценку для а, которую даст нам /, и основанная на ней вторая итерация, вероятно, будет более предпочтительной, чем вычисление величин г и использование их в качестве исходных данных.) Индекс (1) у a(j) (Z) указывает на отличие этой оценки от оценок первого приближения a (Z), полученных по с (/), которые мы также могли бы обозначить a<n (Z).

Как мы покажем далее, соотношение (5.1) не дает улучшенных оценок. Несколько неожиданным является то, что мы получим асимптотически эффективные оценки, если образуем вектор

(5.2)(5.2)а(1> = 2а— а(1\

(5.2)

(5.2)

[Конечно, если для получения с^1) мы используем оценки Уолкера г (/), то мы должны также заменить а в (5.2) на оценки Уолкера для а.] Чтобы получить а, мы должны были бы факторизовать оценку для / (X). Как мы далее покажем, можно обойтись без этой факторизации.

Соотношение (5.1) можно записать в виде

a(D= -Л'1^,(5.3)

где Л —матрица с элементами а^-ь k, Z=l, ...,s, вектор а имеет компоненты akl к = 1, . . . ,s, где

ak = N~1 У- ——— coskcoj,к = 0, l,...,s.(5.4)

В вычислительном отношении предпочтительно заменить ак на

[т^-Ч

/(0) , 2 VР^^ + АгГУМ(5 5)

/(О)2^Л(«м)/2 (л)’

где последний член появляется лишь в случае четного N1 а первый равен нулю, если производятся центрирования (что почти всегда будет иметь место). На самом деле мы можем также заменить / (со7) на

NN

(У X (п) COS ntojY + ( У X (п) sin П(0;)2. 11

Исключение множителя ^“1 в (5.4) и (2л7У)-1 в I ((Оу), конечно, не изменит (5.3). Соотношение (5.3) можно рассматривать как обыч-

ную формулу метода наименьших квадратов для —а, однако с ковариациями, вычисляемыми по (5.4).

Поучительно представить в таком виде формулу для авторегрессии. Если с (гс) заменяются на (1 — \ п \/N) с (см. § 2, сразу после доказательства теоремы 1), то при р = 1 формула § 2 переход дит в

₽ = -В^Ъ,

где Ъ^ из которых состоят В и Ь, имеют вид

bk = N~1 2 / (<oj) cos Ато,, & = 0, 1, .. ., ^.

j=0

Деление на / (co;) в (5.4) выполняется для того, чтобы спектр стал пропорциональным | g ((о7-) |-2, т. е. спектру авторегрессии.

Введем матрицу Ф с элементами ф (к — Z) в к-й строке и Z-m столбце, к, I = 1, ...,$, где

Имеет место следующая теорема, доказательство которой мы поместили в приложении к этой главе.’

Теорема 7. Пусть х (п) при р = 1 порождается скользящим средним порядка s, для которого все корни g (z) лежат вне единичного круга, а & (п) — независимые одинаково распределенные величины с параметрами (0, а2). Если а(1) определены соотношением (5.2), то а(1) сходятся почти наверное к а и V"N (а(1) — а) асимптотически нормальны с нулевым средним и матрицей ковариаций Ф"1. Состоятельная оценка матрицы Ф-1 дается соотношением

ф'1 = (2а(/) aj Л’1,

О

где а получается в результате факторизации (4.2) (см. 4.3), А определена ниже соотношения (5.3) и Uj определены соотношением (5.4).

В связи с этой теоремой необходимо заметить следующее.

Во-первых, во многих случаях будут полезны следующие итерации этого процесса, когда | g |2 оценивается с помощью а(1), полученная оценка | g(1)|2 подставляется в (5.1) вместо /, в результате чего получается оценка а(1), которая дает следующее приближение а(2) = 2а(1) — а(1). Разумеется, а(2) будет иметь те же асимптотические свойства, что и а(1). Опыт (о котором мы скажем позже) показывает, что в некоторых случаях достаточно совсем небольшого

числа итераций.

Более подробно, мы получаем а(1) из соотношения

аО> = -А^а^.(5.6)

где Л^1) — матрица с элементами a^lt, к, 1=1, ...,8, вектор а(1)имеет компоненты а£\

—cos ktoj, к = 0, 1, .(5.7)

о

(Величины a^ и a^ оценивают разные вещи, точнее, параметры, которые различаются множителем (2л)-2 о4.)

Затем мы полагаем

a^^aCD-S1).

Далее мы предположим, что уже выполнено г итераций.

Мы можем воспользоваться также следующим приемом, который позволяет обойтись без факторизации спектральной плотности►

Строим с^1) точно так же, как в (5.3).

Затем образуем а<2\ Для этого сначала определяем gt1* через а^> так же, как g определялось через о^1) в (5.7) Затем а^ определяются через g(1) так же, как а^ определялись через gC1) в (5.7). Тогда мы получаем а<2) в виде

а<2> = -А^^\

Окончательно

^ = 2^ — а(2),

где, несколько непоследовательно, мы обозначили через а(1) нашу новую оценку. Все -утверждения теоремы и все дальнейшие замечания справедливы для любого из этих двух определений а(1).

Теперь, как и в предыдущем пункте, мы можем производить дальнейшие итерации, отправляясь от а(1).

Оценка Ф-1 асимптотически неэффективна, так как она основана на асимптотически неэффективной оценке а. Можно получить асимптотически эффективную оценку, если использовать а(Г)(/) для оценивания | g |-2 и, следовательно, ср (/) и Ф"1. Другой асимптотически эффективной оценкой для Ф-1 является

ф(г)-1 = {2 ^d ^лм-1.(5.8)

О

Если потребуется следующая итерация, то все необходимые вычисления для Ф(г)" уже будут проделаны.

Вычисления достаточно просты и приводят непосредственно к оценкам для а (/). Если пригоняется скользящее среднее, то число наблюдений вряд ли будет большим, так как для очень больших выборок такие модели малопригодны, как уже объяснялось в начале гл. V. В ситуациях, когда, скажем, N 500, вычисление / (соД не составляет большого труда. Если это сделано, то дальнейшие вычисления равнозначны вычислению оценок регрессии на г переменных. Во всяком случае, если размеры выборки слишком велики для непосредственного вычисления всех / (toj^ то в соотношении (5.4) величины / (соД и N можно заменить на / (соД, coj = 2nj/N', N N' = 2s < 2N, и N'. Из нашего доказательства видно, что асимптотические свойства при этом не изменятся. На самом деле суммирование можно производить по Xj = лу'/М и вместо периодограммы можно использовать сглаженные оценки спектра вида / (Х^ обсуждавшиеся в гл. V. Мы, однако, будем по-прежнему работать с / (соД как для простоты изложения, так и потому, что для меньших объемов выборки такая процедура представляется наилучшей.

Мы покажем, что наша процедура приводит к асимптотически эффективным процедурам оценивания. Для действительно малых объемов выборки такие результаты представляют небольшую ценность. В таких случаях нужно более точное исследование распределений.

Довольно очевидно, что если во внутренней сумме выражения (5.1) опустить фиксированное конечное число членов, то асимптотические свойства оценок не изменятся. В самом деле, если a (Z) — оценка, полученная в случае, когда пропущено р значений со7-, то

sN-A

V т 1'(<o,)cos(k-Z)<o/

= — >.a (Z) —— У -,(0.9)

f 7z (б);)27

где 2' — сумма по р пропущенным значениям. Правая часть сходится по вероятности к нулю, тогда как матрица с элементами

N-A.

1 I («,) COS (k — Z) toj

ft, Z = 1, . . ., г, сходится с вероятностью 1 к невырожденному пределу, как мы покажем в приложении к этой главе. Таким образом, VN (а<В (Z) — а (I)) сходится по вероятности к нулю. (Несомненно, Эт° будет и в том случае, когда множество пропущенных значений зависит от N, если только правая часть в (5.9) сходится по вероят-

ности к нулю, однако мы не хотим останавливаться на этом вопросе.) В частности, из этого замечания следует, что простое центрирование не влияет на наши результаты, так как оно соответствует пропуску слагаемого, отвечающего / = 0, во внутренней сумме выражения (5.9).

Легко видеть, что дисперсия предельного распределения КХ (а^ (s) — а ($)) равна {1 — a (s)2}, поскольку это есть дисперсия s-ro коэффициента авторегрессии для авторегрессии s-ro порядка, если s-я константа авторегрессии равна a (s). [См. § 2 непосредственно перед (2.10).] Чтобы проверить гипотезу а (s) = 0, мы вычисляем статистику V^" а^ (s)/(l —а(г) (s)2)1/2 или, возможно,

V^ — s) (s)

К1-а(г)№

и используем ее как ^-статистику с (N — s) степенями свободы. Конечно, наша теория утверждает лишь, что если a (s) = 0, то эта статистика асимптотически будет N (0, 1), однако есть смутное предположение, что при небольших N лучше использовать t.

N-\N-\Величины а<0 (&), так же как, например, «О), дают оценку для g (z), все нули которой лежат вне единичного круга. На самом деле всякая оценка, полученная из уравнений вида (5.1), обладает таким свойством. Для доказательства воспользуемся упражнением 7 к этой главе, из которого следует, что это будет выполняться, например, дляо^1), при условии, что матрица с элементами ак_ь k, I = = 0, . . ., s, положительно определенна. Если последнее неверно, то

N-\

N-\

—у—— >J Jj uHUie 1 3 = 0

W2 Ко

для некоторых ukl не равных одновременно нулю; однако функция

/| ике з

о

может обращаться в нуль не более чем для s значений (о7- (если не все ик равны нулю), поэтому рассматриваемая матрица может не быть положительно определенной, только если N — s значений / (соД равны нулю. Исключая этот тривиальный случай, получаем сформулированный результат.

По-видимому, а(1) не будет удовлетворять такому условию, однако если процесс итерируется, как было предложено выше в пунктах 1 и 2, то a(i) = 2а^-1) — a(i-1) будет в конечном счете сколь угодно близка к оценкам a(i-1) и а^ последняя из которых удовлетворяет этому условию. В таком смысле оценки, даваемые нашей процедурой,

приводят к оценке для g (z), все нули которой лежат вне единичного круга.

Стоит, вероятно, подчеркнуть, что точки, в которых / (X) очень мала, несут большое количество информации при оценивании скользящего среднего, и важно, чтобы они участвовали в процедуре оценивания. В последнем параграфе этой главы мы обсудим критерии согласия для моделей рассматриваемого здесь типа (и других). Конечно, подобные критерии могут быть построены по критериям для а(Г) (s + 1), . . ., а(Г) (s + к) при больших к по аналогии с авторегрессионным случаем. Заинтересованный читатель может обратиться также к статье Уолкера [1967], где рассматривается критерий для сравнения авторегрессионных моделей и моделей скользящего среднего.

(Ь) Скользящие средние. Случай р > 1

Обратимся теперь к случаю р > 1. Мы рассмотрим только обобщение нашего метода в том виде, как он представлен в теореме 7. (Исследование функции правдоподобия было бы теперь сложным из-за большого числа участвующих параметров.) Итак, мы рассматриваем

ж (га) = 5 А (/) 8 (п-П,А^ = 1Р,(5.10)

о

где е (п) — независимые одинаково распределенные векторы с параметрами (0, G). Может быть, конечно, и так, что х (п) имеет р компонент, а 8 (п) — меньше. Этот случай заслуживает рассмотрения, однако мы здесь не будем на нем останавливаться и будем считать, что det {/(X)} ^ 0. Тогда, как мы знаем, существует единственная факторизация для / (X):

SS

/ W = ^ ( 2Л 0) е^ G( 2 A (j) е^у,оо

где требуется, чтобы det {^Л (/) ^} = det {g (z)} не имел нулей в единичном круге (и Л (0) = 1Р). На самом деле мы потребуем, чтобы все нули лежали вне единичного круга. Наша процедура начинается с оценки

— S

сходящейся с вероятностью 1 к /(X), Рассуждая эвристически, мы должны минимизировать

2 Tr {g (е^)’1 / (<о7) g* (е^Г G-i},

где / (coj) определены соотношением (3.8) в гл. IV. Это выражение, как и прежде, получается в результате применения финитного пре-

образования Фурье к величинам х3 (п). Производная по аии (к) — типичному элементу матрицы А (к) — с точностью до постоянного множителя равна

5 Тг {/ («мГ I (со,-) / (coj)-i EUBGg* (е™>) eiktoiy 3

где матрица Е^ имеет единицу на пересечении и-й. строки и у-го столбца и нули на остальных местах. Это приводит к уравнениям

5(5/ W11Ы fW1 ^l~k^} aw (i) = о, z=o 5

к=1,А(^(0) = 1р.(5.11)

Тогда наша первая асимптотически эффективная оценка равна

ЛО (Z) = 2Л (Z) - ЛО) (Z), Z = 0, ..., s.(5.12)

Чтобы получить А (I), мы должны факторизовать / (X). Робинсон [1967], стр. 190—200, дает описание программы для такой факторизации. Однако такой путь может оказаться неприемлемым, и не только из-за большого объема вычислений, а в основном по той причине, что мы можем не знать, является ли /( X) факторизуемой. (Было бы трудно проверить неотрицательную определенность для всех X.) Мы позже обсудим процедуру, позволяющую обойтись без факторизации.

Чтобы сформулировать нашу теорему, нам придется ввести некоторые специальные обозначения. Обозначим через as вектор с компонентой аму (к) в строке с номером (к — 1) р2 + (^ — 1) р + V, а через asD, a^, . . .— соответствующие оценки. Обозначим через Ф8 блочную матрицу, у которой в клетке (к, Z) находится б ок Ф (& — Z) из р строк и столбцов, к, Z = 1, . . ., 5, где

2лФ(/с) = Л 2 pMhe-^i, к = 0, 1, . ,.,s.

3

В этом соотношении мы опустили аргумент со7- у функций / и Z (хотя, конечно, оставили в показателе экспоненты). Символ I в этой формуле, обозначающий I ((о7-), не следует смешивать с обозначением для единичной матрицы Zp, которое всегда снабжается индексом.

Наконец, q)s формируется из Ф (&) точно так же, как as из элементов A (Z), а именно как вектор-столбец с компонентой фыу (к) в строке с номером

(к — 1) р2 + (и — 1) р + v.

Имеем

(5.13)(5.13)(Ф8 ® 1р)а^ = — фя.

(5.13)

(5.13)

Положим

-Л

Тогда Ф8 формируется из Ф (/с) так же, как Ф8 из Ф (к).

Мы предположим существование четвертых моментов для 8 (п), хотя, казалось бы, можно обойтись без этого предположения, непосредственно перенеся доказательство теоремы 7 на случай теоремы 7'. Частично это обусловлено появлением матрицы G.

Теорема 7'. Если х (и) порождается соотношением (5.10) и четвертые моменты 8 (п) конечны, то а^ сходятся почти наверное к as и VN (aj11 — а8) асимптотически нормальны с нулевым средним и матрицей ковариаций (Ф^1 ® G"1).

Эта матрица ковариаций состоятельно оценивается посредством

Ф5 и оценки для G-1 вида

s N-1

2 { 2 bir1^}(I).

Z = 0j=0

Замечания. 1. Мы ввели индекс s, чтобы указать порядок пригоняемого скользящего среднего. Можно было оценивать G"1 по формуле

3

однако это потребовало бы дальнейших операций обращения матриц. Матрицы Ф (к) в теореме 7' не являются полными аналогами ф (к) из теоремы 7, так как в последнем случае G — скаляр, и выражение Ф8 ® G может быть преобразовано так, что G не возникнет. На самом деле аналогом Ф из теоремы 7 является Ф8 ® G.

Если функция / не факторизуется, то мы действуем следующим образом. Находим а8Х) по формуле (5.13) и вычисляем

gm Ы = 2^> (k)eihtoi,

о

sN-1

2 {4 2birV1^ Аа> 1=0j=0

Затем мы полагаем /(1) = (2л)"1 g(1)G(1)g(1)* и решаем уравнения

2 {5/(П^/(ПЛ?{<г-^^^^ (Z) = 0, к=1,

Окончательно

(Мы снова используем одни и те же обозначения для двух различных асимптотически эффективных оценок. Это оправдывается тем, что сформулированная выше теорема верна для любой из них; вычисляться будет только одна оценка, и необходима некоторая экономия в обозначениях.) Конечно, полагая теперь

2лФ<п (&) = N"12 p^If^'V^i3

и определяя Ф^, (Psn через эти матрицы, имеем

^--(ФГ1®^) ф(Л

Мы можем выполнить следующие итерации, используя Л(1) (Z) (при любом из двух определений) вместо А^ЦГ), как в предыдущем замечании 2. В этом случае мы оцениваем Ф71 ® G-1 посредством Ф^ и

G^"1 = 2 { ^ 2 Г^ТГ'"1^} Л,Г) (Z).7=0 з

Замечания 5, 6, 7 и 8 к теореме 7, модифицированные соответствующим образом, также распространяются на рассматриваемый случай.

Приведем некоторые подробности вычислений. Пусть f(toj) = = 1/2{с (^j) — ^(^j)}) гДе с симметрична, a q кососимметрична, причем с (со.у_,) = с (со,), q V»n-Y = —qV»iY Пусть / (co,)'1 = {Z7, — ZF,}. Опуская для краткости аргумент coj и используя упражнение 9 к гл. V, получаем

Uj = 2(c-Vqc'1qYx1 Vj = 2cq(c + qc~1qY1-

Полагая / (со,) = (У, — ZY,), имеем

Ф(/с) = 2У"1 2 6>ЖXjUi -UjYiV, -VjXjVj-VjYiU^ cosk^j + j=0

+ kUjXjVj + UjYjUj + VjXjUj - VjYjVY sin ktojY

где 8,* равно 1/2 при / = 0, X/2N и единице в остальных случаях.

Обращение матриц Ф5, Фз1’ и т. д. представляет собой не столь сложную задачу, как может показаться, особенно в случае, когда скользящее среднее пригоняется путем последовательного увеличения 8. Положим

Фе-!Фе-!D'D'D "Ф (8) J ’D "Ф (8) J ’

Фе-!

Фе-!

D'

D'

D "

Ф (8) J ’

D "

Ф (8) J ’

где D — столбец, состоящий из s—1 блоков, j-й из которых равен Ф (/ — $). Матрица, обратная к Ф8, симметрична и имеет вид ' Ф7Д+ ф;.1^ {ф (^-У'Ф-1^}-^'»^ -Ф^д (ф (sj-zw^}-1-] -{Ф^-^'Ф^г J ’

так что если ФГ-i известна по предыдущему шагу, то требуется лишь обращение (р X р)-матрицы (и вычисление некоторых матричных произведений).

Теорема 7' позволяет строить необходимые статистики и статистические процедуры для моделей скользящего среднего; в самом деле, близкое соответствие между теоремами 1 и 7' достаточно ясно указывает, какой характер должны иметь соответствующие статистики; например, для проверки гипотезы Л (s) = О очевидной статистикой является квадратичная форма от элементов Л(1) с матрицей, равной обратной от матрицы ковариаций Л^1). Наша оценка ковариационной матрицы равна

{Ф (s)-/)^/)^6"\

так что соответствующая квадратичная форма принимает вид

N Тг {Л(1) (s)' {Ф (s) - /УФ^/)} Л(1) (s) бу(5.14)

Из теоремы 7' следует, что при возрастании N распределение этой формы будет стремиться к f с р2 степенями свободы. Конечно, если мы вычисляем Л<г) (s), то оценки Ф<г> (s) и G^ также будут вычислены, и мы можем использовать их вместо Л^1), Ф, G.

В случае р > 1 возникают серьезные вычислительные трудности, связанные с многократным обращением матриц при больших N [см. (5.11)], что особенно затруднительно, если р не очень мало. По этой причине может быть желательной замена выражений типа (5.11) какими-либо более простыми в вычислительном отношении. Так, 2лФ (fc) можно было бы заменить на

М-1

2лФ(Г)(^)=А ЗГЧМ/^^ГЧ^е-^, & = 0, 1, .... s,

7 = 0

Ч = ^Г> N = mM,

где f^(kj) — оценка финитного преобразования Фурье (пример 1 § 4 гл. V), вычисленная по т значениям I (со7). Ясно, что различие между Ф (fc) и Ф(Г) (&) обусловлено только изменениями функций / (coj), exp iktoj на каждом «диапазоне» ширины 2nmlN, по которым усредняются / (coh) при вычислении /(F) ^Х5у Если М — О (N1^-6), е>0, то V"Nlm = O<N"£Y так что колебание любой из компонент / 1 (X)

422 Гл. VI. Статистические выводы для рациональных спектров на любом диапазоне ширины 2шп/М, умноженное на ]/N, есть O(N~e)1 и аналогичное верно для exp ( — ikX). Отсюда

N-1р

■ О||Ф(^)-Ф(*)||<да-е 2 III ^Й II < KtN-e 2 Cj (0)^0. j=0j=l

Таким образом, мы можем заменить Ф на Ф<Г), и аналогичное верно для Ф(1) и т. д.; тем самым мы сократим наши вычисления и число операций обращения матриц. Другими словами, в любой сумме по у мы можем заменить со;, у = 0, 1, . . ., N — 1, на Xj, ] = 0, 1, . . . . . М- 1,и7(соД нарЦХ^.

Смешанный случай скользящего среднего и авторегрессии при р = 1

Предположим теперь, что имеет место соотношение (4.1), где g (z) и К (z), определенные после (4.1), удовлетворяют сформулированным там условиям относительно своих нулей ). Сразу возникает следующая проблема. Если мы пытаемся пригнать уравнение (4.1) в случае р (^) = a (s) = 0, то мы сталкиваемся с ситуацией, когда наши ограничения недостаточны для однозначного определения а (4) и р (у), так как, очевидно, мы можем ввести в числитель и знаменатель (4.1) одинаковый множитель | 1 + a exp IX |2, 0 ^ | а | < < 1, причем все условия по-прежнему будут выполняться. Таким образом, в гауссовском случае функция правдоподобия постоянна вдоль следующих линий (каждому набору а (к), к = 1, . . ., s — 1; Р (у), у = 1, . . ., q — 1, соответствует своя линия):

а (к) + аа (к — 1), к = 1, . . ., s;

Р (/) + «Р (7 — 1), 7 = 1, - . -, ?; 0 ^ а < 1;(5.15)

Р (^ = а (s) = 0.

Поэтому если действительно р (^) = а (s) = 0, то можно ожидать наличия максимумов вблизи одной из таких линий, а так как преобладание одного из локальных максимумов будет делом случая, то оценки могут не сходиться при N -> оо к значениям а (к), Р (у), удовлетворяющим условию a (s) = р (^) = 0. Это же замечание относится к любому методу, основанному на вторых моментах, так как / (X) постоянна вдоль указанных линий. Тот факт, что функция правдоподобия близка к максимуму вдоль одной из линий вида (5.15), можно было бы вывести, исследуя функцию правдоподобия в целом. Однако это было бы трудно сделать в случае q + s > 2 (а в случае q + $ ^ 2 такая возможность не представляет реального интереса). Надо полагать, что это не столь важно, так как вектор оценок р (у),

a (fc), полученных по методу, основанному на величинах второго порядка, будет, по-видимому, приближаться к линии (5.15) при N -> ->- оо. Однако рассмотрение случая р (д) = a (s) = 0 значительно усложняет теорию, и поэтому мы его опустим. Это имеет один отрицательный аспект, совсем незначительный. Мы не сможем последовательно пригонять модель вида (4.1), увеличивая q и 5 одновременно на единицу. Дело в том, что мы не сможем построить критерий, позволяющий решить, следует ли увеличивать q и s на единицу, так как трудно будет найти распределение статистики при нулевой гипотезе (что q и s оба на единицу меньше последнего проверяемого значения); это потребовало бы рассмотрения эффектов, обусловленных случайной локализацией набора оценок вблизи линии (5.15). Однако эти трудности не возникают, если на каждом шаге только q или только s увеличивается на единицу. Хотя возможность того, что Р fe) и a (s) обе в точности равны нулю, по-видимому, не представляет большого интереса с точки зрения приложений, тем не менее неустойчивость, связанная с этой ситуацией, наводит на мысль, что при малых значениях Р (^) и a (s) оценивание также будет затруднено. Эта возможность (что a (s) = р (д) = 0) проявится в наших асимптотических рассмотрениях в том, что оцененная матрица ковариаций для наших оценок будет близка к вырожденной.

Таким образом, в дополнение к требованию, что h (z) и g (z) не имеют нулей в замкнутом единичном круге, мы предположим, что Р (д) либо a (s) отлично от нуля.

Имеет смысл начать с оценивания а (А:), Р (/) по первым q + s автоковариациям. Мы знаем, что

^(^)= У а (А:) 2 М^)8^— и— А:)h—0и=0

(см. § 3 гл. I), где Х(м) удовлетворяют уравнениям

q

2 р (/) К (и-р = 0,и=1, 2,

о

и начальным условиям X (0) = 1, X (м) = 0, и <С 0. Величины X (м), как и прежде, могут быть выражены через р (/). Имеем уравнения

5 Р(7)т(/ —^^^З 2 a^a^k^l — т—к),

00 0

k—i, 2, ..., q-Vs. (5.16)

правые части которых равны нулю при А: > s (так как I — т — к в этом случае обязательно отрицательно). Таким образом, последние q уравнений

q

2 Р0)т(7— ^) = 0, & = $ + !,..., s + g, Р(0) = 1, о

могут быть использованы для определения Р (/), ибо при условии, что a (s) или р (д) не равно нулю, матрица с у (/ — Ц на пересечении (А: — $)-й строки и /-го столбца невырожденна. (Мы оставляем это в качестве упражнения.) Поэтому мы можем состоятельно оценить Р (/) с помощью уравнений

q

2Р(/)с(7 — ^) = 0, /с = $+1, ..., s + g. О

Очевидно, что Р (/) сходится к р (/) с вероятностью 1, ибо, как мы знаем, с (/) сходятся в этом смысле. Теперь для нахождения оценок а (к) мы могли бы подставить р (/) в (5.16), однако, чтобы получить оценки, необходимые для нашей дальнейшей процедуры, мы должны поступить следующим образом.

Шаг 1. Образуем

. q.

су (п) = 22 Р W р (Z) с (п -\-к — I) = су ( — п^/г = О, 1, . .., s,

к,

и для дальнейшего

q

i = o, !»N—i; О

тогда

ss

7» W = ^r 2 cy (")e *M=j? {'c« (°)+2 2 =« ^cos nX} •— s1

Если эта оценка не положительна для некоторых X, то это означает что либо паша модель неверна, либо объем выборки слишком мал. При N -> оо оценка fy (X), очевидно, сходится с вероятностью 1 к

И Г

Если мы производим факторизацию fyi то получаем

^= 2^|£|2 =,а(0) = 1.

О

Если мы не хотим факторизовать fy, то поступаем следующим образом. Образуем )

а^ = ^ 2 I\h\2fу2cosktoj,^ = 0, 1, ..., s, (5.17)

5

а затем Л, а так же, как в случае д = 0. Тогда а= — А га. Далее мы определяем•

k

Мы использовали здесь пару символов a, g для обозначения оценок аналогичной пары величин (а, g), которые вычисляются разными способами. Это отличается от нашей процедуры в случае q = 0, однако здесь такие обозначения удобны, и мы надеемся, что они не приведут к недоразумениям. Наконец, вычисляем

N-1

b(k) = -у 2 /|g|"2cos to,, к = 0, 1, ..., q. (5.18) 7=0

Тогда

где матрица В имеет элемент Ъ (к — Z) на пересечении к-й строки и Z-ro столбца, а вектор b — компоненту b (к) в к-й. строке.

Шаг 2. Образуем теперь

q

I кт I2 = 12 0а> (к) e'hu>i Г,о

^’(^А^^^ТЙ"4008*®^ к = 0, 1, . .., s. (5.19)

Затем из этих величин мы формируем Л(1), ат. (На самом деле а^ (к) оценивает нечто, отличающееся на константу от того, что оценивает а (к), однако для простоты мы сохраним эти обозначения.) Затем мы строим

а(1) = —Ат-1ат.

Чтобы получить а(1), мы должны составить комбинацию из afl) и а (вычисленных по любой из двух процедур). Для этого нам нужна матрица Q с элементами ю(к — Z), к = 1, ..., q; Z = 1, .. ., s;

® № = 4" 2 (i^)-1 е~^“; = ^к j ^ (^W e-^dk. (5.20) 5-л

Тогда

^^[{Zs-^^Q'S-1^}-1 (а-а(1))]

Наконец, мы строим g по а(1) так же, как g строилось по а, и В, b по g так же, как В, b строились по g. Тогда

р<1>= -в-ч.

Введем матрицы Ф, Y, Q, где Ф была определена ранее, а T, Q состоят из элементов тр (А:—Z), k, 1 = 1, ..., q; to(k—Z), k=l, ... ..., q; 1 = 1, ..., s:

^(k\=A_ f \н\-йе-^ак

— Л

Лto ^ = ъг J ^^-1 e-iU^-- Л

В приложении к этой главе мы доказываем следующую теорему:

Теорема 8. Если х (п) порождается соотношением (2.1), где g (z) и h (z) не имеют нулей в замкнутом единичном круге, не имеют обгцих нулей и а (s), Р (q) отличны от нуля, то а(1), Р(1) сходятся почти наверное к а, р, причем вектор

VN Г “

асимптотически нормален с нулевым средним и матрицей ковариаций " Ф —Q'l-1

Матрица Q (см. (5.20)) дает состоятельную оценку для Q, тогда как для Ф и Т состоятельными оценками являются

s л

Ф = {За(/с) а (/с)}"1 Л, Чг = (Зр<1,(Д)Ь(/с))-1Б. о о

Сделаем ряд замечаний,

Мы покажем в приложении, что в случае a (s) = р (^) = 0 матрица ковариаций вырожденна. Это соответствует неоднозначности в определении аир. То же происходит в случае, когда g (z) и И ^ имеют общий нуль.

Заменяя в начале шага 2 а(1), Р(1) на а(1), Р(1), мы можем произвести дальнейшие итерации. Таким образом, И, вычисленное по Р(1), заменяет hlx\ a g (уже вычисленное) заменяет g. Если это проделано, то мы фактически вычислили взамен Ф, Ф, Q оценки Ф, V, Q, которые будут теперь асимптотически эффективны в том смысле, что они основаны на асимптотически эффективных оценках для аир.

Замечания 5, 6 и 8, относящиеся к случаю q = 0, в основном применимы и к рассматриваемому случаю. В частности, центрирования, которые обращают I (0) в нуль, не влияют на асимптотические результаты.

Вычисления большей частью выполняются непосредственно и подобны вычислениям в рассмотренном выше случае q = 0. Исключение составляет Q. Здесь мы можем упростить выражение для w (к) следующим образом. Предположим, что q ^ s, и обозначим через zjt 7 = 1, . . ., q, нули к (2). Тогда

wW^^qP1 S U^1)”^-"1 П (^ — ^ГЧ,— s+K.k<_q—l.

7=11=1

гфз

Если ^<5, то мы обозначим через Wj нули g(z), j = i, .. s, м получим

w (к) = a (s)-1 2П —

7=11=1

1^7

Возможно, конечно, что практически будет проще разложить g и к по степеням ехр гк и ехр (— ik) и объединить коэффициенты при expikk в произведении этих функций. В случае когда p = q^\, имеем w (0) = (1 — а (1) р (I)}”1. Если нужны w^k), то мы заменяем Zj (или wj) на Zj— корни к (или Wj— корни g). Если к или g имеет высокую степень, то, возможно, будет проще вычислять w(k) или w(k) непосредственно как среднее выражение в (5.20). Например, полагая g^u + iv, k = y-Viz (где g, к, и, и, у, 2 —функции от Wj), имеем

w (к) = 2 2 6; {I g I21 ^ |2 ^ у — v 2) cos kwj -^-(uz — vy) sin kwj)^, 7=0

где 6; определены в замечании 5 после теоремы 7', и в случае центрирования (которое почти всегда будет иметь место) слагаемое, отвечающее / = 0, опускается. Так как g, к уже найдены, то вычисление этого выражения является несложной задачей.

По-видимому, нельзя найти столь же удачную форму критерия для проверки гипотезы a (s) = 0 или р (q) = 0, какая была возможна в случаях соответственно q = 0 и s = 0. Вопрос о подходящем методе пригонки моделей типа смешанной авторегрессии и скользящего среднего (т. е. о методе определения q и s) требует особого рассмотрения, так как процедуры такого типа не имеют очевидного аналога в случае, когда q или s считаются равными нулю. Можно, например, последовательно увеличивать q и s на единицу, однако при этом, очевидно, необходимо на каждом шаге пересматривать предыдущие значения. По-видимому, имеет смысл производить проверку значимости последнего пригнанного параметра, скажем р(1> (^), и если он оказывается значимым, последовательно проверять значимость параметров скользящего среднего, начиная с последнего а(1)($).

Это определенно следует проделать после того, как произведено последнее увеличение q или s. Если с некоторого момента мы принимаем решение не увеличивать более q и s, поскольку значимое улучшение согласия модели не наблюдается, и если, скажем, q— последнее значение, которое было целесообразно увеличить, то имеет смысл проверить, дают ли а(1> (s), а(1) (s — 1) и т. д. какой-либо вклад в объяснение зависимостей. Если подобная процедура не применяется, то возникает значительный риск переопределения. Конечно, не всегда такое переопределение будет существенно снижать точность прогноза, основанного на оцененном уравнении.

Чтобы лучше понять ситуацию, обратимся к примеру авторегрессии, в котором переопределение увеличивает дисперсии оценок искомых параметров. Для смешанной модели переопределение может иметь столь же ощутимые последствия. Рассмотрим, например, случай, когда в действительности q = 1 и s = 0, а мы предполагаем, что g = 1, $ = 1. Если бы истина была нам известна, то мы оценили бы Р (1) с помощью авторегрессии и получили бы оценку р0 (1), такую, что V"N (р0 (1) — р (1)) асимптотически нормальна с дисперсией (1 — Р (I)2). Если же мы считаем, что 5 = 1, то мы получаем оценку pt (1), такую, что V"N (Pi (1) — Р (1)) асимптотически нормальна с дисперсией, которая, согласно теореме 8, равна элементу в нижнем правом углу матрицы

Таким образом, дисперсия равна Р (I)"2 {1 — р (I)2} и эффективность pt (1) определяется величиной Р (I)2 < 1. Неприятностей следовало ожидать в случае, когда а (1) = 0 и р (1) мало, ибо тогда мы близки к неопределенной ситуации, однако беспокоит то, что эффективность мала даже при вполне умеренных значениях р (1). Конечно, если а (1) ^=0, то р0 (1) не состоятельна. Однако можно предположить, что при малых а (1) и не очень больших N р0(1) будет лучшей оценкой для р (1), чем Pi (1). В подобных обстоятельствах использование модели q = 2, s = 0 может дать даже лучшие результаты. Эти замечания показывают, что смешанные модели, вероятно, представляют наибольший интерес в случаях, когда нули g (z) лежат вблизи единичной окружности. К несчастью, это как раз тот случай, когда для применимости асимптотической теории нужно, чтобы N было очень велико. Подобные модели, по-видимому, следует применять с осторожностью. *

Случай р > 1

Предложенные выше методы распространяются на случай р > 1, q > 0, однако вычисления становятся весьма громоздкими, и мы не будем здесь входить в подробности. Оцениванию должно пред-

шествовать рассмотрение задачи идентификации, и мы отсылаем читателя к работе Хеннана [1969 Ы, где обсуждается этот вопрос.

Хотя, несомненно, существуют ситуации, когда векторная смешанная модель скользящего среднего и авторегрессии дает гораздо лучшее согласие при данном числе параметров, нежели просто скользящее среднее или авторегрессия, вычисления усложняются настолько, что приходится усомниться в применимости более сложной смешанной модели. На наш взгляд, эти методы сейчас не настолько близки к практической применимости, чтобы включать их в эту книгу.

В завершение этого параграфа мы приведем результаты выборочных экспериментов для случая р = 1.Мы взяли 20 последовательностей из 100 наблюдений за процессом

х (я) — 0,8 х (п — 1) = 8 (zz) + 0,5е (zz — 1)

и использовали описанный выше способ без факторизации матричной спектральной плотности, хотя в настоящем случае факторизацию нетрудно было бы осуществить, если только fy (X) вообще факторизуется. Итерации продолжались до построения а(5) и Р(4). Среднее значение оценки а(5) было равно 0,504, а дисперсия 0,011 (теоретическое значение 0,009). Среднее Р(4) было равно—0,768, а дисперсия 0,003 (теоретическое значение 0,004). Согласие обеих дисперсий с теоретическими значениями вполне удовлетворительно для 20 выбо

рок. Однако Р(4), по-видимому, смещена к нулю. В 13 выборках из 20 значения а(1), Р(1) «стабилизировались» в том смысле, что дальнейшие итерации почти не изменяли их. Значения а(2), Р(2) стабили-

зировались в

15, а а(3), Р(3)

— в 19 выборках.

Исключение

составила

последовательность

а<п

а12)

ат

а<2)

а<3)

а<4)

а(5)

0,985

0,998

0,962

0,917

0,828

0,666

0,498

Р

pm

pm

р<2,

р<з>

Р<4,

-0,725

0,897

0,519

-0,088

-0,514

-0,705

Возможно, что следовало бы выполнить еще одну итерацию. (Число итераций было выбрано a priori. На практике следует руководствоваться стабильностью значения.) Для иллюстрации процедуры в более стабильном случае мы приводим следующую последовательность (восьмую), номер которой был выбран случайно из чисел от 1 до 20. Для этой последовательности

а(1)а(2)а(1)а(2)а(3)5(4)а(5)

0,4410,5200,3380,3290,3290,3290,329

Рр(1)р(1)р(2)р(3)р(4)

-0,756 -0,712 -0,752 -0,755 -0,755 -0,755

6. ОБЩИЕ ТЕОРИИ ОЦЕНИВАНИЯ ДЛЯ МОДЕЛЕЙ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ

Теперь мы обсудим некоторые весьма общие теории оценивания для моделей с конечным числом параметров, предложенные Уиттлом [1951] и Уолкером [1964]. Эти работы, на мой взгляд, имеют большое значение. Однако они сложны технически, и мы приведем здесь результаты без доказательств, ибо нигде в этой книге они непосредственно не используются х). Интересующийся читатель может найти доказательства в работе Уолкера [1964]. Книга Уиттла [1951] представляет большой интерес как первоисточник идей, относящихся к статистике временных рядов. Общая теория статистических выводов для временных рядов к тому времени уже была рассмотрена Гре- нандером [1950] в диссертации, оказавшей большое влияние на дальнейшее развитие предмета. Характерной чертой работы Уиттла является глубокая взаимосвязь процедур классической статистики со спектральной теорией, и именно поэтому мы придаем здесь ей такое значение. Начнем с того, что рассмотрим скалярный гауссовский процесс х (п) со спектральной плотностью / (X), непрерывной и не обращающейся в нуль на [~л, л]. Тогда, конечно,

о

где е (га) — независимые одинаково распределенные величины с параметрами (0, о2) (в качестве такого представления можно взять каноническое представление, фигурирующее в разложении Вольда). Тогда

о2 = ехр-^- J log {2л/(X)} dX.(6.1)

- л

Предположим, что, кроме о2, спектральная плотность / (X) зависит от q параметров 9Ь . . ., 69, совокупность которых мы обозначим через 6. Тогда функция правдоподобия равна

АА^'ГЛ (9) х

-1 log det (^ (9)) - 4 N log 2ла2,

хг = (#(!), ..., x^N^,

х) Эти результаты относятся к скалярному случаю, хотя, несомненно, могут быть обобщены на векторный случай и нуждаются в предположениях (например, таких, как существование четвертых моментов), которые не являются необходимыми в нашем частном случае. Кроме того, метод максимального правдоподобия, применяемый непосредственно (даже в модифицированной форме, которая обсуждается далее), приводит к сложным нелинейным уравнениям. По этим причинам мы предпочли получать наши результаты непосредственно в каждом случае, а не ссылаться на общие результаты этого параграфа.

где VN (6) = а"2^, очевидно, зависит только от 9. Теперь, используя результат Гренандера и Сегё типа теоремы 7 гл. III, имеем

л

±logdet(VN(9)) = A. J log ^f^dX + O(N"4.-л

Так как [согласно (6.1)1 первый член является константой, не зависящей от 9, то мы вновь видим, что с точностью до О (N”1) первым членом можно пренебречь. Так мы приходим к рассмотрению выражения

n x’V^ (6) х

Применяя к нему метод максимального правдоподобия, получаем

где оценка 9 параметров 9 находится из условия минимума квадратичной формы ^У^1 (9) х. В таком виде это выражение исследовать трудно из-за сложности нахождения явных формул для элементов матрицы Vn-^. Следуя Уиттлу [1951], мы применим ранее использованный прием и рассмотрим

N-1

UN(x,e) = N 2 Р(й, 0)(1-М)с(,г),

где Р (тг, 9) — типичный коэффициент в лорановском разложении функции {g (z) g (z-1)}"1 (в предположении, что оно имеет место в некотором кольце, содержащем единичную окружность), и

g(z) = §a(7)'z,.

О

Мы будем обозначать эту функцию g (z, 9) в тех случаях, когда захотим подчеркнуть зависимость от 9. Здесь мы применили ранее использованные рассуждения (см. § 5), а именно представили VN (9) приближенно в виде

VN (9)« PDP*,

где матрица D имеет элемент {2л/ (toj)/o2} на /-м месте главной диагонали, а Р — унитарная матрица с элементами

j = 0, 1,N-1,

на пересечении п-и строки и /-го столбца. Тогда Vn (9) « PD^P* иx’PD^P*^ = У | g (Л') |"21 ^s),

откуда следует требуемое соотношение. Таким образом, окончательно мы приходим к минимизации N log о2 + UN (х, 0)/а2 по 6 и а2. Именно такая процедура и была использована в § 4.

Этот метод можно использовать и тогда, когда х (п) не является гауссовским. Уолкер рассматривает случай, когда 8 (п) — независимые одинаково распределенные величины с параметрами (0, а2) и конечными четвертыми моментами, а параметр 6 пробегает замкнутое ограниченное подмножество ^-мерного евклидова пространства. Предполагается, что | g (2, 6^ |2 не равно | g (2, 02) |2 почти всюду в [—л, л], если 6t ^ 02, и, как прежде, что / (X) и /-1 (%) непрерывны в [—л, л]. Обозначим теперь через on^ ^n решения модифицированного уравнения максимального правдоподобия, получаемые из соотношения

-LN<9, a^=NAog0H-^^-.(6.2)

Уолкер доказывает следующий результат, полученный впервые Уиттлом [1951], [1962]:

(6.V, °n) сходится по вероятности к (0, о2).

Если функция |g(2, 0)|“2 имеет непрерывные производные по Ql вплоть до 3-го порядка в некоторой окрестности истинного значения 0О и

3^|^(^, 6o)|<°°,и

то распределение вектора У”1/2 (0V — 0О) сходится при N ->- оо к нормальному с нулевым средним и матрицей ковариаций ТУ"1, где РЕ0 имеет элементы

,= 1*(6.3)

4л J \ d6z /о \ d^j /о ''

—л

в предположении, что Wo невырожденна. (Индекс указывает, что производные вычисляются в точке 0 = 0О.)

Выражение (6.3) представляет несомненный интерес. Легко проверить, что оно дает матрицу ковариаций для смешанной модели скользящего среднего и авторегрессии из теоремы 8, и мы еще раз убеждаемся в асимптотической эквивалентности наших результатов и тех, к которым приводит процедура максимального правдоподобия.

7. КРИТЕРИИ СОГЛАСИЯ

Мы уже обсуждали критерии согласия, т. е. критерии для проверки гипотетической модели при весьма общем классе альтернатив, для некоторых моделей с конечным числом параметров, рассмотренных в начальных параграфах этой главы. Одним из методов проверки

согласия авторегрессионной модели порядка q является, как мы указали, сравнение ее с моделью порядка q + t для большого £, основанное на проверке значимости матриц коэффициентов для запаздываний, превышающих q, с помощью критерия типа частного сводного коэффициента корреляции. Аналогичная процедура может быть использована и в случае скользящего среднего. В смешанном случае возникают некоторые трудности, связанные с ограничением на истинные порядки авторегрессионной части и скользящего среднего, однако и в этом случае, безусловно, можно построить критерий для сравнения смешанных моделей порядка (g, s) и порядка (q + t, s) или (^, s + f), если только есть уверенность (например, в первом случае), что q-я матрица коэффициентов авторегрессии невырожденна. Так как подобные процедуры охватываются рассмотрениями предыдущих параграфов, то мы здесь не будем на них останавливаться подробнее. Мы начнем с обсуждения некоторого обобщения на случай/?^! процедуры Кенуя [1947], кратко обсуждавшейся выше; это обобщение принадлежит Барт лету и Раджалакшману [1953]. Таким образом, мы построим критерий согласия для многомерной авторегрессии, который имеет тот же характер, что и упомянутые выше, но более прост в вычислительном отношении. Мы надеемся достичь этого, производя операцию скользящего суммирования (с матричными коэффициентами) длины 2q над матрицами С (п), которая даст нам последовательность матриц, такую, что после подходящей нормировки корреляция между элементами разных матриц будет отсутствовать. Рассмотрим возможные факторизации матричной спектральной плотности авторегрессии

/ (X)’1 = 2лН<п (eix)* G(h-1hU) 4%

где Н^ (z) — многочлен от z степени q (q — порядок авторегрессии). Конечно, существует только одна факторизация, для которой все корни определителя И(Ъ (z) лежат вне единичного круга, и W (0) = = 1Р. Как и раньше, мы обозначим такой множитель через h (z). Рассмотрим теперь последовательность

D^ (^ = 4"^^ (eitoh) I (ok) h^ 4tohfu>0.(7.1)

к

Будем пока рассуждать эвристически, а несложное строгое обоснование окончательных результатов дадим позднее. Тогда, заменяя I (tok) на его математическое ожидание, которое близко к /((о^), и аппроксимируя сумму интегралом, мы видим, что ^среднее значение D^ (и) в пределе равно

л

- \ h^h*-1^*^ 4X = Q, u>0.

- л

Если мы применим формулу для ковариаций компонент I (to^ из следствия 1 гл. V и вновь аппроксимируем сумму интегралом, то

получим следующее предельное выражение для ковариаций:

л

7VE (^ (U) 4s И) 2л j V^pah-qb hTchStadlcbe-^^ +-Л

+ Нра ЯХё^Й (e"iX) facfdbe”^-^} dX,(7.2)

где использованы тензорные обозначения (суммирование по повторяющимся индексам) и аргумент функции указан в том единственном случае, когда он равен ехр (—IX), а не exp IX. Легко видеть, что если К^ = К, то это выражение равно нулю при и ^ и. При и = и, и, v> О получаем Gprosq. Этот случай не представляет большого интереса, так как учесть эффекты оценивания функции h нелегко. Однако существует и другой случай, в котором (7.2) равно нулю при и =£v, а именно когда h{3) (z) соответствует той единственной факторизации, при которой все корни определителя h^(z) лежат внутри единичного круга и ^z”^№(z)^x=oo = 1Р. (Обозначим такой множитель K^(z).) В этом случае матрицы коэффициентов для h^ также вещественны, так что h^ (ехр (—гХ)) = №\ и мы получаем для (7.2)

-Г $ {«W^ OrfW^V^^ + Gprg^e-^-^ dX = О, М^У, -л

где gsq—типичный элемент матрицы G(1), / (X) = (2л)"1 A(1)1G(1)fe(1)*~1, а Нйе — типичный элемент матрицы А* х. Если и —и, то это выражение равно

°prg^*(7.3)

Этот второй случай мы и рассмотрим далее, поскольку он приводит к обобщению критерия Кенуя. (Первый случай дает обобщение критерия Бартлета и Диананды [1950], однако он не так полезен, ибо эффекты оценивания h (и W1)) плохо поддаются учету.) Имеем

q q

D(1> (и)=^^В (j) C(j-k-u) B^ W ( 1 - '^4 ) = о о q q

= ^^в(псци+к-пв^цку^-\^^Пу (7.4) о о'

где В^ — матрицы коэффициентов для Z^^.

Теорема 9. Пусть х (п) порождается авторегрессией порядка q и D^) (и) получается из D^ (и) подстановкой в (1А) оценок для В (j) и В^ (k)r, основанных на В (j) (которые даются соотношением (2.6)). Тогда для любого фиксированного d > 0 элементы всех матриц N1^^^), 0 < и ^ d, асимптотически совместно нормальны с ну-

левым средним и ковариациями, равными нулю для несовпадающих и Gprgsg в противном случае, если первый элемент находится на пересечении р-й строки и q-го столбца, а второй — на пересечении г-й строки и s-го столбца. Здесь g^ — типичый элемент матрицы G^\ входящей в факторизацию

j^^^h^G^'h^'1,(7.5)

где h^ (z) — матрица многочленов от z степени q с определителем, все корни которого лежат внутри единичного круга, и такая, что {z~qh^ (z)}z=oo = Ip. Таким образом, величина

d

N 5 Tr (G"1^™ (u) GurlD'n (и)'}1

имеет асимптотическое распределение ^ с dp2 степенями свободы и может быть использована для проверки согласия модели авторегрессии q-го порядка.

Доказательство. Имеем q q

Vn^^b щ cy-k-ц в^ ^у (1 - Я^р^) = О о

qN

= -^ 2 Ви^х^п-Н^хЧп-^В^ЦкУ + О^-^у

V 5, к=01

где, как при доказательстве теоремы 1, мы добавили к первому слагаемому конечное число членов, чтобы привести его к простому виду. Первое слагаемое равно

N

—^ 2 8(n + M)e-<1,(n),(7.6)

где е(1) (п) — последовательность, соответствующая В(1) (к), т. е.

q

2 Вт (fc) X (п - к) = 8(1) (/г), Е (8(1) (п) 8(1) Н') = 6%G(1). о

Так как х^п — &) не зависит от 8 (п + м), к ^ 0, и > 0, то, очевидно, 8(1) (лг) не зависит от 8 (п + uY м > 0. Конечно, 8(1) (лг) можно также представить в виде линейной комбинации 8 (п — /), 7^0, с экспоненциально убывающими матричными коэффициентами. Таким образом, выражение (7.6) имеет точно такую же структуру, что и ei5 (и) из теоремы 1, и асимптотическая нормальность доказывается так же, как в этой теореме. Далее, типичная ковариация между элементами (7.6) имеет вид

NN

^гЕ { 2 £Р(пг + и) ^ (пг) 2 гг (п + v) 8sn W), и, к>0. т=1п=1

Так как 8sn (лг) для т ^ п не зависит от 8р (т + иУ 8Г (п + и) и ортогональна к 8^ (т) при т > п. то мы видим, что ненулевой вклад в математическое ожидание дают только члены с т = п и и = = и, откуда получаем

Л^1 2 <W»==oprg<“,

что и требуется.

Рассмотрим теперь, к чему приводит подстановка оценок для В (j) и В<Т) (к), причем последние получаются путем факторизации / (%), соответствующей факторизации / (%), указанной в теореме. Имеем

q q

= VN 2 2 {В (7) - В 00 СЧи + q-k-n В^ (q - к)' X О о

q q

х (1 _tii^il) + yjv 2 2 B 0) СЧи + q-k-nxО о

х\.вт^-ку-вт^-кХ^ (i-l^+ti-iL), м>о. (7.7)

Заметим, что {B(j) — В (у)}, а значит, и (5(1) (к)' — Вш ^к\^ сходится с вероятностью 1 к нулю. С другой стороны, полагая v^u-Vq, v>qn ограничиваясь для простоты случаем, когда центрирование не производится, имеем

ум^всп^—^-^^^сци-к-п^

3=0

■Т^"2В(7)2 ж^ + и — к — Лх^пу.

^3=0п

Теперь, так же как при доказательстве теоремы 1, мы добавим к внутренней сумме конечное число членов и получим

1Vn1VnN2 е(^ + ^ — к^х^пУ, п=1N2 е(^ + ^ — к^х^пУ, п=1и —ки —к0.0.

1

Vn

1

Vn

N

2 е(^ + ^ — к^х^пУ, п=1

N

2 е(^ + ^ — к^х^пУ, п=1

и —к

и —к

0.

0.

Соображения, использованные при доказательстве теоремы 1, позволяют заключить, что эта величина асимптотически нормальна с нулевым средним. Следовательно, второй член в правой части (7.7) сходится по вероятности к нулю, и то же самое можно доказать аналогичным образом для первого члена. Таким образом, (7.7) сходится

по вероятности к нулю и распределение элементов матриц VND^ (и), и>0, имеет асимптотические свойства, указанные в формулировке теоремы.

Теперь, записывая D^ (и) в виде столбца dt^ (и) так, что (м, 1?У элемент попадает в строку с номером (м — 1) р + и, мы видим, что матрица ковариаций для VN d(1> (и) равна G ® Ga\ Следовательно, величины

Ndtu (и)' (G ® G'1')-1 dm (м) = W Tr (G^D^ (u) G^D11' (u)') асимптотически распределены как хи-квадрат с р2 степенями свободы и асимптотически независимы при и = 1, 2, . . ., d, где d фиксировано a priori. Поэтому величина

d

N 2 Tr (G-W (u) Gm-1Dm (и)')

1

распределена как хи-квадрат с dp2 степенями свободы, что и требовалось доказать.

О, Р> — q, Gw, v=—q,О, Р> — q, Gw, v=—q,Остается проблема вычисления 5(1) (Л) и фактического построения критерия. В связи с первым вопросом заметим, что если / — оценка для /, полученная с помощью В (/), то

О, Р> — q, Gw, v=—q,

О, Р> — q, Gw, v=—q,

j { 2 Вт (/с) е^ } 7 (X) dX =

так как подинтегральное выражение равно

G,l> (2 Вт (к)' е-^)-1 е™ = Gm (2 S<n (ку е^-м)-1 ei<»+9»., и матричная функция (2 В'1’ (к) зч-к^ 1 голоморфна в единичном круге1). Таким образом, мы получаем

^ Вт (к^ С (к-\-Vs) =^ Вт (к^ С (к-\-Vs) =о,f>,о,f>,. ..,0, 5(1)(д) = 7р, v= — q.. ..,0, 5(1)(д) = 7р, v= — q.(7.8)(7.8)

^ Вт (к^ С (к-\-Vs) =

^ Вт (к^ С (к-\-Vs) =

о,

f>,

о,

f>,

. ..,0, 5(1)(д) = 7р, v= — q.

. ..,0, 5(1)(д) = 7р, v= — q.

(7.8)

(7.8)

Bw (q) = IP,Bw (q) = IP,Эти уравнения можно переписать также в виде

Bw (q) = IP,

Bw (q) = IP,

„(0, u = 1, о,

Bw (q-k)C (к-и) = '

' I G(1>, u = 0

так. что B^ (q — к) соответствуют матрицам С' (/) таким же образом, как В^1' (к) соответствуют матрицам С (]У Далее мы поступаем так:

х) Строго говоря, это верно лишь тогда, когда С (п) определяются с использованием множителя N-1, а не (Лг — | « |)-1.

По формулам (2.6), (2.8) и (7.8) вычисляем В (у), В^ (k), G и Ga\ Если проверяется согласие авторегрессии g-го порядка, то вполне вероятно, что перед этим была проверена значимость матрицы В (q + 1) для модели (q + 1)-го порядка. Тогда, как видно из упражнения 8, величины 5(1)(у) и G(1) уже будут вычислены в процессе обращения Cq^.

Вычисляем величины q q Ь^ = У^-иНч1^в^су-к-^в^ (ку. О о

(Мы заменили множитель (1 — | и + к — У |/W) на единицу и соответственно видоизменили множитель V N. Опыт для случая р = 1 указывает на предпочтительность такой замены, хотя вопрос остается спорным х).)

Вычисляем величину

d 3TrG-1Z>(u)G(1,-1n (иу, 1

которую следует рассматривать как хи-квадрат с p2d степенями свободы.

В случае р = 1 формулы несколько проще; они были приведены в § 2 непосредственно перед соотношением (2.12).

Как указывалось в примечании 2 на стр. 367, обобщенный критерий Кенуя может оказаться менее мощным, чем критерий максимального правдоподобия, однако его преимущества — в сокращении объема вычислений и в простоте применения для любого d, после того как В (у), В^Ц^ G, G(1) уже найдены. Чтобы понять причину понижения мощности критерия, рассмотрим выражение пункта 3, которое представляет собой сумму квадратов элементов матрицы q-x^D (j^G^\ Эта сумма квадратов подобна сумме квадратов

регрессии, деленной на остаточную сумму квадратов. Для критерия максимального правдоподобия в соответствующем месте будет использоваться остаточная сумма квадратов авторегрессии порядка q -\- и, и если нулевая гипотеза не верна, она будет значительно меньше, чем в рассматриваемом критерии. Дело в том, что остаточная сумма квадратов, используемая в настоящем критерии, основывается на матрице G, возникающей из авторегрессии порядка всего лишь q, и может быть слишком велика, если нулевая гипотеза не верна.

Сделаем два дальнейших замечания:

Можно показать, что этот критерий асимптотически эквивалентен критерию типа частного сводного коэффициента кор-

Э См. примечание на стр. 437.

реляции, который рассматривался в § 2 после соотношения (2.14). Его преимущество — в некотором упрощении вычислений.

Можно, конечно, найти (нормированные) собственные векторы фу, *^к матриц G и G(1). Если Ху, ц^ — соответствующие собственные значения, то величины

асимптотически независимы и имеют нормальное распределение с нулевым средним и единичной дисперсией.

Был предложен ряд других процедур проверки согласия. Обсуждение некоторых из них читатель может найти в работах Бартлета [1954], Бартлета и Диананды [1950], Гренандера и Розенблатта [1957], Хеннана [1960] (особенно § IV.3).

8. ПРОЦЕССЫ С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ И ДИСКРЕТНЫЕ АППРОКСИМАЦИИ

В § 3 гл. I мы обсуждали стохастические дифференциальные уравнения, а в § 4 гл. II — их связь с рациональными спектрами. Здесь мы хотим рассмотреть такие спектры в связи с проблемами настоящей главы, используя дискретизацию соответствующего непрерывного явления. Ограничимся скалярным случаем. Итак, мы рассматриваем спектральную плотность вида

12а^(^з'Г

/(l^) = ^" тКшГ 'ftP ’~ оо<^<оо, а(0) = р(0) = 1,(8.1)

2л | 2 W (V)'11

к

где степень многочлена в знаменателе по крайней мере на единицу больше степени числителя. (В противном случае / (ц) будет неинте- грируемой.) Мы можем разложить / (ц) в сумму простейших дробей

г ^кТ Ч

°2 / V V ак, 3 I У V Qk' 3 I

где zk — корень кратности qk многочлена q (ф) = ^Р W (^А ™ею* щий отрицательную вещественную часть. (См. Ван дер Варден [1949], стр. 123.) Так как

у (£) = j eu^j (ц) d\u

то мы получаем выражение

? (о=°2 2 2 ah./2h (/—1)! -

т(—0=т(0-

Теперь, если мы производим отсчеты в точках t = 0, ±1, ±2, ..., то получаем

т qk

^(п) = о2 2 V gfe> .enzfe ^^у = ?( — »),ге>0.

j = l

Таким образом,

PW = -^2vW^ =

т 9k

_ — V V _JZJ_ / Г 91 1 И _р«\-11_i_

2л Z Z (/ — I)! IL^H 17 Ju=Z;-iX 1

k=Y j=l

L du^-^-'

что, очевидно, является рациональной спектральной плотностью с коэффициентами, определяемыми ak, j и zk. В частности, при Qk = 1

/<1> /IX °2 V akQ — e k)

Члены, для которых zk невещественны, группируются в сопряженные пары.

Таким образом, одним из способов оценивания параметров / (ц) может быть оценивание параметров /(1) (Л,) по методам § 4 и последующее вычисление ak)jl zk, а затем и а (/), 0 (к) для / (ц). Некоторые трудности возникают в связи с тем, что число параметров авторегрессии и скользящего среднего для /(1) (X) может превышать число аналогичных параметров для / (ц), так что могут потребоваться какие-либо ограничения на них.

Пример 1.

^^ = 2л" | 1-₽"1(1Ц) |2 ’ Р

Тогда сц = — V2P, Zj = P,

/(i> m- g2

72л 1 + ^2(3_2^cosX ’

что является спектром авторегрессии с коэффициентом автокорреляции ехр0. В этом случае процедура совершенно очевидна.

Пример 2.

^^^^Hwrw^2^^1<0, р2<0-

Тогда ^^ — 2р^ (Р^ —Р^)5 л2=-2р22(р22-р?), z^pb z2 = p2. Положим ^^ехрР^ ^2 = ехрР2. Тогда

/(1) Л \°2 / а1 И ^1) I а2 (1 ^j)1

и числитель /О (X), записанной в виде несократимой рациональной дроби, вообще говоря, не будет постоянным. Таким образом, коэффициенты процесса авторегрессии — скользящего среднего с дискретным временем являются функциями от меньшего числа параметров, и проблема эффективного оценивания становится чрезвычайно сложной. Одной из возможных процедур может быть оценивание /(1) (X) как рациональной спектральной плотности по методам настоящего параграфа для малого выборочного интервала, соответствующего временам запаздывания, для которых автокорреляции исходного процесса существенны. (Таким образом, все корни ехр 2^ по модулю будут близки к единице.) Такую оценку для f^ (X) мы можем рассматривать как оценку для / (ц) и получить по ней оценки для о2, а (/), Р (/с). При оценивании / (ц) с помощью f1^^ возникает проблема идентификации. Этот вопрос требует дальнейшего исследования. С другой стороны, мы можем пренебречь ограничениями, налагаемыми из-за того, что на самом деле не известны только три параметра (Р^ р2 и о2), и использовать авторегрессионные коэффициенты оценки /(1)(Х) для оценивания Pi и р2.

Обсуждение соответствующего векторного случая (без рассмотрения только что затронутой проблемы) см. в работе Филлипса [1959].

УПРАЖНЕНИЯ

Доказать, что если Gq — оценка дисперсии е (и) для авторегрессии порядка q (р — 1), то

__det (Cg+1)q det(C9) *

Доказать, что среднее и дисперсия отношения фон Неймана при нулевой гипотезе, состоящей в том, что х (п) — независимые одинаково распределенные величины с параметрами (р, о2), равны соответственно 2 и 4(7V — 2)/(7V2 — 1).

Пусть х (п) порождается авторегрессией порядка q, N > q, и о2 = 1; показать, что элемент матрицы Гх на пересечении к-й строки и /-й диагонали выше главной имеет вид

X Р О) Р (“ + /),0</<5,

и о,q<h

где суммирование по и от 0 до min ^к — 1, q — 7, N — / — к}.

Доказать, что J (а) = {| Pq+^ | / | Pq |} | D | в обозначениях формулы, следующей за (3.19). (Запишите J (а) в виде

J (а) =

и используйте соотношение а = —D'r.)

Вычислить якобиан преобразования от аь . . ., aq к 7(/|1,

7 = 1, . . ., g, который использовался при доказательстве теоремы 6. (Для этого обозначим оценки а7- через a,jt qi где q — порядок пригоняемой авторегрессии, и, используя соотношение rq =, —Pqaq, покажем, что

aJ, q —aJ, q-fV^q-j, q-laq, q*

Это соотношение задает преобразование от aj,qi / = 1, ..., g, к aj^-^ 7 = 1, ...^q —1, n aqg = r(^|l, ..., q—1). Легко получить, что якобиан этого преобразования равен

при нечетном q,при нечетном q,{1 —r2(g| 1, ..., д—1)}Х/2(5-1)