ОТ РЕДАКТОРА ПЕРЕВОДА

Автор книги профессор Станфордского университета Т. Андерсон знаком советскому читателю по изданной в русском переводе книге «Введение в многомерный статистический анализ». В новой его книге освещен широкий круг проблем, связанных со статистическим анализом последовательностей случайных величин. С задачами такого рода приходится обычно сталкиваться при анализе эмпирических данных.

В книге описаны многочисленные математические модели, в рамках которых отыскиваются рациональные методы получения оценок и проверки гипотез об адекватности выбранной математической модели обрабатываемым данным. Значительное внимание уделено моделям регрессии и авторегрессии с конечным числом неизвестных параметров. Подробно рассмотрены методы оценки спектральных плотностей стационарных случайных процессов, а также выявление трендов в последовательных данных, «зашумленных» стационарными процессами.

Отличительной чертой книги Т. Андерсона является детальная проработка рассматриваемых проблем. Требования, предъявляемые к уровню математической подготовки читателя, вполне умеренные. Предполагается, что читатель знаком с основными понятиями теории вероятностей, математической статистики и теории матриц. Необходимые сведения по теории случайных процессов приведены в гл. 7.

Каждая глава книги завершается большим числом задач, что в равной степени полезно и читателям, индивидуально работающим с книгой, и преподавателям, которые могут использовать различные части книги в курсах лекций по теории случайнььх процессов и статистике. В приложении к книге приведены примеры анализа эмпирических временных рядов (ежегодных индексов цен на пшеницу, чисел солнечной активности) и рядов, полученных моделированием процессов авторегрессии.

Книга будет полезна не только математикам, работающим в области теории вероятностей и математической статистики, но также и широкому кругу специалистов, которые сталкиваются с необходимостью обработки измерений, рассматриваемых как случайные временные ряды.

Узнав о переводе книги на русский язык, Т. Андерсон любезно прислал нам список опечаток. Перевод гл. 7 и 8 сделан И. Г. Журбенко. Весь остальной материал переведен В. П. Носко.

Ю. К. Беляев

ИЗ ПРЕДИСЛОВИЯ АВТОРА

Авторы книг по статистическому анализу временных рядов по-разному могут подходить к их написанию. Я посвятил книгу математической теории статистических выводов относительно вероятностных моделей, лежащих (по предположению) в основе тех или иных временных рядов. Исходная вероятностная модель может включать детерминированный тренд и случайную составляющую, образующую стационарный случайный процесс. При этом естественно возникает целый ряд статистических задач, относящихся к характеристикам тренда и процесса. В книге всюду, где это возможно, отыскиваются оптимальные процедуры. Изучаются статистические свойства различных методов, причем во многих случаях свойства метода можно описать только для больших выборок, т. е. на основании совокупности наблюдений значений ряда в течение длительного периода времени. Как правило, дается математически строгий вывод соответствующих свойств.

В то время как теория развивается при строгих математических предположениях, приведенные в книге методы могут быть использованы и в тех случаях, когда указанные предположения выполнены не полностью. Часто бывает так, что свойства процедур меняются при этом несущественно. Как бы то ни было, точные результаты теорем служат руководством по использованию соответствующих процедур. В книге приведены примеры приложений развиваемых методов, обсуждаются вычислительные аспекты, вопросы использования и интерпретации этих методов. В то же время вопросы представления процедур в виде программ для вычислительных машин не затрагиваются.

Основой настоящей монографии явился курс лекций, который я читал в течение многих лет в Колумбийском университете обычно в течение одного, а иногда и двух семестров. Однако весь материал, в том виде как он представлен в книге, нельзя изложить в двухсеместровом курсе — лектор, использующий эту книгу как учебник, должен выбрать из нее разделы, представляющиеся ему наиболее интересными и важными. В книге приведено значительное число упражнений. Одни из них являются приложениями описанных методов, другие представляют собой разработку частных случаев ^общей теории. Часть упражнений связана с уточнением деталей сложных доказательств, остальные посвящены развитию теории.

Я надеюсь, что книга послужит не только учебником для начинающих, но будет полезна статистикам и специалистам, желающим познакомиться с анализом временных рядов, не обращаясь к фор-

мальным курсам. Чтение этой книги и выполнение упражнений поможет существенно пополнить запас статистических методов, полезных для анализа временных рядов. Книгу можно использовать также и как справочник. В ней достаточно систематизированно представлен обширный материал, ранее разбросанный по различным источникам. Приводятся также некоторые новые теоремы и методы. В ряде случаев за счет ослабления предположений известных ранее утверждений получены более сильные результаты.

Поскольку область анализа временных рядов весьма обширна, передо мной встала задача выбора разделов, которые следует включить в книгу. Материал, помещенный в этой книге, вместе с указанием соответствующих ограничений, при которых развивается теория, описан мною во введении (гл. 1). Определенную информацию дает также предметный указатель. Хочется надеяться, что основные и наиболее важные разделы анализа временных рядов оказались представленными, хотя полнота охвата тематики является делом вкуса. Постоянно создаются новые методы,- меняются точки зрения, так что приведенные здесь результаты вряд ли можно считать окончательными. Фактически часть включенного материала уже в настоящее время представляет скорее исторический интерес.

Ввиду большого объема книги будет, по-видимому, полезно дать несколько советов читателям и преподавателям относительно выбора материала для самостоятельного изучения и для целей обучения. Глава 2 содержит краткое замкнутое изложение метода наименьших квадратов. Главы 3 и 4 имеют дело с моделями, в которых случайные составляющие независимы (о них иногда говорят как об «ошибках измерений»). Некоторые идеи и элементы анализа, приведенные в этих главах, используются в дальнейшем. Однако читатель, интересующийся именно последующими главами, может довольно многое пропустить (включая большую часть § 3.4, 4.3 и 4.4). Процессы авторегрессии, которые оказываются полезными в приложениях и служат примерами стационарных случайных процессов, исследуются в гл. 5. Посвященные теории больших выборок § 5.5 и 5.6 содержат результаты, доказательства которых включают значительное количество деталей и могут быть опущены. Статистические выводы для этих моделей служат основой анализа стационарных процессов «во временной области».

Глава 6 представляет собой обширное исследование сериальной корреляции и критериев для проверки независимости. Параграфы 6.3 и 6.4 имеют по преимуществу теоретической интерес. В § 6.5 изучается алгебра квадратичных форм и их отношений. Распределения, моменты и аппроксимирующие распределения получены в § 6.7 и 6.8. Там же даны таблицы процентных точек для соответствующих критериев. Первые пять параграфов гл. 7 служат введением в теорию стационарных случайных процессов и спектральные свойства этих процессов. В гл. 8 развивается теория статистик, относящихся

к стационарным случайным процессам. Глава 9 посвящена оцениванию спектральной плотности, являющемуся основой анализа стационарных процессов «в частотной области». В § 10.2 регрессионный анализ (гл. 2) распространяется на стационарные случайные составляющие. Результаты гл. 8 и 9 обобщаются на этот случай в § 10.3. В § 10.4 результаты гл. 6 обобщаются на случай, когда рассматриваются остатки от подобранного тренда. Можно выделить следующие части книги, которые образуют единое целое и которые можно читать независимо от других частей: (I) — гл. 2; (II) — гл. Зи 4; (III) — гл. 5; (IV) — гл. 6; (V) — гл. 7; (VI) — гл. 8 и 9.

В практических приложениях статистический анализ временных рядов, кроме того, включает и менее формальную технику (которую теперь иногда называют «анализом данных»). Так, пониманию явления способствует простое графическое представление наблюдаемого временного ряда. Могут оказаться полезными те или иные преобразования измерений и связь последних с другими данными. Точно сформулированные процедуры, которые изучаются в этой книге, как правило, используются не в буквальном виде, а изменяются в зависимости от конкретных задач. Тем не менее для исследования статистических методов в рамках математической теории некоторые аспекты анализа необходимо формализовать. Например, задача об определении того, будет ли некоторый эффект достаточно большим, чтобы его можно было считать заметным, иногда формализуется как задача проверки гипотезы о том, что соответствующий параметр просто равен нулю.

По степени сложности эта книга примерно такая же, как и моя более ранняя книга «Введение в многомерный статистический анализ»; требуется лишь некоторое знание алгебры матриц. (Необходимый материал представлен в приложении В к упомянутой книге; дополнительные результаты приводятся в тексте и в упражнениях настоящей книги.) Полезно общее знакомство со статистическими методами. В частности, предполагается, что читатель знаком со стандартным материалом статистического анализа одной случайной переменной, включающим/-критерии и Г-статистики, с многомерным нормальным распределением, с элементами оценивания и проверки гипотез. Более тонкие вопросы оценивания, проверки гипотез и теории решений, на которые имеются ссылки, излагаются в упражнениях. [Детальное и строгое изложение вопросов проверки гипотез читатель может найти у Лемана (1959).] Предполагается также знание основ курса высшей математики. Хотя в книге рассматриваются только действительные временные ряды, тем не менее иногда удобно записывать некоторые выражения с привлечением комплексных переменных. Однако фактически теория функций комплексного переменного в книге не применяется, поскольку (за исключением одной задачи) дело ограничивается формулой еш = cos 9 + i sin 9. Теория вероятностей использована в объеме, включающем харак-

теристические функции и некоторые основные предельные теоремы. Теория случайных процессов развивается в книге только в необходимых пределах.

Как было отмечено выше, в конце каждой главы приводится большое число задач. Исключением служит лишь первая глава, являющаяся введением. Решения задач были подготовлены Полем Шаманом. Решения, на которые имеются ссылки в тексте или которые демонстрируют некоторые наиболее важные моменты, помещены в приложении В к этой книге.

Я весьма обязан и признателен П. Шаману за его большое содействие в подготовке этой книги. Он принимал участие в отборе материала и его редактировании, в подборе ссылок и задач, в усовершенствовании доказательств и изложения, в исправлении ошибок различного характера. Он прочел рукопись в нескольких вариантах. Мне всегда представлялось излишним говорить (как это обычно принято), что компетентный рецензент рукописи не несет ответственности за ошибки в публикации, так как очевидно, что всякий человек, любезно согласившийся просмотреть рукопись, не может брать на себя такой ответственности. Здесь же такой отказ от ответственности вполне уместен, поскольку П. Шаман исправил так много ошибок, что трудно поверить, чтобы какие-нибудь еще остались. Тем не менее я допускаю, что в подобном материале очень легко ошибиться, и читатель должен порицать за любую найденную ошибку автора (и информировать его об этом).

Я благодарен Д. Хинкли, Т. Сава и Дж. Стаяну, прочитавшим значительную часть рукописи и доказательств и принимавшим участие в подготовке библиографии и указателя. Я выражаю также признательность многим моим коллегам и ученикам за помощь различного рода. Дж. М. Крэддоку, С. У. Дж. Гренджеру, М. Дж. Кендаллу, А. Стьюарту и Герману Вольду я весьма благодарен за то, что они разрешили мне использовать некоторые материалы.

В процессе работы над книгой весьма важным фактором была для меня длительная финансовая поддержка Военно-морского ведомства, оказывавшаяся в течение примерно десяти лет.

Отделения логики и математической статистики постоянно обеспечивали мне чрезвычайно благоприятные условия для работы.

Т. Андерсон Стамфордский университет, Февраль 1970

Глава 1

ВВЕДЕНИЕ

Временным рядом называют последовательность наблюдений, обычно упорядоченную во времени, хотя возможно упорядочение и по какому-то другому параметру. Основной чертой, выделяющей анализ временных рядов среди других видов статистического анализа, является существенность порядка, в котором призводят- ся наблюдения. Если во многих задачах наблюдения статистически независимы, то во временных рядах они, как правило, зависимы и характер этой зависимости может определяться положением наблюдений в последовательности. Природа ряда и структура порождающего ряд процесса могут предопределять порядок образования последовательности.

Почти в каждой области встречаются явления, которые интересно и важно изучать в их развитии и изменении во времени. В повседневной жизни могут представлять интерес, например, метеорологические условия, цены на тот или иной товар, те или иные характеристики состояния здоровья индивидуума и т. п. Все они изменяются во времени. Существуют также различные характеристики, относящиеся к целой нации и зависящие уже от совокупности характеристик отдельных индивидуумов, например экономические условия и народонаселение, которые эволюционируют и флуктуируют вс времени. С течением времени изменяются деловая активность, режим протекания того или иного производственного процесса, глубина сна человека, восприятие телевизионной программы. Совокупность измерений какой-либо одной характеристики подобного родг в течение некоторого периода времени и представляет собой временной ряд. Это может быть, например, почасовая запись температуры в том или ином месте или ежегодное количество осадков, фиксируемое метеорологической станцией. Это могут быть также поквартальные данные о валовом национальном продукте.

К нескольким временным рядам приводит запись электрокардиограммы.

Цели изучения временных рядов могут быть различными. Можно, например, стремиться предсказать будущее на основании знания прошлого, управлять процессом, порождающим ряд, выяснить механизм, порождающий ряд, или просто сжато описать характерные особенности ряда. Как статистики мы будем интересоваться задачами статистических выводов. Именно, на основании ограниченного количества информации, временного ряда конечной длины, мы хотим делать выводы о вероятностном механизме, порождающем этот ряд, анализировать структуру, лежащую в его основе.

В принципе измерение многих величин, таких, как температура и напряжение, может производиться непрерывно. При этом наблюдения можно фиксировать в виде графика. Однако на практике измерения часто производятся все же в дискретные моменты времени. В других случаях, как, например, при подсчете урожайности зерновых культур, измерения вообще могут производиться только в определенные интервалы времени. Как бы то ни было, даже в том случае, когда изучаемые величины регистрируются непрерывно, при обработке их на цифровых вычислительных машинах реально используются только те значения, которые соответствуют дискретному множеству моментов времени. В настоящей книге мы ограничимся только временными рядами, представляющими собой дискретную последовательность наблюдений, производимых через регулярные промежутки времени, такими, как, например, почасовая запись атмосферного давления. Хотя часто имеет значение влияние одной характеристики на другую и взаимодействие во времени сразу нескольких величин, тем не менее во многих исследованиях существенных результатов можно достигнуть и при изучении только одного, отдельно взятого временного ряда. Настоящая книга почти целиком (за исключением того, что касается систем авторегрессии) посвящена статистическим методам анализа одномерных временных рядов. Иными словами, предполагается, что (один и тот же) объект или индивидуум подвергается повторным измерениям только одного типа. Мы будем предполагать, кроме того, что результатом измерения является действительное число, например температура, и что множество исходов не обязательно конечное (или счетное). О результате таких измерений часто говорят как о непрерывной переменной. Мы будем проводить математическое исследование результатов измерений подобного рода, обращаясь с ними так, как если бы сами измерения были непрерывными во времени. Например, ежегодный национальный доход можно измерить, в лучшем случае, с точностью до пенни. Однако его размеры могут быть столь велики, что не произойдет сколько-нибудь серьезной ошибки, если мы будем рассматривать эту величину как непрерывную переменную. Более того, мы будем рассматривать такие временные ряды, которые ве-

дут себя достаточно устойчивым образом, т. е. имеют тенденцию оставаться в определенных границах или по крайней мере меняются медленно, без резких, взрывных изменений. Так, мы рассматривали бы многие метеорологические переменные, но при этом исключили бы ударные волны.

Пусть наблюдаемым временным рядом является z/i, уг, ., Ут. Мы будем понимать эту запись следующим образом. Имеется Г чисел, представляющих собой наблюдение некоторой переменной в Т равностоящих моментов времени. Эти моменты для удобства перенумерованы целыми числами 1, 2, ..., Т. Достаточно общей математической (статистической, или вероятностной) моделью служит модель вида

yz № + uh

В этой модели наблюдаемый ряд рассматривается как сумма некоторой полностью детерминированной последовательности {/(/)}, которую можно назвать систематической составляющей, и случайной последовательности \utV подчиняющейся некоторому вероятностному закону. (Иногда для этих двух составляющих используются соответственно термины сигнал и шум). Эти компоненты наблюдаемого ряда ненаблюдаемы; они являются теоретическими величинами. Например, если производится измерение количества ежедневно выпадаемых осадков, то f (/) может представлять собой климатическую норму, получающуюся долговременным усреднением за большой период, a ut те капризы и нерегулярности в погоде, которые характеризуют отклонения от климатической нормы. Точный смысл указанного разложения зависит не только от самих данных, но частично и от того, что понимается под повторением эксперимента, результатом которого являются эти данные. Мы используем здесь так называемую «частотную» интерпретацию. Мы полагаем, что по крайней мере принципиально можно повторять всю ситуацию целиком, получая новые совокупности наблюдений. При таком повторении эксперимента функция f (Z) должна была бы оставаться одной и той же, а случайные составляющие оказывались бы различными как различные реализации случайного процесса. Случайные составляющие, кроме всего прочего, могут включать в себя и ошибки наблюдений. (При этом !) но = ^.)

Мы все имеем определенные интуитивные представления о том, что следовало бы понимать под временным параметром в подобных моделях или процессах. Одно из таких представлений состоит в том, что время течет в одном направлении. Другое — что события, близкие по времени, должны быть сравнительно сильно связаны, а события, разделенные большими промежутками времени, не должны

*) Символом gX в этой книге всюду обозначается математическое ожидание случайной величины X.— Прим, перев.

иметь сильной связи. Можно рассматривать различные варианты математической модели (1), в которых влияние времени может сказываться либо только на функции или последовательности f (/), либо только на вероятностном процессе, определяющем случайную составляющую ир либо, наконец, на обеих этих компонентах. Первая часть книги посвящена анализу временных рядов, соответствующих так называемым моделям ошибок, в которых наблюдения рассматриваются как результат независимых случайных отклонений от некоторой функции, представляющей тренд. Во второй части книги мы будем иметь дело уже с последовательностями зависимых случайных величин, обычно со стационарными случайными процессами, выделяя при этом процессы авторегрессии. В конце книги будут рассмотрены модели, в которых на тренд накладывается случайная составляющая, образующая стационарный случайный процесс. Необходимые сведения о стационарных случайных процессах приводятся в гл. 7.

Во многих случаях модель можно определить с точностью до конечного числа параметров. Задачи статистических выводов будут связаны тогда именно с этими параметрами. В других ситуациях модель оказывается более неопределенной и приходится использовать непараметрические методы. Разумеется, модель должна достаточно хорошо представлять механизм образования соответствующего ряда. Однако, будучи математической абстракцией, она является лишь только приближением к реальному явлению. Сколь же точно можно определить модель, зависит от уровня знаний об исследуемом процессе и соответственно от той информации, которую мы можем получить с использованием статистического анализа, зависящего от характера этих знаний. В данной книге будет описано много методов и их свойств. Делается это для того, чтобы иметь возможность выбрать приемлемый метод, приводящий к полезным результатам. При этом внимание уделяется как самому статистическому выводу, так и его математическому обоснованию.

Первоначально анализ временных рядов базировался на моделях, в которых влияние временного параметра проявлялось только в систематической составляющей. Эту ситуацию можно было бы назвать классической, поскольку в известной степени она восходит к тем временам, когда Гаусс и другие развивали теорию и метод наименьших квадратов с целью применения их в астрономии и физике. В таких моделях мы предполагаем, что течение времени никак не отражается на случайной составляющей. Точнее говоря, мы предполагаем, что математическое ожидание (т. е. среднее значение) случайной составляющей тождественно равно нулю, дисперсия равна некоторой постоянной и что значения ut в различные моменты времени некоррелированы. Такое определение приводит к тому, что всякую зависимость от времени приходится включать в систематическую составляющую f (0- Последовательность f (t) может

Рис. L1.

Ряд с тригонометрическим трендом.

зависеть от некоторых неизвестных коэффициентов и от известных величин, меняющихся со временем. В этом случае ее называют «функцией регрессии». Методы статистических выводов для коэффициентов функции регрессии оказываются полезными во многих областях статистики. Своеобразие же методов, относящихся именно к временным рядам, состоит в том, что здесь исследуются те модели, в которых упомянутые выше величины, меняющиеся со временем, являются известными функциями t.

В рамках сделанных ограничений можно выделить два типа временных последовательностей / (/), часто называемых трендом. Один тип представляют медленно меняющиеся функции времени, примером которых могут служить полиномы достаточно низкой степени. К другому типу принадлежат циклические последовательности, например, конечные отрезки ряда Фурье, представляющие собой конечные суммы пар синусоидальных и косинусоидальных составляющих. Такой парой может являться a cos V + Р sin М (О <_ X < л). Ее можно записать и с использованием одной только функции косинус, именно р cos (М — 0). Период этой функции времени равен 2лА, т. е. она повторяет свои значения всякий раз по прошествии времени 2л/Х. Соответствующая частота, т. е. величина, обратная периоду, равна М(2л). Коэффициент р = V а2 + р2 является амплитудой, а 6 — фазой указанной функции. Считается, что наблюдаемый ряд представляет собой сумму подобного отрезка ряда Фурье / (/) и случайной составляющей. На рис. 1.1 представлены значения функции yt = 5 + 2 cos 2л//6 + sin 2л//6 + иЙ где составляющая ut нормально распределена с нулевым средним и единичной дисперсией. [Функция / (0 представлена здесь в виде функ-

ции от непрерывного аргумента Л] Последовательные значения yt разбросаны случайным образом по обе стороны от кривой у = f (I). Если даже эта кривая известна и если известен закон распределения ошибки, то информация о значениях уъ ..., не оказывает в данной модели никакой помощи в предсказании значения yt. Поведение графика функции / (s) для s > / — 1 не зависит от значений уъ ..., yt_x.

Подобная модель может оказаться приемлемой в ряде физических и экономических задач. В астрономии, например, / (/) может описывать пространственное положение (по одной из координат) планеты в моменты времени t. Так как телескоп — прибор не идеальный, а состояние атмосферы постоянно изменяется, определение соответствующей координаты планеты производится с некоторой, хотя и достаточно малой, ошибкой. Эта ошибка наблюдения никак не влияет ни на последующие положения планеты, ни на реальные наблюдения этих положений. В случае свободно колеблющегося маятника его смещение (измеренное от нижнего положения) является тригонометрической функцией pcos(V— 0).i

Одной из общих моделей, в которой влияние временного параметра проявляется в случайной составляющей, является стационарный случайный процесс. Проиллюстрируем это примером процесса авторегрессии. Предположим, что ух имеет некоторое распределение с нулевым средним. Пусть ух и у^ имеют совместное распределение, совпадающее с совместным распределением случайных величин j/i и руг + и2, где и2 не зависит от уг и имеет нулевое математическое ожидание. Совместное распределение уъ у^, .... у<_Х) У1Т№ t = = 3, 4, ... будем полагать в свою очередь таким же, как совместное распределение уъ у2, ..., yt_x> pyt-i + иъ причем предполагается, что случайная величина ut не зависит от уъ ..., yt_x и имеет нулевое математическое ожидание. Если маргинальные распределения и2, ц3, ... совпадают, а распределение ух выбрано надлежащим образом, то последовательность {^} образует стационарный случайный процесс, именно процесс авторегрессии, и

У, = РУм + и,

является стохастическим разностным уравнением первого порядка. Такое построение для р = 1/2 иллюстрирует рис. 1.2. В этой модели «возмущение» ut оказывает влияние и на уъ и на все последующие уг Из указанного построения вытекает, что условное математическое ожидание yt при заданных значениях уг, ..., ум удовлетворяет равенству

8(0,1010<-О = Р0<-ь

(В действительности для процесса первого порядка значения yt и yt-iУг условно независимы при заданном значении ум.) Если

Рис. 1.2.

Построение ряда в модели авторегрессии.

мы хотим предсказать значение yt по значениям уъ ..., ум и параметру р, то наилучшим прогнозом (в смысле минимума среднеквадратичной ошибки) будет pr/z-b Таким образом, в этой модели знание предшествующих наблюдений оказывает помощь в предсказывании yt.‘

Процесс авторегрессии второго порядка получается, если взять совместное распределение уъ ..., у<_1, yt таким же, как совместное распределение уъ у^ ..., yt_\, p^-i + p2z/t-2 + ub r^ut не зависит ' от уъ у^ ..., yt_\, / = 3, 4, ..., а распределения уг и у^ выбираются надлежащим образом. Графики подобных рядов представлены в приложении А.2. Графики других рядов, порожденных случайным моделированием, имеются у Кендалла и Стьюарта (1966, гл. 45) и у Вольда (1965, гл. 1). Переменная yt может представлять собой смещение колеблющегося маятника, который подвержен некоторым случайным ударным воздействиям ut. Тогда ряд yt близок к тригонометрической функции р cos (kt — 6) с переменной амплитудой, переменной частотой и переменной фазой. Процесс авторегрессии 4

четвертого порядка, порожденный моделью yt = 2 Р&У*-$ + ub s=l

будет походить уже на сумму двух тригонометрических функций с изменяющимися амплитудами, частотами и фазами.

Стационарный случайный процесс общего вида можно аппроксимировать процессом авторегрессии достаточно высокого порядка или процессом

^ (Л cos V + Bj sin kjt\

где Аь Вг, ..., Aq) Bq — независимые случайные величины с 8Л/ = — 8В/ = 0 и 8Л/ = ^В2 = <р (к,). Последний является суммой

q тригонометрических функций со случайными амплитудами и фазами. Вклад тригонометрической функции с частотой %/(2л) в среднем пропорционален математическому ожиданию квадрата ее амплитуды, т. е. 2ф (Xj). Исходя из этого, стационарный случайный процесс (определенного класса) можно характеризовать спектральной ь

плотностью f(X), т. е. такой функцией, для которой j f (A,) dX аппрок- а

симируется суммой ф (А,/) по всем Хь а <^ Х} <; Ь. Характерное свойство стационарных случайных процессов состоит в том, что ковариация § (yt — ^у^ (ys — &ys) зависит только от разности |/ — s|, так что ее можно обозначить через о (t — s). Ковариационная последовательность и спектральная плотность (если она существует) суть две альтернативные формы описания структуры моментов второго порядка стационарного случайного процесса. Ковариационная последовательность более удобна и информативна, когда большее значение имеет временной характер последовательности, как это, например, бывает во многих экономических рядах. Спектральная же плотность может оказаться более подходящей для других типов анализа. В частности, она весьма важна в физических науках, поскольку существо многих физических явлений может быть описано с помощью гармоник или тригонометрических функций времени. Так, поскольку изменение давления воздуха при наличии чистого тона выражается косинус-функцией, то для целей анализа звука естественно использовать анализ Фурье. В частности, подобным образом определяет высоту тона человеческое ухо.

Влияние времени может быть представлено в обеих составляющих модели так, что систематическая составляющая f (t) является трендом во времени, а случайная составляющая ut образует стационарный случайный процесс. К примеру экономический временной ряд может складываться из долговременного и сезонного изменений, которые вместе составляют f (/), и из колебательной компоненты и других нерегулярностей, которые вместе образуют ut и могут быть описаны процессом авторегрессии.

В тех случаях, когда тренд f (t) имеет вполне определенную структуру и определяется конечным числом параметров, мы рассматриваем задачи статистических выводов о значениях этих параметров. Например, можно оценивать коэффициенты при степенях I в полиномиальных и коэффициенты при синусах и косинусах в тригонометрических трендах. В первом случае может возникнуть вопрос о том, какую наивысшую степень t следует включить в рассмотрение, а во втором случае — вопрос о том, какие из нескольких слагаемых должны быть включены. Если же тренд не описывается столь точно, то для его оценивания можно использовать непараметрические методы, такие, как сглаживание.

Если случайный процесс описывается с помощью конечного

числа параметров, скажем, как процесс авторегрессии, го здесь также возникают задачи оценки коэффициентов, проверки гипотез относительно их значений или решения вопроса о том, какого порядка процесс следует использовать. Особый интерес представляет здесь задача проверки нулевой гипотезы о независимости случайных составляющих. Для этой цели может быть использован тот или иной сериальный коэффициент корреляции. Если процесс стационарный, но не описывается конечным числом параметров, то в этом случае можно оценивать ковариации {а (А)} или спектральную плотность. Соответствующие процедуры являются в основном непараметрическими.

Методы, представленные в настоящей книге, предназначены главным образом для получения выводов относительно структуры механизма, порождающего процесс. Указаны также методы предсказания последующих значений процесса для случая, когда структура известна. Если же структура случайного механизма оказывается неизвестной, ее можно оценить по имеющимся данным и затем уже для целей предсказания использовать найденные оценки.

ЛИТЕРАТУРА

Вольд (1965), Кендалл и Стьюарт (1966).

Глава 2

ИСПОЛЬЗОВАНИЕ

РЕГРЕССИОННОГО АНАЛИЗА

ВВЕДЕНИЕ

Значительную часть статистических методов, используемых при анализе временных рядов, представляют методы регрессионного анализа (классической теории наименьших квадратов) или их видоизменения и аналоги. Независимые переменные могут быть заданными функциями времени, например степенями переменной t или тригонометрическими функциями от t. Сначала мы кратко опишем статистические процедуры в предположении некоррелированности случайных составляющих (§ 2.2 и 2.3). Соответствующие результаты будут использоваться при анализе тренда (гл. 3 и 4). Затем мы видоизменим эти процедуры применительно к произвольно коррелированным случайным составляющим, ковариационная матрица которых известна с точностью до постоянного множителя (§ 2.4).

В гл. 10 изучаются статистические процедуры, используемые при анализе тренда в предположении, что случайные составляющие образуют стационарный случайный процесс. При изложении регрессионного анализа определенное место уделяется асимптотической теории, которую можно использовать и при нарушении предположения о нормальном распределении случайных составляющих (§ 2.6). "

Обобщения этих результатов полезны при оценивании коэффициентов стохастических разностных уравнений (гл. 5), поскольку в этом случае точные распределения использовать не удается. Обобщения указанных результатов необходимы также, когда случайные составляющие образуют стационарный процесс более общего типа (§ 10.2).

в котором(6)в котором(6)Т ,А = У 2,2;,/=1Т ,А = У 2,2;,/=1тс = 2.’ уа./=1тс = 2.’ уа./=1

в котором

(6)

в котором

(6)

Т ,

А = У 2,2;,/=1

Т ,

А = У 2,2;,/=1

т

с = 2.’ уа.

/=1

т

с = 2.’ уа.

/=1

ОБЩАЯ ТЕОРИЯ НАИМЕНЬШИХ КВАДРАТОВ

Рассмотрим некоррелированные случайные величины^, у2,... ..., ут» средние и дисперсии которых выражаются соотношениями

Ч^^и» t = l, 2,, Т,

8,^-4? = ^ t =

с заданными числовыми значениями ze<. При этом, г» называются независимыми переменными, a yt — зависимыми переменными. Используя векторные обозначения

/РА fZlt\

0 = I М, z< = ^А t=l, , Т,

\zpt'

выражение (1) можно записать в виде

Ч=^> / = 1,

(Транспонирование вектора или матрицы а будет отмечаться штрихом: а'.)

Будем обозначать через b оценку вектора 0, представляющую собой решение нормального уравнения

(5)(5)АЬ = с,

(5)

(5)

и матрица А предполагается невырожденной (так что Т *> ру Век- т „

(9)(9)8(Ь —0)(Ь —0)'= а2А-1.8(Ь —0)(Ь —0)'= а2А-1.тор b = А-1с минимизирует сумму 5 (yt — b'zj2 на множестве всех р-мерных векторов b и называется оценкой наименьших квадратов вектора 0. Несмещенная оценка s2 для о2 может быть получена (при Т > р) из соотношения

(9)

(9)

8(Ь —0)(Ь —0)'= а2А-1.

8(Ь —0)(Ь —0)'= а2А-1.

Теорема Гаусса — Маркова утверждает, что компоненты вектора Ь являются наилучшими линейными несмещенными оценками соответствующих компонент вектора р в следующем смысле. Каждый элемент вектора b имеет дисперсию, наименьшую среди дисперсий всех несмещенных оценок соответствующего элемента вектора р, линейных по переменным уъ ..., ут.

Если случайные величины уъ ..., ут независимы и нормально распределены, то b является оценкой максимального правдоподобия вектора р. Оценкой максимального правдоподобия для а2 служит в этом случае величина (Т — р) s2/T. При этом оценка b распределена по многомерному нормальному закону N (Р, ^А™1) со средним Р и ковариационной матрицей а2А-1, а оценка (Т — р) s2/a2 имеет Х2-распределение с числом степеней свободы, не зависящим от b и равным Т — р. Вектор b и оценка s2 образуют достаточное множество статистик для р и а2.

В предположении нормальности случайных величин уъ ..., ут можно построить критерии для проверки гипотез относительно значений Р( и доверительные интервалы для Р0 i = 1, ..., р. Пусть 1,01 нй'

где

/Pi\(^г+'\

(И)р(,) = : I, р(2>=: I.

V)\М

Аналогичным образом разобьем z, и Ь. Блочные векторы и матрицы рассмотрены у Т. Андерсона (1958, приложение 1, § 3). Тогда для проверки гипотезы Я о том, что 0(2> = р(2>, где 0(2) — некоторый вектор, можно использовать /•’-статистику

~(Р — г) S2'

Здесь А и А-1 разбиты на блоки с г и р — г строками и столбцами:

1По поводу равенства А22 = (А22—А21Ай‘А12)-1 см. упр. 8.1 Если выполнено предположение о нормальности и справедлива нулевая гипотеза, то статистика (12) имеет /•’-распределение ср — гиТ — р степенями свободы. В общем случае в предположении нормальности

статистика (12) имеет нецентральное ^-распределение с параметром нецентральности

ф<2) - р(2>)' (А22 - AMAH’A1S) (Р<2) - р<2>)

•

Эти результаты являются следствием того, что Ь(2> имеет нормальное распределение N (Р(2), а2А22). [См., например, Т. Андерсон (1958, § 2.4).]

Если р(2> = 0, то нулевая гипотеза означает, что элементы zp не входят в функцию регрессии. При этом говорят, что величины уъ ..., ут не зависят от векторов z/2). В этом важном случае числитель в (12) есть просто Ь(2>' (А22 — А^А^А^) b(2\

(15) {Р2(15) {Р2Доверительная область для р(2> с коэффициентом доверия 1 —8 имеет вид

(15) {Р2

(15) {Р2

FР—Г,Т—D (®)FР—Г,Т—D (®)(Ь(2) р(2у (А22- А^А^Ь) - р(2>)(Р —^s2

FР—Г,Т—D (®)

FР—Г,Т—D (®)

где Fp_r;r_p (е) есть верхняя lOOs-процентная точка Т) F-pacnpe- деления с р — г и Т — р степенями свободы.

Если интерес представляет только один элемент вектора Ц, то вместо ^-статистики можно использовать /-статистику. Пусть, например, нас интересует элемент рр. Тогда А22 = арр есть число, и отношение фр — PP)/(s Vарр} имеет /-распределение с Т — р степенями свободы.л

Заметим, что остатки yt = yt. — b'zz не коррелировг чы с независимыми переменными z, в выборке:

777.

^ ytzt - > ytzt — у z,zzb - О,

/-=1

а множество этих остатков не коррелировано с вектором выборочной регрессии в генеральной совокупности. (См. упр. 7.)

Сказанное поясняет следующая геометрическая интерпретация (см. рис. 2.1). Пусть у = (уъ ..., утУ — вектор в Т-мерном евклидовом пространстве, г столбцов матрицы Тх = (z^, ..., г(тУ представляют собой г векторов в этом пространстве, ар — г столбцов матрицы Z2 = (zi(2), ..., z^)' суть р — г его векторов. Пусть при этом Z = (ZjZ2). Тогда математическое ожидание вектора у выражается в виде Zp и является вектором в р-мерном подпространстве, натянутом на столбцы матрицы Z. Выборочная регрессия Zb является проекцией вектора у на это р-мерное подпространство.

Геометрическая интерпретация оценивания по методу наименьших квадратов.

Рис. 2.2.

Геометрическая интерпретация проверки гипотезы р^2) = р^2\

Вектор остатков у — Zb ортогонален каждому вектору этого р-мер- ного подпространства и является проекцией у на (Т — р)-мерное подпространство, ортогональное столбцам матрицы Z.

На рис. 2.2 представлено р-мерное подпространство, порожденное столбцами матрицы Z. Проекция вектора Zb — Z0 = Z (b — 0) на r-мерное подпространство, порожденное столбцами матрицы Zb , равна Z^’W — Z^1) = Zj (b*“) — p’(D), где b*O = = (ZiZJ-’Zly. (См. § 2.3.) Проекция на (p — г)-мерное подпространство Z, ортогональное Zn равна Z (b — 0) — Z] (b,(1> — — P*(1>) = (Z2 — Z1AH*A12) (b<2> — 0<2>). Числитель/•'-статистики (12) равен квадрату длины последнего вектора, а знаменатель пропорционален квадрату длины вектора у — Zb.

ЛИНЕЙНЫЕ ПРЕОБРАЗОВАНИЯ НЕЗАВИСИМЫХ ПЕРЕМЕННЫХ; ОРТОГОНАЛЬНЫЕ НЕЗАВИСИМЫЕ ПЕРЕМЕННЫЕ

В представлении функции регрессии независимые переменные могут быть отнесены к различным р-координатным системам. При этом некоторые координатные системы могут оказаться предпочтительнее других.

Пусть z/ = Gzb t = 1, ..., Т, где G — произвольная невырожденная матрица, и пусть 0 = G'0*. Тогда &z/( можно записать в виде (1)0'z, = rGG-'z? = 0*'zj.

Компоненты векторов zt, t = 1, ..., Т, являются координатами векторов zz в новой координатной системе. Оценки для 0* и о2 по наблюдениям уъ ..., ут, zb ..., Zr выражаются соотношениями

b* = A’"12 ztyt = (GAGT'G £ ztyt = (GT'b.

ы/=1

(T - р) s*2 = f~ b*'z})2 = ^yt- b'zj2 = (T — p) s2.

В последнем использовано равенство

b*'z, = [(G')-1 bj' Gz, = b'zr

Функции, которые взяты в качестве оценок для функции регрессии, в обеих координатных системах принимают одинаковые значения b'z; = b*'z/.

, Независимые переменные можно разбить на два множества, z< = (z*1^21), и особо интересоваться множеством z*2). Например, может представлять интерес проверка нулевой гипотезы 0(2> = 0.

В этом случае удобно преобразовать независимые переменные с помощью матрицы

G = (Gn °V

'g21 gJ

где матрица Gu квадратная. Тогда

G"1 =(GU °MG" Н

\G21 G22/\—-GF* G21Gn' GF1/

в* = /Т'Д = ( Gn')' -(СГг'С,^1)^ /Р(,,\ =

U’(27 \ о (gf1)' Др<27

= / (GH1 Г р(1) - (GF1G21GF1)' Р(2)\ к (СГгУр*2* Г

Гипотеза Н: Р<2> = 0 эквивалентна, таким образом, гипотезе

Н : Р*<2) = 0. В результате преобразования вектора z, получим

//(1>\/Г.П \ fV'A/Г. V1'\

/о\/ Z< 1/оци \ / Z/ \ /l^Z/\

~ \G21 gJ ~ Vg21zP 4- G22zP/ ’

Поскольку b*(2) = (G221)' b(2) и

A22 — A21 (Ап) 1 A12 = G22 (A22 — A21Aii! A1?) 622»

to F-критерии для проверки обеих нулевых гипотез совпадают.

Если в качестве матрицы G взять матрицу

( 011 0J Ок

'С21 G22' \— А21Ап I/

то векторы z*(I) = zP и z*<2) = z*2) — А21 AiT1zV> становятся ортогональными, т. е.

а;, = а;; = f i(v = а21 - а21 ай1 au = 0.

Поскольку же

А;2= А^-А^Ан'А^,

то статистика F-критерия принимает в этом случае вид Ь*<2>'А;2Ь*<2>/[(р - г) з2].

Линейное преобразование G можно выбрать таким образом, чтобы все компоненты вектора z* были попарно ортогональны. Пусть

z<* = Гг„

где

1

0

0 ..

. 0-

?21

1

0 ..

. 0

(14)

Г =

Тз1

?32

1

. 0

_Ypi

Тр2

Трз ••

. 1_

Тогда г*. (15)

= 21/ И

Zkt = z^t + ^

Wh

. к =

2.

(=1

т. е. z^t зависит только от тех zju для которых / < к. Условия ортогональности вектора (г^, ..., г^т) к (г^, ..*., z*XTY . ti-ij, г^.т) совпадают с условиями ортогональности вектора (г^, ..., г^) к (2П, ..., zy^» ...»(Zk-хл» ...» гк_х^ и имеют вид

(

ап .. . «1,^_| \

::1 = (йн, ., ак,к_х\

а^—хд .. . ак_\^—\’

При этих условиях матрица

«и 0 ... 0

(17)2 г\ъ =К*= ГАГ =

'=i

0 61220

_ 00 .. . ctpp_

диагональна. Для компонент соответственно имеем соотношения

2 ZitZP — 0, ( ^ /•

/=1

(Если ортогональные переменные, кроме того, нормированы делением z*t на V&*п» то соответствующая процедура ортогонализации известна под названием процесса ортогонализации Грама — Шмидта.)

Если независимые переменные ортогональны, то формулы и вычисления по ним значительно упрощаются. Поскольку

0 О

О 0.. . Ярр 1

то элементы векторов Ь* некоррелированы и имеют дисперсии, равные ой1ац, i = 1, .... р. При этом нормальные уравнения принимают простой вид

Ы = 4- = 4- 5 у/it, 1=1,, р,

аи aii /=1

а формула для оценки дисперсии переходит в

(Т - р) s2 = 2 У* - f aub?.

/=1 i=l

В этом случае F-статистика (12) из § 2.2 для проверки гипотезы f(2) = р*(2) раВна

'"^Ь-= Г.-.Т-

Иногда независимые переменные с самого начала выбираются

можно любое множество независимых переменных, но проводить эту операцию не имеет особого смысла, если данное множество переменных используется только один раз. Напротив, если одна иможно любое множество независимых переменных, но проводить эту операцию не имеет особого смысла, если данное множество переменных используется только один раз. Напротив, если одна иортогональными. Как будет показано в гл. 4, тригонометрические последовательности {cos 2ttjt/T^ j = 0, 1, ..., ^ Т , и {sin2n^//T}, к = 1, ..., ^ (Т — l)j ортогональны для t = 1, ..., Т имогутбыть использованы как компоненты вектора zz. Ортогонализировать

можно любое множество независимых переменных, но проводить эту операцию не имеет особого смысла, если данное множество переменных используется только один раз. Напротив, если одна и

можно любое множество независимых переменных, но проводить эту операцию не имеет особого смысла, если данное множество переменных используется только один раз. Напротив, если одна и

та же совокупность независимых переменных используется многократно, то ортогонализация независимых переменных может дать большой выигрыш, сокращая объем вычислений.

Примером использования ортогонализации независимых переменных может служить полиномиальная регрессия. Предположим, что гц = tl-x и

^=р1 + р2/+ ... +рр/Р-1, t = l,...,T.

Степени переменной t можно заменить ортогональными полиномами фот (0 = 1, Ф1т (0> •••, Фр-1.т (0» имеющими вид

^T^ = t^Ck_xlk,T^t^-V ••• + ^(6, Т)/ + Со(&, Г).

Здесь коэффициенты С зависят от длины ряда Т и степени полинома к и определяются соотношениями

т

5ф1т(0ф/т(0 = 0, i^j.

При этом(26) &yt = ТоФот (О + Т1Ф17 (О + ••• + Тр—1Фр-1,т (О-Более подробно ортогональные полиномы рассмотрены в § 3.2.Большинство вычислительных методов решения нормальных уравнений АЬ = с включает в себя так называемые прямое и обратное решения !\ Прямое решение состоит из последовательности операций над строками матрицы (Ас), в результате которой А приводится к треугольному виду. При этом (Ас) преобразуется^12 • • • ^Г^22 * * • ^2р ^2о арр ср_При этом(26) &yt = ТоФот (О + Т1Ф17 (О + ••• + Тр—1Фр-1,т (О-Более подробно ортогональные полиномы рассмотрены в § 3.2.Большинство вычислительных методов решения нормальных уравнений АЬ = с включает в себя так называемые прямое и обратное решения !\ Прямое решение состоит из последовательности операций над строками матрицы (Ас), в результате которой А приводится к треугольному виду. При этом (Ас) преобразуется^12 • • • ^Г^22 * * • ^2р ^2о арр ср_в матрицу (Ac): D (Ас) = (Ас), илив матрицу (Ac): D (Ас) = (Ас), или(27)(27)^21^21О ... о1 ... оО ... о1 ... о(Ас) =(Ас) =«иО«иО_4_4d,d,ОО

При этом

(26) &yt = ТоФот (О + Т1Ф17 (О + ••• + Тр—1Фр-1,т (О-

Более подробно ортогональные полиномы рассмотрены в § 3.2.

Большинство вычислительных методов решения нормальных уравнений АЬ = с включает в себя так называемые прямое и обратное решения !\ Прямое решение состоит из последовательности операций над строками матрицы (Ас), в результате которой А приводится к треугольному виду. При этом (Ас) преобразуется

^12 • • • ^Г

^22 * * • ^2р ^2

о арр ср_

При этом

(26) &yt = ТоФот (О + Т1Ф17 (О + ••• + Тр—1Фр-1,т (О-

Более подробно ортогональные полиномы рассмотрены в § 3.2.

Большинство вычислительных методов решения нормальных уравнений АЬ = с включает в себя так называемые прямое и обратное решения !\ Прямое решение состоит из последовательности операций над строками матрицы (Ас), в результате которой А приводится к треугольному виду. При этом (Ас) преобразуется

^12 • • • ^Г

^22 * * • ^2р ^2

о арр ср_

в матрицу (Ac): D (Ас) = (Ас), или

в матрицу (Ac): D (Ас) = (Ас), или

(27)

(27)

^21

^21

О ... о

1 ... о

О ... о

1 ... о

(Ас) =

(Ас) =

«иО

«иО

_4

_4

d,

d,

О

О

Матрица D имеет здесь форму матрицы Г. Исследование выражения (27) показывает, что каждая строка из D совпадает с соответствующей строкой матрицы Г, так что D = Г. [Различные методы приведения А к треугольному виду отличаются только последовательностью операций и являются в алгебраическом смысле эквивалентными при одинаково упорядоченных наборах переменных. Отметим, что прямое решение уравнения (27) для некоторого к является частью прямого решения для любого последующего &.] Таким образом,

акк — 2 ^м^ы = 5 (^)2 ” Qkki

t=\^i

_ т

ck = 2 г*к‘У1 = ^-

/=1

Коэффициенты выборочной регрессии для ортогонализированных переменных Ьк = с^акк можно_ получить из прямого решения нормальных уравнений: Ьк = ck/akk. Фактически во многих вычис- лительны_х_методах, таких, как метод Дулитла, каждая строка матрицы (Ас) делится на старший отличный от нуля элемент и запоминается. При этом последний элемент каждой строки является коэффициентом регрессии при соответствующей ортогональной переменной. Таким образом, прямое решение связано с теми же алгебраическими преобразованиями, которые используются при определении ортогональных переменных. Существенное отличие, конечно, состоит в том, что вычисление ортогональных переменных связано с полу-

0 В советской литературе их обычно называют прямым и обратным ходом решения.— Прим, перев.'

чением рТ чисел z^. Отметим в заключение, что значение выражения Ь(2>' (А22 — Аз^^А^) Ь(2> можно получить из прямого решения

как 2^=5 сУакк. (См. упр. 12.)

fe=r+l4=г-Н

КОРРЕЛИРОВАННЫЕ ПЕРЕМЕННЫЕ

Если зависимые переменные коррелированы и ковариационная матрица известна с точностью до постоянного множителя (или точно), то развитую выше теорию можно соответствующим образом видоизменить. Предположим, что

^ = Р%./ = 1, ... ,т,

S (^ — 0'zj (ys — P'zs) = ots, t, s =1, ... , T.

Здесь zz — известный вектор-столбец из p чисел, / = 1, ..., T. a oZs = о2 t|)Zs, /, s = 1, ..., Т, где величины xpZs известны. Удобно записать эту модель в более компактной матричной форме. Пусть

У = (^1, •. • , Уг)', Z = (zp . .. , Zr)',2 = (ote) и T = 0M-

Тогда (1) и (2) принимают вид

8у = zp,

8 (у — ZP) (у — ZP)'= 2,

где 2 = о2Т, а Т — известная матрица. Пусть матрица D удовлетворяет соотношению.

DVD' = I.

Положим Dy = х = (хь ..., ХтУ и DZ = W = (wn ..., wt)'. Умножая (3) на D слева, а (4) на D слева и на D' справа, приходим к модели

8х = Wp,

8(х—WP)(x —WP)'=o4,

изучавшейся в § 2.2. Нормальное уравнение АЬ = с, в котором А = W'W и с = W'x, эквивалентно

Z'D'DZb = Z'D'Dy.

Из (5) видно, что V = D-1 (D')_| = (D'D)-1 и V-1 = D'D. Поэтому решением уравнения (8) является

b = (Z'V-1Z)-1 Z'Y-'y.

Отсюда получаем

8b = (Z'V'Z)-1 Z'V~'8y = р,

8 (b — Р) (b — Р)' = (Z'^'Z)-1 ZV-1 х

X 8 (у — ZP) (у — Zp)' Y-*Z (Z'V^ZF1 = = ^(Z'V’ZF1.

Каждый элемент вектора b является наилучшей несмещенной линейной оценкой соответствующей компоненты вектора р (теорема Гаусса—Маркова). При этом вектор b называется марковской оценкой для р. Он минимизирует квадратичную форму (у — Zb)' х XV-^y-Zb). Если уъ ...,ут имеют совместное нормальное распределение, то b и а2 = (Т — р) &/Т являются оценками максимального правдоподобия для параметров р и а2 и образуют для этих параметров достаточное множество статистик.

Оценка наименьших квадратов

bL = (Z'ZF'Z'y

является несмещенной, т. е.

8b1 = (Z'zr1 Z'8y = р,

и имеет ковариационную матрицу

8(bL — P)(bL— Р)' = (Z'ZFIZ'8(y — Zp)(y — Zp)'Z(Z'Z)-1 = = a2(Z'Z)—1 Z'VZIZ'Z)-1.

Если только столбцы матрицы Z не связаны специальным образом с У, то любая линейная комбинация компонент вектора bL, например у'Ьа, будет иметь дисперсию, большую чем дисперсия соответствующей линейной комбинации у'Ь компонент вектора Ь. В этом случае разность выражений (14) и (11) будет положительно полуопределенной матрицей.

Теорема 2.4.1. Если Z = V*C, причем р столбцов матрицы N* являются линейно независимыми характеристическими векторами матрицы Y, fl С — невырожденная матрица, то оценка наименьших квадратов (12) совпадает с марковской оценкой (9).

Доказательство. Условие на V* означает, что

YV*= V*A*,

где А* — диагональная матрица, состоящая из (положительных) характеристических корней матрицы Y, соответствующих столбцам матрицы V*. Тогда справедливо равенство

v*'^1 = A'^V*',

и V^Y-W* = A^V*^*, а оценка наименьших квадратов равна

. Ьд = Г1 (V*'V*r’ V*'y,

а марковская оценка

b = (С'У^у-'УЧ))-1 C'V^Vy =

= (C'A’_|V*'V*C)-' C'A*-*V*'y.

Правая часть (18) идентична правой части (17). н

В разд. 10.2.1 будет показано, что условие теоремы 2.4.1 является не только достаточным, но и необходимым. Его можно сформулировать и иначе: существует р линейно независимых линейных комбинаций столбцов матрицы Z, являющихся характеристическими векторами матрицы V. Смысл теоремы заключается в том, что при выполнении указанных условий оценки наименьших квадратов (для случая, когда матрица Т неизвестна) являются несмещенными линейными оценками с наименьшей дисперсией. В разд. 10.2.1 будет рассмотрен случай, когда существует произвольное число линейно независимых комбинаций столбцов матрицы Z, являющихся характеристическими векторами матрицы Т. Оценки наименьших квадратов для коэффициентов этих линейных комбинаций совпадают с марковскими, если остальные независимые переменные ортогональны данным. Утверждение о том, что при выполнении условий теоремы 2.4.1 оценки наименьших квадратов являются и оценками максимального правдоподобия, было доказано для случая нормального распределения Т. Андерсоном (1948).'

ПРОГНОЗИРОВАНИЕ

Займемся теперь прогнозированием значения ух в момент t = т. Если функция регрессии известна, то известно также Sz/T, и^оно будет наилучшим образом прогнозировать значение ух в том смысле, что при этом минимизируется среднеквадратичная ошибка прогноза.

Предположим теперь, что имеются наблюдения уг ут, по которым мы хотим предсказать значение ух (т > 7), причем $ут = р

— 2 Pft^fct ~ Р zr> где р неизвестный, a zT известный векторы. Представляется разумным оценивать вектор р с помощью оценки наименьших квадратов Ь и в качестве прогноза ух использовать b'zv Займемся обоснованием такой процедуры. При этом будем рас- г

сматривать только линейные прогнозы 2 ^Уь Коэффициенты dt могут зависеть от Zjzr и zt. Прежде всего потребуем, чтобы прогноз был несмещенным, т. е., чтобы

8 (%dtyt- ух\=0.

\м /

Тем самым, прогноз должен быть несмещенной оценкой для Syt = = P'zT. Мы требуем также минимальности дисперсии (или, что равносильно, среднеквадратичной ошибки прогноза)

(2)(2)(т\2Г/ х

(2)

(2)

t=i/Lv=i!

=+°2-

Итак, задача состоит в том, чтобы отыскать несмещенную линейную оценку с наименьшей дисперсией для линейной комбинации коэффициентов регрессии P'zT. Из теоремы Гаусса — Маркова следует, что такой оценкой является b'zT. Это вытекает из предыдущих рассуждений, поскольку данную модель можно преобразовать таким образом, что P'zT будет компонентой р*, если один из столбцов G-1 будет совпадать с zT. Дисперсия оценки b'zT равна

£ (b'zT — P'zT)2 = 8zt (b — P) (b — p)' zT = a2zTA“1zT.

Среднеквадратичная ошибка прогноза есть

$ (b'zr — z/T)2 = a2 (1 + ZrA~'zT).

Указанное свойство прогноза b'zT можно сформулировать иначе. Этот прогноз минимизирует среднеквадратичную ошибку прогноза в классе всех линейных прогнозов, имеющих ограниченную среднеквадратичную ошибку. (См. упр. 15.)

Если предполагать, что наблюдения подчиняются нормальному закону, то можно построить доверительный интервал для ух. При этом предположении случайная величина b'zT — ух распределена нормально с нулевым средним и дисперсией (4) и не зависит от s2. Поэтому величина

вается, как и прежде, на блоки (zVYz?y) и что вкладом от z^ пре небрегают, т. е. предполагают ошибочно, что регрессия является ли нейной функцией только от z^, а не от всего zt. Запишем для удобства P'zz в виде P*'z*, где (3* определяется соотношением (7) § 2.3> причем Gn = I, G21 = —А21Ай‘, G22 = I и

(7)(7)•г / 1^У^”

(7)

(7)

z/ — Gz, =II

\— A21 AT?1 inzp’

U’-A^AJiV/VU’-A^AJiV/V

U’-A^AJiV/V

U’-A^AJiV/V

При этом векторы z*(I) и z<(2) ортогональны, t = 1, ..., T, и

А* = (Ап ° ) = [ А“°).

\ О А22 /\ О А22 А21Ац А12 /

Оценкой для р*(1> является

Ь*<» = Ай1^1* = Ай' 5 z$V

/=1

Ее статистические свойства выражаются формулами

^Ь*<п = Ай' 2(z^'p*'1' + 2;<2»'р*(2>) =

= АП- 'Aup’(” + ор*<2>) = р’(,>,

S(b*(,) —р^ПЬ*01 — р*<,,Г =О2АП‘.

Прогноз для момента т (т >• 7) равен b^'f'zT1* = b*(I)'zV’ и имеет смещение

всь-'" ^1 — Уг) - Р"1”'^'1 — P-Z, --

Его дисперсия равна

«(Ь’^'^’-р’*’’^1»)2 = а^г^Ай^1»,

а среднеквадратичная ошибка есть

§(b*<1)'zV,-z/T)2 =

= р(2)' (z'2) - A21A^zV>) (z<2>' -z^'An'A,,)^ + о^^Ай^’Ч о2.

Пренебрежение вкладом от z}2) приводит, в общем случае, к смеще нию прогноза, но уменьшает его дисперсию. (См. упр. 18.)

В некоторых случаях можно ожидать, что прогнозирование проводится в ситуациях, когда векторы zT для последующих значений т подобны векторам zz для ранее наблюдавшихся значений. Сумма квадратов смещений

[^'(z^-A^An'z^)]2 =

= 2 Р(2)' (z^’ - Аа1 АП1 z^11) (z^ - z^'A^A^) p<2>= /=1

= Р,2)'(А22-а21ай'а12)Р(2)

пропорциональна параметру нецентральности распределения F- статистики для проверки гипотезы р(2) = 0. Этот факт можно считать еще одним основанием для предпочтения F-критерия всем другим критериям для проверки этой гипотезы.

АСИМПТОТИЧЕСКАЯ ТЕОРИЯ

Приведенные процедуры проверки гипотез и построения доверительных областей были основаны на предположении о том, что наблюдения распределены нормально. Если предположение о нормальности не выполняется, то эти процедуры все же можно применять для больших выборок, используя асимптотическую теорию.

Теорема 2.6.1. Пусть yt = $'zt + ub t = 1,2,..., где все ut независимы, имеют нулевые средние, дисперсии а2 и функции распределе- тт

ния Ft (и), / = 1, 2, ... . Положим Аг = 2 z^> сг = 2 У1гь •Z=1Z=1

br = Аг Сг,

"Va\x

0

... 0

(I)

Dr =

0

vhj

... 0

_ 0

0 ■

... /4_

и

(2)Rt-DF'AtDF1.

Предположим далее, что (1) а« -> оо при Т -> оо, i = 1, ..., р, (ii) Zt.T-vxl^ -*• 0 прй Т -► оо, t = 1, ..., р, ^iii) Rt -* R« при

Т -> оо, (iv) Roo невырождена и (v)

(3)(3)sup 1 uMF Ди^-^О

(3)

(3)

<=1>2,— |u|>c

при с —>- оо. Тогда Dr (Ьг — 0) имеет в пределе нормальное распределение с нулевым средним и ковариационной матрицей cr2RF/ .

Доказательство- Прежде всего имеем

(4)(4)Dr (Ьт — 0) = Dy (Аг 1 ст — Р) =

(4)

(4)

= DrfAFl2zI (u.+ z/p) — р

= (DF^DF*)-1 DF1 2 г,иг

Т

Мы докажем, что DF* У z,uz имеет в пределе нормальное распреде- /=1

ление с нулевым средним и ковариационной матрицей о^^, если

удастся показать, что для любого вектора а, а ^ 0, величина т

a'DF1^ ztut имеет в пределе нормальное распределение с нуле

вым средним и дисперсией CT2a'Rooa. (См. теорему 7.7.7.) Пусть

уГ ^a'Dr’z, = У ^ajZjtlV"a^, t = 1, ..., Т, Т = 1,2...; тогда

(5)(5)Уаг ^2 4^' = or2 2 (?<У = or2a'Rra.

(5)

(5)

Положим wl = ^^/(aV'a'Rra). Тогда &wl = 0, 2 Уаг (®Г) = 1 и

(6) 2 jj иЧРДиХ(6) 2 jj иЧРДиХ^=1 |ty|>6^=1 |ty|>6и^б^а'К-та/^ПЧо2и^б^а'К-та/^ПЧо2

(6) 2 jj иЧРДиХ

(6) 2 jj иЧРДиХ

^=1 |ty|>6

^=1 |ty|>6

и^б^а'К-та/^ПЧо2

и^б^а'К-та/^ПЧо2

u2dFf(u)-^-0,

где F^ (w) — функция распределения случайной величины w^, t = 1, ..., Т. Сходимость к нулю правой части (6) вытекает из (3) в силу неравенства.

(7) шах | yf | = max V r=iТt=\,...,T 1*

правая часть которого сходится к нулю в силу (i), (ii) и приводимой ниже леммы 2.6.1. Выполнение условия (6) Линдеберга — Феллера влечет за собой нормальность предельного распределения т

a'DF1 ^tut. [См. Лоэв (1963, § 21.2) или теорему 7.7.2.] Таким об- т

разом, Dr1 5 xtut имеет в пределе нормальное распределение с ну

левым средним и ковариационной матрицей a2Roo, a Dr (Ьг — Р) имеет в пределе нормальное распределение с нулевым средним и ковариационной матрицей a2R^!. а

Лемма 2.6.1. Если (i) а^-* оо и (ii) г^т+^ац -> 0, то

(8)(8)9шах

(8)

(8)

ГV

аН

при Т -> оо. Обратно, из условия (8) вытекают условия (i) и (ii).

Доказательство. Пусть ЦТ)—наибольшее значение /, /= 1, ... ...,Т, для которого zf/(D = max z^. При этом {/(Т)}—неубы- /=1, ...,т

вающая последовательность целых чисел. Если она ограничена, то пусть ее максимум равен т. Тогда

(9)(9)z(2)аиz(2)аиmax zl

(9)

(9)

z(2)

аи

z(2)

аи

Таи

в силу (1). Если же t (Т) ~> оо при Т -> оо, то

(Ю)(Ю)^,TZit ги4t ^

(Ю)

(Ю)

в силу (ii). Доказательство обратного утверждения предоставляется читателю. а

Следствие 2.6.1. Пусть yt = $zt -V ub t = 1, 2, ..., где все и^ независимы и одинаково распределены с нулевыми средними и дисперсиями а2. Если выполнены условия (i)— (iv) теоремы 2.6.1, то Dr (Ьг — Р) имеет в пределе нормальное распределение с нулевым средним и ковариационной матрицей оЧ^1.

Следствие 2.6.2. Пусть yt = P'z, + ип / = 1, 2, ..,, где все ut независимы, имеют нулевые средние и дисперсии а2, и пусть выполнены условия (i) — (iv) теоремы 2.6.1. Воли существуют такие 6>0 и М >0, что & \ut\W < М, t = 1,2, ..., то Dr (Ьг — Р) имеет в пределе нормальное распределение с нулевым средним и ковариационной матрицей a2R^,

Теорема 2.6.1 в несколько отличной форме была получена Эйке- ром (1963). Оба следствия используют более ограничительные достаточные условия. Если в следствии 2.6.2 условие (ii) заменить условием равномерной ограниченности zz zo то соответствующий результат может быть достигнут прямым применением центральной предельной теоремы Ляпунова. (См. упр. 20.) Однако условие ограниченности ^ zz слишком обременительно для наших целей, поскольку полиномы от t ему не удовлетворяют.

Теорема 2.6.2. В условиях теоремы 2.6.1, следствия ^.бЛ^или следствия 2.6.2 статистика s2 сходится по вероятности к о2.

Доказательство Поскольку

2 (Ут - P'z,)2 = 2 \УТ - b7zj + (bz - ₽)' zj2 =

/=iz=i

= 2 (У/ - brz^ + (br - ₽)' Ат (Ьт - Р), то

т

2 tot—P'z^2

s2 =(Ьт - Р)' ^-p Ат (br - Р).

Второй член в (12) неотрицателен. Его математическое ожидание равно

_L_S(b7-p)'Ar(br-P) = r^trSAr(br-P)(br-P)'=

и стремится к нулю при Т -> оо. Отсюда в силу неравенства Чебышева следует, что второй член в (12) сходится по вероятности к нулю. Утверждение теоремы вытекает теперь из закона больших чисел:

zт7

2 to?—P z/)225 xt

plim —^ plim ^— = plim ^— = ста,

Т-ЮС'T-^OO 'T-*oo ‘

где xz = uf и Sx, = Suf = ст2. (Здесь plim означает сходимость по вероятности. — Ред.) Этот закон можно применить, поскольку в условиях леммы 2.6.1 xt одинаково распределены, в условиях леммы 2.6.2 S |х/|1+л/2 < М [см. Лоэв (1963, § 20.1)1, а в условиях теоремы 2.6.1

sup f xdG, (х)->-0

при d -> оо, где Gt (х) — функция распределения случайной величины xt = иь [См. Лоэв (1963, § 20.2) и упр. 21.] и

Значение приведенных теорем состоит в том, что, опираясь на них, обычную теорию для нормального случая при больших объемах выборок можно использовать с достаточной точностью и в тех ситуациях, когда наблюдения не являются нормально распределенными. Мы увидим в § 5.5, что в случае процесса авторегрессии, в котором p'zz заменяется линейной комбинацией наблюдений yt при запаздывающих значениях переменной /, возможно дальнейшее развитие асимптотической теории, оправдывающей применение соответствующих процедур для больших выборок, когда предположение о нормальности не выполняется. В § 5.5 асимптотическая теория будет обобщена и представлена более подробно. ,

В разд. 10.2.4 подобные теоремы будут доказаны для последовательностей ^и^, образующих стационарный случайный процесс типа скользящего среднего.

ЛИТЕРАТУРА

Теория регрессии рассматривается более полно в ряде монографий, в числе которых: Грейбилл (1961), Дрейпер и Смит (1966), Кемпторн (1952), Кендалл и Стьюарт (1946а), Плэкетт (1960), Уилкс (1962) и Уилльямс (1959), Шеффе (1959).

Т. Андерсон (1958).

Т. Андерсон (1948).

Лоэв (1963), Эйкер (1963).

УПРАЖНЕНИЯ

7

(§2.2) Докажите, что вектор Ь, определенный в (5), минимизирует ^ (Ут~* ’/=1 "

b'z/)2 относительно Ь. Указание. Показать, что

тт

2 ^т - b'za2 = 2 (у< - b'za2+<ь - ьг а ф - ь). ^-1£=1

(§ 2.2) Проверьте (8) и (9).

(§ 2.2) Докажите теорему Гаусса — Маркова. Указание. Показать, что т

если компоненты 2 а^/ являются несмещенными оценками компонент вектора р, /=1

где а/ = А--^ + ф, / = 1, ..., Т, a ai, ..., aT и di, ..., dr суть р-мерные векторы,

т

то 2 ^tzt = ®* Показать, что дисперсии этих оценок будут диагональными элемен

т '

тами матрицы о2А-1 + о2 2 м.

(§ 2.2) Покажите, что b и о2 = (Т — р) зЧТ являются оценками максимального правдоподобия для 0 и о2, если pi, ..., ут независимы и нормально распределены.

5» (§ 2.2) Покажите, что b и $2 образуют множество достаточных статистик для оценки значений 0 и о2, если pi, ..., ут независимы и нормально распределены.

Указание. Показать, что плотность имеет вид

(2ло2) 2 ехр |- [(b - 0)' А (Ь - 0) + (Т - р) s2] / о2|.

6* (§ 2.2) Докажите, что если gy — Z0 и £ (у — 20) (у — Z0)' = о21, то ковариационная матрица остатков у — Zb равна о2 (I — ZA—1Z').

(§2.2) Докажите, что в условиях упр. 6 имеет место соотношение § (у —

-Zb) (b — 0)' = 0..

(§ 2.2) Пусть невырожденная матрица А и обратная ей матрица В = А 1 одинаковым образом разбиты на блоки

причем матрица Ан невырождена. Решая уравнение АВ = I в блочном виде, убедитесь, ^ТО

В12В221 = — А^А^,

В22 = (А22 АггА^А^) L

(§ 2.3) Покажите, что если матрица G = (gq) невырождена и имеет треугольную форму, так что gij = 0, i < /, то таковой же является и матрица G~1

(§ 2.3) Пусть yt — разность между yt и выборочной регрессией на zp и zp — разность между zp и его формальной выборочной регрессией на zp.

Покажите, что ^yt = 0(2^z/2\

Покажите, что оценка наименьших квадратов для В^2\ построенная по --(2)

ytnzt в соответствии с (а), совпадает с оценкой, построенной по yt и zf

(§ 2.3) Докажите, что D = Г.

(§ 2.3) Пусть 2^ — переменные, полученные ортогонализацией переменных 2^, t = 1, ..., Г, а 0* = ф^1) 0*<2) ) —соответствующим образом преобразованный вектор 0' = ф^1^2) ). Докажите, что статистика (12) из § 2.2 для про-

верки гипотезы И: (V2) = 0 имеет вид

Ррр

5W5^;5 ^Wu

=t=r+lZ=r+1

(р—r)S2~(/?—f)s2"(/7 — r)^•

(§ 2.4) Докажите алгебраически, что разность между (14) и (11) положительно полуопределена. ^Указание. Эта разность отличается лишь множителем о2 от матрицы

(Z'Z)-1 [Z'TZ — Z'Z (Z'^^'Z)-1 Z'Z] (Z'Z)-1, которая положительно полуопределена, если таковой же является матрица

^'Г^ Л^) = ^Г') Т (4P_'Z ^ \ L L L k L] \/

(§ 2.5) Проверьте, что из теоремы Гаусса — Маркова вытекает, что b'zT является наилучшей линейной несмещенной оценкой для P'zr

т

(§ 2.5) Покажите, что если линейная оценка 5 ^tyt математического ожи- /—1

дания прогнозируемого значения является смещенной, то средняя квадратичная т

ошибка неограничена. \Указание. Если £ 5 Мн ^ Pzt Для Р = 7, то рассмотреть

Р = ^7 при & ОО.]

(§ 2.5) Покажите, что односторонние доверительные интервалы для прогноза ух с коэффициентом доверия (1 — е) задаются соотношениями

Ух < b'zr + fT-p (2е) s Г 1 + z^A-1zc

И

b'zT — tT_p (2е) s jA + z^A *zT < ух.

(§ 2.5) Покажите, что доверительная область для прогнозов ух и ур (т > Т, р > Т, т =£ р) с коэффициентом доверия (1 — 8) выражается соотношением

<2s2F2>r_p (8) 'Р Ур /<2s2F2>r_p (8) 'Р Ур // 1 4- z'A !zT z'A !zn ’ ^х-Ух b'zp-yp)

<2s2F2>r_p (8) 'Р Ур /

<2s2F2>r_p (8) 'Р Ур /

\ zpA zt !+zpA zp

(§ 2.5) Докажите, что

.^’’Ай'2!1’ < ZrA“lzT.

УУказание. Использовать (7).]

(§ 2.6) Докажите следствие 2.6.2, используя теорему 2.6.1.

(§ 2.6) Докажите следствие 2.6.2 (без использования теоремы 2.6.1), в котором условие (и) заменено условием (ii') существования константы L,, такой, что ^Jz/ L, t = v ?;•

21. (§ 2.6) Докажите, что из (15) при Г -* оо вытекает

7 p

(0

2 j dGtW^Q.

^=1 x>T T

(ii)

4" 2 Ixd($t w ■* °*’

/=1 x<T

7

(Ш)4" 2 И x4GtW— xdG,(x)

^=1 U<7[#<7

[условие Лоэва (1963, § 20.2)]. Указание. Для произвольной константы d* и Т >

> d' показать, что первый член последнего соотношения оценивается неравенством

А-^ $ хМО^х)^-^^ $ ^dGttoC И O^x^d'^=1 d*<x<T

^1 x>d'

Глава 3

ТРЕНДЫ И СГЛАЖИВАНИЕ

ВВЕДЕНИЕ .

Мы будем изучать так называемые модели ошибок, в которых наблюдаемые временные ряды интерпретируются как сумма систе матических составляющих, или тренда, и случайных составляющих, или ошибки. В этой главе мы рассмотрим модели, в которых подлежащий изучению тренд с течением времени гладко возрастает или убывает, но не повторяется регулярным образом. В следующей главе будут рассмотрены периодические тренды, поведение которых приблизительно одинаково на различных участках оси времени. Предполагается, что случайные составляющие имеют в каждый момент времени одинаковые дисперсии и некоррелированы. Они могут представлять собой ошибки наблюдения или нерегулярности ино го рода. Предположения о равенстве дисперсий и отсутствии корреляции являются определенным приближением к действительному положению вещей. В гл. 10 мы рассмотрим трудности, возникающие в тех случаях, когда эти предположения не выполняются. Иногда наблюдения лучше соответствуют условиям равенства дисперсий и аддитивности ошибки, если преобразовать масштаб измерений изучаемой величины. Например, в ряде экономических исследований производится анализ не самих цен, а их логарифмов. Некоторые линейные комбинации значений переменной в последовательные моменты времени могут быть коррелированы в значительно меньшей степени, по сравнению со значениями самой переменной. Если коэффициенты такой линейной комбинации (например, конечной разности) известны, то ее можно использовать в качестве объекта изучения. -

В ряде случаев исследуемый тренд является известной функцией времени или других наблюдаемых величин и некоторых (возможно неизвестных) параметров. Если эта функция зависит от параметров линейно, то имеем обычную регрессию, о которой упоминалось в

гл. 2. Однако некоторые функции времени, как, например, кривые роста, не линейны по параметрам. В таких случаях оценка параметров и проверка гипотез о значениях этих параметров являются далеко не простыми задачами. Мы кратко рассмотрим их в § 3.5.

В другой категории случаев тренд является функцией времени или каких-то иных величин, которая не известна, но может быть адекватно представлена в виде линейной комбинации известных функций времени. Периодический тренд может быть представлен в виде линейной комбинации тригонометрических составляющих (т. е. в виде конечного отрезка ряда Фурье). Статистические аспекты этого приближения рассматриваются в гл. 4. Если тренд флуктуирует, явно смещаясь в сторону возрастания или в сторону убывания, то такой тренд часто можно хорошо приблизить полиномами. Исследование подобного случая производится в § 3.2.

Иногда тренд является неизвестной функцией времени, вид которой настолько меняется за большой промежуток времени, что она не может быть приближена полиномом низкой степени или коротким отрезком ряда Фурье. Методы, использующие свойство «гладкости», изучаются в § 3.3 и 3.4. Эти методы являются непараметрическими.

ПОЛИНОМИАЛЬНЫЕ ТРЕНДЫ

Ортогональные полиномы

Встречающиеся во многих исследованиях временные ряды наряду с флуктуациями и нерегулярностями имеют некоторую общую тенденцию изменения. Например, многие временные ряды в экономике являются, в первом приближении, возрастающими. Такого рода общую тенденцию мы будем называть трендом. Во многих случаях желательно сделать выводы о тренде на основании самого наблюдаемого временного ряда, хотя при этом может быть известно, что тренд возникает в силу действия каких-то иных факторов. Так, рост временного ряда в экономике может быть обусловлен ростом численности населения. В ряде случаев, когда теория не может указать явный вид тренда как функции времени, тем не менее бывает возможно приблизить тренд полиномом от t достаточно низкой степени. В простейшем нетривиальном случае равномерного возрастания или убывания значений ряда адекватное представление тренда может дать полином первой степени, т. е. линейная функция.

Полиномиальный тренд есть в первую очередь средство описания. Он содержит в сжатой форме общие характеристики ряда. Для использования тренда в этом качестве полином должен иметь достаточно низкую степень. Во многих случаях коэффициентам полинома

нельзя придать никакого реального смысла. Такой полином служит заменой гораздо более сложной (но неизвестной) функции времени. Подобранный полином обычно может быть использован для интерполяции, однако использовать его для экстраполяции следует с осторожностью, поскольку вопрос о качестве приближения рассматриваемого тренда данным полиномом не может быть решен исходя лишь из наблюденных значений. .

В некоторых случаях первостепенный интерес представляют короткие по времени периоды, флуктуации и нерегулярности. В таких случаях тренд желательно выделить, с тем чтобы получить базу, от которой можно было бы измерять быстрые изменения наблюдаемого ряда.

Наша основная модель ошибок состоит в том, что наблюдаемая величина yt представлена в виде суммы временного тренда / (/) и (ненаблюдаемой) ошибки ut\ т. е. yt = f (I) + ир где все ut некор- релированы, имеют средние значения Я^ = 0 и дисперсии Wt = = о2. В этом параграфе мы предполагаем, что тренд является полиномом степени q

/ (0 ^ ао ~Н ai^ + **’ + О^*

Полином первой степени отражает равномерное во времени возрастание или убывание значений ряда. Полином второй степени может выражать тенденцию возрастания и последующего убывания значений ряда или наоборот, и т. д. Обычно q будет мало по сравнению с Т. В данной модели может быть использована обычная техника регрессионного анализа.

Как отмечалось в гл. 2, мы можем перейти от независимых переменных, в данном случае 1, /, ..., t\ к ортогональным независимым переменным фОт №, ф^т (О- Поскольку полиномы будут использоваться очень часто, имеет смысл ортогонализировать их заранее; тогда все последующие вычисления упрощаются. Степени переменной / — натуральные числа. Почти во всех случаях в регрессионной формуле вместе с некоторой степенью переменной I присутствуют и все более низкие ее степени.

Пусть ортогональный полином степени к записан в виде

Ф6т(0 = ^ + С6_1(&, Т)^Ч ••• +С0(^

k= 1, , Т— 1,

и фог (0 = 1- Поскольку фМ (0 по предположению ортогонален Фог (0. •••> фб—1,7 (0, или, что эквивалентно, ортогонален 1,1,..., ^-*, мы должны иметь

7

2ф»г(0^ = 0, i = 0, 1, ..., k— 1,

т. е.

Со (к, 7) 2 ^ + С. (k, Т) f /'+’ + ... ^=1^=1

+Ск-1Цг, /)5/*'+*-15 ^‘+\ i = 0, 1к— 1.

^=1^=1

Эти уравнения представляют собой частный случай уравнений (16) § 2.3 (с очевидными изменениями в обозначениях). При к ^ < Т — 1 коэффициенты Со (к, Т), ...» Q-i (к, Л определяются однозначным образом из системы (4). Например,

Фот = *»

Ф1Г = /Е(г+1),

Ф2Г= Р —(7 + 1)/+ (7 + 1)(7 + 2)/6.

Мы определили ортогональные полиномы таким образом, что их главные члены есть просто высшие степени переменной t. Без потери свойства ортогональности

2 <M0<Pftr(0 = 0. i^k, i,^ = 0, 1,7-1,

каждый ф^т (0 можно умножать на константу. Множество фот (/), ... ..., фт~1,т (0 в целом задает невырожденное линейное преобразование переменных 1, /, ..., tT-x (максимального числа линейно независимых полиномов для t — 1, ..., Т\

С использованием ортогональных полиномов тренд (1) записывается следующим образом:

/ (0 = То + Т1Ф1Т (0 + • • • + wqT (0-

При этом.

«к = Та + Cfc(k + 1, 7)т*+1 + ••• + Cfe(fl, Т) yq,

•к =0, 1, ..., q.

Оценками коэффициентов в представлении (7) по наблюдениям Ухут являются величины

2 У^ы (0

ск=-Ц, 6 = 0,1q.

5ф^(0

^=1

Несмещенной оценкой дисперсии служит

т

2 Vyt — с0 — С1Ф1Г to — - • ■ — ^г(ор

5'^-^-CiS Ф1т(0- ••• -^5ф»т(0 _ Г=1 /=1 /=1

Вычисления по формулам (9) и (10) обычно выполняются на клавишной вычислительной машине с помощью таблиц ортогональных полиномов. У Фишера и Иэйтса (1963) последние даны (табл. 23) для степеней до пяти включительно и для Т = 3, ...» 52, а у Андерсона и Хаузмана (1942) до значения Т = 104. Для данного значения Т (обозначаемого у Фишера и Иэйтса через п) табулированы величины

(И) ^kT^^

где Хк — наименьшее рациональное число, для которого величины Чф^т (/) — целые числа. (Следует заметить, что коэффициенты Со (k, Т),..., С^_1 (£, 7) в выражении (4) — целые, а следовательно, и рациональные числа.) Для примера рассмотрим ф1т (/) = t — — (7 + 1)/2. Если 7 нечетное, то Ф17 (/) целое и Хх = 1; если же 7 четное, то фи (/) равно целому плюс 1/2 и Хх = 2. В конце каждой колонки таблиц даны значения

т т (12) 2 (^ )2 = ^ 2 ф1т (0

и Хк. Цель использования полиномов с целочисленными коэффициентами состоит в том, чтобы не вносить ошибок округления при вычислениях в (9), вплоть до выполнения деления. Вычисления ^табулированными величинами дают значения ск1Хк, т. е. оценки отношений Ч}Дк (являющихся коэффициентами при ^). Числовые примеры приведены в конце этого параграфа.

В случае применения быстродействующих вычислительных машин пользоваться указанными таблицами нет необходимости. Как отмечалось в гл. 2, подбираемая регрессия будет одной и той же и для степеней переменной / и для ортогональных полиномов той же степени, причем одинаковыми будут и коэффициенты при высшей степени. Всякий метод накопления ведущих элементов дает и коэффициенты при ортогональных полиномах и коэффициенты при степенях переменной t. Коэффициенты ортогональных полиномов (нормированные делением на корни квадратные из сумм квадратов ортогональных полиномов) легко интерпретировать как показатели вклада, вносимого в регрессию соответствующей степенью, без учета вклада, вносимого в регрессию членами более низкого порядка.

Определение степени полиномиального тренда

Из теории наименьших квадратов известно, что ск является несмещенной оценкой для ^кл a s — несмещенной оценкой для о2. Дисперсия оценки ск равна

=,

а сами величины ск некоррелированы. Будем предполагать, что у. нормально распределены. При этом с0, cv ..., cq независимы и нормально распределены, а отношение (7 — q — 1) s2/a2 имеет распределение %2 с 7 — q — 1 степенями свободы и не зависит от с0, съ ... ...,^, так что можно использовать обычные критерии и доверительные интервалы. Например, при проверке гипотезы Н\ у^ = О против альтернативы у^ #= 0 с уровнем значимости 8 нулевая гипотеза отвергается, если

(14)

где

aw = 2 ^(0,

a tT_q__! (^)—двусторонняя lOOs-процентная точка1) /-распределения с 7 — q — 1 степенями свободы. Нулевая гипотеза здесь состоит в том, что полином, о котором известно, что его степень не больше q, на самом деле имеет степень меньшую, чем q. Указанный критерий для проверки гипотезы Н: у^ = 0 в предположении нормальности является наилучшим при уровне значимости 8 в следующем смысле. Он является: (а) равномерно наиболее мощным несмещенным критерием; (б) равномерно наиболее мощным инвари- ацтным критерием (инвариантным относительно преобразования изменения масштаба cL кси i = 0, 1, ..., q, s2 -> &2s2, и сдвигов 2) ct -> ct -V ab i = 0, 1, ..., q — 1); (в) равномерно наиболее мощным критерием, имеющим мощность, зависящую только от у^/о2; (г) равномерно наиболее мощным симметричным (относительно cq^ подобным критерием; (д) равномерно наиболее мощным подобным критерием с мощностью, зависящей только от | у^ | (т. е. не зависящей от знака уД [См. Леман (1959, гл. 5, разд. 2) и упр. 11 из гл. 6)1.

х> То есть в пределах от —tT__q_x е до 1т_д_х е заключено 100(1—8) процентов распределения.— Прим, перев.

Часто исследователь не знает заранее, какой степени полином следует подбирать. Поэтому он не просто интересуется тем, является ли степень полинома величиной, не превосходящей некоторого натурального числа q, а стремится выбрать подходящую степень полинома среди некоторого множества возможных степеней. При этом определенные преимущества имеет выбор полинома более низкой степени. График его более гладкий, проще допускаемое толкование, более экономична запись функции. Однако если среднее значение наблюдаемой переменной плохо описывается полиномом низкой степени, то исследователь может оказаться вынужденным использовать полином более высокой степени. (В терминах статистики недостатком выбора слишком низкой степени является наличие смещения при оценивании тренда, а недостатком выбора слишком высокой степени —- большая вариабельность при оценивании тренда.) Будем предполагать, что существует некоторое число т (возможно, что т = 0), которое является минимально возможной степенью полинома, и что степень полинома не может превосходить некоторого q, допуская при этом, что исследователь имеет какую-то априорную информацию подобного рода.

Таким образом, исследователь сталкивается с задачей со многими решениями. Именно, он должен решить, равна ли степень полинома m, т + 1, ..., q — 1 или q. Мы формализуем эту задачу, считая, что необходимо решить, к какому из следующих непересекаю- щихся множеств принадлежит параметрическая точка (ут+ь ••• .... V»):

Нд. Уд 0,

^1?—1. V<7 =10.

:

Нщ^Г. Уд = • • • = Ут+2 = 0, ут+[ ^= 0,

Нщ' Т» = 1 1 ' = Vm+1 = °-

Принадлежность параметрической точки множеству Н( означает, что полином имеет степень i. Альтернативная постановка задачи состоит в том, что необходимо решить, какие из следующих нулевых гипотез верны (и верна ли хотя бы одна из них):

HV Уе = 0,

Hq.q-i* Уе = Те-1 = °,

Hq>q_ 1, ..., т4-ь Ye " Ye—i = • • • = Ут-н — 0.

Если некоторая гипотеза из (17) верна, то предшествующие ей гипотезы также должны быть верны. Если же она неверна, то неверны

и все последующие гипотезы. Таким образом, ffM4...,m+i С ... ...С H*q. Семейства множеств (16) и (17) связаны соотношениями

H*q=Hq_x^ ...U^m,

H*q,q_x = 77ff_2U ...U^m.

^q*q—1, т-Н ^m*•

(См. рис. 3.1.)

Предположим, что исследователь намеревается ограничить вероятности ошибок, связанных .с принятием решений о том, что коэффициенты отличны от нуля, в то время как на самом деле они равны нулю. Иными словами, ограничить вероятности ошибок, связанных с выбором степени полинома более высокой, чем это необходимо. При заданных значениях этих вероятностей он стремится минимизировать вероятности принятия решений о том, что коэффициенты равны нулю, в то время как на самом деле они отличны от нуля, т. е. минимизировать вероятности выбора степени полинома, меньшей чем требуемая. Мы предполагаем, что исследователь приписывает каждой из нулевых гипотез определенный уровень значимости:

pq = Рг {отвергнуть H*q\ ИД, pq + pq_\ = Рг (отвергнуть /7^-11 (19)!

Pq + • • • + рт+\ = Рг (отвергнуть Над_\, . ,т+11 Н*„,<7—1.^+1} —

= Рг {отвергнуть Нт | Н^,

где pt > 0 и pq + ... + рт-^х С 1. Поскольку каждая нулевая гипотеза включает в себя последующую (т. е. каждая последующая нулевая гипотеза является более сильной), то последовательность вероятностей отклонения в правых частях (19) берется монотонно неубывающей (т. е. вероятность отклонения более сильной нулевой гипотезы, когда она верна, не меньше, чем аналогичная вероятность для менее сильной гипотезы). Используя семейство попарно непе- ресекающихся множеств Н,, запишем указанное разнесение гипотез по уровням значимости в виде

Pq = РГ (ПРИНЯТЬ Н„ | Hq_V (J . . . (J H

pq_\ = Рг (ПРИНЯТЬ Hq_\ | Hq_^ U - • • U

pm+t = Рг (принять Hm+i | Hmy

Пусть pm = 1 — pq — ... — pm+i = Рг (принять Hm I HmV Посредством соотношений (20) исследователь приписывает определенные значения вероятностям принятия решений об использовании полинома степени I, когда на самом деле степень полинома меньше i (для каждого 0.

Нерандомизированная статистическая процедура для этой задачи со многими решениями состоит в следующем. Имеется набор q— m + 1 областей, которые мы обозначим R^, Rm+\, ..., Rq, попарно непересекающихся и составляющих полную группу в пространстве значений с0, сь ..., cq и 5 = (Т — q — 1) s2 (или в исходном пространстве уъ ..., ут). Если выборочная точка^попадает в Ri, то принимается гипотеза Н(. Приписывание уровней значимости приводит к тому, что эти области становятся «подобными» в том смысле, что при yz = ... = ^q = 0 вероятности попадания выборочной точки в Rb ..., Rq равны соответственно pt, ..., pQ (независимо от То, Ть •••, Yi-i и °2\ Другими словами, если степень полинома меньше i, то вероятность ошибки от приписывания ему степени i не зависит от того, какова его истинная (меньшая чем 0 степень.

Во многих случаях исследователь стремится определить только, равен ли некоторый коэффициент нулю или отличен от нуля. При этом его не интересует знак коэффициента. Естественно в таком случае требовать, чтобы вероятности, связанные с указанной про-

цедурой, не меняли своих значений при изменении знака соответствующих коэффициентов, т. е. чтобы эти вероятности зависели от параметров только через |ут+1], ..., |yj. (Из дальнейшего будет видно, что такое ограничение можно заменить присвоением ненулевым коэффициентам определенных знаков.)

Зафиксировав указанные ограничения, потребуем, чтобы области R( были наилучшими, т. е. чтобы вероятности попадания в Rt при условии, что верна гипотеза Ни i = т + 1, ..., q, были максимально возможными. Следует отметить, что мы хотим одновременно максимизировать вероятности попадания в q — т различных областей (каждую для всех отличных от нуля значений соответствующего параметра). Далее будет показано, что при указанных выше условиях при подборе одной области с целью максимизации вероятности попадания в эту область не имеет значения то, как выбираются остальные области. Этот факт позволяет оптимизировать области Rm-v-h Rq одновременно. Следует только подчеркнуть, что возможность этого основана на предположении о нормальности Уъ •••, Ут-

Как было отмечено выше, критерий с областью отклонения (14) является оптимальным для проверки гипотезы Н\ yq = 0, обозначаемой нами через H*q и являющейся дополнительной к Hq. Отсюда следует, что наилучшая область Rq определяется соотношением (14) с е = pq. Наилучшая процедура для проверки гипотезы И*. у, = 0 с уровнем значимости ги в предположении, что yz+i = ... ... = у^ = О, состоит в ее отклонении при

/П1 К^-i-X ^i)

^4-l^i+l,Z4-l + ‘ * * + c^qaqq + 5Т — t \

где S = (Т — q — 1) s2 и т

fl«=2«M

Заметим далее, что если Т, — подобная область размера а, для проверки гипотезы у, = 0, т. е. если

Рг (ТИТ, = V/+1 ==V» = 0}=8,

для всех у0, у,y^i и о2 (> 0), то Г, выделяет, условную вероятность е, на почти всех комбинациях значений с0, съ..., с£_\ и <^ац + ... ... + Cqaw + S (достаточных статистик для у0, ух У<—i и о2 при у, = ... = у5 = 0). Иначе говоря,

Pr {Т, | с0, сгс£_ь Cta„ + • • • + 4aw + S;

Vz = ' • • = V» = 0} = e, почти всюду (с вероятностью 1). Именно такой, как говорят, «неймановской» структурой подобных областей и определяются оптималь-

ные свойства/-критерия, отмеченные выше. [См. Леман (1959, гл. 4) или упр. 10.1 Из требований (20) [или эквивалентных им требований (19)1 вытекает, что такую структуру имеет Rt. Кроме того, такую структуру имеет R( J Ri^ (J ••• U Rg—область отклонения гипотезы Hq, q—л,..., ,, когда она вернз. Мы используем этот фзкт ДЛЯ ТОГО, чтобы ПОКЗЗЗТЬ, ЧТО выбор Rq, ..., /?14-1 (при допущении (20)) не влияет на выбор Rt в том смысле, что вероятность попадания в R; (являющаяся функцией от |yz |) при у,+1 = ... = yq = 0 не зависит от того, какими были выбраны Rq) ..., Ri^x- Отметим, что значение ^t интересует нас только в том случае, когда у,-|_1 = ... ..,= yq = 0- Если же какое-нибудь из y,+i, ..., yq отлично от нуля (т. е. если степень полинома больше /), то вопроса о том, отлично у, от нуля или нет, не возникает.

Лемма 3.2.1. Пусть множество 5,+1 в пространстве значений с0, ..., cq и S таково, что

Рг {S,+i | y,-+i = • • • = у^ = 0} = pq + • • • + pw

и пусть Tt — множество, определяемое значениями с0, ..., ct и c^ai-(-1,14-1 + ... + CqUqg + 5, S = (Т — q — 1) s2. Тогда

Pr(Sz+1 П Tt\W- ~ У^ = 0} =

= 0 — Pq— ••• — Р^рЦТ,\у^ = ... =V(7 = 0}, где Si^ — множество, дополнительное к S^].

Доказательство. Требование (25) означает, что Sz+i —подобная область (по отношению к у0, ...» у, и а2). В силу этого

Рг (S<+i | с0, ... , cb с^ха^хд-^х + • • • 4* c^aqq + S;

yz+i = • • • = yq = 0} = pq + •.. + pw

для почти всех с0) ..., ct и c^YaiW^\ + ... + Cqaqq + 5. Пусть fz (^0, СИ c^xai^-x.i^x + ... + Cqaqq + 5) — характеристическая функция множества Tt (т. e. /z = 1, если аргумент принадлежит Т^ и fi = 0 в противном случае). Тогда

Рг{3,+1П7а =

= § [Рг {5,44 | с0, ..., сС) ^4-i^z+i,z+i + ••• + Cqaqq + 5} х

х ft (со, . . . , см Cf4irz,+1,,4-1 + . . . + Cqttqq + 5)] =

= 8 [(1 — Pq—Л’+1) fi (^0, . • , cb c2i^xai^x,i^\ + • • •

*E CqUqq + 5)1,

что и доказывает лемму, поскольку это соотношение совпадает с

(26). [Отметим, что это доказывает независимость (-критериев в (21).] ■

Смысл леммы состоит в том, что каким бы образом ни выбирались Rqi ..., Rt+i при условии (20), из которого следует (25) для S/_f_i= Rq (J ... [J Ri-\-i, вероятность попадания в область Rt, определенную как пересечение 5Ж fl Т{, будет зависеть только от Т, и не будет зависеть от S,+i (когда верна гипотеза H^-iж).

Пусть теперь П — область, определяемая соотношением (21) при е, = рД\ —рд - ... — р,+1).

Лемма 3.2.2. Пусть Sl+i удовлетворяет соотношению (25), а R{ — произвольное непересекающееся с Si+i множество, для которого

Pr \Rt | у, =yz+, = • • • = у„ = 0} = рь

Pr\Rt | у„ уж = • • • = у, = 0} =

= Pr\Ri I — Vo VH-i = • • • = То = 0}. Тогда

Pr [Sz+1 П Т\ | уж = • • • = у, = 0} >

>Рг №|Тж = ... =у# = 0}.

Доказательство. Предположим, что для некоторого значения параметра у^ неравенство (31) нарушается. Покажем, что это противоречит приведенному выше утверждению о том, что Т\ = (St+j А А ^*д 1) (^ж А ^) — равномерно наиболее мощный критерий с подобными областями для проверки гипотезы ^ = 0 с мощностью, не зависящей от знака уг Критические области Т* и Rt (J и №+1 A Т^) имеют один и тот же размер. В то же время мощность второго критерия для указанного значения у, при сделанном предположении больше. Полученное противоречие доказывает лемму. g

Из доказанных двух лемм вытекает, что какими бы ни были Rq,..., /?i+i, наилучший выбор множества Rt состоит в том, что это Rt должно являться частью множества Т*, не содержащей точек из Rq, ..., Z?t4«!. При таком выборе Rc вероятность

Рг{/?,.|уж = ... = у, = 0} =

= (1— Pq— ••• — Р,+1) Pr {TZ ( уЖ = ••• =У„ = 0} не зависит от выбора Rq, ..., Ri-^x.

Теорема 3.2.1. Пусть Rm, Rm^\, Rq— полная группа q — — т + 1 непересекающихся областей в выборочном пространстве.

таких, что

Pri^Jy, = yz+i = ••• = ТУ = 0} = р„ 1 = тД-\, ... , q, где рт+х + • • • + р„ < 1 и

Рг\Rt | у,., у(+1 = • • • = у5 = 0} =

= Рг{^( | — yz, yl+i = =ув = 0), i = m+ 1q.

Тогда для каждого значения ^ вероятность (34) принимает максимальное значение на множестве Rp определяемом как пересечение множества (21) при et = рД\ — pq — ... — pi^-d и дополнения к множеству Rq у ... У ^н-ь i = tn + 1, .... q.

Оптимальной является, таким образом, следующая процедура:

Rq_x = T;(\T^b

:

/?, = т:п^-1Л л^ноть

^?w+l — Т0 fl Tq_\ fl . ., fl Tzn-j-2 fl Tm-f-b

Rm = ^0 П T q—1 П • • • П Tni^ fl T.

Эта процедура по сути дела сводится к следующему. Поочередно проверяются гипотезы ^ = 0, у^_| = 0, ... до тех пор, пока либо какая-то из гипотез не будет отвергнута, например гипотеза yz = 0, и будет решено, что верна НИ либо будут приняты все гипотезы вплоть до Нт. Таким образом, указанная процедура является последовательной. Это обусловливается требованием независимости вероятности правильного решения о том, что степень полинома меньше заданного натурального числа, от истинной степени полинома.

У /-критерия имеется целый ряд оптимальных свойств, пять из которых мы отмстили выше. Использование нескольких из них и приводит к утверждению сформулированной теоремы. Условие подобия (33) можно заменить условием несмещенности, а именно условием

Рг (отвергнуть Hq,Q^zl^Cr-i/)</>»+••• 4* Ри

i = m + 1, ..., q, поскольку из несмещенности вытекает подобие соответствующих областей, и требованием независимости от знаков величин у,, ... ..., ym+i вероятностей попадания в эти области. [См. Леман (1959, гл. 4, разд. !).!

Мы не останавливались еще на вопросе о том, как следует выбирать pm-v\, •••, Pq- Если все 8Z фиксированы и равны, например, 8, ТО pq = 8, Pq—\ = 8 (1 — 8), ..., р( = 8 (1 — ^”1 , ...» /2^4-1 = = 8 (1 — 8)^~m~i, рт = (1 — 8)^-^. Намерение не завышать степень полинома следует сбалансировать с чувствительностью процедуры к ненулевым коэффициентам. При разумном подходе следует устанавливать значение q довольно большим, но полагать 8f для значений i, близких к q, весьма малыми. Если влияние t-й степени сравнительно велико, то при таком выборе будет иметься возможность это определить. Вероятность же принять решение о необходимости использования высоких степеней в том случае, когда этого не требуется, при указанном выборе мала. Например, пусть 8/ = 8* (q + 1—j)/(q— т^ j = т + 1, ..., q. Тогда рт приближенно равно ехр {—8* (д — т + 1)/2} ~ 1 — 8* (д — т + 1)/2.

Описанная процедура не нова. Отличие здесь только в подходе. Другая процедура, предложенная для оценивания степени полиномиальной регрессии, также является последовательностью критериев значимости, но взятой в обратном порядке. Сначала с помощью /-критерия проверяется гипотеза y^i = 0. Если она отклоняется, то проверяется гипотеза ут+2 = 0 и т. д. В результате либо некоторая гипотеза принимается, либо все гипотезы вплоть до ^q = = 0 отклоняются. Недостатком этой процедуры является то, что если некоторое у, очень велико, то велика и вероятность слишком заниженного оценивания степени полинома. Например, если значение у2 велико, а значение ут мало, то будет относительно велика вероятность того, что

-„Е1Ц <&.

^2^22 + ' * ' + cqaqq + ^

То есть с относительно большой вероятностью будет принята гипотеза ух = 0 и решено, что степень полинома равна нулю. (Следует отметить, что эта процедура не удовлетворяет (19) или (20) при у3 = = ... = у, = 0.)

Практическое неудобство процедуры, которая в нашей формулировке является наилучшей, состоит в том, что она требует вычисления S и вследствие этого вычисления с0, съ ..., cq до значения q, выбранного заранее. В то же время во второй упомянутой последовательной процедуре вычисление сх, с^, ... производится последо- т

вательно (С2^22 + ... + cqaqq + S = 2 tit — соТ — ^п и т- Д-) и только до тех пор, пока гипотезы отвергаются. Однако отмеченное неудобство не очень существенно, поскольку коэффициенты регрессии при ортогональных полиномах относительно просто вычислять с помощью таблиц полиномов. К тому же обычно приходится использовать лищь небольшие значения q, поскольку в случаях, требую-

щих использования высоких степеней, применение ортогональных полиномов не приносит особой пользы. (На практике, если принимается Hqi ^зх^ад^т дополнительно вычислять ^+i для проверки правильности выбора q.) Как было указано ранее, при наличии быстродействующих вычислительных машин можно использовать и регрессию по степеням t. Заметим, что коэффициенты при ортогональных полиномах, используемые в процедуре, определяются в любом методе накопления ведущих элементов.

В § 2.3 было отмечено, что критерий проверки гипотезы о равенстве некоторого коэффициента регрессии нулю не изменится, если совершить линейное преобразование независимых переменных, оставляющее этот коэффициент без изменения в выражении регрессии с помощью новых переменных. Частным случаем такого преобразования является последовательная ортогонализация переменных, при которой интересующая нас переменная ортогонализируется в последнюю очередь. Таким образом, критерий для проверки гипотезы у, = 0 в предположении у,+1 = ... = yq = 0 в точности совпадает с критерием для проверки гипотезы az = 0 в предположении, что al+i = ... — a^ = 0 (здесь а, — коэффициенты при степенях / в выражении (1) для полиномиального тренда). Приведенная выше процедура со многими решениями может поэтому выполняться на основе регрессионного анализа полиномиального тренда. (В действительности эта процедура применима к любому упорядоченному множеству независимых переменных.) Как было указано в § 2.3, критерий для проверки гипотезы о равенстве нулю некоторого регрессионного коэффициента требует только прямого решения нормальных уравнений. При выполнении процедуры со многими решениями прямое решение достаточно получить лишь для полной совокупности переменных, поскольку прямое решение для каждого подмножества, получаемого вычеркиванием последней переменной, является частью полного прямого решения.

Прогнозирование значения yt для t > Т может быть произведено, как указано в § 2.5, т. е. в качестве прогноза можно брать 5^Ф^т (О- Однако обычно прогнозирование с использованием подобранного полиномиального тренда рискованно. Дело в том, что полином является лишь приближением к реальному тренду и поэтому нельзя быть уверенным, что это приближение останется удовлетворительным вне множества значений I, на котором производился подбор полинома.

Пример 3.1. В табл. 3.1 приведены данные) о количестве мяса, потреблявшегося в США на душу населения, за период с 1919 по

Таблица 3.1

ЕЖЕГОДНОЕ ПОТРЕБЛЕНИЕ МЯСНЫХ ПРОДУКТОВ (ВКЛЮЧАЯ ПТИЦУ И РЫБУ) В США С 1919 ПО 1941 Г.

t

Ml

Ч/

4

S3/

У/

1919

171.5

-11

77

—77

1463

-209

165.805

1920

167.0

-10

56

-35

133

76

169.456

1921

164.5

—9

37

—3

—627

171

171.927

1922

169.3

—8

20

20

—950

152

173.350

1923

179.4

-7

5

35

—955

77

173.859

1924

179.2

-6

-8

43

—747

-12

173.585

1925

172.6

—5

—19

45

-417

—87

172.662

1926

170.5

—4

—28

42

—42

-132

171.223

1927

168.6

—3

—35

35

315

— 141

169.399

1928

164.7

—2

-40

. 25

605

-116

167.325

1929

163.0

—1

—43

13

793

-65

165.132

1930

162.1

0

—44

0

858

0

162.954

1931

160.2

1

—43

—13

793

65

160.923

1932

161.2

2

-40

-25

605

116

159.172

1933

165.8

3

-35

—35

315

141

157.833

1934

163.5

4

-28

-42

—42

132

157.040

1935

146.7

5

—19

—45

—417

87

156.925

1936

160.2

6

—8

-43

-747

12

157.620

1937

156.8

7

5

—35

—955

-77

159.260

1938

156.8

8

20

-20

-950

-152

161.975

1939

165.4

9

37

3

-627

-171

165.900

1940

174.7

10

56

35

133

-76

171.167

1941

178.7

11

77

77

1463

209

177.908

1

1

1/6

7/12

1/60

Здесь t обозначает год, у^ обозначает потребление (в фунтах) на душу населения в t-й год, а ^ является соответствующим значением подобранного полинома третьей степени.

Таблица 3.2

ВЫЧИСЛЕНИЯ с ИСПОЛЬЗОВАНИЕМ ОРТОГОНАЛЬНЫХ полиномов

Сумма

Сумма

степень«вадрьтов

полинома/о

*а=*-

произведенийКоэффициент

тс.Квадрат

НСк<1кк

23

1012

35 420

—383.6

2 606.0

166.1913

-0.379051

0.073574

145.404

191.735

Продолжение табл. 3.2

Степень полинома к

Сумма квадратог

Т

Сумма произведений

Г f

f=i

Коэффициент ск

Н

Квадрат ♦

2 скакк

3

32 890

4 366.0

' 579.567

4

13 123 ПО

17 252.4

0.00131466

22.681

5

340 860

17.8

0.00005222

0.000929

~Средняя остаточная сумма

Остаточная суммарквадратов

квадратов9

Отношение

^+1°Н1. w + •

+ s _^-M^+L2+12111__

T — k-\

t*

0

1369.538

62.2517

1

1224.413

58.3054

2.494

2

1032.400

51.6200

3.714

3

452.833

23.8333

24.318

4

430.152

23.8973

0.949

5

430.151

25.3030

0.000 037

Т

т

^yt = 3822.4,

2^ = 636 619.18,

8 = 430.150796.

^=1

^=1

* Вычисляется как отношение

1941 г. (Т = 23). В ней же даны значения ортогональных полиномов до пятой степени включительно [из Р. Л. Андерсона и Хауз- мана (1942)1. Приведены также множители ^. Вычисления коэффициентов регрессии и ^-отношений сведены в табл. 3.2.

В этом случае подходящую степень полинома определить нетрудно. Возьмем 9 = 5. Если только р5 берется не слишком близким к 1, то в соответствии с результатами вычислений мы принимаем гипотезу у5 = 0. Если, далее, р4/(1 — р5) ненамного больше, чем 1/3, то мы принимаем гипотезу у4 = 0. Если, наконец, р3/(1 — р5 — — р4) не слишком мало, то мы принимаем гипотезу у3 #= 0. Таким образом, мы выбираем степень, равную трем. В последней колонке табл. 3.1 приведены значения соответствующего кубического приближения.

Наблюдаемый ряд и подобранный тренд графически изображены на рис. 3.2. Следует заметить, что выравнивающая кривая дает хорошее согласие, причем большинство точек лежит близко от нее. Мы интерпретировали бы данную кривую как ожидаемое, или нормальное потребление мяса, если бы не возникающие год от года

Ежегодное потребление мясных продуктов на душу населения в США с 1919 по 1941 г. и подобранный кубический тренд.

нерегулярности. Должно быть ясно, что изображенный полином третьей степени не дает хорошего прогноза. Во всяком случае, его можно использовать в этом качестве лишь для достаточно близкого будущего. Для значений же, расположенных значительно правее приведенных, этот полином растет, причем возрастает и его производная. Однако, даже без учета влияния войн, представляется не очень правдоподобным, чтобы потребление мяса на душу населения возрастало неограниченно и при все увеличивающемся темпе роста.

СГЛАЖИВАНИЕ

Сглаживающие процедуры

Иногда тренд является гладкой функцией времени, флуктуирует на любом коротком интервале времени незначительно и все же его невозможно представить простой функцией времени на всем рассматриваемом интервале. Тем не менее простая мысль о том, что тренд гладкий, а случайные ошибки, как правило, нерегулярны, приводит к естественной статистической технике сглаживания. Сглаживание временного ряда означает представление тренда в данной точке посредством взвешенного среднего значений, наблюдаемых в окрестности этой точки. При этом считается, что наблюдаемые значения являются суммой тренда и случайной ошибки. Грубо говоря, взвешенное среднее тренда совпадает со значением самого тренда в данной точке, а взвешенное среднее случайных составляю*

щих имеет тенденцию становиться весьма малой величиной (предполагается, что случайные составляющие независимы и имеют нуле-' вые математические ожидания). Поэтому взвешенное среднее наблюдаемых значений будет оценивать тренд. Оно определяется для каждого момента времени, за исключением нескольких первых и нескольких последних точек. Тем самым довольно нерегулярный график наблюдений заменяется гладким графиком скользящего среднего.

Опишем более четко, что мы понимаем под сглаживанием. Под гладкой функцией мы подразумеваем функцию, которая может быть адекватно представлена полиномом достаточно низкой степени на некотором не слишком малом интервале времени. Это понятие до некоторой степени оправдывается теоремой Тейлора. (Нас фактически интересует здесь приближение только для нескольких целых значений аргумента.) Полиномы, аппроксимирующие функцию, не обязаны быть одинаковыми на различных интервалах. Полином, подобранный на одном интервале, может не иметь ничего общего с указанной гладкой функцией в любой другой части отрезка наблюдения. Приведем в качестве примера тренд, составленный из выпуклой и вогнутой парабол:

М_а[1—(/_з^2Ь/ = 2^, ... , 4^,

для некоторого целого к. В точке / = 2& значения и самих этих парабол и их первых производных совпадают. Так определенная функция будет гладкой. Она является полиномом первой или второй степени для любых трех последовательных точек и представима параболами на достаточно длинных интервалах времени. Однако парабола, представляющая функцию на первой половине всего интервала, весьма отличается от второй параболы. В действительности указанная функция довольно близка на интервале от 0 до 4& к полиному третьей степени. (См. упр. 20.) Смысл приведенных рассуждений состоит в том, что предположение о гладкости тренда является локальным свойством, в то время как предположение о полиномиальном характере тренда связано со всем интервалом / = 1, ..., Т. Соответственно предположение гладкости позволяет использовать для оценки тренда в данной точке только наблюдения вблизи этой точки, в то время как предположение о полиномиальном характере тренда приводит к тому, что для оценки полинома, представляющего тренд на всем интервале, используются все наблюдения.

Пусть имеются наблюдения уъ ..., ут. Оценим тренд в точке / посредством величины

m

у* = 2 W. 1 = m + *. • • • > T^m, s=—m

являющейся взвешенным средним наблюдаемых значений yt в ин-

тервале значений временного параметра /, отстоящих от / не более чем на т единиц. Веса cs предполагаются нормированными, так что

т

2 cs=i.

^——т

(Пределы суммирования можно брать без потери общности симметричными относительно нуля, поскольку некоторые cs могут быть рав ны нулю.) Полученная таким образом последовательность у*т^\> ... ... , у*т-т называется скользящим средним исходной последовательности ^у^. Если yt = f (0 + ип то

т

y*t= s c^t + s^u;

s=—m.

где

и* = ^ csui+s.

s=—m ,

Как и прежде, предполагается, что би, = 0, Wt = ст2 и ^ut us = т

= 0, / =^ s. В силу этого U' имеет дисперсию о2 2 с^- Веса cs вы’s=—m

бираются так, чтобы дисперсия величины и* была значительно меньше, чем дисперсия величины щ. Если значения / (/ + s), s = = ±1, ..., ± пг, близки к / (/), той ^у* будет близко к / (/). Поэтому скользящее среднее, или сглаженный ряд ^у*^, имеет примерно ту же последовательность математических ожиданий, что и ^, но зато меньшую дисперсию (одинаковую для всех членов {у*/}). Однако последовательные члены сглаженного ряда в общем случае являются коррелированными. Именно

^U*Ut+h= 2 2 CsCr^,Ut+sUt+h+r = s=—m r=—m

ст2 2 csCs-h, h = 0, 1, ..., 2m, —s=—-m-^h

-0,h = 2m + 1

Одним из частных случаев скользящего среднего является арифметическое среднее, для которого cs = l/(2/n + I). В этом случае сглаженное значение yt выражается формулой

т

У) Mt = 2т + 1 2 ^z+s

s=—m

тт

= 2m + 1 2 f ^ + s) + 2m + 1 2 “<+S1

Слагаемое, представляющее усредненную ошибку, имеет диспер сию оЧ^т + 1) как среднее 2m + 1 некоррелированных переменных. Ковариации (последовательных) значений ut суть

(8)(8)2m + 1 — /г(2m + I)2о,2m + 1 — /г(2m + I)2о,h = 0, 1, ... , 2m, h = 2m 4- 1, ... .h = 0, 1, ... , 2m, h = 2m 4- 1, ... .

(8)

(8)

2m + 1 — /г(2m + I)2

о,

2m + 1 — /г(2m + I)2

о,

h = 0, 1, ... , 2m, h = 2m 4- 1, ... .

h = 0, 1, ... , 2m, h = 2m 4- 1, ... .

Общая основа для большинства формул сглаживания состоит фактически в подборе сглаживающего полинома по (2m + 1) последовательным наблюдениям и в использовании этого полинома для оценки тренда в средней точке. Поскольку оценки коэффициентов полинома зависят от наблюдаемых значений линейно, то линейной является и оценка тренда. Вследствие этого она имеет вид (2). Предположим теперь, что тренд f (/ + s) в точках t + s = — t — m, ..., t + m можно приблизить полиномом 1 (9) ft (s) = a0 + o^s + - - • + a^, s = —m, ... , m.

(Коэффициенты as зависят от /, но мы не будем отмечать этого в обозначениях.) В частности, f (/) приближенно равно ft (0) = a0. Коэффициенты этого полинома можно оценить на основании наблюдений yt-m, .-м Уц-т, используя метод наименьших квадратов. Нормальные уравнения для оценок а0, аъ .... aq имеют вид

Заметим, что уравнения, которые необходимо решить для определения а0 при нечетном значении q, в точности совпадают с уравнениями, которые надо решить для определения а0 при меньшем на единицу (четном) значении q. (Нам необходимо исследовать только степени 0, 2, 4 и т. д.) Пусть [<//21 = к. Тогда (11) можно записать в виде ттт

(2/и + 1) а0 + 2 5 saa4+ • • • + 2^s% = 5 ^+s, s—1s—1s=—m

mmmm

5 s2ia0 + 25 s2£+2a4 + • • • + 25 821+-ка2к = 5 s2< kyt-s + yt^, s=ls=ls=l$=1

i = 1k.

Коэффициенты в левых частях этих нормальных уравнений зависят только от т. Коэффициенты при yt_s и у^ в правых частях совпадают, s = 1, ..., т. Решением (13) относительно а0 является

т'

а0= 5 csyt+s

s=—m

с c_s = cs. Заметим, что коэффициенты с$ зависят от т и к и являются полиномами отз. Из (14) вытекает, что yt = а0. Используя (14) и замечая, что если yt^ = а, з = — тт, то ft (з) = а — наилучший выравнивающий полином, можно получить соотношение т

Положим для примера т = 2 и q = 2, т. е. используем для оценки ^>yt значения yt-^ yt-ь У^ Уж» Уж» предполагая, что некоторая парабола хорошо приближает значения f (t — 2), f (t — 1), f (0, f V + 1), f V + 2). Нормальные уравнения для a0 и a2 имеют в этом случае вид

2

5а0 + 10а2 = 5 yt+s,

s=—2

2

10tz0 + 34а2 = 2 s2 Vyts + yt+s)*

Отсюда

22

ao = ^- S yt+s—^'^(yt-s + yH-s)- s=—2s=l

= (— iyt—2 + 12^—i -|- 17^ 4~ 12^4.1 — 3y/-|-2)/35.

Если к = 0 (q = 0 или 1), то в (13) имеется всего одно уравнение т

относительно неизвестного а0. Его решение а0 = У ^+s/(2/n4-l), s=—т

т. е. cs = 1/(2/и + 1), s = —т. ..., т. Другими словами, скользящее среднее с равными весами есть частный случай полиномиального сглаживания. Он имеет место, когда степень полинома равна 0 или 1.

Таблица 3.3

КОЭФФИЦИЕНТЫ СГЛАЖИВАЮЩИХ ФОРМУЛ ДЛЯ к = 1, 2

т

С~ъ = с‘

с = с.

—44

^ = С»

С—2 ^ С*

с^= = ci

со

к = 1 |

2

3

12

17

35

35

35

3

2

3

6

7

21

21

21

21

4

21

14

39

54

59

231

231

231

231

231

5

36

9

44

69

84

89

429

429

429

429

429

429

* = 2 |

5

30

75

131

3

231

231

231

231

15

55

30

135

179

4

429

429

429

429

429

18

45

10

60

120

143

5

429

429

429

429

429

429

Если к = 1 (^ = 2 или 3), то нормальные уравнения принимают вид (см. упр. 7)

(2m + t)а, + Р"+ ■)”<"+ ■)= 2 у,+„

6s=—m

/17Х(2т + 1) т (т + 1), (2т + 1) т (т + 1) (Зт2, + Зт — 1)

Ч 3п

= 2 S2 (#_s + yt+s\

S=1

Их решением является

2 [3 (3m2 + 3m - 1) - 15s2] у,+$

^ ;°о - . (2m — 1) (2m + 1) (2m + 3)

В табл. 3.3 приведены значения коэффициентов cs для к = 1 и к = 2 и нескольких значений т. Случай к = 1 (q = 2 или 3) исследован выше, а случай к = 2 (q = 4 или 5) вынесен в упр. 22. Кендалл и Стьюарт (1966, разд. 46.5) приводят коэффициенты для других случаев и обсуждают связанные с ними формулы сглаживания.

Необходимо отметить, что при т < к коэффициент а0 остается неопределенным. При т = к производится подбор полинома степени 2^ + 1 по 2m + 1 = 2к + 1 точкам. Такой подбор выполняется точно и поэтому а0 = ус Если т > к, то скользящее среднее нетривиально, т. е. в него входит несколько значений у^- В простейшем из таких случаев , т = к + 1,

/2^ + 2\

^^ бм.

(^к 4-2 \

—s=l, .... т,

где'

/2* + 2\(2*+2)!

/9П Г- '*+!' -^+!)12_(2* + 2)!3

1 G — /4* + 4i (4*+ 4)!(* + I)!2 (4* + 4)! '

Ua + 2/(2* + 2)!2

Мы убедимся в этом в § 3.4, после того как получим ряд результатов, связанных с последовательностями разностей.

Свойства процедур сглаживания

Перейдем теперь к рассмотрению некоторых свойств указанных методов сглаживания. Одна из основных задач сглаживания состоит в том, чтобы уменьшить случайную ошибку, т. е. сделать дисперсию сглаженной последовательности малой по сравнению с дисперсией исходной последовательности.

Теорема 3.3.1. Дисперсия величины у] = а0 равна

агЬ№ = а2с0,

где Ь№ — верхний левый угловой элемент матрицы В-1, обратной к матрице В коэффициентов уравнений (13), элементы которой суть

600 = 2т+1,.

m

611 = 2^ s^+n, i + j>0, i, j = 0, 1, ..., k.

S=1

!)(h\ hl_ .m 1

— ~* 5 = 0, 1, .». , /1; 0! = L \g) gHh-g)'

Доказательство. Если обозначить правые части уравнений (13) через Yb I = 0, 1, ..., к, то эти уравнения можно записать в виде

к

2 Ь^а^ Yb i = О, 1, .., , к.

/=о

а их решения относительно а0 в виде

ктк

«0 = 5 №Yj = b™ 5 yt+s + 5 ^ь

/=0'~—т/=1

к = 1к = 1она равнаона равна(26)(26)Здесь (6(/) = В-1. Поскольку Y, не содержат значения yt для / > 0, то Ь°° является коэффициентом при у,. Общая теория метода наименьших квадратов утверждает, однако, что дисперсия а0 равна а2»00.

к = 1

к = 1

она равна

она равна

(26)

(26)

2m + 1

к = 0

<7 = 0,1

к = 1

<7 = 2,3

/г = 2

<7 = 4,5

к = 3 д = ^Л

3

У = 0.333

5

4- = 0.200

О

17 4^=0.486

Ои

7

-у = 0.143

-Е = о.ззз

1 = о.5б7

9

4—о.ш

^ = 0.255

Й+<)-417

797

57=0.6!9

11

тг-М91

S=°-207

-у = 0.333

Таблица 3.4

ДИСПЕРСИИ СГЛАЖЕННЫХ ЗНАЧЕНИЙ «т8 = 1)

Если k = 0, то дисперсия величины yi есть а2/(2m + 1). Для

3 (З/тг2 + 3т — 1)2

(2m — 1) (2m + 1) (2m + 3) ° ’

а для tn = k + 1

В табл. 3.4 приведены дисперсии некоторых сглаженных значений.

Для фиксированного к дисперсия уменьшается с ростом используемого числа точек. При фиксированном числе точек (т. е. при фиксированном т) дисперсия увеличивается с возрастанием к. Факти-

чески для фиксированного значения т — к, которое вдвое меньше разности числа точек и числа неявно подбираемых констант, дисперсия увеличивается с ростом к.

Отметим также, что разность наблюдаемого и сглаженного значений (yt — у*) не коррелирована с y*t) поскольку оценки коэффициентов регрессии не коррелированы с остатками. (См упр. 7 гл. 2.) Поэтому

Var (у, — у,*) = а2 — Var yj = cr2 (1 — с0).

Как было указано выше, последовательные сглаженные величины являются коррелированными. Например, корреляции у< с У/_ь у<_2, у/-з и yt—л для случая к = 1 и т = 2 равны соответственно

-^ =0.565; ^= 0.071;-Х =—0.121;^ = 0.015.

v 1595595’595595

Мы изучим еще это явление в'гл. 7, после того как разовьем более мощный математический аппарат.

Если yt = f (О + ut и используется сглаживающая формула с коэффициентами с&1 то систематическая ошибка сглаженной величины имеет вид

т

Ш^=К^- 2 cj^s\

s=—m

Если сглаживающая формула основывается на полиноме степени q и тренд является полиномом той же (или меньшей) степени, то систематическая ошибка будет равна 0. В противном случае она отлична от нуля. Предположим, что к = 0 (q = 0 или 1) и коэффициенты те же. Тогда систематическая ошибка выражается соотношением

8 (у, - yt) = Г (0 -s5m f У + s),

т. e. разностью между / (/) и средним арифметическим соседних значений. Предположим, что f (/ + s), s = —т, ..., m, записывается с помощью ортогональных полиномов степени, не превышающей 2т + 1 (ортогональных на множестве —т, ..^т^в виде

/ (^ + s) = То + Т1Ф1,2m4-l (s) + • • • + Т2т4-1ф2т+1,2m 4-1 (s),

s — —mt ... , т.

Тогда использование сглаживающей формулы, основывающейся на полиноме степени 2к или 2^ + 1, приводит к систематической

ошибке

ш-у^ =

= ?2&+2<Р2£+2>2т+1 W + ^2/г+4ф2/г-|-4,2т+1 (®) + ’ * * A^m^Sm/hn^X ^’ поскольку выравнивающий полином состоит из элементов соотношения (32) степени до 26 или 26 + 1 включительно и <p*,2m+i (0) = = 0 для нечетных L (См. упр. 30.)

В гл. 4 мы будем изучать случай, когда среднее значение является функцией f (/) = cos (Xt — 0), т. е. косинусом с периодом 2л/Х. Если при этом коэффициенты cs = l/(2m + 1), то ожидаемое значение сглаженной переменной запишется в виде

•&/; = _^ j^cos[^ + s)-e] =

s in X (2т + 1)/2 (2т + 1) sin Х/2s in X (2т + 1)/2 (2т + 1) sin Х/2COS (М — 6) =COS (М — 6) =

s in X (2т + 1)/2 (2т + 1) sin Х/2

s in X (2т + 1)/2 (2т + 1) sin Х/2

COS (М — 6) =

COS (М — 6) =

0<Х0<Х2л.2л.sin X (2т + 1)/2 г у vx~ (2m + 1) sin Х/2 Г

0<Х

0<Х

2л.

2л.

(См. упр. 31.) Таким образом, операция сглаживания здесь просто уменьшает амплитуду функции f (/). Если X мало (т. е. период велик), то и это уменьшение мало (упр. 32). При фиксированном X большим значениям иг (удовлетворяющим неравенству (2m + + 1) X < 2л) соответствует меньший коэффициент пропорциональности (упр. 33). Если 2m + 1 = 2лА (длина скользящего усреднения равна периоду), то сглаженное значение равно нулю.

Основная цель сглаживания состоит в оценивании тренда, или ожидаемого значения yt с наименьшей ошибкой. Ошибка складывается здесь из смещения (30) и' случайной составляющей и*/ =

= 2 ^+s- Первую составляющую можно измерить ее квадратом, S——т

а вторую — ее дисперсией о2600 = о2с0. При фиксированном к смещение с увеличением m в большинстве случаев возрастает, а дисперсия убывает. В то же время при фиксированном m смещение с увеличением к убывает, а дисперсия возрастает. Статистик, которому приходится использовать сглаживающую формулу, должен выбрать значения к и т. Он мог бы использовать в качестве меры ошибки среднеквадратичную ошибку, которая является суммой указанной дисперсии и среднего квадрата смещения. Если бы дисперсия о2 случайных ошибок ut была известна и если бы были известны средние квадраты смещений для каждой комбинации к и т, то статистик смог бы выбрать комбинацию к и т, минимизирующую эту меру ошибки. Однако здесь трудно дать какую-либо рекомендацию, поскольку дисперсия и среднеквадратичное смещение ведут

себя в отношении к и т противоположным образом. Если о2 мало, то можно удовлетвориться относительно малым т.Чем более гладкой является / (/), тем меньшим может быть выбрано к при фиксированном т (или тем большим выбрано т при фиксированном к). В действительности, конечно, эти характеристики не известны, а должны быть оценены по имеющимся данным. Поэтому выбор к и т является статистической задачей со многими решениями, которую трудно даже сформулировать, не говоря уже о ее строгом статистическом решении. Поэтому практик должен действовать здесь исходя из своей интуиции и накопленного опыта.

Другой подход состоит в том, чтобы выяснить, каково наименьшее к, такое, что средний квадрат смещения близок или равен нулю, когда т фиксировано или когда т — заданная функция переменной к, например т = к + 1. Мы рассмотрим этот подход в следующем параграфе.

Преимуществом сглаживания для оценки тренда является его гибкость в том смысле, что предположения, при которых его можно использовать, не очень обременительны. Однако, поскольку этот метод не основывается на явной вероятностной модели, свойства его не вполне определены и статистические выводы ограничены. Например, тренд здесь не определяется малым числом параметров, для которых можно было бы указать доверительные области. Невозможно проверять гипотезы относительно тренда. Нельзя непосредственно связать функцию, оценивающую тренд, с теорией или с моделью образования наблюдаемого ряда. При сглаживании оценивающая тренд функция годится скорее для целей описания, нежели для целей анализа ряда и его интерпретации. Из-за того, что этот метод не базируется на явной вероятностной модели, он не может быть изложен полностью и строго в терминах математической статистики (по крайней мере кратко).

Имеется и серьезная практическая трудность в применении сглаживания. Для того чтобы получить величину y*t) оценивающую тренд в точке /, необходимо использовать значения yt-m, •••, Уц-т> Поскольку эта процедура основывается на наблюдениях уи ..., уТ) то первым сглаженным значением будет Ут-ух» а последним ут-т- Тем самым, мы не имеем оценок тренда в начале периода наблюдений и в его конце. Для оценки тренда в этих точках необходимо привлекать какие-то другие соображения.

Сглаживание само по себе, конечно, не дает средних прогнозирования. Экстраполяция оцененного тренда весьма ненадежна отчасти из-за того, что тренд не оценивается для последних т моментов времени.

Мы основывали сглаживание на нечетном числе членов с симметричными весами. Если используется четное число членэв с симметричными весами, то сглаженное значение интерпретируется как

оценка тренда в точке, лежащей посередине между двумя средними точками. Это может оказаться неудобным. .

Скользящее усреднение с равными весами (^ = 0) можно легко осуществить на клавишной вычислительной машине, поскольку т

сумма 2 Ун-s измеряется при каждом / путем вычитания одного s=—m

члена и добавления другого. Эти суммы запоминаются и затем каждая делится на2/и + 1 (или умножается на l/(2m + 1)). Представляет значительный интерес аппроксимация процедуры сглаживания с неравными весами последовательностью процедур сглаживания, использующих равные веса. Конечно, при наличии быстродействующей вычислительной машины нет никакой нужды упрощать коэффициенты.

Сглаживание с использованием скользящего среднего имеет длинную историю, причем к нему пришли первоначально с точки зрения, отличной от статистической. [См. Уиттекер и Робинсон (1926).] Иногда бывает необходимо интерполировать между точками, в которых наблюдения производились. В интерполяционных формулах используются последовательные разности. Для того чтобы эти разности вели себя гладким образом, перед интерполированием можно применить формулы сглаживания. С этой точки зрения две сглаживающие процедуры эквивалентны с точностью до некоторого порядка, если разности этого порядка согласуются для каждой пары сглаженных рядов, полученных в результате применения этих двух процедур. (См. § 3.4.) Говорят, что процедура является точной до разностей некоторого порядка, если она не нарушает разностей этого порядка для полиномов. Одной из часто используемых процедур, точных до разностей третьего порядка, является 15-точечная формула Спенсера. Эта процедура выполняется таким образом. Сначала вычисляются величины

у* = (— tyt—z + 3^/_i + 4yz + Зг/^j —3 ^-f_2)/4, затем усредняются (с равными весами) 5 последовательных у\, далее — 4 последовательных члена полученного ряда и, наконец, усредняются 4 последовательных члена последнего ряда. Другой процедурой, сохраняющей разности третьего порядка, является 21-точечная формула Спенсера, соответствующая вычислению величин'

($6) У1 ~ (— tit—з + yt—i + 2у, + У/4-1 —f/w)/2

и поочередному усреднению 7, затем 5 и 5 членов получающихся рядов. Обе эти процедуры сравнительно легко реализуются.

Сезонные изменения

Если на временной ряд накладываются регулярные периодические изменения, то полезным оказывается иной подход. Во многих ежемесячных временных рядах проявляется, например, сезонный фактор. Изучаемую функцию времени можно записать при этом в виде (37)^yt = t^ = g^Hh^1

где функция g (/) имеет период п (12 для ежемесячных данных, 4 для ежеквартальных и т. д.), т. е.

g(t + n) = gW, t=\,...,T — n.

№ы можем нормировать g (/) таким образом, чтобы

п

5 5(0 = 0.

Из периодичности g (/) следует при этом, что и

2 5(^ + 0 = 0, 5 = 0Т — п.

Обычно Т выбирается таким, чтобы оно делилось нацело на п, Т = = hn. (Например, при ежемесячных данных за h лет Т = 12/г.) При произвольном выборе /(/) данное выше описание не позволяет однозначно определить g (/) до тех пор, пока не будут наложены определенные условия на функцию h (/). Обычно предполагается, что она или является медленно меняющимся трендом, или циклическая.

Скользящее среднее с п членами и равными коэффициентами будет устранять сезонное колебание g (f) в том смысле, что

пп

n s=lп S=1

yt = ^yt = ^ТогдаТогдаWt—^Wt—^_ 12/71_ 12/71Если n четное, n = 2/n, что обычно имеет место в экономических данных, то используем

yt = ^

yt = ^

Тогда

Тогда

Wt—^

Wt—^

_ 1

2/71

_ 1

2/71

5 Vt-^s + -S- yt—m + -9- yt*m •

t = tn + 1, ..., Т—m.

m-1 '..

5 f V +s) + -9" f V — /и) + -9* f (^ + m)

S=—(rn—1)zz

m-l

2Ц^ + Цг h (t~m) + 4- h(t + m)

:—(m—I)Z4

Если долговременный тренд h (/) меняется медленно, то (43) близко к h (/). В частном случае, когда функция h (t) линейна, (43) в точности равно h (/).

При Т = hn функцию g (/) можно определить однозначно соотношением

^уЗ/т-уЗт t =

Сезонный эффект декабря равен, например, разности между средним по всем декабрям и средним по всем данным. Оценкой функции g (/) служит в этом случае

Wт

4-2^+п/--г2^, 1 = 1,

" /=01 8=1

Эта оценка является несмещенной и имеет дисперсию [/ 11 \2/ I 21„ 1

Альтернативный метод оценивания состоит в использовании отклонений от сглаженных значений. Если п = 2m, то соответствующие оценки для g (/) следующие:

И — 1 2 (^+«/ Уц-njV ^ = 1, . • • , /п,

(47)

/1—2

1 2 (У*+п1 У^п^ t = пг + 1, ..., 2m.

/=о

Ввиду того что в сглаживаемых рядах отсутствуют пг первых и пг последних членов, средние (47) должны основываться на h — 1 отклонениях. В более подробной записи они имеют вид

/i-lt /T-m-l-^t11\

yt-Vnjп" I 5 У$ + -п- Ut-Vm + УТ—тп-Vt

/=1ys=/+m+l2/

(48)(48)t = 1, ... , /и,

(48)

(48)

й-2j / Г—3m—1+t\'

yt+nj9—"5Уs + ~^-yt-m + -к-Ут-Зш+t ,

t = пг 4- 1, ..., 2/тг.t = пг 4- 1, ..., 2/тг./=0\ s=/—m4-1у

t = пг 4- 1, ..., 2/тг.

t = пг 4- 1, ..., 2/тг.

Дисперсия оценки (48) равна

(49)(49)п— 1п— 111 Q*Т — п 2 (Т — п)2 Q*Т — п 2 (Т — п)2

(49)

(49)

п— 1

п— 1

1

1

Q*

Т — п 2 (Т — п)2

Q*

Т — п 2 (Т — п)2

Может показаться, что оценка (48) несколько предпочтительнее, так как применение скользящего среднего является более гиб-

ким подходом, чем точное описание тренда. Однако разница между (48) и (45) заключается только в использовании крайних членов, именно в отбрасывании (2m — 1) крайних членов и использовании половинных значений двух других крайних членов. Легко проверить, что (49) больше чем (46). [См. Дурбин (1963).]

При рассмотрении многих экономических временных рядов статистики полагают, что составляющие ряд воздействия перемножаются. Иными словами, они предполагают, что ряд имеет вид

Y (t) = G (t)H(t) U(t),

где H (f) — тренд, G (/) — сезонный фактор, U (/) — случайный фактор, причем все сомножители положительны. Применяемое в этом случае так называемое «отношение к скользящему среднему» (ratio-to-moving average) заключается в последовательном образовании ряда скользящих средних (42) и использовании отношений Y (t + n^lY*^t + nf) вместо разностей из (47). Для получения оценки сезонного фактора, соответствующей суммам (47), производится усреднение образованных отношений при каждом значении t (или находится медиана этих отношений). Если произведение 2m средних (или медиан) указанных отношений не равно 1, как это обычно и бывает (в то время как сумма оценок (48) должна была бы всегда равняться нулю, если бы не влияние крайних членов), то каждое отношение умножается на одно и то же число, так чтобы результирующее произведение равнялось 1. Альтернатива к этой процедуре состоит в использовании логарифмов. При этом

,51) yt = log Y (/), g (0 = log G (0.

ht = log H (t\ ut = log U (t).

Если полученные ряды и их компоненты удовлетворяют сделанным ранее предположениям, то для оценивания функции g (/) = = log G (/) можно использовать (45) или (48). Этот метод представляется более предпочтительным. Дело в том, что метод отношений к скользящему среднему не имеет строгого математического обоснования. Более того, чувствуется, что он не является безукоризненным в этом отношении, поскольку использует аддитивные методы при мультипликативных факторах (это проявляется в необходимости видоизменять оценки, принудительным образом домножая их произведение до 1).

Мы определили сезонное изменение g (f) в (44) чисто формальным образом. Экономист обычно представляет себе сезонное изменение как проявление определенного поведения, обусловленного тем или иным временем года, а тренд ^ — как долговременную тенденцию,

х) Мы понимаем здесь под «трендом» всякое систематическое изменение ожидаемого значения, не связанное с сезонными изменениями. Экономисты часто понимают «тренд» как долговременное изменение, противопоставляя егр «циклическим изменениям», коротким по времени.

обусловленную более устойчивыми воздействиями. При этом f (t) является суммой сезонного воздействия g$ и долговременного тренда К (/), причем (по крайней мере субъективно) g(t) и h (/) определяются независимо. При таком подходе функция g(f) может и не быть строго периодической, медленно меняя со временем свой вид. Можно предположить, например, что

) g(Hnh=g*Wg*4rh

где g** (/) — медленно меняющаяся функция. Мы, однако, не будем развивать далее это направление. Метод анализа сезонных изменений, основанный на подобной модели, предложен Вальдом (1936). Изменяющиеся сезонные колебания рассматривались затем Хен- наном (1964), Боксом и Дженкинсом (1970).

Статистики иногда рассматривают экономический временной ряд как ряд, складывающийся из долговременного тренда, циклического изменения, сезонного воздействия и нерегулярной составляющей. Тренд является долговременной тенденцией изменения, обусловленной ростом популяции, технологическими изменениями и другими достаточно долговременными воздействиями. Циклическое же изменение связано с колебаниями, известными под названием цикла деловой активности. С этой точки зрения циклическое изменение не обязательно периодично, как это имело место у сезонного изменения в (38). Тем не менее иногда предполагают, что скользящее среднее устраняет влияние циклического изменения при оценивании тренда. Вопрос об эффективности этой процедуры мы рассмотрим позднее.

Сглаживающие формулы могут быть основаны не только на полиномах, но и на других выравнивающих функциях. Кроме того, эти функции не обязательно должны подбираться с использованием равных весов. Значения в точках s = 0, ±1, ..., ±т могут быть обработаны так, как если бы они имели возрастающую дисперсию.

Задачу получения сглаженных значений на концах рядов можно решать различными способами. Значения в начале ряда могут не играть особой роли. Значения же непосредственно в конце ряда обычно наиболее существенны. Если сглаживающая формула основывается на подборе полинома степени q по 2m + 1 точкам, то полином, подобранный по значениям ут-2т, Ут-2т-н, ---, Ут, можно использовать для получения значений у* сглаженного ряда и при t = Т — m + 1, Т — m + 2, ..., Т. и при t = Т — т. Эти сглаженные значения y*t также являются линейными комбинациями значений ут-^т, Ут- [Коуден (1962) приводит соответствующие коэффициенты для <7 = 1, ...» 5 и m = 1, ..., 12.1 Другой подход состоит в применении сглаживающих процедур, основывающихся на использовании в конце ряда меньших значений m и к. При таком подходе ут = ут (поскольку и т, и к должны быть равны в этом

случае нулю), что является не вполне удовлетворительным. Оба эти метода дают сглаженные значения, обладающие в конце ряда большей вариабельностью, чем в его середине.

. МЕТОД ПЕРЕМЕННЫХ РАЗНОСТЕЙ

ЗЛ.Ь Введение

Метод переменных разностей был предложен для оценивания дисперсии случайной составляющей при гладком характере тренда. При ’дальнейшем развитии метод стал применяться и для решения вопроса о степени гладкости тренда. Обе эти статистические задачи рассматриваются применительно к модели yt = f $ + ио где ut некоррелированы, имеют нулевые средние и дисперсии о2, а функция /(/) является гладкой в том смысле, что ее можно хорошо приблизить в последовательных интервалах времени полиномом небольшой степени. .

Другое применение переменных разностей состоит в проверке отсутствия корреляции. Такие задачи рассматриваются в гл. 6 для иной вероятностной модели.

В настоящем параграфе будет развита некоторая общая теория, рассмотрены оценивание величины о2 и критерии для проверки гипотез о гладкости, а также будет выяснена связь указанного метода со сглаживанием. Некоторые из этих результатов используются в дальнейшем при изучении сериальной корреляции.

Впервые разности были использованы, по-видимому, Кейв- Браун-Кейвом (1904) и Хукером (1905) для изучения корреляции между двумя рядами. Метод был развит затем Стьюдентом (1914). О. Андерсон (1929) и Тинтнер (1940) интенсивно изучали его применительно к оцениванию дисперсии.

Вычисление последовательных разностей

Метод переменных разностей основан на вычислении последовательных разностей элементов временного ряда. Установим систему обозначений для таких вычислений и отметим некоторые их свойства. Пусть ^ — оператор, определяемый соотношением

^ut = иж, / = • • , — 1, 0, 1, ... .

По любой заданной последовательности ..., w_i, u0, иг> ... этот оператор строит новую последовательность, индексы в которой сдвинуты на единицу. Мы будем писать также ^ ^ = {^4-1}.

Оператор такого рода есть функция, аргументами и значениями которой являются последовательности. Оператор У называется

линейным, если для любой последовательности {^} и для любого действительного числа с

0 ^си^ с() ^

и, кроме того, для любой пары последовательностей {wz} и {oj

в^НтШ

Очевидно, что ^является линейным оператором. Мы будем использовать запись (1), понимая ее и как результат применения оператора ^ к целой последовательности, и как результат операции над отдельным элементом и, последовательности.

Определим ^ = 1 как тождественный оператор ^ui — “/)> а оператор ^ определим рекуррентно как ^ С^-1), т. е.

9% = ^^и^, п = 2, 3

По индукции можно вывести, что

^ u( = и4^.п.

Оператор с^ задается соотношением

(с^ и, = с^и^.

Определим далее сумму операторов соотношением

(с^Ч- • •• + с^^ и, = с^'и, + • •• 4-с^Ч

Как следует из (7),

(q^' + • • • + с^^*) и( = с1и4^гП1 + • • • + cfeui+nb.

Таким образом, определен полином от ^ (с действительными коэффициентами). Операции над этими полиномами (умножение и т. д.) согласуются с операциями над полиномами от абстрактной переменной. (Сумма бесконечного числа операторов есть предел левой части (8), если правая часть сходится в некотором смысле.)

В частности, представляет интерес полином А = ^ — 1 (разность первого порядка), действующий следующим образом:

Auf = (Ф — 1) ^ = ^^ — u, = u(+i — иг

Разность второго порядка есть

(Ю)Д2Ы< = (^—1)2Ы/ = (^ —2^4-1)^,

или, что эквивалентно,

А (Ды,) Ь= Ди(+1 — \ut = и4+2 — 2u<+i + ur

Разности более высоких порядков определяются как

(12)(12)^ut = (^- 1/ «, = 5 (- ir7 Н ^ Ut =/=0\1/

(12)

(12)

= f(- ir^O^+z-

но К//

Для удобства вычислений мы можем предпочесть определение Arut = А (Аг“1^). Для заданной последовательности {^} в этом случае следовало бы поочередно вычислять: Аиь А2щ = А (А^) и т. д.

Важным свойством операции вычисления разностей является результат ее воздействия на последовательность, образованную полиномами от t. Мы имеем

(13)

А (а0 + а^ + • • • + а^) =

= а0 + «1 (/ + 1) + • • • + (( + l)fe —1

— [а0 + а7 + • •' + а^(61 =

= «1 + «2 W + I)2 —(2] + «3 № + I)3 — Z3] + - - •

+«,[(/+ !)*-(*] =

= haktk~x += haktk~x +«» +«» +»к-\»к-\tk^tk^

= haktk~x +

= haktk~x +

«» +

«» +

»к-\

»к-\

tk^

tk^

+ [а* + ^k— 1 + • " ‘ + «2 + «J. Существенным моментом является здесь то, что применение разностного оператора к полиному понижает степень последнего на единицу. Из этого факта следует, что если f (/) — полином степени к, то ■

Д7(0 = 0, г = А+1, ^ + 2, ... .

Ранее мы рассмотрели тренды, которые или являются полиномами, или хорошо аппроксимируются полиномами на интервалах. С помощью операции вычисления разностей такие тренды редуцируются к нулю или к функции, близкой к тождественному нулю. (Более полно об исчислении разностей см. Жордан (1939) или Миллер (I960)).

Вычисление последовательных разностей наблюдаемых рядов

Рассмотрим наблюдаемый временной ряд (у,), о котором предполагается, что он складывается из тренда /(О и случайной ошибки ut. Поскольку оператор Д линейный, то

Ду, = Д tf (0 + «J = Д/ (О + Д«„

^yt = ^f(n + ^ut.

Если f (t) — полином от t степени меньшей, чем г, то Д7 (О = 0 и

(17)(17)%kryt = 0. Во всяком случае,

(17)

(17)

ёД'у, = д7(0-

Обратимся теперь к дисперсии величины \гуt. Она равна дисперсии случайной величины

(18)

ДГЫ( = (^—1/и, = У — Q^"^ ••• +(—1/ ut--= = Ut-Yr — f j ^/+r~l + • * * + (— l)r Ut.

Для дальнейшего будет полезна

Лемма 3.4.1. Пусть Р (х) и Q (х) —полиномы степени р и q соответственно. Тогда ^>P^ut Q X^ut равно умноженному на о2 коэффициенту при хч в выражении xqP (х) Q (х-1) или, что равносильно, коэффициенту при ^ в xf Р (х-1) Q (х).

Доказательство. Пусть

P(x) = 2«ZQ(x)=2&/.

i=0/=0

Тогда

Р Qmin(p,^)

^P^utQ^ut = ^ ^аф^ижиж = о» 2 а&’ 1=0 /=оz=o

поскольку ^ид,. = 0, / у= s. Однако это и есть умноженный на о2 коэффициент при х7 в выражении .

Р (х) xqQ (х-1) = 2 а,х‘ blXq~’ = 22 ^Ь^-^.

.;=0/=0i=0 /=0•

Доказательство завершается выписыванием второго полинома.*

Дисперсия величины Yut выражается соотношением

g (ДГи^ = £(& — l)r ut^— l)r ut =

\ Г) W

Это связано с тем, что правая часть (22) есть умноженный на о2 коэффициент при V в выражении

(х - 1)' (1 - х)г = (- 1)г (х - 1)2г =

Ковариация величин \r ut и &rut+s есть

gAru(Aru/+s = g (^— 1)г иД^— \y^ut = / 2г \■

= а2(—l)s , s = 0, 1,, г,

'V + 8/

. О,s = r + 1, ... .

Скользящее среднее является линейным оператором и может быть представлено в виде полинома от оператора ^:

т[tn. \

2 csyt^s = £ cs^+s yt_m.

s-——m,\s=—m).

Аналогичным образом можно записать сглаживающие формулы из разд. 3.3.1, а также остаток от скользящего среднего

yt- £ csyt+s= 2 с^5\у(_т. s=—m\s=—m)

Если сглаживающая формула (25) использует полином степени 2& + 1, то оператор (26) аннулирует (т. е. обращает в нуль) всякий полином степени 2^ + 1 или меньшей. Покажем, что отсюда следует, что этот оператор действует (исключая сдвиг во времени) как линейная комбинация разностей А2*+2, ..., А2т.

Лемма 3.4.2. Если Q (х) —полином от х степени п uQ (^) аннулирует всякий полином степени р (<; п), то Q ^) можно представить в виде линейной комбинации операторов Ар+1, ..., А",

Доказательство. Пусть Q (у + 1) = dnyn + d„_1y"-1 -f- ... ... + d^y + d0. Поскольку ^ = A + 1, to

Q^tW^fltHdn-i^-'HtH ••• +^A/(0 + ^(0.

Если f (/) = f, 0 < q < р, то

Q(?)H0=<WH4^’ ++ d^f + dotq = О

ввиду того, что AV = 0 для г > q. Поочередное рассмотрение (28) для q = 0, 1, ..., р показывает, что dQ = 0, di = Оdp = 0. Это и доказывает лемму. в

Следствие 3.4.1. Остаток, (26) сглаживающей формулы с 2т + 1 членами, использующей полином степени 2k или 2^ + 1, является результатом применения линейной комбинации операторов А2*+2,...

A2m к yt_m.

В случае т = k + 1 указанный оператор *> имеет степень 2т = = 2k + 2 и поэтому он должен быть пропорционален (^ — 1)2*+2 = = А2*+2, т. е. равен С'А2М"2. Значение С' определяется путем сравнения двух выражений для дисперсии величины

(29)(29)Мы имеем и® (22)Мы имеем и® (22)^4-1

(29)

(29)

Мы имеем и® (22)

Мы имеем и® (22)

•2^s^H5 ~ С Аи^_k—i.

(30)Далее,(30)Далее,8 (C'^ut^8 (C'^ut^ста.ста.Hl\22 W+s s=-(fc-H)/Hl\22 W+s s=-(fc-H)/Hl\22 CsU^-(HD)Hl\22 CsU^-(HD)s=-4HD

(30)

Далее,

(30)

Далее,

8 (C'^ut^

8 (C'^ut^

ста.

ста.

Hl\2

2 W+s s=-(fc-H)/

Hl\2

2 W+s s=-(fc-H)/

Hl\2

2 CsU^

-(HD)

Hl\2

2 CsU^

-(HD)

(32) Поэтому(33)(34)(32) Поэтому(33)(34)

(32) Поэтому

(33)

(34)

(32) Поэтому

(33)

(34)

= о2 — о2с0.

Это следует из теоремы 3.3.1 и из некоррелированности оценки регрессии и остатка от нее. Поскольку 1 — с0 является коэффициентом при д^4"1 в разложении С' (% — 1)2/н"2, то

/н^с' /2^ + 2\ _ ^*2 /4^ + 4\\&+1/\2^ + 2/

/2^ + 2\

L4А? + 4\ ’

+ 2/l^k + 2\2

0/4А» + 4\ е

(2А» + 2/

Ц Оператор ^ —^ с^^в ^- — Прим. перев. ^—т

При этом(35)При этом(35)c_s = cs = (— l)s+1c_s = cs = (— l)s+112k -|“ 2\ / 2k 4- 2 \\ k + 1 / U + 1 4- s)(4k + 4\\2& + 2/12k -|“ 2\ / 2k 4- 2 \\ k + 1 / U + 1 4- s)(4k + 4\\2& + 2/Эти же выражения были приведены ранее в формулах (19), (20), (21) § 3.3.Эти же выражения были приведены ранее в формулах (19), (20), (21) § 3.3..4. Оценивание дисперсии ошибкиМы показали, что если тренд f (f) на коротких интервалах близок к полиному низкой степени, то полученная последовательность разностей имеет средние, близкие к нулю. Если эти средние значения равны нулю, то5 (wvr=(Т-г).4. Оценивание дисперсии ошибкиМы показали, что если тренд f (f) на коротких интервалах близок к полиному низкой степени, то полученная последовательность разностей имеет средние, близкие к нулю. Если эти средние значения равны нулю, то5 (wvr=(Т-г)является несмещенной оценкой о2. Для произвольного тренда5 [Д7(0Р£Vr = o» + ^является несмещенной оценкой о2. Для произвольного тренда5 [Д7(0Р£Vr = o» + ^Пусть Кг= ^ (Т — г)Пусть Кг= ^ (Т — г)2г\"г)2г\"г). Тогда дисперсия Vr при Д7 (0 = 0,. Тогда дисперсия Vr при Д7 (0 = 0,t = 1, .... Т — г, равна произведению Кг на величинуt = 1, .... Т — г, равна произведению Кг на величину(38)(38)^^-(т-г) ръ/=1\ ч .^^-(т-г) ръ/=1\ ч .22

При этом

(35)

При этом

(35)

c_s = cs = (— l)s+1

c_s = cs = (— l)s+1

12k -|“ 2\ / 2k 4- 2 \\ k + 1 / U + 1 4- s)

(4k + 4\

\2& + 2/

12k -|“ 2\ / 2k 4- 2 \\ k + 1 / U + 1 4- s)

(4k + 4\

\2& + 2/

Эти же выражения были приведены ранее в формулах (19), (20), (21) § 3.3.

Эти же выражения были приведены ранее в формулах (19), (20), (21) § 3.3.

.4. Оценивание дисперсии ошибки

Мы показали, что если тренд f (f) на коротких интервалах близок к полиному низкой степени, то полученная последовательность разностей имеет средние, близкие к нулю. Если эти средние значения равны нулю, то

5 (w

vr=

(Т-г)

.4. Оценивание дисперсии ошибки

Мы показали, что если тренд f (f) на коротких интервалах близок к полиному низкой степени, то полученная последовательность разностей имеет средние, близкие к нулю. Если эти средние значения равны нулю, то

5 (w

vr=

(Т-г)

является несмещенной оценкой о2. Для произвольного тренда

5 [Д7(0Р

£Vr = o» + ^

является несмещенной оценкой о2. Для произвольного тренда

5 [Д7(0Р

£Vr = o» + ^

Пусть Кг= ^ (Т — г)

Пусть Кг= ^ (Т — г)

2г\"г)

2г\"г)

. Тогда дисперсия Vr при Д7 (0 = 0,

. Тогда дисперсия Vr при Д7 (0 = 0,

t = 1, .... Т — г, равна произведению Кг на величину

t = 1, .... Т — г, равна произведению Кг на величину

(38)

(38)

^^-(т-г) ръ

/=1\ ч .

^^-(т-г) ръ

/=1\ ч .

2

2

^ 8 (^и^ (b'uf - (Т-r? (2гХ о».

t,s—\\ Т]

п

Лемма 3.4.3. Пусть 5 aijuiui = »'А», где К — симметричная матрица, &ut = 0, ^ul = о2, ^Uj = 0, i #= j, ^u] = %4 + 3o2, '^u2iu^ = a4, i ^= j, и ^u^jU^Ut = 0, если индексы не равны попарно. Тогда

g 2 aiiuiui = a2 5 аа = °2 trA-

z,/=li=l

g ( 2 аЧи1иХ = X aijah^UjU^t =

\Z,/=1//,/,/?,/=!

n/ n\2и

= х42 4 +о4 2 % + 2о* 2 а ч

Z=1\Z=1 /Z,/=l

Лемма 3.4.4. В условиях леммы 3.4.3 дисперсия величины п

2 сщи^ выражается соотношением

I п\ п оп о

Var ^ а^иД = х4 2 аи + 2о4 ац

V,/=l/Z=1Z,/—1

= х42 4 + 2a»trA2. i=i

Если uz нормально распределены, то х4 = 0 и первый член в правой части (41) равен 0.

Положим

(42)sr = г2 ^гиУ = 2 4'м.

Z=1Z,s=l

и пусть Аг = (4'). Тогда Ао = 1,

- 1 — 100-

— 12 —1 ... 0

(43)

А!

=

0—12 ... 0

>

06 о ... 1_

—

1-210 ... 0

-25—41 ... 0

(44)

а2 =

1—46—4 ... 0

01—46 ... 0

>

0 0 0 о ... 1

- 1 -

33—10 •••

0

—

— 3

10—126 — 1 ...

0

3 .

1219—156 •..

0

(45) А3 =

— 1

5 — 1520 — 15 •

0

0 -

16 —1520 ...

0

0

1

0000...

1

Кроме того, V, = KrSr. При Дг f(f) = 0 вычи (47) Var Vo = 4" (х4 + 2а4},УагУ1 = т1-г{[1-^Д-п-’х4 + 2VarV,= г12 {[1 g(rL2)]«. + 2Var V3J1юо (Т — 9) ][сления дают:22 (Г - 1) ] ) ’3521 Л182 (T - 2) ] Q J ’Кроме того, V, = KrSr. При Дг f(f) = 0 вычи (47) Var Vo = 4" (х4 + 2а4},УагУ1 = т1-г{[1-^Д-п-’х4 + 2VarV,= г12 {[1 g(rL2)]«. + 2Var V3J1юо (Т — 9) ][сления дают:22 (Г - 1) ] ) ’3521 Л182 (T - 2) ] Q J ’1941 - I245 (Г —4) lz«+'1941 - I245 (Г —4) lz«+'" 2313 -1002 (T — 3)" 2313 -1002 (T — 3)12874901287490(51)(51)VarV^^VarV^^42 (Г — 4)42 (Г — 4)

Кроме того, V, = KrSr. При Дг f(f) = 0 вычи (47) Var Vo = 4" (х4 + 2а4},

УагУ1 = т1-г{[1-^Д-п-’х4 + 2

VarV,= г12 {[1 g(rL2)]«. + 2

Var V3J1юо (Т — 9) ]

[сления дают:

22 (Г - 1) ] ) ’

3521 Л

182 (T - 2) ] Q J ’

Кроме того, V, = KrSr. При Дг f(f) = 0 вычи (47) Var Vo = 4" (х4 + 2а4},

УагУ1 = т1-г{[1-^Д-п-’х4 + 2

VarV,= г12 {[1 g(rL2)]«. + 2

Var V3J1юо (Т — 9) ]

[сления дают:

22 (Г - 1) ] ) ’

3521 Л

182 (T - 2) ] Q J ’

1941 - I

245 (Г —4) lz«+'

1941 - I

245 (Г —4) lz«+'

" 231

3 -

100

2 (T — 3)

" 231

3 -

100

2 (T — 3)

1287

490

1287

490

(51)

(51)

VarV^^

VarV^^

4

2 (Г — 4)

4

2 (Г — 4)

1

— 4

6

— 4

17

— 28

6

— 28

53

— 4

22

— 52

1

— 8

28

0 .

1 •

— 8 •

0"

0

0

(46)

а4 =

— 4

1

22

— 8

— 52

28

69

— 56

— 56

70

28 •

— 56 •

•• 0

• 0

0

1

— 8

28

— 56

70 •

•• 0

_ 6

0

0

0

0

0 .

•• 1 _

Здесь х4 — четвертый семиинвариант.

Общее выражение для дисперсий величин Vr найти трудно из-за того, что элементы в обоих концах каждой диагонали А, отличаются от элементов, расположенных ближе к середине. Запишем Sr в виде

sr = ^ ^ УI? = 2 2 П ^ MW

(=16=1 а,3=0\аМр/

Тmin(s,«,T—г) / г \ / Г

s,u=ll=max(s—г,и—r,l) \S v \“^s,u=ll=max(s—г,и—r,l) \S v \“^Элемент а^ равен коэффициенту при у^ в (52), так чтоЭлемент а^ равен коэффициенту при у^ в (52), так чтоУ$Уи-

s,u=ll=max(s—г,и—r,l) \S v \“^

s,u=ll=max(s—г,и—r,l) \S v \“^

Элемент а^ равен коэффициенту при у^ в (52), так что

Элемент а^ равен коэффициенту при у^ в (52), так что

Первая сумма здесь вычислена с использованием тождества

(54)2 Q V = 1)Г <х ~ 1)2Г =

= (х—1)г(1—х/ = 2 (-IJ^HH/^ а,0=0\^/ \Р/

и равна коэффициенту при У в последнем выражении. Остальные отличные от нуля элементы суть

л\ъг^(г\( T \Z .хь/ 2r \

(_ l)fe у\(_ 1)6\

cS) \a/ \a + k)\r + k)

(55)a^k = .

s — r — ^+1,T—r,

(— i)6 У (Г V ^ J = «T-s-6+l.T-s+b a=0 «/ \® + k)

,s = 1, ... , r — k,

для к = 1, ..., г..

Теперь можно подсчитать и указанные дисперсии, однако вычисления утомительны. Для четных г, г = 2п,

2 la«i2 = 5 {1^’12 + |41s+i.t-s-h12} +

S=1S—1

+ У {[Oss’]2 + [а^+1,г_$+1]2} + (Г - 2r)^rV =

= (T -r) (2rV + 42 4’ f^ - P^l,\ Г/ s=l _\ Г )

ПОСКОЛЬКУ Orls+i.T-s+l = Oss* И '

= (2r) - 4\ s = 1, ... , r.

\ Г

Подобным же образом, если г = 2n + 1, то

Г/9г\2п

2 t^l2 = (^ - 2г)+ 2 2 I^ J2 + 2 [а^.п+П3 +

5=1\ Т /s=l

2/г-Н (гХ

+ 2 2 [«^]2 =

s=n+2

= (Т-г)

п

+ 42

S=I

Uss

2

ввиду того что

(59)On+i,n+i =(

^ \ г

г = 2п + 1.

В обоих случаях главный член равен (Т — г) ^ ).

Для к = 1, ..., г можно найти, что

Т—к , ,/ 2г \2г—к , .

(60) 2I^W= (Г-2г + к)( д +2 210^ =

/ 2г \2 сг-гЦ 1 J \г + к)

+ 4(г5)/2^+4^-

2г

/ 2г V V-k-l)/2<т-гц^А+4 2 ^U

V + М S

если г — к четное, / 2г \ 1

L( ^ V2 I г _L Ь )

если г — к нечетное, т

(см. упр. 55), так что главный член в 2 [а^’Р запишется в виде

(61) (Г-г)

V2r\2

2г

При г = 2п второе слагаемое равно

21г / 9г \2

Jk±Lr \г + к)

= (7”Г) о •

\ 2г /

(62)

4 2 4» Seel

USS

2r Vг/

+ 8 2 ай+1

п—1

^s,s-H

+ 8 ^ ^sfs+2 ^м+2 —

2г

2

2г у2г —1/2г у2г —1/г/9г

2г у

2г —1/

2г у

2г —1/

• • •+ 8a(!^__i a(i^-i — [

у2г — 2

Кендалл и Стьюарт [(1966, стр. 389)] приводят его к виду —В = г 12г\8

=5-). Таким образом, при Д7 (0 = О

2 \ г/

Var Sr = f (Т — г) рГ У — al х4 + 2 [(Т — г)\ т

Var Vr =

где х4 — четвертый семиинвариант, а аг определяется из (56) или (58). [Кендалл и Стьюарт (1966, стр. 389) приводят выражение и для агЛ

Если Т велико, то дисперсия V, приблизительно равна

(65)(65)

(65)

(65)

При нормально распределенных ut семиинвариант х4 равен 0.

Поскольку дисперсия при Г -> оо стремится к нулю, то Vr является состоятельной оценкой для о2. Можно показать, что, когда х4 существует, а и, независимы и одинаково распределены, величина

(66)(66)VT— г -=^^=^lA+^O/C/’VT— г -=^^=^lA+^O/C/’

(66)

(66)

VT— г -=^^=^

lA+^O/C/’

VT— г -=^^=^

lA+^O/C/’

имеет в пределе стандартное нормальное распределение со средним 0 и дисперсией 1. (См. разд. 3.4.5.) Если х4 = 0, то дисперсия

V Т — г V, асимптотически эквивалентна 2о4 ^г)/ \ г) и П0СлеД" няя величина служит мерой эффективности Vr как оценки для а2. Как и следовало ожидать, дисперсия Vг с ростом г возрастает.

Лемма 3.4.5. Ковариация двух (симметричных) квадратичных пп

форм 2 atjUjUj = u'Au и 2 bkiUhUi = u'Bu в условиях леммы М'=1кД=\

.4.3 выражается соотношением

7) Cov [ 2 a4utub 2 bwukUi

\ /,/=1кД=\

ппп

= х4 5 аиЬц + 2а4 2 ацЬм = х4 2 * + 2а4 tr АВ.

/^=1z,/=l/=1

Можно показать, что ковариация V, и Vq приближенно равна

Точная формула для ковариации отличается от (68) слагаемыми, возникающими из-за того, что коэффициенты членов, близких к концам ряда, отличаются от коэффициентов членов, близких к его середине. Кендалл и Стьюарт (1966, стр. 389) приводят точное выражение для этой ковариации в случае q = г + 1.

Кенуй (1953) указал, что линейная комбинация cpVp-V...+ cqVq) где со + ... + с = 1, также является несмещенной оценкой для о2 (если т

^Pf (О ” 0)- Если р = 0, то Уо = ^ у2 /Т — наилучшая несмещенная оценка для о2, поскольку в этом случае / (/) = 0. В предположении нормальности она является достаточной статистикой для а2. (Если р = 1 и, следовательно, /(/) = const, то в предположении нормальности достаточное множество статистик образуют статисти- т '

ки у и 2 (% — У)2-) Для р ^ 1 Кенуй поставил вопрос о том, какая линейная комбинация имеет минимальную дисперсию для х4 = 0 и различных значений р и q. Если р = 1, a q = 4, то «наилучшими» коэффициентами будут ^ = 7.5, с2 = —20.25, с3 = 22.50, с4 = —8.75. Соответствующая дисперсия равна 3/4 дисперсии У1е Оказывается, что знаки коэффициентов этих линейных комбинаций чередуются. Таким образом, нет уверенности в том, что оценка получится положительной. Поскольку эти коэффициенты существенно больше единицы, то можно ожидать, что вероятность получения отрицательного значения оценки вовсе не мала.

Постановка этой задачи приводит к вопросу о причинах ограничений на числа Уг и, что более важно, о причинах, по которым статистик ограничивается только суммой квадратов переменных разностей. Что следует считать наилучшей оценкой о2, когда тренд «гладкий»? Трудность состоит здесь в необходимости такого достаточно строгого определения «гладкости», при котором задача наилучшего оценивания была бы математически определена. Если гладким считать тренд, являющийся полиномом степени q, то наилучшей оценкой о2 будет оценка, приведенная в § 3.2. Любые другие определения гладкости являются либо недостаточно четкими, либо слишком сложными.

Кендалл (1946а, задача 30.8) предложил модифицировать метод переменных разностей путем введения фиктивных переменных У-гАА = у-н-2 = ... = у0 = 0 и ут-н — ... = утл-г = 0 и под-

счета сумм квадратов \ryt для значений t от —г + 1 до Т. В таком случае существуют простые соотношения, связывающие эти суммы тн

квадратов с суммами попарных произведений 2 UtUt-Vr Кенуй /==1

предложил другую модификацию, связанную с изменением крайних членов. Так, например, у него m-я модифицированная сумма равна среднему двух (т — 1)-х модифицированных сумм

ТГТ—1т

у wt = У + у , t=\^=2J

где

(7°)f^.-i^.

t=l^=1

Далее, можно использовать модифицированные суммы \^гу^ и ytyt-\-j и связать их. Иная модификация, приводящая к некоторым упрощениям, состоит в использовании А? вместо АЛ. (См. гл. 6.)

3.4.5. Определение степени гладкости тренда

Можно интересоваться также вопросом о том, обладает ли тренд определенной степенью гладкости. От этого, например, зависит выбор сглаживающей формулы. Таким образом, может возникнуть необходимость выяснить, является ли тренд гладким в том смысле, что он в каждом интервале времени может быть адекватно представлен полиномом вполне определенной степени q. Это соответствует задаче проверки гипотезы о том, что данная степень является приемлемой для описания тренда, против альтернативы, состоящей в том, что данная степень недостаточна для его описания. Кроме того, можно рассмотреть задачу со многими решениями об определении приемлемой степени (в пределах между двумя заданными значениями m и q) полинома, аппроксимирующего тренд.

Если под точным соответствием понимать совпадение выравнивающей функции с единственным адекватным представлением тренда, то перечисленные задачи полностью равносильны изученным в § 3.2 для полиномиального тренда. Если допустить более широкое, но нечеткое толкование адекватности представления, то задачи теряют математическую определенность. Вполне возможно особое внимание уделить максимально допускаемому расхождению между действительным трендом и его полиномиальной аппроксимацией. Однако получаемые при этом математические задачи трудны для решения. Следует отметить, что общая теория задач со многими решениями, являющаяся обобщением теории § 3.2, здесь неприменима.

Рассмотрим указанные задачи, ограничиваясь использованием сумм квадратов переменных разностей. Из (37) видно, что математическое ожидание величины V, зависит от суммы Т—г

2 IА7 (012- Эта сумма равна нулю, если полином имеет степень, <=1

меньшую г, и близка к нулю, если функция f (/) близка к полиному степени, меньшей г, для каждого набора (г + 1) последовательных значений t. Отсюда следует, что Vr можно использовать в упомянутых статистических задачах. Принимать решение о том, что А7 (0 близка к нулю для всех значений t (т. е. что полиномы (г — 1)-й степени дают адекватное представление), против альтернативы близости к нулю только разности Аг+7 (0 для всех t, можно, например, убедившись в том, что Vr ненамного больше Уг+ь

Сглаживающие формулы, рассмотренные в § 3.3 и 3.4, были основаны на предположении о том, что полином степени 2k или 2k + 1 дает адекватное представление тренда в интервале 2m + 1 последовательных моментов времени. В частности, мы отмечали, что для m = k + 1 смещение при оценивании тренда равно С'А26"*"2/ (/). Таким образом, вопросы, которые мы сейчас изучаем, соответствуют задачам о выборе подходящих сглаживающих формул. ■

Рассмотрим проверку гипотезы А7 (0 = 0 в предположении, что А7 (0 = 0 (^ > г)- Мы отвергнем эту гипотезу, если V, будет намного больше >7 Такая процедура может быть основана на статистике

/т^.^х = /т=7(-^-1).

\ vQ /

Из (68) видно, что дисперсия числителя УТ — q (Vr — V^ приблизительно равна

(72)(72)

(72)

(72)

Если указанная гипотеза верна, то математическое ожидание числителя (71) равно нулю; в противном случае оно положительно.

Разность Vr — VQ можно записать в виде

Каждое из последних двух слагаемых, умноженное на V Т — q, сходится по вероятности к нулю. (Отметим, что множитель, стоящий первым во втором слагаемом, имеет порядок 1/Т2.) Первое слагаемое является средним для Т — q величин. Если ut независимы и одинаково распределены, то рассматриваемые величины распределены также одинаково, но уже не являются независимыми. Тем не менее их последовательность образует стационарный случайный процесс (см. гл. 7), прйчем члены, отстоящие друг от друга более чем на q, являются независимыми. Это так называемый стационарный случайный процесс с конечной зависимостью. Теорема 7.7.5 утверждает, что УТ — q (Vr — Vq) имеет в пределе нормальное распределение. Поскольку Vq является состоятельной оценкой для о2 (вне зависимости от того, является ли нулевая гипотеза истинной или ложной), то и (71) имеет в пределе нормальное распределение, дисперсия которого получается из (72) опусканием а4.

Теорема 3.4.1. Если Arf (t) = 0, / = 1, ..., Т — г, а иъ и2) .... ит независимы и одинаково распределены с ^ut = 0 и ^и4 < оо, то статистика

имеет в пределе нормальное распределение с нулевым средним и единичной дисперсией.

Поэтому в случае больших выборок мы отвергаем нулевую гипотезу с уровнем значимости е, если вычисленное по выборке значение (74) превышает t (2е), где

(75)Г —A^e-ti!/2dM=6.

У 2лt(2e)

В теории больших выборок мы не использовали точную дисперсию, поскольку разность между ней и (72) стремится к нулю при

Т-> оо, а центральная предельная теорема, на основании которой строится указанная процедура, не чувствительна к подобным разностям. Возможно, что учет дополнительных слагаемых может привести к тому, что асимптотическое распределение будет лучше приближать точное распределение для данного Т. Однако это неизвестно. Тинтнер (1940) брал более точные значения моментов (включая состоятельную оценку семиинварианта х4) и привел таблицы, облегчающие вычисление Vr и использование предельного распределения.

Если и, распределены нормально, то в случае истинности нулевой гипотезы статистика (74) имеет распределение, не зависящее от мешающих параметров. Распределения квадратичных форм от нормально распределенных переменных и отношений таких квадратичных форм будут детально изучены в гл. 6 в связи с рассмотрением сериальной корреляции. Там будет показано, что распределение величины (Vr — V^!Vq, или, эквивалентно, V,JVq, является весьма сложным и не может быть приведено к простой канонической форме. С целью упрощения отыскания этого распределения был предложен ряд модификаций. Тинтнер (1940, гл. 8) предложил заменить Vr и Vq соответственно суммами слагаемых (А^)2 и (А9^)2, отбираемых таким образом, чтобы yt не появлялось дважды. При этом и числитель, и знаменатель являются суммами квадратов независимых нормально распределенных величин и их нормированное отношение имеет ^-распределение. Этот метод, однако, крайне неэффективен, поскольку число членов в каждой сумме составляет лишь 1/ (д + г) от максимально возможного. Другая модификация, предложенная Тинтнером (1955), состоит в использовании циклического определения (см. гл. 6). Это упрощает задачу отыскания распределения, но может привести к значительному смещению, поскольку тренд в начале ряда часто бывает совершенно отличным от тренда в его конце. (Фактически смещение может возрастать с ростом Т.) Камат (1955) и Гейссер (1956) предложили опускать одно или два средних слагаемых в выражении для Vr (или V^ с целью упрощения распределения последних. Другая возможность состоит в замене Аг на Ai. Мы обсудим эти задачи в дальнейшем в гл. 6 (где обозначение Aj используется для других матриц).

Рассмотрим задачу со многими решениями о выборе одной из следующих гипотез:

Hq.

Hq-v. ^f^ = o, дГ'цг^о, (76);

HmV. ^+2f (0 = o, Am+V (0 0, Hm: Am+V(O=O.

Здесь А7 (О = 0 означает выполнение равенства для всех /, а \rf (/) у= 0 означает нарушение равенства хотя бы для одного t. Эта совокупность предположений подобна (16) из § 3.2. Соответствующие решающие процедуры должны быть основаны на статистиках И/п+ь • •, Кн-ь Предположим, что А^1/ (/) = 0. Как уже отмечалось, общая теория § 3.2 в данном случае неприменима. Дело в том, что Vr не являются здесь достаточными статистиками. Тем не менее в соответствии с методикой §3.2 исследователь может действовать последовательно, начиная с проверки гипотезы А 7 (/) = 0 с помощью отношения (V^ — V^+O/V^i так, как это было указано выше. Если эта гипотеза принимается, то проверяется гипотеза ^~^ V) = 0 по значениям (l^-i — V^IVq- На каждом конкретном шаге используется (Vr — yr^i)/yr_|.i. Если гипотеза А'п+7 (/) = 0 принимается, то на этом процедура заканчивается. Для длинных рядов (т. е. при больших Т) эти критерии могут основываться на асимптотической теории, приведенной выше. Однако числители не являются асимптотически независимыми. Поэтому предельная вероятность принятия гипотезы А 7 (0 = 0, а затем гипотезы kq~'f (0 = 0 описывается двумерным нормальным распределением. Предельная вероятность для г решений требует привлечения г-мер- ного нормального распределения. На практике обычно обходят эту трудность, производя проверку по каждому критерию в отдельности.

Будем, как уже однажды предполагалось, совершать последовательные действия в обратном порядке. Сначала рассмотрим отношение (Wh— Vm^lVm^-2* Если оно велико, то примем решение А^+7 ^ ^ о. После этого рассмотрим (И/п+2 — И/п+зЖ/п+з и т. д. Практически эта процедура может быть проведена следующим образом. Применяя оператор вычисления разностей к исходной последовательности, получают последовательность {AyJ и вычисляют Vx. Затем, применяя разностный оператор к (AyJ, получают последовательность {A2yJ и вычисляют У2. Поскольку величины Vr определяются одна за другой, то каждую из них можно сравнивать с предыдущей. Критерии значимости могут быть применены, только когда задана последовательность уровней значимости. Однако, помимо трудности определения вероятностей ошибок из-за зависимости составляющих критериев значимости, осложняющим обстоятельством является еще и положительность вероятности того, Т-гТ-г

что, например, величина X IА^ (/)Р мала, а 2 [Ar+7 (Z)]2 ве- *=iz=i

лика, а это может привести к ошибочному заключению о том, что А? (0 = 0.

■ Тинтнер (1952, стр. 320) привел для ряда из табл. 3.1 разности до 5-го порядка. (Последние числа в каждом столбце таблицы Тинт- нера ошибочны.)

Таблица 3.5

ДИСПЕРСИИ ДЛЯ РАЗНОСТЕЙ ИЗ ТАБЛ. 3.1

Порядок

(Г-Оvr

0

1

2

3

4

5

62.2517

905.644420.5827

1 860.2312614.7637

5 411.7740013.5294

17 321.25133013.0235

58 446.06453612.8849

Значения статистик Vn вычисленные по этим разностям, помещены 23 _

в табл. 3.5. При г = О статистика V, равна 2 (У/ — у)2/22 и совпадает со средней остаточной суммой квадратов для к = 0 в нижней половине табл. 3.2. Заметим, что оценка Vг для о2, основанная на аппроксимирующем полиноме степени г — 1, значительно меньше оценки, являющейся средней суммой квадратов остатков относительно выравнивающего полинома степени г — 1.

Тинтнер вместе с разностью Vr — Vr-v\ в качестве состоятельной оценки для а2 использует вместо статистики V^x статистику Vr Последняя представляется более предпочтительной ввиду того, что она состоятельна при А7 (0 #= 0 и Аг+7 (/) = 0.

НЕЛИНЕЙНЫЕ ТРЕНДЫ

Иногда во временных рядах проявляются тренды, которые лучше всего описываются функциями, нелинейными по параметрам, подлежащим оценке. Например, при изучении популяций часто обнаруживается характерный тренд, связанный с ростом популяций, который можно достаточно хорошо описать так называемой «логистической» кривой роста. [См. Дэвис (1941, стр. 247—271).] Логистическая кривая как функция времени выражается формулой

/(/; ах, а2, а3) =к.—-.

1 К 1237 I + а2е-°^

При построении модели ошибок предполагают, что наблюдаемые значения размера популяции уь ..., ут отличаются от тренда некоррелированными случайными величинами, так что для оценивания параметров аь а2, а3 можно привлечь критерий наименьших квадратов, так fee как это было сделано в линейном случае. В связи с этим потребуем, чтобы выражение

5 ^t —f^ йъ <4. Оз)]2 = S (01- о2, о3)

принимало минимально возможное значение по параметрам аъ а2, а3. Минимизирующие значения аъ а2 и а3 будут при этом оценками наименьших квадратов параметров аь а2 и а3 соответственно. Задачу вычисления этих оценок часто можно решить итерационным методом с использованием первых членов тейлоровского разложения f (t; alt а2, а^ в окрестности некоторых подходящих значений а^ о о

а2, а3:

/(6 аи а2, а3) =

= / (6 о®, а®, а®) + V (а/ — а^)■ о о о + R,

*оа1 аГ°2,аЗ

/=1

где R — остаточный член. При выбранных начальных оценках ОООи ио

аь ^2, 0з можно воспользоваться линеинои техникой наименьших квадратов применительно к соотношению (3) и получить новые оценки а}, а2, at Линейные уравнения относительно at—а?, получаемые при отбрасывании остаточного члена R, имеют вид

(4)

где f (/; а0) = f (/; о?, а®, а®), (а — а0) есть вектор-столбец с элементами (az — a?), a df (t; a°)/da° — вектор, элементами которого являются частные производные по аъ а2, а3, вычисленные при выбранных начальных значениях этих параметров. Чтобы получить более точные решения, указанную процедуру можно повторить, используя вместо а®, а® и а® соответственно значения а}, а^ и о3 и т. д. Получаемая таким образом последовательность решений во многих случаях сходится к значениям, минимизирующим (2).

Можно поступать и иначе. Именно, формулу (2) использовать в точном виде, продифференцировать ее по аи а2, а3 и приравнять нулю соответствующие частные производные. При этом получаются соотношения

7*7

(S) 2№о,.1=1, 2,3.

Если теперь разложить исходную функцию и ее частные производные в ряды Тейлора в окрестности точки (а?, а®, а“) и опустить члены второго порядка малости относительно (а, — с^, то в результате получатся уравнения

(6)(6)у, df (t; a0) df (/; а0) 1'

(6)

(6)

да0 да0

/=1J

— У Vyt — f V- а0)] ^^-1 (а — а») =

Дда°да° v 1

-fte-f«;a-)i^)

в которых(7)в которых(7)д2/^ а0) = / д2/ (/; а)да°да°' t daida.д2/^ а0) = / д2/ (/; а)да°да°' t daida.„о „о „о Ор^.Оз„о „о „о Ор^.Оз

в которых

(7)

в которых

(7)

д2/^ а0) = / д2/ (/; а)да°да°' t daida.

д2/^ а0) = / д2/ (/; а)да°да°' t daida.

„о „о „о Ор^.Оз

„о „о „о Ор^.Оз

Если предполагается, что случайные составляющие — независимые нормально распределенные случайные величины с одинаковыми дисперсиями, то методы наименьших квадратов и максимального правдоподобия совпадают и данный итерационный метод эквивалентен методу Ньютона — Рафсона отыскания максимума. Если в (6) вместо (7) используется его математическое ожидание, то соответствующая процедура известна как метод меток. [См. С. Рао (1952, разд. 4с.2).1

Для минимизации выражения (2) можно воспользоваться и иными способами. В начальной точке а0 функция S (аь а2, а^ убывает наиболее быстро в направлении —dSIda^ —dSIda^ —dSIda^. Изменение вектора а в этом направлении приводит к уменьшению S (аь а2, а^. Для оценки перемещения, приводящего к наибольшему убыванию, применяются методы наискорейшего спуска. На практике частные производные могут быть приближенно заменены конечными разностями. Отправляясь от начального приближения (а?, а®, аз), вычисляют S для at = — XdSldaL при возрастающих значениях X до тех пор, пока S не перестанет убывать. При этом получают вторую точку а1 и повторяют процедуру. Дрейпер и Смит (1966, разд. 10.3) обсуждают метод («компромисс Маркардта»), базирующийся одновременно на линеаризации функции f (/; а) и на методе наискорейшего спуска. (Нелинейная регрессия рассматривалась также Уильямсом (1959).)

Мы указали на некоторые общие подходы к отысканию приближенных решений задачи наименьших квадратов итерационным путем. При этом формулы выписывались только для случая трех параметров лишь из соображений удобства. В этой области сделано

довольно многое, но в настоящей книге не представляется целесообразным давать обзор сделанного.

Много результатов получено также в области выравнивания наблюдаемых данных с помощью специальных функций, таких, как логистическая. [См., например, Дэвис (1941, стр. 250—254).] Мы не будем пытаться обрисовать эту деятельность даже в общих чертах. Некоторые из методов используют порядок наблюдений во времени. Например, можно минимизировать

2 VMt — ^fV; аъ а2, а3)]2.

При этом допускается, что функция, подлежащая оценке, определяется другим способом. Такие методы могут основываться не только на модели с некоррелированными случайными ошибками, но и на других моделях, оказывающихся во многих случаях более подходящими.

ОБСУЖДЕНИЕ

В моделях, изучавшихся в настоящей главе, предполагалось, что наблюдения t/z получаются как результат наложения на некоторую функцию времени f (t) не коррелированных с ней ошибок щ. Кроме того, допускалось, что эта функция времени не возмущена нерегулярностями. Такое предположение может быть оправдано в тех ситуациях, когда случайный характер нерегулярностей связан с процессом измерения. Одной из классических областей, в которых исследуются временные ряды, является астрономия. Пусть производятся последовательные наблюдения расположения какой-либо планеты. Наблюдаемые нерегулярности обусловлены главным образом изменениями в земной атмосфере и в установке телескопа. Эти случайные факторы не влияют на курс планет. Более того, можно считать, что эти факторы изо дня в день или из недели в неделю являются некоррелированными.

В других прикладных задачах указанные предположения могут и не выполняться. Так, регистрируемое количество мяса, ежегодно потребляемого в Соединенных Штатах, подвержено ошибкам измерений. Часть продукта не учитывается, часть потребления ошибочно приписывается другому году и т. п. Эти ошибки в известной мере коррелированы. В гл. 10 мы рассмотрим влияние коррелирован- ности ошибок. Будет развита теория больших выборок для случая, когда ошибки образуют стационарный случайный процесс.

Во временных рядах, описывающих потребление мяса, существуют, однако, и другие нерегулярности, которые могут привести к тому, что представление действительного потребления мяса простой функцией времени окажется неудовлетворительным. Сущест-

вует, например, воздействие общих экономических условий, которые влияют и на доход потребителей, и на цены на мясо. Эти воздействия не относятся ни к упомянутой функции времени, ни к некоррелированным случайным членам. Если такие воздействия не принимаются в расчет явно (как переменные регрессии), то они попадают в рассмотрение неявным образом (в f (0 или, и,) и представляют собой нерегулярности, которые оказываются включенными в изучаемую величину. Если потребление мяса в какой-то год возрастает в силу случайного стечения обстоятельств, то потребители могут изменить свои вкусы, склоняясь к длительному увеличению потребления мяса. Такое поведение не отражено в моделях, рассмотренных в настоящей главе, но будет учитываться в моделях, изучаемых ниже. В гл. 5 будут объединены регрессионная модель для систематической составляющей и процесс авторегрессии для случайной составляющей.

ЛИТЕРАТУРА

Р. Андерсон и Хаузман (1942), Леман (1959), Тинтнер (1952), Фишер и Иэйтс [1963).

Бокс и Дженкинс (1970), Вальд (1936), Дурбин (1963), Кендалл и Стьюарт (1966), Коуден (1962), Уиттекер и Робинсон (1926), Хеннан (1964).*

О. Андерсон (1929), Гейссер (1956), Жордан (1939), Камат(1955), Кейв- Браун-Кейв (1904), Кендалл (1946а), Кендалл и Стьюарт (1966), Кенуй (1953), Миллер (1960), Тинтнер (1940, 1952, 1955), Стьюдент (1914), Хукер (1905).

Дрейпер и Смит (1966), Дэвис (1941), С. Рао (1952), Уилльямс (1959).

УПРАЖНЕНИЯ

(Разд. 3.2.1) В полиноме f (/), заданном соотношением (1), замена переменного t на t* + т приводит к изменению начала отсчета. Найдите коэффициенты полученного полинома от t*. (Заметьте, что если aq =# 0, то в каждом полиноме, получающемся в результате такой подстановки, присутствуют все степени /*, меньшие q.)

(Разд. 3.2.1) Найдите ортогональный полином третьей степени для / — = 1, ..., Т.

(Разд. 3.2.1) Найдите ортогональный полином третьей степени для t — = 1, ..., 17.

(Разд. 3.2.1) Найдите ортогональный полином третьей степени для t — = 1, ..., 23.

т•-

(Разд. 3.2.1) Пусть ф^ (7) = 2 ^* Покажите, что

t=i

S(Pt1)^<r) = (r + 1)p+1-1-

ь=о\ ^ /

тт

(Указание. Показать, что обе части уравнения равны 2 V + О^1 -5 /р+1.)

(Разд. 3.2.1) Покажите, что

2 i] (V ^ ^ т=<т+п^1+т^- -1, 1=0 \ 21/

гдеф^ (7) определено в упр. 5. (Указание. Показать, что обе части уравнения равны

V (/ + 1)2»+> _(/-1)2»+‘.)

(Разд. 3.2.1) Проверьте приведенную ниже таблицу значений функций т

^ (7) = 2 ^ & = 0, ...» 8, используя упр. 5:

t=i

т

2 1=т

<=1

v ,„L$L±2L

j^prwm, 6=1

2/3 = ^+±^

(27 + 1) Т (7 + 1) (372 + ЗТ — 1)

30

72 (7 + I)2 (272 + 27 — 1)

12

(27 + 1) 7 (7 + 1) (374 + 673 — 37 + 1)42

72 (7 + 1)2 (374 + 673 — 72 — 47 + 2)

24

7 (7 + 1) (27 + 1) (57е + 1575 + 57» — 1573 — 72 + 97 — 3)

90

т

(Разд. 3.2.1) Найдите значения ф2Л (7) = 2 ^П для ^ ~ Ь 2, 3, 4, исполь- зуя упр. 6.

, 9. (Разд. 3.2.2) Пусть Xi, .... xN — независимые, нормально распределенные случайные величины с дисперсией а2 и математическими ожиданиями §х/ = р,^

/ = 1, ...» п»^ = 0, i = n + 1,..., N. Докажите, что для любого измеримого множества R из jV-мерного пространства xv ...» xN соотношение

(N1

РгЬ?^xn, 2=8

Iz=n+l )

влечет за собой

Pr {/?} = e.

Указание. Взять математическое ожидание (i) относительно распределения вели-

N

ЧИН Х1, ..., Хп и 2 хг

i=n-|-l

(Разд. 3.2.2) В формулировке упр. 9 докажите, что из (ii) (тождественного по pi, ... > рд и о2) следует, что (i) выполняется почти всюду (т. е. с вероятностью 1). (Указание, (ii) равно

©О ООООц

1 = j ‘' J ^(^j2b_i2j_2_^_£L |Д п (Xi | w> a2) ft x

0 —oo—oo^=^

ПД

Z=1

тождественно no pi, ..., p^ и о2, где h — плотность распределения ^—^ a n (xjp/, a?) — плотность нормального распределения co средним pz- и дисперсией о2. Если в (iii) 1/a2 заменить на (1/о2) — 260 и pz на [р//о2 + 0Д/[(1/а2) — 260], то можно получить производящую функцию для моментов подынтегрального выражения; она оказывается производящей функцией для моментов плотности совместного распределения величин хг, ...» хп и v.)

(Разд. 3.2.2) Пусть xi, ..., xN независимы и нормально распределены с дисперсиями о2 и математическими ожиданиями gx; = pz, i = 1, . ., п + 1, %xi =

N

= 0, i = п + 2, ...» N. Докажите, чтоxi, ..., хп.1 и 2 xz образуют достаточное Z=n+2

множество статистик для pi, ..., pn_j_j и a2.

(Разд. 3.2.2) Докажите, что в формулировке упр. 11 наилучший критерий для проверки гипотезы р^^! = 0 с уровнем значимости е (т. е. с вероятностью 8 отвержения гипотезы равномерно по pi, ..., рл и о2 при p^j = 0) против альтернативы р^ > 0 имеет критическую область вида

(iv)(iv)хп+1

(iv)

(iv)

:п+1 + ''' + XN

(Указание. Поскольку в упр. 10 показано, что эта критическая область удовлет- N

воряет (i), рассмотрите плотность при данных xi, ..., хп и 2 *z* Сравните пере-

t=n-H

сечение множества xt = а, ...» хп = сп» х^^ + ... + х^ = с с областью R» определенной выше, и его пересечение с любой другой областью R*» удовлетворяющей (i).)

(Разд. 3.2.2) Докажите, что в формулировке упр. 11 равномерно наиболее мощный критерий для проверки гипотезы р,^ = 0 с уровнем значимости е против альтернативы р^ > 0 имеет критическую область (iv) из упр/ 12.

(Разд. 3.2.2) Пусть хх, ..., хп независимы и нормально распределены с нулевыми средними и единичными дисперсиями, aS не зависит от xi, ..., хп и имеет распределение х2 с т степенями свободы. Пусть

I; = —, i = I, ... , п.

'1 / хН-1 + ■ • • + хл +Sу т + п — i

Докажите, что ti, ..., tn — независимые случайные величины, имеющие /-распределения с т + п — I степенями'^свободы соответственно. (Указание. Преобразовать совместную плотность вероятностей значений xi, ..., хп и5 к плотности вероятностей значений /ь tn и и = х^ + ... + х^ + S.)

(Разд. 3.2.2) Покажите, что соотношения (19) и (20) эквивалентны.

(Разд. 3.2.2) Покажите, что а^ определенное соотношением (22), равно (t!)4 7 (72 _ !) (72 _ 4) (72 _ 9) . . . (72 _ /2)

(2г) I (2i + 1) I‘

(Разд. 3.2.2) Представьте подобранный тренд из примера 3.1 в виде полинома от / (где / — год, предшествующий 1918-му).

(Разд. 3.2.2)

ИНДЕКС ДОУ-ДЖОНСА СРЕДНИХ ЦЕН НА АКЦИИ РЯДА ПРОМЫШЛЕННЫХ КОМПАНИЙ

Год

Цена

Год

Цена

Год

Цена

1897

45.5

1903

55.5

1909

92.8

1898

52.8

1904

55.1

1910

84.3

1899

71.6

1905

80.3

1911

82.4

1900

61.4

1906

93.9

1912

88.7

1901

69.9

1907

74.9

1913

79.2

1902

65.4

1908

75.6

Используя эти данные, проделайте следующее:

Изобразите данные графически.

Принимая модель наименьших квадратов с ^yt = То + IWir ($ + ЧМРгт^’ где ф^ (/) — ортогональные полиномы, найдите оценки для у0, yi и у2.

Найдите доверительный интервал для у2 с коэффициентом доверия 1 — е = - 0.96.

Проверьте гипотезу Н : у2 = 0 с уровнем значимости 0.05.

В предположении, что ^yt = Ро + Pi / + Эа^2> найдите оценки наименьших квадратов для Ро, Pi и Р2. (Указание. Эти оценки можно найти из (Ь).)

Вычислите и изобразите графически остатки от оценки линейного тренда ^ + ^1Г(/).

(Разд. 3.2.2) Пусть регрессия полиномиальна

8^ = Po + Pi^+ ••• + PZ

и требуется определить степень полинома по методу, изложенному в разд. 3.2.2. Покажите, как можно эффективно произвести вычисления с использованием прямого решения нормальных уравнений.

(Разд. 3.3.1) Пусть в (1) а — 1 и к = 3.

. (а) Постройте таблицу значений и график f (t).

" (b) Проверьте, что производные df/dt обеих составляющих функций в точке t = 2к = 6 совпадают.

Найдите параболу, которая в интервале / = 0, 1, ..., 12 приближает / (У нацлучшим образом в том смысле, что минимизируется сумма квадратов отклонении.

Постройте таблицу значений и график этой параболы.

Постройте таблицу отклонений.

Какая парабола лучше выравнивает наблюдения в точках / = 5, 6, 7 и каковы ее значения в этих точках?

. , (ц) Каково значение первой из составляющих парабол в точке / = 12?

Какова парабола, наилучшим образом выравнивающая значения в точках t = 4, 5, 6, 7, 8, и каковы ее значения в этих точках?

(1) Каково наилучшее кубическое приближение в интервале / = 0, 1, ...» 12?

(f) Постройте таблицу значений и график этого кубического приближения.

'т .

(Разд. 3.3.1) Покажите, что если 5 ^ = 1» то .„s=—m.

-2 2m 4-1 '

s=—m

Покажите, что если к тому же cs > 0, то т -s=—т

и что знак равенства имеет место в том и только в том случае, когда все с$, кроме одного, равны нулю. '

(Разд. 3.3.1) Найдите л0 при к = 2. (Указание. Найти полиномы T/^+l (s)* i = 0, 2, 4, ортогональные на множестве s == —/и, ..., /и, и представить а0 в виде их соответствующей линейной комбинации.)

(Разд. 3.3.1) Произведите сглаживание ряда из примера 3.1 с помощью процедуры, основывающейся на к = 1 и т = 2. Сравните результат с соответствующим кубическим приближением.

. 24. (Разд. 3.3.1)

Произведите сглаживание ряда в упр. 18 с помощью процедуры, основы- вакйцёйся на к = 0 и т = 3.

Произведите сглаживание с помощью процедуры, основывающейся на к — Г и т = 2.-

Сравните сглаженный ряд с трендом, подобранным в упр. 18.

^5. {Разд. 3.3.1) Пусть

-1

' 1

1 .

. . 1 ~

1

22

З2 .

. . /И2

с =

1

24

З4 .

. . /и4

-1

22А

З2*

Докажите, что матрица коэффициентов в (13) равна.

(

10.. 0\

0 0 ... 0 \. .. | + 2СС'.

о о ... о/

(Разд. 3.3.1) Пусть D = 2СС', где С — матрица, определенная в упр. 25, и пусть Doo — алгебраическое дополнение элемента d00 матрицы D. Докажите, что х>

^оо __ ^оо __^°°

D00 + |D| 1+doo

(Разд. 3.3.1) Проверьте правильность заполнения таблицы 3.3.

(Разд. 3.3.2) Найдите доверительный интервал для а0 в момент /, используя независимую оценку s для а2, когда отношение s2/a2 имеет %2-распределение с п степенями свободы.

(Разд. 3.3.2) Пусть ф^йт-Н (s) ^ ортогональные многочлены на множестве —т, ..., т. Найдите ф^ 5 (s) и ф^ (s).

(Разд. 3.3.2) Пусть Ф/#2т+? (s) ”" ортогональные полиномы ка множест* ве** т, ..., т. Докажите, что ф/*2т+1 (0) = 0 для нечетных i. (Указание. Пусть т

Ф* (s) = с0 + cis + ... + с^^ + s2^1 • Докажите, что 5 Ф* W ^ = 0, /= О,

$=—4П

1, .... г,— система г + 1 однородных уравнений cz + I неизвестными^, с^ ..., с2Г1 имеющая невырожденную матрицу коэффициентов.)

(Разд. 3.3.2 Проверьте соотношение (34). (Указание Положить cos [X (/ + s) ~ 0] = -Йехр [z (Xs + Xf — 0)], где Reiy— действительная часть

^ и использовать формулу суммы геометрической прогрессии 51 ^ =

•..s=0

^= (1 — ^/(1 — х), х ф 1 при х =» е^.)

(Разд. 3.3*2) Докажите, что

(Разд. 3.3.2 Докажите, что (sin y^fy является убывающей функцией переменной у (0 < у <п\

(Разд. 3.3.2) Пусть.

*1

Ut ~ 2m + 1 2 ^ ■1 s=—m

Ч* = 2n +1 S ^+-'-г=-=П

Найдите коэффициенты cs в представлении

m-Vn

«7 = 5 Ws-

s=—(m-Vn)

(Разд. 3.3.3) Покажите, что если h (/) = cos (Xt — 6), то

sin (2m + 1) X/2 + sin (2m — 1) X/2... n. sin Xm cos X/2

2!r-r-~—— COS (X/ — 6) = —-™-- COS (X/ — 6).

4m sin X/22m sin X/2 v

(Указание. См. упр. 31.)

(Разд. 3.3.3) Проверьте соотношение (49).

(Разд. 3.4.2) Проверьте соотношение (5).

(Разд. 3.4.2) Покажите, что если 01 и ^2 — линейные операторы, то и ^101 + с202 является линейным оператором.

(Разд. 3.4.2) Покажите, что если Дф1 (/) = Аф2 (/) для / = 1, 2, ..., где Аф1 (0 ^ Ф1 V + О — Ф1 (0. то разность epi (0 — ф2 (0 постоянна.

(Разд. 3.4.2) Пусть х(0) = 1, х^ = х\х — 1) ... (х — г + 1), г — 1

2 Покажите, что

L^ = гх^1^ где

Ах(г) = (х + 1)(г) -* х(г).

(Разд. 3.4.2) Покажите, что

^=1

(Разд. 3.4.2) Покажите, что для х^, определенного в упр. 40,

хп = 2 5^х^\ п= 1, 2, ... ,

г=1

где Sn — числа Стирлинга второго рода. Получите следующую таблицу:

Т

(Разд. 3.4.2) Вычислите^ (Т) = 2^» используя результаты упр. 41 и

42, для к = 1,8.

(Разд. 3.4.2) Покажите, что если Дер (/) — полином степени к — 1, то ф (у _. полином степени к. (Указание. С помощью (13) показать, что решение существует, а с помощью упр. 39 показать, что не существует никаких решений, отличных от указанного.)

Т

(Разд. 3.4.2) Покажите, что ф^ (Г) = 2 ^ ^ логином степени ^+1. fc=iу

(Разд. 3.4.2) Используя упр. 45, найдите выражения для ^к (Г) = 5^ к= 18, приведенные в упр. 7.W

(Разд. 3.4.3) Докажите, что

121

И* + 2) - — У' / (/ + 2 + s) = - — [Д4 + 5Д3 + 5Д21 / (0.

55

(Разд. 3.4.3) Покажите, что разность yt — у< между наблюдаемым рядом и скользящим средним, основывающимся на подборе полинома степени q = 2к + 1 по 2/п + 1 точкам, можно записать в виде

^+*+1 — У/+Н1 ~ д2(Ж>^+*+1 — У/+Н1 ~ д2(Ж>5^s^/4-ss=—(m—k—1)5^s^/4-ss=—(m—k—1)Г пг—к—1

^+*+1 — У/+Н1 ~ д2(Ж>

^+*+1 — У/+Н1 ~ д2(Ж>

5^s^/4-s

s=—(m—k—1)

5^s^/4-s

s=—(m—k—1)

и что при этом Ps = P_s, s = 1m — к — 1. Покажите, как можно вычислить коэффициенты Рг по коэффициентам сг I Указание. Записать

(

пг\/ т—к—А

5 ^U-^-l)2^1’2 ^yt

s——m/\г=--^т—к—1)

(Разд. 3.4.3) В обозначениях упр. 48 покажите, что <

для (7=2Н1 = Зит=3.

(Разд. 3.4.3) В обозначениях упр. 48 покажите, что

2!

2 Ps^s = "-- (21///—2 + 70#/—! + 115z/z + 70^+1 + 21z//_|_2) =

9О \

А4 + “Г Л2^+ "Т ^2) ^-2

Для q = 2к + 1 = 3 и т = 4.

(Разд. 3.4.3) Убедитесь в том, что если оператор вычисления г-й разности аннулирует тренд, то тренд является полиномом степени, не большей г — 1.

(Разд. 3.4.3) Покажите, что если тренд / (/) является полиномом степени q для любых последовательных наборов из q + 2 точек, то / (/) является полиномом степени q на всем отрезке наблюдений-

(Разд. 3.4.4) Покажите, что если тренд является полиномиальным степени q, а остатки независимы и нормально распределены с дисперсией о2, то величина s2, определяемая соотношением (10) § 3.2, является несмещенной оценкой для а2 с наименьшей дисперсией.

(Разд. 3.4.4) Докажите, что если тренд в точности аннулируется вычислением разностей порядка q + 1, а остатки независимы и нормально распределены с дисперсиями а2, то величина s2, определенная соотношением (10) § 3.2, является несмещенной оценкой для а? с наименьшей дисперсией (Указание. Свести к упр, 53.)

(Разд. 3.4.4) Докажите, что

= (- D* (Д ft) -s = 1 • ••• r-k.

A= 1г—1,

” T (~ °* (г +1) ’6 = 2" + 1 •

(Разд. 3.4.4) Докажите, что величина (66) имеет в пределе нормальное распределение с нулевым средним и единичной дисперсией. (Указание. Последовательность {(Дгы/)2} образует стационарный случайный процесс с конечной зависимостью; применить теорему 7.7.5.)

(Разд. 3.4.4) Докажите лемму 3.4.5.

(Разд. 3.4.4) Покажите, что

(Указание. Показать, что

£ / 2г \/ 2q \pr + 2q\k^Lp v + ^/ U + ^/ \ г + q /

где р = min (г, q), сравнивая коэффициенты при х^9 в альтернативных разложениях в ряд (х — 1)2г (1 — z)2<7.)

(Разд. 3.4.4) Докажите (68).

(Разд. 3.4.4) Используя (68) при х4 = 0, найдите ci и с2> удовлетворяющие условию ci + с2 = 1, минимизирующие дисперсию (приближенную) линейной комбинации ciVi + с2У2. Выпишите эту минимальную дисперсию.

Т-г

(Разд. 3.4.4) Покажите, что 2 к^гУравна

с точностью до крайних членов.

(Разд. 3.4.5) Найдите предельное совместное распределение отношений

VT - Г - 2 (Уж - V^IV,^ »VT-r-\Wr- Vr^r^ при Д7 (fl = = 0, /=?= 1, 2, ... .

(Разд. 3.4.5) Пусть игит — независимые случайные величины с тт

8«/ = 0, gi^ = а2 и 8«< = х4 + За4. Пусть Qi = 2 ^usut и<?2 =2 6s<“s“<- s,/=ls,f=l

Покажите, что

Var (Q*" w q«)=x‘ 2 b - w *«)2+2a4 ^ (A ~ wB/ •

(Разд. 3.4.5) Пусть 8u'Aru = aa2 и gu'Bru = Pa2, P > 0. Предположим, что V*T ^Кти — aa2) и УТ^'В^ — pa2) имеют предельное двумерное нормальное распределение. Покажите, что р Т [u'Aru/u'Bru — a/p] имеет предельное нормальное распределение с дисперсией

Покажите, что дисперсия этого предельного распределения не зависит от х4, если ^/^1 = ••• = a^/b^- I Указание. Показать, что

(Разд. 3.4.5) Убедитесь, что последовательность Ar^i, ^у^, ^ryr^.q^ •** является последовательностью независимых случайных величин. Используйте этот факт для построения ^-критерия для проверки гипотезы Дг/ (0 = = 0 в предположении нормальности распределения и при условии A^f (0 = 0, г < q.

(Разд. 3.4.5) По данным табл. 3.5 вычислите (Уг — Уг^1)/Уг_|_р г = 0, 14, перейдите к нормированным величинам и решите, будет ли Ar / (0 = 0.

(Разд. 3.4.5) Найдите А^, A2z// и А3у/ по данным упр. 18. Вычислите Ур V, и У3.

(§ 3-5) Выпишите уравнения (4) для логистической функции (1) в явном виде.

(§ 3.5) С интервалами в 30 лет население Соединенных Штатов составляло (в млн.) соответственно

18209.6

185023.2

188050.2

1910 92.0

1940 131.4

Выровняйте эти данные с помощью логистической кривой. (Указание. Испытать, несколько предположительных троек (ai, a2, ^ на чертеже; затем использовать одну из таких троек в качестве исходной для одной итерации (4).)

Глава 4

ЦИКЛИЧЕСКИЕ ТРЕНДЫ

ВВЕДЕНИЕ

Наряду с основными долговременными изменениями, во вре- мённйх рядах часто проявляются более или менее регулярные колебания. Эти изменения значений ряда в сторону увеличения и уменьшения могут быть строго периодическими или близкими к таковым, как, например, изменение времени захода солнца. С другой стороны, значения ряда могут колебаться и нерегулярным образом. Типичный случай последнего — экономические временные ряды, колебания которых отражают цикл деловой активности. В настоящей главе будут рассмотрены модели, в которых предполагается, что наблюдаемые временные ряды являются суммой периодического тренда f (0 и случайной ошибки ut. Периодичность тренда означает, что он в точности повторяет себя через определенный промежуток времени. Если период равен ф, то

ftf + <pW(0.

Такое повторение абсолютно регулярно и периодично. Если функция задана на каком-нибудь интервале длины у, то она определена тем самым и на всем интервале наблюдений. Поскольку тренд предполагается равным заданной функции времени, то нерегулярные воздействия ut не влияют на него. Эта модель противоположна другим моделям, которые мы будем изучать позднее и в которых колебания не являются регулярными, а случайные воздействия объединены в последовательность.

В настоящей главе анализ ряда производится с помощью линейных комбинаций функций времени — синусов и косинусов, причем коэффициенты линейных комбинаций рассматриваются как параметры. Позднее, в моделях стационарных случайных процессов, линейные комбинации синусов и косинусов будут рассмотрены

снова, но коэффициенты этих линейных комбинаций будут уже случайными величинами. Некоторые аспекты математической теории и многие вычислительные процедуры будут общими для обоих подходов.

ПРЕОБРАЗОВАНИЯ И ПРЕДСТАВЛЕНИЯ

Ортогональные периодические функции ■

Тригонометрические функции cos t и sin t являются периодическими с периодом 2л, т. е.

cos (/+ 2л) = cos/, sin(/+ 2л) = sin/.

Отсюда следует, что

cos (/ + 2л&) = cos /, sin (/ + 2л&) = sin /,

к = + 1, ±2, ... .

Мы можем линейно преобразовать аргументы, сохранив свойство периодичности. Функции cos (X/ — 0) и sin (X/ — 0) периодичны с периодом 2лА, т. е.

cos [Л (/ + 2л/Х) — 6] = cos [X/ + 2л — 0] = cos [X/ — 6], ^ sin {X (/ + 2л/Х) — 6] = sin [X/ + 2л — 6] = sin [X/ — 6].

Обратная величина Х/(2л) называется частотой. Она равна числу периодов (не обязательно целому), содержащемуся в единичном интервале. Иными словами, именно такое число раз функция повторяет свои значения. Умножение на X соответствует растяжению или сжатию масштаба времени, а вычитание 6 — сдвигу графика косинуса или синуса. Функция cos (X/ — 6) достигает максимума в точках X/ = 6 + 2л&, к = 0, ±1, ..., т. е. при / = (0 + 2л^)А- Угол 6 называется фазой. Обычно 6 выбирается так, чтобы первый максимум достигался в точке / = 0/Х. В таком случае 0 < 0 < 2л. При / = 0 указанные тригонометрические функции равны, соответственно cos 0 и —sin 0.

Сдвинутые косинусоида и синусоида являются линейными комбинациями обычной косинусоиды и обычной синусоиды и наоборот. Из тригонометрической формулы cos (я — b) = cos a cos b + + sin a sin b имеем

р cos (X/ — 6) = р (cos X/ cos 0 + sin X/ sin 0) =

= acosX/ + PsinX/,

где

a = pcos6, p = psin0,

или, что эквивалентно,-

р = К5г+Р2,

tg 9 =,0 = arctg .

Коэффициент р, являющийся максимумом функции р cos (Xt — 0), называется амплитудой этой функции. Выражение (4) можно записать также в виде р sin (X/ + <р), где tg Ф = а/p, но обычно предпочитают использовать функцию косинус.

С тригонометрическими функциями довольно удобно работать вследствие того, что они обладают определенными свойствами ортогональности. Мы рассмотрим здесь свойства ортогональности сумм на множестве 1, ..., Т. Они соответствуют свойству ортогональности полиномов, разбиравшемуся ранее в разд. 3.2.1. Рассмотрим частоты Х/(2л) = ЦТ, j = 0, 1, .... [Т/2], где [Т/2] = Т/2 для четных Т и [Т/2] = (Т — 1)/2 для нечетных Т. Период при этом равен 2nlX=Tlj. На протяжении всего отрезка наблюдений Т укладывается ровно / таких периодов. Функции косинус и синус с такими частотами являются ортогональными. Чтобы показать это, удобно воспользоваться соотношениями

^ = cos X + i sin X,

cosX = (ea + e~A)/2,

sin X = (Ух — е-^/г/.

При этом

т

,о\ V2л/ . Г2л£ . . . . 2лА ,1

^соз-я'-Лсоз-я-/ + ism—я-/ =

<=1'L'7

г

_ 2 -L \^гп№ 4- e-ltoitlT\ е1^-1 =

1 „'2л kk-VW 21 „'2л kk-VW 2^ е<2л кк+П ИТ .<=0^ е<2л кк+П ИТ .<=0

1 „'2л kk-VW 2

1 „'2л kk-VW 2

^ е<2л кк+П ИТ .<=0

^ е<2л кк+П ИТ .<=0

1 Z2n (.к-ЩГ21 Z2n (.к-ЩГ21 _ е<2л (6+/)! _ ^гл (/=+/)/г1 _ е<2л (6+/)! _ ^гл (/=+/)/г1 Z2n №-П/Т21 Z2n №-П/Т21 _ е'2" (6-/) "1 _ е'2" (6-/) "х_^я№-щт ,х_^я№-щт ,ОО1 /ИЦк+П/Т21 /ИЦк+П/Т21 _ gZ2n (к+п! _ ^л №+п/т1 _ gZ2n (к+п! _ ^л №+п/т4- — Т.“ 2’4- — Т.“ 2’

1 Z2n (.к-ЩГ

2

1 Z2n (.к-ЩГ

2

1 _ е<2л (6+/)

! _ ^гл (/=+/)/г

1 _ е<2л (6+/)

! _ ^гл (/=+/)/г

1 Z2n №-П/Т

2

1 Z2n №-П/Т

2

1 _ е'2" (6-/) "

1 _ е'2" (6-/) "

х_^я№-щт ,

х_^я№-щт ,

О

О

1 /ИЦк+П/Т

2

1 /ИЦк+П/Т

2

1 _ gZ2n (к+п

! _ ^л №+п/т

1 _ gZ2n (к+п

! _ ^л №+п/т

4- — Т.

“ 2’

4- — Т.

“ 2’

Т,Т,к = / = О, Т/2,

Т,

Т,

О <k=#j<VT№, 0<к = /<Т/2, ^ = / = 0, Т/2.

Приравнивая действительные и мнимые части в соотношении (8), получаем

(9)(Ю)(9)(Ю)тX 2л/ ,2л& .Zj cos -^г- t cos —— t —т2j COSZ sin-у-/ = О,тX 2л/ ,2л& .Zj cos -^г- t cos —— t —т2j COSZ sin-у-/ = О,о. 0<k^j<VT№, Т/2, 0<k = j<T/2,Т, k = j = O, Т/2,о. 0<k^j<VT№, Т/2, 0<k = j<T/2,Т, k = j = O, Т/2,к, j = 0, 1, ..., [Т/2].к, j = 0, 1, ..., [Т/2].

(9)

(Ю)

(9)

(Ю)

т

X 2л/ ,2л& .

Zj cos -^г- t cos —— t —

т

2j COSZ sin-у-/ = О,

т

X 2л/ ,2л& .

Zj cos -^г- t cos —— t —

т

2j COSZ sin-у-/ = О,

о. 0<k^j<VT№, Т/2, 0<k = j<T/2,

Т, k = j = O, Т/2,

о. 0<k^j<VT№, Т/2, 0<k = j<T/2,

Т, k = j = O, Т/2,

к, j = 0, 1, ..., [Т/2].

к, j = 0, 1, ..., [Т/2].

Подобным же образом можно показать, что

0<^/<[Т/2], 0<к = j<T/2, к = / = 0, Т/2.0<^/<[Т/2], 0<к = j<T/2, к = / = 0, Т/2.г0,

0<^/<[Т/2], 0<к = j<T/2, к = / = 0, Т/2.

0<^/<[Т/2], 0<к = j<T/2, к = / = 0, Т/2.

(Н)(Н)2sin-^-/sin^-/= Т/2, '=•0,

(Н)

(Н)

Кроме того, полагая / = 0 в (9) и (10), получаем т

2cos^-/ = 0, к = 1,[Т/2],

т

2 sin-^-/ = О, к = 0, 1[Т/2].

^=1

Если Т — нечетное, то cos 2лО//Т == 1. При этом cos 2nktlT и sin ^kt]T, к = 1, (Т — 1)/2, образуют множество из Т последовательностей по Т чисел, любые две из которых ортогональны. Если Т—четное, то таким множеством является совокупность функций 1, cos ^ktlT. sin ^kt/T, 6=1, ..., Т/2 — 1 и cos 2л (Т/2) Z/T = = cos л^ = (—1)^. Сумма квадратов членов каждой последовательности равна Т/2, за исключением последовательностей I И (—1), у которых она равна К

2. Представление конечной последовательности с помощью ее частот

Рассмотрим последовательность Т чисел уъ ».♦, Ут (которая не обязательно является наблюдаемым временным рядом). Эту последовательность можно рассматривать как совокупность координат некоторой точки в пространстве Т измерений. Указанная точка может быть отнесена и к другим координатным системам. Иногда координаты относительно другой системы будут более осмысленными. Мы используем надлежащим образом нормированные ортогональные тригонометрические функции для того, чтобы определить ортогональную матрицу, посредством которой будут преобразованы координаты уъ ..., ут. Если Т четное, то матрицу М размера Т X Т определим равенством

XX(И)

X

X

XX111/"21/"2112л cos —2л cos —4л cos-у-4л cos-у-11. 2лSin-y-. 2лSin-y-. 4лsin —. 4лsin —ОО4л cos —4л cos —8л COS-у—8л COS-у—11. 2л (Т/2 — 1) ... Sin^-у-. 2л (Т/2 — 1) ... Sin^-у-... sin... sin4 л (Т/2 — 1)Т4 л (Т/2 — 1)ТОО111^21^211Из соотношений ортогональности (9) — (13)Из соотношений ортогональности (9) — (13)выводим,выводим,чточто

X

X

1

1

1/"2

1/"2

1

1

2л cos —

2л cos —

4л cos-у-

4л cos-у-

1

1

. 2лSin-y-

. 2лSin-y-

. 4лsin —

. 4лsin —

О

О

4л cos —

4л cos —

8л COS-у—

8л COS-у—

1

1

. 2л (Т/2 — 1) ... Sin^-у-

. 2л (Т/2 — 1) ... Sin^-у-

... sin

... sin

4 л (Т/2 — 1)

Т

4 л (Т/2 — 1)

Т

О

О

1

1

1

^2

1

^2

1

1

Из соотношений ортогональности (9) — (13)

Из соотношений ортогональности (9) — (13)

выводим,

выводим,

что

что

(15)Таким (16)(15)Таким (16)М'М = I.

(15)

Таким (16)

(15)

Таким (16)

образом, матрица М ортогональна. Положим, далее.

У = (Л, *•• , УтУ

x = (xD • • •, хтУ — NVy,

т. е. т

X2k=V^^yttos^-t,—

х^/уЗ^т-уч k= 7/2-i.

Тогда, поскольку ММ' = I, имеем

У = Мх,

/

Т / 1, 2л , ,,(—1)‘ \

t = 1, Т.

Разложение (20) называют иногда представлением Фурье последовательности уъ ..., ут с коэффициентами хъ ..., хт.

Если Т нечетное, то матрицу М определим равенством

(21)

1 4л . 4л 8л . 4л (Т — 1)/2-7=- COS 51П -xr- COS ... SinL К...

У 2 Т Т ТТ

—L101... о

/2

Соответствующее представление Фурье имеет вид

(22) у, = У ^^х. + ^соз-^-/-}- ...

• • • л у Sin 7р * I , Г = 1,

(В некотором смысле проще оперировать с унитарной матрицей N = (»$<) = ^nst/T 1V~T^, удовлетворяющей соотношению NN' = = I, в котором N = (ns<) и nst — число, сопряженное с nst. Отметим, что N = N'.)

Представление периодической последовательности в случае, когда период — целое число

Предположим, что числовая последовательность уъ ..., ут имеет период п, где п — целое число, т. е. что

yt+n = y(, t=\,Т — П.

Покажем, как эту последовательность можно представить с помощью п тригонометрических функций. Положим

/УЛ

у*= :• I.

\Уп)

Тогда

где у * в правом столбце повторяется h раз и hn < Т < (ft + 1) п. (Допускается, что может быть Т — hn членов, составляющих лишь часть цикла.) Определим теперь матрицу М* размера п X п таким же образом, как и в разд. 4.2.2, так что

у* = М*х*, х* = М*'у*,

т. е.

У п /=1

Ха = У 4"2 tit cos^-t, к = 1[(п— 1)/2J,

<=1

X26+i = У ДГ 2 & sin ^Г"/( ^ = 1К" ~ 1)/2],

Хп = —— s tit (— О*.П четное.

У п м

Тогда для / = 1, ..., п (четного) имеем

y< = y^-^x;+x;cos-^++x:-^-j.

Отметим, что для t < п

в силу того, что cos 2лА (/ + п)/п = cos 2лй//пи sin 2л й (/+п)/п = в sin 2nktln. Подобным же образом можно показать, что (28) выполняется вообще для всех t = 1, ..., Т. Если п нечетное, то слагаемое, содержащее (—1/, опускается.

Мы показали, как произвольную периодическую функцию с целым периодом можно представить в виде линейной комбинации п тригонометрических функций. Следует отметить, что этот результат применим к любой периодической последовательности. Однако если данная периодическая последовательность является последовательностью значений функции, состоящей из синусоидальной и косинусоидальной компонент, и имеет период п (т. е. п является кратным минимальному периоду), то можно обойтись только одной или двумя тригонометрическими последовательностями (косинусов и синусов).

Тригонометрические функции с периодом п вовсе не обязаны быть ортогональными на множестве 1, ..., Т, если только Т не является кратным п, т. е. Т = hn. В последнем случае

2л/ . 2л ЦК) ,cos -^-t = cos —t,

. 2л/ .. 2л ОМ #

sin —^-1 = sin t.

Тригонометрические функции, входящие в (28), составляют лишь часть тригонометрических функций, входящих в (20) или (22). Поэтому некоторые (или многие) коэффициенты соответствующего представления Фурье равны нулю. Однако полное представление является все же удобным по той причине, что некоторые периодические последовательности являются его простыми частными случаями.

В § 3.3 мы рассмотрели модель, в которой тренд содержал периодическую компоненту g (t). Последняя интерпретировалась как сезонное изменение ряда. Для полугодовых данных период равен 2, для ежеквартальных 4, а для ежемесячных 12. Такое сезонное изменение g (/) можно выразить в виде линейной комбинации п тригонометрических членов.

Периодическая последовательность th, ..., ут с периодом п и Т = hn может быть записана также в виде матрицы

(

Ух У» ••• У»\

У п+1У п+2• • • У2п I

::: I»

У(к-Т) п+1 #(h-l) п+2 • . • Ут /

строки которой совпадают.

Представление периодической функции

Рассмотрим теперь периодическую функцию / (/), определенную для всех действительных L Если ее период равен ф, то (32)/(/) = /(/ + ф) = /(/ + 2ф)= ....

Можно ожидать, что такую функцию удастся выразить с помощью тригонометрических функций, имеющих тот же период ф, а именно с помощью функций 1, cos 2л(/ф, sin 2л//ф, cos 4л(/<р, $1п4л//ф, .... Рассмотрим бесконечный ряд, состоящий из таких функций: (33) а0+(а1со5^-/ + р181п-^-^ +

+ (a2 cos / + 02 sin -^- ^ + • • • • \ 2 ф Г2 ф /

Если этот ряд сходится к / (/) при некотором значении /, то он будет сходиться к f (/) и при / + ф, поскольку

(34)(34)2л£ cos ф.2л6sinф2л£ cos ф.2л6sinф(/ + ф) = cos(/ + ф) = cos(/ 4- ф) = sin(/ 4- ф) = sin2л&" ф ’2л&ф2л&" ф ’2л&ф

(34)

(34)

2л£ cos ф

.2л6

sin

ф

2л£ cos ф

.2л6

sin

ф

(/ + ф) = cos

(/ + ф) = cos

(/ 4- ф) = sin

(/ 4- ф) = sin

2л&

" ф ’

2л&

ф

2л&

" ф ’

2л&

ф

и сумма ряда периодична с периодом ф. Тригонометрические функции удовлетворяют следующим соотношениям нормировки и ортогональности:"

ф

j cos2 -^ tdt =-^-,/ ф О,

О

ф

jsin2-^-^/^,/#=о,

о

ф

j cos/ cos — tdt = 0,/ #= к,

О

ф

i sin -^- / cos — tdt = О, k,

о

ф

j cos-^-1 sin -^- tdt = 0, для всех /, к.

6

В этом можно убедиться, используя тригонометрические тождества. (См. упр. 1, 2, 8 и 9.) Например, фф

jcos2-^-/d/ =+-L cos-^-A dt =

оо1

=4"ф+^г .1cos =~г /^°-

6

Если бесконечный ряд (33) сходится к /(/) и если возможно его почленное интегрирование, то ф

j/(/)cos^^ =

о

ФФ ОО

С2л&, ,, . С/2л/а . Q • 2л/ А2л& , 1.

= а0 \ costat 4- \ Л а, cos—L г + В/ sin 1 costat = u J ф J\1 фФ / ф

Отсюда определяется коэффициент aft:

ф

a^^f^cos^-tdt, fe^O.

'-0

Подобным же образом

ф

p6 = _L^(0sin^^,6^=0,

о ф

a0 = -Lj f (t)dt.

о

Если коэффициенты ряда (33) выбираются согласно (42), (43) и (44), то говорят, что этот ряд представляет f (f). Существует несколько теорем о сходимости подобных рядов при различных условиях. Одна из них утверждает, что если f (t) — функция ограниченной вариации на замкнутом интервале [0, q>], то ряд (33) сходится к / (0 в каждой точке непрерывности последней. [См., например, Уиттекер и Ватсон (1943, стр. 174—179).] Мы не ставим своей целью изложение анализа рядов Фурье, а просто хотим показать, как периодическую функцию можно представить с помощью тригонометрических выражений.

В том случае, когда функция /(/) используется для описания тренда, существенны только ее значения при t = 1, ..., Т. Как было уже отмечено ранее, если функция / (/) имеет период ср и если Ф равно целому числу п, то / (/) принимает только п значений, а именно f (1), f (2), ... , / (п\ (Если отношение Tin не является целым, то каждое из этих п значений не может наблюдаться одно и то же число раз.) В таком случае эту функцию можно представить при t = 1, ... линейной комбинацией п тригонометрических функций. Однако если ф не является целым числом, то в представление f (/) в Т точках пришлось бы включить возможно до Т членов. Важность приведенных соображений состоит в том, что даже если Ф и не является целым числом, то f (/) все-таки может быть приближена относительно небольшим числом тригонометрических членов.

Представление произвольной функции

Обратимся теперь к представлению на всей действительной оси функции с действительными значениями. Частным случаем, хорошо известным статистикам, является связь плотности вероятностей р (х) с ее характеристической функцией ф (/), определяемой соотношением

ф (0 = У edxp W dx = ^ [cos tx + i sin tx\ p (x) dx = = фх (о + 1ф2 (0,

в котором фх (0 и ф2 (/) — действительные функции. Из этого определения видно, что фх (/) = фх (—/) четная, а ф2 (/) = = —Ф2 (—0 нечетная функции. Обратное преобразование имеет вид

P(x) = ^j e-^^dt^

= ^ J lcos(—,X) + Zsin(—<х)ПФ1(0 + ^

= -^- J [cos /хф! (/) + sin /хф2 (01 dt.

Кратко сформулируем результаты этого параграфа. Произвольную конечную последовательность с помощью ортогональной мат-, рицы М можно преобразовать в конечное множество коэффициентов Фурье. Произвольную периодическую функцию можно предста-

вить конечным отрезком ряда Фурье, коэффициенты которого (при определенных условиях) являются тригонометрическими интегралами. Обратно: (при определенных условиях) ряд Фурье определяет некоторую периодическую функцию. Наконец, произвольную (непериодическую, интегрируемую) функцию можно выразить в виде интеграла Фурье. При этом подынтегральное выражение может быть получено как обратный интеграл Фурье.

СТАТИСТИЧЕСКИЕ ВЫВОДЫ ДЛЯ СЛУЧАЯ, КОГДА ПЕРИОДЫ ТРЕНДА ЯВЛЯЮТСЯ ДЕЛИТЕЛЯМИ ДЛИНЫ РЯДА

Оценки наименьших квадратов для коэффициентов и дисперсии

Рассмотрим теперь модель yt = f (t) + ub t = 1, ..., T, где Su/ = 0, Wt = о2, butus = 0, t Ф s, a f (0 — периодическая функция с известными периодами, нацело делящими Т. Таким образом, периоды / (/) задаются числами Т/к,, / = 1, ..., q, где (къ ..., kq^ — подмножество последовательности целых чисел 1, ..., (Г — 1)/2, если Т нечетное, или 1, ..., 772—1, если Т четное. В последнем случае можно, кроме того рассмотреть и период 2. Отсюда следует, что для /(/) возможно представление

(1)/(О = «о + 2 «(^cos-^z + p^sin-^L/ ,

где слагаемое с периодом 2 не включено. Если же Т четное, то с учетом слагаемого с периодом 2 /(/) можно представить в виде

(2)(2)/ (о=«о+5м/ (о=«о+5мa (kj) cos -^Л1 + р (к^ sin -^-ta (kj) cos -^Л1 + р (к^ sin -^-t+ «7/2 ( 1)'.+ «7/2 ( 1)'.

(2)

(2)

/ (о=«о+5

м

/ (о=«о+5

м

a (kj) cos -^Л1 + р (к^ sin -^-t

a (kj) cos -^Л1 + р (к^ sin -^-t

+ «7/2 ( 1)'.

+ «7/2 ( 1)'.

Входящие сюда тригонометрические функции образуют некоторое подмножество функций, составляющих столбцы матрицы М. Вполне вероятно, что в (2) придется включить все Т таких функций, но обычно их требуется меньше. Например, если ежемесячные данные накапливаются в течение h. лет, то Т = 12/г и для получения представления сезонного изменения следует взять константу и 11 членов с наименьшими периодами ,

712 nТ 12■ Т 12 о

7/2 ~ 6 — 2’57/12 — 5 17/3 ~ 4 ~ d’

712.7Т _ 19

Г/437/62 — °’7/1? ” *2‘

При этом соответствующие частоты равны 1/2 = 6/12, 5/12, 1/3 = = 4/12, 1/4 = 3/12, 1/6 = 2/12 и 1/12. Если период равен 2, то в сумме (2) будет только одно слагаемое, отличное от константы. Это слагаемое вместе с константой полностью представляют цикл периода 2 (т. е. поочередное изменение между двумя фиксированными значениями). Каждому из следующих по величине периодов соответствуют два слагаемых, косинус и синус. Пара таких слагаемых представляет косинусоиду, как правило сдвинутую. В связи с этим можно переписать (1) и (2) соответственно в виде

(4)(4)Z(O = ao + 2p(Mcos[-^/-0Z(O = ao + 2p(Mcos[-^/-0

(4)

(4)

Z(O = ao + 2p(Mcos[-^/-0

Z(O = ao + 2p(Mcos[-^/-0

/ (0 = «0 + 2 Р V^ cos [^- / - 0 (^)] + аг/2 (-1/,

где-

р^-УаЧ^ + ГО*e(^/) = arctg^,

а (kj) = р (kj) cos 6 (kj),P(fy) = р (&,) sin9(fy).

Рассмотрим теперь задачу оценивания параметров а0, ат/2, а (Л/) и р (fy), / = 1, ..., q, методом наименьших квадратов. Пусть а0, ат/2, а (й/) и b (kj) являются оценками наименьших квадратов для а0, ат/2, а (kj) и р (kj) соответственно. Тогда нормальные уравнения для этих оценок имеют вид

а(^)b(k^b^)а(^)b(k^b^)

а(^)

b(k^

b^)

а(^)

b(k^

b^)

ТО0...0

0 Т/20...0

0 0Т/2...0

0 00...Т/2

Т~

^=1 т

X2л&1 ,

tit cos t

т

X • 2л&1 , ,

*=1 т ^ytsm-^-t

если /(0

представляется в

виде ।

0

(1), или

д0

-т

(=1

Т

0

0

... 0

0

Т/2

0

... 0

0

в&)

т

^ytCOS-^M

(9)

0

0

0

0

Т/2

0

... 0

.. . Т/2

0

0

т

2j^ Sin-yM

т

V • 2л6а .

^ У, sin -^Л 1

0

0

0

... 0

Т

^Т/2

т

^уД-хУ /=1

если f (/) представляется в виде (2). Вследствие ортогональности тригонометрических функций матрица коэффициентов при оценках диагональна. Поэтому решениями нормальных уравнений будут

а0 = 4" 2 У* ” У’ т

a^h-^r^yt^^Lt, j=\q,

&(^) = 42^«п-^^ /=1,

и в случае (9) 1 г

аг/2 = -у 2 yt (— 1/.

Интересно отметить, что выражения (10) — (13) можно получить также другим способом, подставляя в (1) или (2) вместо коэффициентов а и р их оценки а и Ь, а вместо / (/) значения yt. Применение обратной формулы Фурье дает выражения указанных коэффициентов через величины yt.

Оценка наименьших квадратов для аа дается формулой

Тm Q

^-т?—42

/=1

T-^+l)

если f (0 представляется соотношением (1), или формулой

если / (0 представляется соотношением (2)i

Оценками параметров р (^) и 6 (^/) являются соответственно

R to) = Ka2to) + ^to), в to) = arctg -^.

/= 1, .... q.

Эти оценки можно получить непосредственно; минимизируя т

^Vyt — f (О I2 по параметрам р (^) и 6 (&/), / = 1, —, q, и а0, когда / (0 представляется в виде (4), иди по тем же параметрам и по параметру ат^ если / (0 представляется соотношением (5).

Пример 4. 1. Рассмотрим данные [опубликованные департаментом сельского хозяйства США (1939, стр. 390)] табл. 4.1 о поступлении масла (в млн. фунтов) на пяти рынках (Бостон, Чикаго, Сан-Франциско, Милуоки и Сент-Луис).

Таблица 4Л

ПОСТУПЛЕНИЕ МАСЛА НА ПЯТИ РЫНКАХ

Месяц

Год

Общее количество

Среднее

1935

193b

1937

Январь

48.9 '

48.3•

42.4

139.6

46.5333

Февраль

43.4

47.1.

41.4

131.9

43.9667

Март

43.8

52.4

49.0

145.2

48.4000

Апрель

50.8

55.3

50.8

156.9

52.3000

Май

67.6

64.7

65.8

198.1

66.0333

Июнь .

83.7

79.5

85.9

249.1

83.0333

Июль

82.7

62.6

70.6

215.9

71.9667

Август

60.8

51.3

55.8

167.9

55.9667

Сентябрь

55.4

51.0

49.1

155.5

51.8333

Октябрь

48.4

54.0

45.7

148.1

49.3667

Ноябрь

37.7

45.2

43.8

126.7

42.2333

Декабрь '

. 41.0

44.9

46.7

132.6

44.2000

Итого

664.2

656.3

647.0

1967.5

655.8333

Среднее

, 55.350000

54.691667

53.916667

163.958333

54.652778

Мы хотим оценить константу а0, коэффициент аг/2 = а18, соответствующий периоду 2 (частоте 1/2 = 6/12), и пары коэффициентов, соответствующих (наименьшим) периодам 12/5, 3, 4, 6 и 12 (частотам 5/12, 1/3 = 4/12, 1/4 = 3/12, 1/6 = 2/12 и 1/12 соответственно). Пусть

- 2

mt = 2 z//_|-i2/

— сумма значений наблюдений для Z-го месяца за три года. В силу периодичности тригонометрических функций имеем:

3612

ао=у=-35- 2 ^ = *36" 2 т^

3612

1 V 2лЗ& ,2л& ,

18 ^У/со$ 36— 18 ^m/cos 12

к = 1, 2, 3, 4, 5,

3612

, IV- 2лЗ£ . IV 2л& ,

Ь^ = лг 2 «Isln 1 - тг 2i mtS1 п лг1 *

Jk= 1, 2, 3, 4, 5, 3612

°is ” "з5~ 2 ^/(1) ” ~36~ 2 m< ( '■

/=1/=1

Таблицы этих тригонометрических функций имеются у Кендалла (1946b). Таблица 4.1, расположенная по периодам и включающая суммарные величины, называется таблицей Бьюис-Баллота [Бьюис- Баллот (1847)].

Таблица 4.2 КОЭФФИЦИЕНТЫ ЦИКЛИЧЕСКИХ ТРЕНДОВ

к

0

3

6

9

12

' 15

18

«к

54.65

—14.82

6.60

—3.98

2.21

—0.61

0.15

Ьк

—2.02

1.23

0.30

1.73

0.60

Минималь

ный период

12

6

4

3

12/5

2 ;:

Частота

1/12

1/6

1/4

1/3

5/12

1)2^

Rk

14.96

6.71

3.99

2.81

0.86

ОЛб^

223.7

45.1

15.9

7.88

0,73

(Х02

Значения оценок параметров, вычисленные по данным табл. 4.1, приведены в табл. 4.2. Сумма квадратов отклонений равна 474.51, sa = 19.771. Наибольшая выборочная амплитуда R3 = 14.96 в табл. 4.2 соответствует паре членов с минимальным периодом 12. Это отражает тенденцию ряда mt к наличию у него единственного колебания, близкого к сумме синусоиды и косинусоиды.

.2. Периодограмма и спектрограмма

График зависимости RX = al + bX от периода Т]к называется периодограммой (рис. 4.1). Применение ортогональных функций, рассмотренных выше, определяет периодограмму в точках Tlk — = 2 (если Т четное)TlX, Т/3, Т/2, Т.

График зависимости RX от частоты к/Т называется спектрограммой (рис. 4.2). Этот график удобнее, поскольку квадраты амплитуд, вычисленные для ортогональных слагаемых, располагаются на этом графике с одинаковыми промежутками, величина которых не зависит от Т.

Аналогичные понятия можно ввести,, используя квадрат теоретической амплитуды рХ. Иногда этот квадрат амплитуды называют интенсивностью. С терминами периодограмма и спектрограмма в литературе обращаются весьма вольно, вплоть до замены одного другим. В некоторых случаях при определении RX используют различные множители.

Следует заметить, что ак и Ьк суть значения параметров а и Ь, минимизирующие сумму

2[^-(а^ -^-t + bsin-^-t^.

зна-зна-Поэтому Rk = V«X + bX и 0А = arctg {bkJa^ являются чениями величин R и 9, минимизирующими сумму

зна-

зна-

г

(20)(20)V Г п / 2л6 , л\1а 2i yt — Reos —^t— 0 . t=i L V /J

(20)

(20)

Минимальное значение последней суммы есть

2^‘—у (а1 + ^1) = 2 —Т^'

/=1<=1

В этом смысле Rl является мерой соответствия выравнивающей тригонометрической функции с частотой к/Т наблюдаемым данным.

Периодограмма для примера 4.1 (период Т/ку

Рис. 4.2.

Спектрограмма для примера 4.1 (частота к[Ту

Коэффициент корреляции между двумя последовательностями,

Ух, .... Ут и zxzT, определяется отношением т

2(^—yHzt—Ъ

——г- 1д т«д“ ~

2(у«-у2)) [Яъ-ЪА

т

2 VtZt — Туг t=\

т _ \ V» / т _ \7.

^«t-TvA V^z^t-TzA

_ тт

в котором у =2 UflT,32 = 2zJT. Он является мерой подобия этих последовательностей, не меняющейся при сдвиге и изменении масштаба. Если zt = a cos 2nktlT + 6 sin inktIT = R cos (2nkUT— •— 0), то соответствующий коэффициент корреляции равен

V / 2лй < । <. • 2л6 A х1 / 2л6 ^ <А

Z У* Iа cos -f-1 + b sm ~f~ * I^^“Чт-^- 6)

Уnц—=

2<w-!/)2 vr(a2 + 62)2^-^ h-r

2№-y)2f2№-y)2f[aA cos 0 + bk sin 0].[aA cos 0 + bk sin 0].

2№-y)2f

2№-y)2f

[aA cos 0 + bk sin 0].

[aA cos 0 + bk sin 0].

bfe

Максимум его по всем 0 достигается при значении 0А = arctg~ г _

и равен [7/22 (У< — У)4^'2^ Таким образом, максималь- <=1

ный (по отношению к параметру 0) коэффициент корреляции между последовательностями {^} и (cos (2nkt!T — 0)} пропорционален Rk.

4.3.3. Проверка гипотез

и построение доверительных областей для коэффициентов

Приведенные выше в соотношениях (10) — (13) оценки коэффициентов являются несмещенными, т. е.

^а° — а°’^а"Т12 = “г/2’1 = 1

Sa^A^a^),’•••’^

Дисперсии а о и ацч равны оЧТ, а дисперсии a (kj) и b (kj) равны Уо^Т, j = 1, •••, q- Эти оценки являются взаимно некоррелированными. Если величины yt нормально распределены, то указанные оценки нормально распределены и независимы.

Статистика s2 является несмещенной оценкой для а2. Если величины yt распределены нормально, то отношение s2/a2 пропорционально величине, имеющей Х2-распределение, не зависящее от оценок коэффициентов. Если / (/) представляется суммой (1), a s2 задается соотношением (14), то отношение (Г — 2^ — 1)з2/а2 имеет ^-распределение с (Т — 2</ — 1) степенями свободы. Если же / (0 представляется в виде (2), a s2 задается соотношением (15) (т. е. Т четное и присутствует аТр), ' то отношение (Т — 2q — 2)s2/o2 имеет Х2-распределение с (Т — 2^ — 2) степенями свободы.

В предположении нормальности можно использовать критерии и доверительные области, приведенные в гл. 2. При этом процедуры принимают особенно простой вид из-за ортогональности и нормировки используемых регрессионных переменных. Одной из нулевых гипотез, которые могут представлять для нас интерес, является гипотеза об отсутствии циклического слагаемого с заданным наименьшим периодом, скажем Т]к). Эта нулевая гипртеза имеет вид (25) Я: а (£/) = № = ().

Сформулированная гипотеза связана как с синусоидальной, так и с косинусоидальной составляющими потому, что в сумме они могут задавать сдвинутую функцию косинус. Мы здесь не затрагиваем вопроса о синхронизации, т. е. о фазе 0 (kj). Указанная Выше гипотеза эквивалентна гипотезе Н: р (fy) = 0.

Если верна нулевая гипотеза, то величины а (/?,) и b (kj) независимы и нормально распределены с нулевыми средними и дисперсиями 2а2/Т. Поэтому статистика

/2т Т a*(kj) + №(kj) Т R» (kj)

W 2 " о2 ~ 2 ‘ о2

имеет Х2-распределение с 2 степенями свободы. В противном случае она имеет нецентральное Х2-распределение с параметром нецен- тральности 7р2 (к,)/ (2а2). (См. (49) ниже.) Пусть р — число оцениваемых коэффициентов (2^ 4- 1 или 2q 4- 2). Тогда при нулевой гипотезе статистика

Т R1 (kj)

(=7) -2 ' / = ^ -

имеет ^-распределение с 2 и Т — р степенями свободы. В общем случае (27) имеет нецентральное ^-распределение с параметром

нецентральности Тр2 ^k^l (2а2). Нулевая гипотеза отвергается с уровнем значимости е, если (27) больше, чем ЮОе-процентная точка ^-распределения1). Соответствующая функция распределения равна

'-^-^Еу^'2.

Задача проверки указанной гипотезы инвариантна относительно следующих преобразований оценок: а» = кав -V сй, а (к) = = ка (к^ 4- cb Ь*(к{) = kb (k^ + d,b i Ф j, атр = каТр + + сц1 (если Т четное), a* (kj) = k(a (^)cos 0 + b (kj) sin 0], b* (kj) = k[— a (kj) sin 0 + b (kj) cos 0] и s*2 = кЧг для произвольных к ^= 0, с0, cb d„ i Ф j, ст/2 и 0. Соответствующее преобразование переменных уъ ..., ут имеет вид

у; = kyt + с0 + 2 (^ cos -^-1 + at sin -^ /) +

+ (— 1/ ^T/2, / = 1, ...» T.+ (— 1/ ^T/2, / = 1, ...» T.

+ (— 1/ ^T/2, / = 1, ...» T.

+ (— 1/ ^T/2, / = 1, ...» T.

Если Т нечетное, то слагаемое (—1)^772 отсутствует. (См. упр. 11 и 12.) Распределение переменных у^ ..., ут совпадает с распределением уъ ..., ут с соответственно преобразованными параметрами. Всякая функция параметров, инвариантная относительно введенных преобразований, является функцией от р2 (^/)/а2. Всякая функция от достаточных статистик, инвариантная относительно введенных преобразований, является функцией от У?2 (kf)/s2. Поскольку семейство распределений полно, единственными инвариантными критериями, основывающимися на достаточных статистиках и имеющими заданный уровень значимости, являются критерии, основанные на статистике F — TR2 (к^/ (4s2). Поэтому равномерно наиболее мощным инвариантным критерием уровня е будет критерий, который отвергает нулевую гипотезу, когда наблюдаемое значение F превосходит F^j-p (е)2). Этот критерий является равномерно наиболее мощным среди критериев, функции мощности которых зависят только от р2 (&/)/о2.

Гипотезы относительно значений а0 и ат/2 можно проверять с помощью /-критериев. (См. упр. 14 и 15.) Если а2 известно, то F-критерии можно заменить Х2-критериями, а /-критерии — нормальными критериями.

Пусть Т = hn, п — четное и априори предполагается, что f (/) = f (/ + nY Тогда для проверки гипотезы о том, что тренд ряда не содержит периодического изменения, мы должны проверить гипотезу о равенстве нулю коэффициентов при всех тригонометрических функциях, имеющих такой период (за исключением константы 1). Для этого можно использовать статистику

т П/2—1

(30)(30)-у 2 [в* (to) + № (to)] + Га2г/2

(30)

(30)

(n — l)s2

Последняя при нулевой гипотезе, состоящей в том, что / (/) постоянна, имеет f-распределение с п — 1 и Т — п степенями свободы. В общей ситуации (когда / (0 периодична с периодом п), статистика (30) имеет нецентральное F-распределение с параметром нецентраль- ности

т п/2—\

(31)(31)-у 2 [аЧ^)+Р2 Wl + Ta2/2

(31)

(31)

О2

здесь а (АА) и р (АА) — коэффициенты при cos ^khUT = cos ^ktln и sin 2nkhtlT = sin ^ккИп, к = 1, ..., /г/2 — 1, в представлении / (/), a kj = ih.

Наблюдения можно расположить в виде таблицы Бьюис-Баллота

Ух У п-в • • • У(Л— 1)л+1 Уг

У2 Уп-v^ • • • У(А—1) п4-2 У г

. .;.

Уп У^п • • • Уип Уп

в которой

^ = -г- 2 Шл-nh ^ = 1, • • •. п

" /=0

Положим

„пТ

(34)

<=1/=i

Имеем

Нулевая гипотеза состоит в том, что f (1) = / (2) = ... = / (п). Это эквивалентно задаче о совпадении средних в дисперсионном анализе с равными числами наблюдений в каждом из классов одинарной классификации. Обычно для проверки этой нулевой гипотезы используется статистика

п h-\* п „ 1>

(=1 /=0

имеющая ^-распределение с п — 1 и п № — 1) = Т — п степенями свободы при нулевой гипотезе и нецентральное ^-распределение с параметром нецентральности

а 5 if ю — 7г

,

_ п

где f = У f ^’п, в общем случае. Используя свойства тригоно- /=1

метрических функций, приведенные в разд. 4.2.1, можно показать, что F-статистики (30) и (36) совпадают. При этом совпадают и параметры нецентральности (31) и (37).

Доверительные области для параметров могут быть найдены обычным путем. Например, доверительная область для а (Л/) и р (£/) с коэффициентом доверия 1 — 8 образуется парами чисел (а*, р*), удовлетворяющими неравенству

[а* - а № + [р* - b (k^ < Р2,т_р (е),

в котором Р2,т-р (е) есть ЮОе-процентная точка F-распределения с 2 и Т — р степенями свободы. Эта доверительная область состоит из границы и внутренности круга с центром [а (^;), b (k/)] и радиусом V4saF2,T_p (е)/Т. Точки граничной окружности и внутренности этого круга в полярной системе координат, р* = "У a*4 + Р*2, 0* = arctg (Р*/а*), образуют доверительную область для амплитуды р (А/) и фазы 0 (kj). Минимумом и максимумом р* в круге являются граничные точки интервала

(₽ (к,) - / ^ Р2,т_р (8) , R (У) + У"^- Р2,т_р (8)).

Этот интервал является доверительным для р (^) с коэффициентом доверия, большим 1 — е. (Если нижняя граница интервала (39) отрицательна, ее можно заменить нулем.) Используя нецентральное /’'-распределение статистики (27), можно построить доверитель-

ный интервал для параметра нецентральности Тр (£/)/ (2о2), но это не приносит особой пользы, поскольку о2 неизвестно.

Если R(hj) < K4s2F2,t-p (е)/?, то начало координат попадает в доверительный круг и гипотеза р* = 0 входит в число допустимых. Каждому значению угла 0* соответствуют некоторые точки доверительного круга. При этом полезной является только верхняя граница (39). Нулевая гипотеза р (^) = 0 принимается с уровнем значимости е. Если начало координат не принадлежит доверительному кругу, то можно определить доверительный интервал для О (Л/), включая в него все углы 0*, соответствующие этому кругу. Точнее говоря, в этот доверительный интервал включаются все углы 6*, обладающие тем свойством, что луч, направленный из начала координат под углом 0* к оси абсцисс, пересекает доверительный круг, и не включаются углы, не обладающие этим свойством. При этом длина доверительного интервала для 0 меньше л, а коэффициент доверия больше 1 — е.

Другой подход использует тот факт, что величина а (&/) tg 0 — — b ^ распределена нормально со средним а (^) tg 0 — £ (^) и дисперсией 2а2 (1 + tg20)/T = 2а2 sec2 6/Т. Если 0 = 0 (^;), то указанное среднее равно нулю. Поэтому

Pr I -^,} *g ..^W1 - < F\.T_P (е)1 = 1 — е.

■ I -у s2 (1 + tg2 0)I

Событие, заключенное в скобки, иначе можно записать в виде

о2

у ^1,Т-р ^ [^ ^ - у ^1,т-р (=)

2

“а W — -у8еЕхт_р (е)

Из (41) получим следующее неравенство относительно tg 0:

(42)(42)tg0<tg0<a (kj) b (kj) -У-у ^т-р ^ 1^' ^ * 4" $2fi.T-P ^a2(kj)—-^-s2FiT_p(e)

(42)

(42)

tg0<

tg0<

а (ty 6 (А/) + У4" s2fl.T-P ^ [^3 W - 4" ^.Т-р to

если знаменатель в правой части (41) положителен (при этом подкоренное выражение неотрицательно), и.

a (kj} b(kj) +У4" s2fLT-p № ^2 ^ ~ 4" ^.т-р ^

2

(43) или(43) илиааS^F 1, Т-рS^F 1, Т-р9(8) RM^-^^vt-p^9(8) RM^-^^vt-p^а2 ^--^Рхт_р (е)

(43) или

(43) или

а

а

S^F 1, Т-р

S^F 1, Т-р

9

(8) RM^-^^vt-p^

9

(8) RM^-^^vt-p^

2

я2 W — у S^F\J-P (е)

если этот знаменатель отрицателен, а подкоренное выражение неотрицательно. Если же подкоренное выражение отрицательно, то оба отношения являются мнимыми. В таком случае неравенство (41) выполняется при всех значениях 0, поскольку при этом а2 (fy) < 2s2FitT_p (е)/7\ Доверительное множество для tg 0 задается соотношением (42), если знаменатель правой части (41) положителен, или соотношением (43), если указанный знаменатель отрицателен, а подкоренное выражение неотрицательно. Это доверительное множество совпадает со всей действительной прямой, если указанное подкоренное выражение отрицательно. Вероятность того, что доверительный интервал совпадает со всей прямой, равна вероятности события .

™WL<^F,i_M

Левая часть (44) имеет нецентральное ^-распределение с 2 и Т — р степенями свободы и параметром нецентральности Тр2 (А/)/ (2а2). Вероятность события (44) мала, если Гр2 (&/)/(2а2) велико. Отметим, что доверительный интервал, основанный на (38), является тривиальным, если левая часть (44) меньше Fsj_p (е), равного приблизительно 3/2 правой части (44). [Шеффе (1970) предложил процедуру построения доверительного множества (38) для а (А/) ^\к^ в случае, когда это множество содержит начало координат, и построения интервалов, подобных (42) и (43), использующую вместо Е\д_р (е) надлежащим образом выбранную монотонно убывающую функцию от F2tT-p(e)J

Итак, имеется три типа доверительных множеств: (42), если ^Рхл_р ^1Т < а2 <к^ (43), если а2 Ц^ < ^Рхд-р ^/Т « < а2 (kj) + b2 (kj), и вся прямая, если а2 (к,) + b2 (k^ < < 2s2Fxj_p (&)/Т. Они встречаются соответственно, когда a2 (kj) велико, когда а\к^ мало, a b2 (kj) велико, и когда обе эти величины малы.

Процедуры проверки гипотез и построения доверительных множеств, приведенные в этой главе, основываются на том, что

наблюдения независимы и нормально распределены. Тем не менее эти результаты сохраняются как асимптотические для фиксированных периодов Т1кь если наблюдения независимы, их распределения имеют равномерно ограниченные (абсолютные) моменты порядка 2 + 6 для некоторого 6 > 0 или, в более общем случае, если выполняется условие Линдеберга — Феллера. (См, § 2,6.)

Решение вопроса о включении тригонометрических слагаемых

Трудной, но весьма существенной является задача о том, какие тригонометрические слагаемые следует включать в циклический тренд. Это задача с несколькими решениями, возникающая также во многих других областях применения регрессионных методов. Однако в данном случае она имеет некоторые особенности. Будем предполагать, что функция тренда содержит р членов. Точнее, это а0 и, возможно, а^/2 (—1/, если Т четное, а также соответственно (р — 2)/2 или (р — 1)/2 пар тригонометрических членов с периодами Т!кь / = 1, ..., (р — 2)/2 или (р — 1)/2 соответственно. При этом мы располагаем оценкой а2 с Т — р степенями свободы. Пусть под вопросом находится включение в тренд q пар тригонометрических членов, тогда как р — 2q членов уже определенно должны быть включены в тренд. Мы хотим относительно каждой из q пар тригонометрических слагаемых решить, равна ли ее амплитуда нулю, т. е. для каждого / = 1, ..., q решить, будет ли р (к,) = = 0. Здесь возможны следующие решения:

#о: Р(М = ••• =р(^) = 0,

Я(: р(^)>0, р(^) = 0,/#=«./=1, ...,?,

Ны: р(^)>0, p(fez)>0, р^—гО, j^i, i=£h,

/= 1. •q,

p(^h)>0,h=\,...,q.

Эта задача co многими решениями существенно отличается от рассмотренной в разд. 3.2.2 по той причине, что здесь уже не существует такого априорного естественного упорядочения периодов, каковым являлось упорядочение степеней полиномов.

Будем полагать, что о фазах априори ничего не известно и что их значения не представляют для нас, интереса. Отсюда следует, что решающие процедуры должны основываться на статистиках Я2 w). При этом они будут инвариантны относительно преобразований «о = «о + с(„ aT1i = аг/2 + сцг (если Т четное), а*(к^ = = а (М + cb b*(kt) = b^) + d„ i = q + 1, .... (p — 2)/2 или (p - l)/2 и а*(к^ = a^j) cos + b (k,) sin 9b Ь*(к^ =

— —а ^к^ sin 0/ + b (к^ cos О/, / = 1, ..., ^, т. е.

[р/2-1]

yt = yt + ce-V 2 к COS-^-/ + ^-sin-^-/U <=»+! '* /

Т q

+ y2i2y cos ~^(s — 0 — 6/ — cos-y4s —0 & +s—1 /=iLJJ

+ ^772 ( 1/-

Будем считать, кроме того, что заранее нельзя отдать предпочтение ни одной из рассматриваемых q периодических функций. В связи с этим естественно ограничиться только' симметричными процедурами.*

Рассмотрим сначала случай, когда а2 известно. Такая задача имеет определенный исторический интерес и является предельной для ряда других случаев. В предположении нормальности статистики а0, а ^к^ b (kj), / = 1, ..., (р — 2)/2 или (р — 1)/2 и, возможно, ат/2, образуют достаточное множество статистик для параметров а0, а (kj), Р (kjY j = 1, ..., (р — 2)/2 или (р — 1)/2 и, соответственно, ат/2. Потребуем, чтобы решающие процедуры были инвариантны относительно преобразования (46). (Изменения фаз соответствуют вращениям пар а (к^ b (к,).) Тогда они должны основываться на статистиках R2 (^:), ..., R2 ^kqY Если р ^к^ = 0, то величина

=

имеет Х2-распределение с 2 степенями свободы. Плотность ее распределения и сама функция распределения равны соответственно

,

К (z) = j k (и) dv = 1 — e-z/2.0

В противном случае z, имеет нецентральное Х2-распределение с 2 степенями свободы и параметром нецентральности т2 = Тр2(^у)/(2а2). Соответствующая плотность1) имеет следующий

вид:

к (г I т») -1 Г WW УV11 =

( 12/лД (2Т)1 Г(Т+О

(49)

= ^Г 2 J^L = А.^!л (т К» 7=0

где

«ЭДW = 2 -таг

?=0 2 «г/

— бесселева функция первого рода с чисто мнимым аргументом порядка 0. В силу того что Z0(z) выражается степенным рядом с положительными коэффициентами, она является монотонно возрастающей функцией аргумента г (0 < z < оо). Поэтому &(z|t2)/£(z) = е_т'/2 /0 (т]/г) — монотонно возрастающая функция от г (0 < г < оо) при каждом т2 > 0.

Рассмотрим процедуру проверки нулевой гипотезы о том, что величина некоторой амплитуды равна нулю, использующую оценку только этой амплитуды.

Теорема 4.3.1. Равномерно наиболее мощный инвариантный критерий для проверки гипотезы Н] : р (^) = 0 против альтернативы р ^ > 0 с уровнем значимости в) имеет критическую область

(51)(51)ТБ? (kj)2ааТБ? (kj)2аа> — 2 log е/.> — 2 log е/.

(51)

(51)

ТБ? (kj)2аа

ТБ? (kj)2аа

> — 2 log е/.

> — 2 log е/.

Доказательство, Вероятность события (51) при нулевой гипотезе равна 8/, поскольку функция распределения Z; = TR1 (к^/ (2а2) имеет вид 1 — e~zi/2. Из фундаментальной леммы Неймана — Пирсона следует, что (51) является критической областью наиболее мощного критерия для проверки гипотезы Hj против любой простой альтернативы, например р2 (А,) = = 2а2т2/7\ Обозначим множество, определяемое соотношением (51), через А*. Через А будем обозначать любую другую критическую область с Рг {Л | Я/} = е/. Неравенство (51) эквивалентно неравенству

^dp. = е-^/2/о(ту-^ >(ту _21о§е/) = d„ правая часть которого обозначена для краткости символом d/.

Поэтому

Рг (Л* | т2} = Рг {Л* П Л | т2} + Рг {Д* Q ЛI т2} =

= j A(z/| T2)dz/+ Рг {Л* Q Л |т2} > л*пл

>dj j A(z/)dz/+ Рг{Л* f| Л |т2} =

Л*ПЛ

= d* J ^(z/)dz/ + Pr{Л* f| Л|т2}>

А* Л A

>J ОДт^ + Рг (Л* f| Л|т2} = А-ЛА

= Рг{Л|т2}.■

Утверждение теоремы вытекает теперь из того, что неравенство (53) выполняется для всех т2 > О.е

Приведенная процедура известна под названием критерия Шустера (Шустер (1898)).

Рассматриваемую задачу со многими решениями можно представить как комбинацию задач, включающих в себя гипотезы об отдельных амплитудах, а именно:

я0=я;п^п ... п#; = ^н*1,

1=1

Н( = Н^^Н*{,1=1,..., q,

i+i

Ны^г^Ш^ П H*j, h<i, h,i=l,...,q,

/=1i+i,i=Ni

H^-.-q^ А Н(. 1=1

Пусть RO1 Ri и т. д. обозначают области из пространства значений /?2 ^ , ..., R2 (^), в которых соответственно принимаются гипотезы Яо, Hi и т. д., a R*, i = 1, ..., д,— области, в которых принимаются гипотезы Н*. Эти два множества областей указанного выборочного пространства находятся точно в таком же соответствии, в каком находятся два введенных выше множества областей из. пространства параметров, указанные в (54). Потребуем, чтобы (55) Prf^lp^), .... р(^); р(^) = 0} = 1—е/,

т. е. чтобы вероятность правильного решения р (^,) = 0 не зависела от значений других амплитуд. Будем называть это свойство независимостью от мешающих параметров. Тогда рассуждения, подобные тем, которые были проведены в разд. 3.2.2 (мы их только наметим), показывают, что пересечения R* и R2 (к^ = cb i ^ j, имеют вероятности 1 — в/ для почти всех наборов q — 1 неотрицательных значений съ ..., c/_i, c,+i, ..., cq. Пусть h [7?2 (^), ... ..., R2 (kq)] равно 1 в области R* и 0 вне этой области (т. е. h — критическая функция; ее можно продолжить до рандомизированной критической функции). Условное математическое ожидание h относительно R2^^ является ограниченной функцией остальных q — 1 аргументов. Из (55) следует, что математическое ожидание разности последнего и величины (1 — е,) тождественно равно нулю, независимо от параметра нецентральности. Искомый результат вытекает теперь из ограниченной полноты семейства нецентральных Х2-распределений. (См. упр. 25 и 26.)

Из сказанного следует, что решение о р (6/) основывается в действительности только на R2 (kj). Если мы привлечем условие симметрии, то все eb I = \, ..., q, будут равны. Обозначим это общее значение 8, через е. При данном е наилучшая процедура для проверки И, указана в теореме 4.3.1 (где е/ = е). Отметим, что (56)Рг(7?0|Я0} = Рг!Д/?;|р(^) = ••• = p(^) = oU

q

= nPr{₽;ip(^)-o} = (i-8)’.м

Если задается значение именно этой вероятности в виде 1 — 6, то 1 — 8 = (1 — б)1^ или log (1 — е) = [log (1 — 6)A/q.

Теорема 4.3.2. Пусть задана вероятность (1 — е)^ принятия решения о том, что все рассматриваемые амплитуды равны О, когда это в действительности имеет место. Тогда равномерно наиболее мощная симметричная инвариантная процедура выбора положительных амплитуд, не зависящая от мешающих параметров, состоит в том, что решение р (kj) >> 0 принимается при TR^> -2 log е.

Если все р (к^ = 0, то ошибочным будет решение о том, что хотя бы одно р (kj) > 0. Поскольку, согласно указанной процедуре, решение р (к() > 0 принимается при zt 2> С, вероятность ошибки равна

Рг(^0|Я0} = 1-(1-е-с/2)».

Эта функция табулирована Дэвисом (1941, табл. 1), у которого С/2 и q соответствуют К и N/2. Указанная процедура в качестве

критерия значимости известна под названием критерия Уолкера [Уолкер Дж. (1914)]. Подобные общие проблемы поиска решений другим методом изучались Леманом (1957). Отметим, что если q = [(7 — 1)/2], то

НшРг {г/<С +21og^, / = 1, .,.,<7} =

= lim [1 — exp (— С/2 — log 9)]’ = exp {—е“с/2}.

<7-юо

Проблему поиска решения можно поставить и иначе. Предположим, что отличной от нуля может быть самое большее одна амплитуда. Тогда следует рассмотреть гипотезы

-- Яо: Р (^1) = ' ‘' = Р ^о) ~

( }р^>0, р(^) = 0,1=1q,

/= L .... q.

Плотность совместного распределения нормированных выборочных амплитуд равна

(60)Й&(?/|т2),

/=1

где самое большее одно r2l= 7р2 (kj)] ^5^ положительно. Если, например, верна гипотеза H!t т. е. р (^) > 0, а р ^kj) '= 0, i ^ j, то отношение правдоподобия для Hj и Но имеет вид

(61)(61)k (Zj I Ту) П к (г/) Ж

(61)

(61)

П к (zt) i=l

и является монотонно возрастающей функцией от Zj. Это наводит на мысль о том, что при больших значениях Zj следовало бы предпочесть гипотезу Hj гипотезе Но. Отношение правдоподобия для Hj и Hb I Ф j, i > 0, выражается формулой

к (zj | т,) П 6 (гл)

(62)(62)h*i _ к (г, | тф к (Zj)k(zt\^ П к (г^ к (Zj) к (zt | тф

(62)

(62)

^/„(т/уТ/) .

е ^XtoVzi)

Если т2 = т2 = т2, то (62) равно /0 (т Kz/)//0(t Vz^. Последнее отношение будет больше или меньше 1 в соответствии с тем, больше

или меньше 1 отношение Zjlz^ Обратимся к проблеме выбора между гипотезами Н, и Н(.

Лемма 4.3.1. Равномерно наиболее мои^ная симметричная инвариантная процедура выбора между гипотезами Н, и Ht состоит в принятии Hj при Zj > zL и принятии Ht при Zj < zt.

Доказательство. В данном случае под симметрией понимается симметрия по z, и zn т. е. Bj и Bt симметричны, если в В/ замена 2/ на zt и обратно переводит В$ в В, и обратно. Пусть А$ = {(^, ... ..., Z^ | Zj > Z^ А* = {(2Ь ..., Zq) ) Zj < Z^ И ПусТЬ Aj И At — два других взаимно дополнительных не пересекающихся симметричных множества. (Мы пренебрегаем множествами вероятности О, такими, как ^гъ ..., zQ) (Zj = z^.) Тогда, из симметрии A*- fl At и Aj Q А*,

Рг{л;|т? = т2, т? = 0} =

= Рг {л; Q Л,|= т2, т2 = 0}+

+ Рг(л;п АД^ = т\ т2 = 0} =

= { .. • f П £ (zh) е"т8/2;0 (т К?/) П dzh +

+ Рг{Л;ПЛ|т? = г2, т2 = 0} >

> $ •. • $ Д к (zh) е~^210 (т У^) Д dzh + а‘г\а£ а=

+ Рг(Л/* П ЛЛт^т2, т? = 0} =

= J • • • $Пк (гЛ) е~т‘/2/0 (т К7/) П dzh +

ЛуЛ-4,~

+рг{л;пл1^=а т?=о} =

= РГ{Л/|^ = Т2, Т;2 = 0}.

Это неравенство выполняется при всех значениях т2 > 0. Отсюда следует, что указанная симметричная процедура является равномерно наиболее мощной по т2^

Теорема 4.3.2 и лемма 4.3.1 утверждают, что в указанной выше задаче со многими решениями следует принимать гипотезу Нв, если все выборочные амплитуды малы, и принимать гипотезу Н}, если R1 (kj) — максимальная и достаточно большая по величине

амплитуда. Соответствующая процедура симметрична в том смысле, что одновременная перестановка индексов у Нъ .... Hq и у R8 (Ах), ..., Ra (А,) не изменяет процедуры.

Теорема 4.3.3. Равномерно наиболее мощная симметричная инвариантная решающая процедура выбора только одной из гипотез Нй, Нъ .... Hq при заданной вероятности Рг {/?0|Д0} = (1 — е)’ и при условии независимости процедуры от мешающих параметров, состоит в принятии гипотезы Но, если Zj = TR2 (&/)/(2а2) < < —2 log е, / = 1q, и в противном случае — в принятии гипотезы Hj с индексом j, удовлетворяющим условию Zj > zb I j, i = 1, .... q._

Доказательство. Пусть Ro, Rlt ..., Rq — полная группа взаимно непересекающихся областей в пространстве значений гъ ..., zq, в которых соответственно принимаются гипотезы Но, Нъ ..., Hq, отвечающая некоторой произвольной процедуре с Рг(/?0/Я0} = = (1 — е)». Положим Ro = Ro и

Rj — R0 П {(2i, .... zq)\Zj>zb i^j], j=l,...,q.

Тогда Рг {₽o|^o} = (1 — е)" и

Рг{^{т? = т2, Th = О, h^H =

= Рг ^ f| ^/1т, = т2, Th = 0, h^^ +

+ Pr ^Rj f] Rf | Т/ = t2, Th = 0, h^j} =

= SPr{^; n^i^=T2, ^=o, +

+ Рг{Я;ПЯ/|т/=т2, т^ = 0, A^/}> >5Рг{/?/П ^|T/ = T2, t£ = 0, H^iH

+ Pr \R'j n Я/|т/ = ^ ^h = 0, A ^/} =

= Pr (Я/1Т/= t2, Th==0, h^j},

поскольку в силу симметрии и доказательства леммы 4.3.1

Pr ^R’j Л Ri | т' = т2, т^ = 0, h ^j} >

>Рг{Я/Л ti|T/ = T2, т£ = о, /1=^/}.

Положим, далее,

Ro= {(Zl ..., Zq)\Zt<— 21oge, i = l, ...,qV

R, = Ro Л {(Zi. .... Zq^\zi>zb i^n, /= 1. .... A-

При ЭТОМ Рг {/?о/^о} = (1 — ^q и

Рг {₽; I т- = т2, 4 = О, h /} =

= Рг (R*j П /?о | т/ = т2, тл = О, h^i) +

+ Рг ^Rj П Rj\Т/ = т2, Тл = О, h ^j] >

> Рг (R'j П Яо | т/ = т2, тл = О, Л =4: /} +

+ Рг (R* f| Rj | т/ = т2, тл = 0, h^j] =

= Рг (R', | т- = т2, тд = 0, h=£ /}

аналогично доказательству теоремы 4.3.1. Поскольку (65) и (69)

выполняются для всех т2, отсюда следует утверждение теоремы.^

Теорема 4.3.4. Всякое симметричное байесовское решение состоит в принятии гипотезы Н6 при TR2 (&/)/(2о2) < С, / = 1, ..., q, и в противном случае — в принятии гипотезы Hj с индексом j, удовлетворяющим условию Zj >■ zb i ^ i, i = 1, .... у.

Доказательство. Всякое байесовское решение определяется [см., например, Т. Андерсон (1958, § 6.6)1 соотношениями

Ro: рй П^(г/) >p^(zz|t2) П^(2/), i=\, ...,q, /=1i*

phh (zh | г2) П k (zy) > ptk lzt | t2) П k (Zj),i+hj^l

(71) Rh:(71) Rh:I = 1, ..., q, i^h,

(71) Rh:

(71) Rh:

Pub^h|t2) П k(zj) >p6T\k(Zj),i+h/=1

q

где pL > 0, i — 0, 1, ..., q и 5 Pt = 1- Эти области в силу их

1=0

определения не пересекаются. Каждая точка на общей границе пары областей (попадание на которую есть событие нулевой вероятности) может быть приписана любой из них. Первая совокупность неравенств (р{ > 0) равносильна соотношению

(72)(72)р . A (Zi I т2) р0 ..

(72)

(72)

0 k^ Pi41

левая часть которого является монотонно возрастающей функцией от zt. Определяемая этим соотношением область Ro симметрична тогда и только тогда, когда рг = ... = pq. Поэтому Ro имеет вид, указанный в теореме, и при надлежащем выборе значения

pQ— 1 — ^ Pt в точности таково же, как и в теореме. Аналогичные i=\.

замечания справедливы и для остальных областей Rt.^

Отметим, что эта процедура сводится к критерию значимости, приведенному выше, при следующем дополнительном условии. Если нулевая гипотеза Но отклоняется, то принимается решение о том, что наибольшая выборочная амплитуда соответствует единственной отличной от нуля теоретической амплитуде. Этот тип задачи исследовался общими методами Карлином и Труаксом (1960), а также Кудо (1960).

Поскольку в данной задаче класс байесовских решений совпадает с классом допустимых решений [см., например, Т. Андерсон (1958, теорема 6.6.4)], то теоремы 4.3.3 и 4.3.4 являются эквивалентными.

Перейдем теперь к более важному случаю неизвестного о2. Надо различать ситуации, когда интересуются оценками некоторых q заданных частот и в распоряжении имеется оценка для о2 с п = Т — р степенями свободы, полученная независимым образом, и когда оценка для о2 зависит от оцениваемых частот. В первом случае существует оценка s2, такая, что ns4о2 = S/o2 имеет Х2-распределение с п степенями свободы независимо от q пар коэффициентов a (&J, b (к^, ..., a {kq), b (^).

В первой из указанных ситуаций можно потребовать, чтобы процедура была симметричной и удовлетворяла соотношению (55), т. е. чтобы вероятность решения р (к^ = 0 не зависела от величин других амплитуд, и чтобы вероятность правильного решения о равенстве всех амплитуд нулю не зависела бы от а2. При этом наилучшей для проверки H*f будет процедура, отклоняющая эту гипотезу при F} = TR2 (k^/ (4s2) > с$. (Это вытекает из рассмотрения достаточных статистик, инвариантных относительно преобразований (29), и полноты соответствующего семейства распределений; см. замечание, следующее за (29).) Ввиду требования симметрии процедуры положим сх = ... = cq = с. Тогда (73) Рг{7?0|Я0} = Рг{2/<2с^-, i =, Ч\тЦ =

ипр-\е-и!2

-; аи

2П/2Г (п/2)

ип/2-1е- [1+2с//п]«/2

Г75du =

2"/2Г (п/2)

(Эта величина при п ->оо стремится к (1 —е-^?) При этом с можно выбрать таким образом, чтобы вероятность (73) была равна заранее заданной величине.

Теорема 4.3.5. Если о2 неизвестно, то равномерно наиболее мощная симметричная решающая процедура для выбора положительной амплитуды при заданной вероятности правильного решения о том, что все амплитуды равны нулю, и при условии независимости от мешающих параметров состоит в принятии решения Р k^h > 0 пРи TR2 k^h! (4s2) > с, где с определяется так, чтобы вероятность (73) была равна заданной величине.

Если а2 неизвестно, приведенная процедура возможна только в случае существования такой оценки s2 для а2, распределение которой не зависит от тех а (^) ,..., Р (^), которые включены в гипотезы. В противном случае невозможно выполнить требование независимости от мешающих параметров. Такая ситуация возникает, когда оказывается нежелательным предполагать равенство нулю даже хотя бы одной пары коэффициентов а (^), Р к^> т. е. когда желательно допускать тригонометрические члены любой частоты (вида j/T, j = 0, 1, ..., [772]). Тем не менее иногда можно предполагать, что в действительности отличны от нуля только некоторые из этих коэффициентов, в количестве, не большем некоторого малого числа. Исследуем этот простейший случай подробно.

Предположим, что отличной от нуля может быть только одна из q теоретических амплитуд. Задача состоит в том, чтобы решить, какая из гипотез Яо, Нъ ..., Hq верна. Потребуем, чтобы процедуры были симметричными и чтобы вероятность Рг{^0|/70) определялась независимо от неизвестного о2. Будем считать далее, что г—q выборочных амплитуд R2 (^+1), •••, R2 к^Г) соответствуют нулевым теоретическим амплитудам. При этом г — q может быть равным и нулю. Таким образом, в тренде остается еще Т — 2г коэффициентов, которые, возможно, и отличны от нуля, но нас не интересуют. (Такая постановка задачи является более общей, чем рассматривавшиеся другими авторами.) Если Но верна, то г.

^2 (^;), а0 и все выборочные коэффициенты, соответствующие /=1

другим теоретическим коэффициентам, возможно отличным от нуля, образуют достаточное множество статистик для соответствующих параметров. Отсюда следует, что для почти всех наборов значений Г

^R2 (kj), а0 и значений других указанных коэффициентов услов- /=1'

ная вероятность Ro должна быть равна заданной вероятности Рг {Р0|Я0} (см.упр. 10 гл. 3). Совместная плотность вероятностей значений Zj = TR2 (^)/(2ст2), / = 1г — 1, при 2^ = с, т. е.

/=1

г—1z, = с — ^2Ь равна/=1(74) ПЛ(г/) =/=*г—1z, = с — ^2Ь равна/=1(74) ПЛ(г/) =/=*/—V е~с/2И /’О/—V е~с/2И /’Оzv>0, /= 1, ..., г,в противном случае,zv>0, /= 1, ..., г,в противном случае,

г—1

z, = с — ^2Ь равна/=1

(74) ПЛ(г/) =/=*

г—1

z, = с — ^2Ь равна/=1

(74) ПЛ(г/) =/=*

/—V е~с/2

И /’

О

/—V е~с/2

И /’

О

zv>0, /= 1, ..., г,

в противном случае,

zv>0, /= 1, ..., г,

в противном случае,

(75)^(z/| Т/) П к ^ =(75)^(z/| Т/) П к ^ =когда верна гипотеза Нй1 и равна

(75)

^(z/| Т/) П к ^ =

(75)

^(z/| Т/) П к ^ =

(4-)е с,2е Х^U^iV^b, ?z>0, 1=1, ...,r, Ов противном случае,

когда верна гипотеза Hj. Мы используем здесь те же методы, что и при доказательстве теоремы 4.3.3. Пересечение областей /?0 и г

^Zj = с определяется неравенствами ^< g (с), i = 1, ..., q, где g (с) выбирается таким образом, чтобы условная вероятность совпадала с заданной Рг {/?0| 77О}. Пересечение областей Rh1 h = г

= 1, ..., q, и ^ 2j = с определяется неравенствами zh">g^ и /=1

zh > zb i =^ h, i = 1, ..., q.

Условное совместное распределение значений гъ ..., г, при г

условии ^ Zj = с является - равномерным в области г-мерного /=1_

пространства, определяемой соотношениями г/ > О, / = 1, .,., г, г

2 ^/= с. Отсюда следует, что условное распределение значений М г

zjc, ..., zjc при условии ^Zjk = 1 будет равномерным в области

г

z^c > О, / = 1, ..., г, ^Zjic = 1. Если g (с) = gc для каждого

положительного g, то вероятность

PrL<gc, /=1, ..., q\^zi = c. Яо1 =

=pr{^-cg. /=1,?|2-7- = 1>яо{

не зависит от с и совпадает поэтому с безусловной вероятностью

Рг -^-<^, /=1, .... q\H. ,

Теорема 4.3.6. Если о2 неизвестно, то равномерно наиболее мощная симметричная инвариантная решающая процедура выбора среди Н^ Нъ ..., Hqnpu заданной вероятности^? {^0 | Н^\ состоит в принятии Но> если

Xi = --^<g, /=1,

<=i

В противном случае принимается гипотеза Н, с индексом j, удовлетворяющим соотношению R2( kj) > R2 (^,), i Ф j,i = 1, ..., q. При этом константа g выбирается таким образом, чтобы вероятность события (78) при гипотезе Но равнялась заданной Vx\R»\H0\.

Вычислим теперь вероятность события, дополнительного к (78), т. е.

Рг { max Х/>^|ЯО} =

/=1я

'= Рг (х, > g хотя бы для одного /, / = 1, ..., q\ Но\.

Обозначим через А( событие [х, > g 'j. Тогда при гипотезе Но г 41

Рг ( шах х/ > g) = Рг < U Л/ =

/=1яV-1 J

я,( я 1

= 2 Рг{ЛЯ —SPr (А П 4Н ... +(-1Г‘ Рг п Л •

/=1/</0=1 J

[См., например, Феллер (1968, гл. IV, § 1).] Далее, в силу одинаковой распределенности величин х/ имеем

Рг j Д Л,-] =

^Ргиа-^рг^п л2>+ ••• +(-1г,рг{Дл/}.

г

Поскольку 2^/ = 1 и X/ > 0, / = 1, ..., г, то при kg ~> 1 /-1

Рг^ДЛу^Рг^^йг, ..., x*>g}=0.

Отсюда вытекает, что

Рг|уи А^ =7Рг[Л1}-^ IPrAf) Л8)+ -

V 0<x;< 1, /= 1,V 0<x;< 1, /= 1,

V 0<x;< 1, /= 1,

V 0<x;< 1, /= 1,

(

л \( П\

)Рг л 4 , П /(/=1 '] ’

где п— меньшее из двух чисел q и [l/gl, a [1/gl— наибольшее целое число, не превосходящее Mg.

Условное распределение значений xlt ..., хг при условии Г

У Xj = 1 является равномерным в области значений Xj > О, / = =1

Г

= 1, г, 2^ = 1- Оно совпадаете безусловным распределением /=1 г

величин хъ ..., хп поскольку условие ^х5 = 1 выполняется авто- /=1

матически в силу определения х,. Координаты хи .... хг в (г— 1)- Г

мерном пространстве 2 ^ = 1 являются барицентрическими. Ве- роятность попадания в произвольное подмножество этого пространства пропорциональна его (г — 1)-мерному объему. Имеем

Рг{Лх} = Pr{x1>g} =

= Pr g<x1<l, 0<х/<1 — g, j^l

v <g < Xj < 1, 0 < Xj < 1 — g, j* 1,

vjo<Xi— g<l — g, 0CXj<\—g, j*\, Xi— g+ 2 xi = 1— 2?

I;/=2

v|o<x/<l, /= 1, . . ., r, 2^=4

I/=1 J

(Здесь буквой V обозначен объем.— Перее.) Полагая в числителе гх = xY — g, z2 = х2, ..., г, = хп получаем

V 0<z;<l-g, /=1,

Рг{Л1}=—1—

V 0<Х/< 1, /= 1,

Правая часть (85) является отношением объемов двух подобных фигур (г — 1)-мерных подпространств, линейные размеры кото-

рых находятся в отношении (1 — g) : 1. Поэтому

PrH1)=(l-gr1.

Для определения вероятности

Рг {Лт f| Л2} = Pr {хх > g, х2 > g)

рассмотрим

v|g<x;< 1 —g, /= 1, 2, 0<х;<1—2g, / = 3, ..., г, 2*7=1] =

= V |о<х/ — g< 1 — 2g, /= 1, 2, 0<Х/< 1—2g,

/ = 3г, fa — g) + (x2 — g) + 2*/ = 1— 2g] • /=зJ

Обозначая zt = xx — g, z2 = x2 — g, z3 = x3, ..., zr = хп получаем для (88) выражение

v|o<z/<l— 2g, /= 1, r, Sz/= 2g|. I/=i)

Отсюда, из тех же соображений, имеем

Рг^ П Л2} = (1-25Г1.

В общем случае,

р^Пл^а-^)'-1, ^<-L.

Наконец, из этого соотношения и из (83) следует, что

( 4 1

Pr { max x, >g}=Pn U ЛЛ =

/=1q0=1 J

= (7(1_gr/->_(^(l-2gr1+

+(-1)п’1(^)(1-^Г*.

где п — меньшее из-чисел q и [1/gl.

/ q\\2 // q\\2 /... 4-... 4-(_ iy (д -1)Рг{Д(_ iy (д -1)Рг{Дд} =д} =

/ q\

\2 /

/ q\

\2 /

... 4-

... 4-

(_ iy (д -1)Рг{Д

(_ iy (д -1)Рг{Д

д} =

д} =

Это распределение вместе с его таблицами приведено Фишером (1929). Указанная процедура называется критерием Фишера. Геометрическое представление для q = г = 3 предлагается в упр. 27. Уиттл (1951) использовал метод характеристических функций; Ирвин (1955) обсуждал различные методы.

Полученный результат относительно вероятности (79) можно обобщить. В этом направлении следующим шагом является вычисление вероятности*

Рг {второй по величине X/ > g, / = 1, ..., q | //0} =

= Рг (по крайней мере два X/ > g, / = 1 , ..., q|Но^ =

= Pr{U(A Л Д)} =

Ki

= 5 Рг {д П 4) - 2 2 Рг {д П А, П Д} 4-

+ з s Рг {Лй п Д ПАПА)+

А <«/<»

ДД] =

q \

Рг (Д П Д} -2 j Рг {Лх ПАП А) +

/ а \,/ а \./ а \.

= { 2 ) (1 ~2g) ( 3 /(1 “ 3gr + 3 { 4 )(1 ~4g)

где n — меньшее из чисел q и [1/g]. Разложение для Рг {(J (Л, f| i<j

Q Д/)}, использованное здесь, приведено Феллером (1968, гл. IV,

§ 5). Вообще имеет место следующий результат.

Теорема 4.3.7. Если хъ ... , хг равномерно распределены в

(г—Химерной области Xj^Q, j = 1, .... г, ^Xj=l, то i=i

Рг {х/ > g не менее чем для р индексов j = 1, ..., ^} = / а \,/ а \ / р \.

=(1 — Pg) —, J 1 11 — (Р+ 1)5] +

\ р р Н6’\p-\-\j\p—1/ х '61

i а \ /п 4- 1 \.

+ (, + 2)(р-1)|1-<" + 2>^-- +

/ а \ (п — 1\.

+ (_1)п-р Р 1 (1—«5)=

v ’\п )\р — l/v6/

= а\ . —(1—pg)it I . X

\ р—1/ I Р '^6/ р + 1 \ 1 /

х[ 1 — (Р 4-1)gf 4- 7^22 Ц -(р 4- 2) ^г1 -

_ ... +_L_I) Иhi — ngY~x ,

‘ л\п—р)х6 J

где р < q, а п равно меньшему из чисел q и H/gJ.

Стивенс (1939) вычислил эту вероятность при решении другой задачи и привел таблицы для р = 2. Фишер (1940) установил связь между задачей Стивенса и задачей,, которую мы рассматриваем. Кроме того, он привел ряд таблиц.

Однако полученный результат имеет ограниченное применение. Например, для р = 2 указанное распределение дает вероятность того, что два отношения х, будут больше заданного числа g при гипотезе Но. Это соответствует процедуре, в которой гипотеза Но принимается, если только не найдется по крайней мере двух больших, чем g, значений х,. Фишер (1940) предположил, что такая процедура могла бы быть приемлемой тогда, когда предполагается, что реальный эффект проявляется скорее всего в двух амплитудах, а не в одной. В наших обозначениях предлагаемую процедуру можно перефразировать следующим образом. Гипотеза Но принимается за исключением случая, когда выполняются по крайней мере два неравенства Xj > g. В последнем случае принимается гипотеза Ни с индексами I и /, такими, что /?2 и /?2 ^ — наибольшие выборочные амплитуды, i, j = 1, ..., q.

Сформулируем теперь байесовскую задачу решения о выборе среди гипотез Hq, Ни ..., Hqi Нх^ Н131 ..., Hq_\iq. При этом предположим, что о2 известно. Принимая во внимание симметрию задачи, будем брать априорные вероятности симметричными и

рассматривать гипотезы при симметричных значениях т?,..., т^. Пусть р0 — априорная вероятность гипотезы HOl pi — априорная вероятность события Ту = ti, т2 = 0, i j (назовем эту гипотезу Н,) i = 1, ..., q, а ри — априорная вероятность гипотезы Hjhi состоящей в том, что ту = т^ = тп, т? = 0, / ^ /, i + h, j < h, j, h = = 1, ..., q. Мы имеем p0 + qpi + q (q — 1) pn/2 = 1. Поэтому апостериорные вероятности гипотез Но, Н] и Hjh соответственно пропорциональны величинам

р0 П ^(г ),

8=1

р^ к^У^Пк^ j=lq,

2=1

_ т2q

рпе /о^цК?/)^^^) П ^(ze)> j<h,

2=1

j, h = 1, .... q.

Следовательно, R6 определяется неравенствами

7о(т ^Х^Г^’ /=1q,

Pl

_—т2

/0 (т„ У zb к (тп Уг^ < -^ е п, j<h,

Неравенства (98) эквивалентны неравенствам Zj<.c, j = 1q, если с определить соотношением

Т2/2 (100)/о(т 1У"с) = -^е1 .

Р1

Поскольку /0 (ti]/"c) > 1, из (100) вытекает, что р^1' > pi. Если

,2

^цУсХ-^е",

то (99) следует из (98). (Если т? = тп, то (101) принимает вид РоРп < Pi)- Так как /0 (тц Уz^ > 1, из (99) вытекает

_т2

(Ю2)^(Тц^Х^-е11;

так что при выполнении

(ЮЗ)/о(ти К^) > ^ ^т°

из (99) следует (98). (Если ti = тп, то (103) есть просто ри > р\вх^ Множества R} определяются неравенствами Zj > с,

/0 (т, ]/?/) >/0(т1У^), h=£j, h=l,...,q,

рхе 1 I^Vz^p^ ^^Vz^I^Vz^

i^h, i, h= 1, ..^q.

В силу определения они не пересекаются. Каждая точка на границе (попадание на границу имеет нулевую вероятность) может быть отнесена к любой области. Неравенства (104) эквивалентны неравенствам 2/> z^ h ^ j, h = 1, ..., q. Неравенство (105) при i = / равносильно неравенству'

Если rj = ту, то (106) эквивалентно неравенству

(Ю7)/А/Г^Л

которое в свою очередь равносильно неравенству zh < d, где

(Ю8)/о(т ]/ф = ^-Л/2.

PlI

Если d < с (pi < р^ рп), то из Zj > с и zh < d вытекает неравенство zh < 2/, которое совпадает с неравенством (104). Если т! > тп, отношение /0 (ti Vz^lU (тп V г^ монотонно возрастает, а ограничивающая его функция (106) имеет положительную производную dzh/dzj. Если же т? < тп, отношение /0 (ti VZjjH^ (тц VгЬ монотонно убывает и у ограничивающей его функции (106) производная dzh/dzj отрицательна.

Область Rjh, j < А, определяется неравенствами

__т2

I^xxVzbl^xxV2.)>-^e ",

(НО) Рххе 1Г/0(тп1/г/)/0(тпКгл)>р1е 1 l^Vz^,

i = 1, ... , q,

и Zj > zh zh > zb i #= j, i ^ h, i — 1, ,.., q. Если xf = th, to (110) при i = h равносильно неравенству Zj > d, а при i = j — неравенству zh > d.

Рис. 4.3.

Области принятия гипотез HQ1 Н'^ Н^ Н\^ когда Tj = Тц.

На рис. 4.3 изображены /?0, /?п Т?2 и /?12 при т! = тц. Вид этих областей зависит от р0, pi, р\\ и ть (При ti = тп знак неравенства в (103) невозможен.) При т! > тп прямые zx = d и 22 = = d заменяются кривыми с возрастающим наклоном, а при т? < _ 2

< тц кривыми с отрицательными тангенсами углов наклона,

Вид таких областей зависит от р0, р\, рп, т? и тп. Отметим, что „22

не существует процедуры, оптимальной равномерно по ri и тц.

Указанные симметричные процедуры могут быть охарактеризованы вероятностями правильного решения Рг {/?0 | H^Pr ^Rx | т? = = Tj, xf = О, t >- 2} и Рг {/?121 г? = Т2 = тп, х? = О, < > 3}. Альтернативная постановка состоит в задании вероятностей Рг {/?о|^о} и Рг {PilTi = Ti> т? = 0, i > 2} для некоторого за- 2v

данного значения tj и максимизации третьей вероятности для 2

другого заданного значения тц.

Если о2 неизвестно, можно потребовать, чтобы вероятность Рг (/?0 | //0} не зависела от о2. Это требование приводит, как и ра- г

нее, к процедурам, связанным с "^R2 (kj). При каждом значении

г

2 2/соответствующие области будут зависеть от р0, р\, ри, т| и /=!

тп. Бирнбаум (1959, 1961) использовал такой подход в задаче, частично совпадающей с нашей.•

Другой подход [Уиттл (1952)1 состоит в следующем. Гипотеза г

Но принимается, если R2 (^/) < g^ R2 (^), j = 1, •••, Ч» где g таково, что (92) равно е. В противном случае принимается решение о том, что р (^) > 0, где R2 (&/) > g^R2 (&z) и R2 (^) > R2 (k^ z=i

i#=j. Затем остальные г — 1 значений R2^ исследуются как бы в новой задаче того же рода, в которой только q заменяется на q— 1, а г наг— 1. Эта процедура может выполняться шаг за шагом, пока не будет решено, что остающиеся амплитуды р (^) равны нулю. (Геометрическое представление о такой процедуре для q = г = 3 можно получить из упр. 28.)

С теоретической точки зрения указанная процедура не вполне удовлетворительна. Выбор определенного значения вероятности Рг {/?0|Zf0} = 1 —е дает возможность контролировать вероятность одной из ошибок. Если только одна из амплитуд р ^к^ > О, то вероятность правильного решения возрастает с ростом величины р (к;) (и это является удовлетворительным). Однако здесь допускается также решение о том, что положительными являются две или более амплитуд. При этом если положительны ровно две амплитуды и одна из них много больше другой, то вероятность решения о том, что эти две амплитуды положительны, в свою очередь может быть высокой. Если же две амплитуды положительны и близки друг Другу, то вероятность того, что большая выборочная амплитуда будет столь велика по сравнению с соответствующей суммой, что

она обеспечит принятие решения об отклонении гипотезы Н0) может оказаться и не очень большой.

Если гипотеза Но верна, то распределение значений Х] равно- Г

мерно на множестве Xj > О, S Xj = 1. Из геометрических сообра- /=1

жений можно заметить, что распределение любых г —|1 величин X/ при условии, что их сумма равна единице минус величина не включенного в сумму Xj, превосходящего константу g, снова является равномерным (если g достаточно велико). Вероятность того, что отношение наибольшей из (г — 1) величин Xj к их сумме будет больше определенного числа, может быть найдена подобным же образом. Однако если гипотеза Нй неверна, то это распределение будет зависеть от значений р2 (&/)/о2, отличных от нуля. Если какое-то из них отлично от нуля и столь велико, что велика и вероятность того, что соответствующее значение х, является максимальным, то условное распределение других г — 1 величин х, близко к равномерному. Возможны и другие случаи.

Отметим, что для использования процедуры теоремы 4.3.6 вовсе не обязательно отыскивать такое значение g, чтобы вероятность (92) равнялась требуемой, и затем определять, будет ли максимальное из наблюдаемых значений Xj больше этого числа. Вместо этого можно вычислить (92) для значения g, равного максимальному из Xj, и определить, будет ли вероятность (92) меньше требуемой.

.5. Вычисление коэффициентов Фурье.

Быстрое преобразование Фурье

В большинстве ситуаций использование связей между тригонометрическими функциями может существенно упростить вычисление коэффициентов aj и bj. В качестве иллюстрации рассмотрим случай Т = ТХТ^ При этом можно записать / = ^ + + (^ — 1) Ть tx = 1, ..., Тх и = 1, ..., Т2, а также / = Д + + /2^2, А = 0, ..., Т2 — 1 и /2 = 0, ..., Тх — 1. Отметим, что ат-j --= а, и Ьт-j =—bj. Искомые коэффициенты являются соответственно действительной и мнимой частями суммы

2 Vtew = 22 №+ й-D ехР [/2л ЦМ^Х +

^=14=14=1L х

[/1 (^20 \

TtТг

№1+ (4-П т,.№1+ (4-П т,.= 5 ехр ^ (-^-ДД^-Д ^1 2 ехр ^л ---2~*-' . V 7/ J L '2

№1+ (4-П т,.

№1+ (4-П т,.

Для их отыскания вычислим сначала величины

СкЛ = 2 у,.Л (/,_,) г, cos (^ _ 1),

/2=11 2

skA - 5 yt^ (/2_1) Г1 sin -^- ^ - 1),

/2=11 2

для каждой пары (ju У, jT = 0, ..., Т2 — 1 и ^ = 1, ».., Tv Поскольку сТ2-кл = cu,tx и 8т2-кл = Sji^i» то существует около TXTjl — Т12 таких пар. После этого находятся действительная и мнимая части суммы (111):

2 ckik cos 2л -М^2- tx — 2 sM1 sin 2л -^^Д^- tu

5 см, sin 2л "V™ ^i+5 sk cos 2л -^-ДД^2- tx

/,=i1/x=i1

для / = 0, 1, .... [772]. Число операций умножения приближенно равно Т2Т в первых суммах и 27\Т во вторых суммах, так что число операций умножения в целом составляет примерно Т (Т2 + + 2TJ. В то же время число произведений в определении коэффициентов aj и bk j = 0, 1, .... [772] примерно равно Т2.

Для четных Т существуют специальные формы вычислений. При Т = ТгТ4Т3 можно использовать представление

^^-к^-1)7:, + (^-1)7^, ^=1,...,ТЬ

t = l, 2, 3,

1 = к + ЬТ3Л-кТ3Т2, ii = 0, 1, Т3 1,

/г 0, , .. , Т2 1, ]3 = 0, ... , 7,1,

При этом

s yt^nitiT = 5 е'2я ^ЬТАкТ.т.й tjT х /=1^=1

х 5 j- (/.+/.Г.> «,-1>/г.г.«.--№gw |fj_n г + Г|Г<

Мы не будем рассматривать эти методы более подробно. Детальное их описание приведено у Кули, Льюиса и Уэлша (1967). Сам метод был разработан Тьюки и его сотрудниками. [См. Кули и Тьюки (1965).] Идея метода восходит по-видимому к Рунге (1903).

СТАТИСТИЧЕСКИЕ ВЫВ ОДЫ ДЛЯ СЛУЧАЯ, КОГДА ПЕРИОДЫ ТРЕНДА НЕ ЯВЛЯЮТСЯ ДЕЛИТЕЛЯМИ ДЛИНЫ РЯДА

Определение тригонометрических коэффициентов и амплитуд для произвольных частот и их моменты

В предыдущем параграфе предполагалось, что изучаемый циклический тренд имеет периоды, нацело делящие длину ряда. Это предположение разумно в тех случаях, когда имеется предварительная информация о возможных периодах и длина ряда согласуется с этими периодами (так будет, например, если рассматривается сезонное изменение и имеются ежемесячные данные, накопленные за определенное число лет). Однако во многих случаях длина ряда определяется на основании каких-то факторов, никак не связанных с возможными периодами, а исследователь не имеет желания ограничиваться в своем рассмотрении только теми периодами, которые являются делителями длины ряда. Например, такова модель периодического тренда, предложенная для экономических рядов, обнаруживающих флуктуации из-за так называемого цикла деловой активности. Данные могут быть при этом ежегодными, а длина ряда определяется либо доступностью материала (например, тем, когда то или иное агентство начало собирать те или иные данные), либо внешними событиями (такими, как мировые войны). Цикл деловой активности может иметь периоды любой длины. Экономист может нуждаться в рассмотрении любых периодов, больших или равных 2. (В дальнейшем мы обсудим критику возможности применения указанной модели к экономическим временным рядам.)

В общей математической модели тренд представляется в виде суммы*

а)кнж ••• +uty

в которой fi (/) имеет (наименьший) период nz. Однако такая модель является слишком общей для того, чтобы ее можно было изучать непосредственно на основе Т наблюдений. Мы обсудим несколько более ограничительные формулировки. Рассмотрим простейший случай, когда / (Z) состоит из одной периодической и притом тригонометрической функции. Точнее, будем предполагать, что yt =

= ft + ub тде ^ut = 0, Wt = о2, ^ut us = 0, / ^ s и

f (/) = a cos X/ + р sin X/ = р cos (Xt — 6), 0 <. X <. л, где

р2 = а2 + Р2,tg0=4-

Наблюдения уъ .... yi можно взаимно однозначно заменить коэффициентами а0 = у,

а,= ^^yt cosЦТ-ЭД,

bi^^y^^t,/=1,ЦТ-1)/2],

6=1

^^^-^^(-If

Последний коэффициент включается в рассмотрение, если Т четное. Как уже было указано выше, это множество Т коэффициентов есть непосредственный результат преобразования исходных данных. Дисперсии и ковариации этих коэффициентов равны, как и прежде,

Var (а0) = -А- ст2 = уаг

Var(«y) = ^-a2 = Var(b/), /V0, Т/2,

Cov (а/, ц&) = 0 = Cov фь Ь^, / Ф к,

Cov (аь Ьк) = 0.

При желании можно рассмотреть величины

9 т

A (v) =5 ytcos v^> 0 v < л,

В (v) = Др 2 yt sin v/, 0 < v < л,

для всех v из отрезка [0, л]. При этом as = А (2л/77) и bf = = В (2nj/T). Средние, дисперсии и ковариации этих коэффициентов являются суммами произведений тригонометрических функций.

Лемма 4.4.1. Для v + X ^= 2лк и v — X у= 2лк, к = 0, ± 1, ..., выполняются соотношения

т

(10) 2 cos Xi cos м1 t=i

— 1

sin 4 (v + X) 7.

2

12 \* ~T w T T

sin у (v + X)

+ -

sin4(v-X)T

LLcos 4 (v - X) (T + 1),

sin — (v —X)

т

(ii) 2 cos M sin v/

“ 2

+ •

sin 4 (v + X) 7

2-xSin 4 (v + X) (T + 1) + sin — (v + X)

sin4(v-X)T.

41Sin4(v-X)(T+ 1),

sin — (v — X)

T

(12) 2 sinX/ sin Mt — /=1

1

2

i

sin4(v + X)T

^cos4(v + XHT + 1) + sin — (v + %)

Sin4(v-X)T

£ me _L (mn (T 4- П

“Г

2jLUb 2v*

sin — (v — X)

Для v ^ л^, к = О, ± 1, ,.., выполняются соотношения

2 cos2 = 4 Т + 4ТГ cos v <Г + ^

•|** Olli V

Т.

.2 COS Mt sin Mt = 4 Tv sin v t7 + 0»

2 sin2 Mt =-Lt -444. cos v <7 + ^

IZZ Olli V

T

Эти равенства получаются из рассмотрения сумм 2СО5Х^М

/=1

для (10), (11), (13), (14) и ^sinv^'" для (11), (12), (14), (15) с

/=1

использованием метода (8) в § 4.2. (См. упр. 29.)

Средние, дисперсии и ковариации Л (v) и В (v) приведены в теореме 4.4.1.

Теорема 4.4.1. Если %у( = a cos kt + р sin kt = р cos (kt —0), mo

(16) 8Л (v) = a (v) = у-

sin-l-(X + v)Tsin -у (X + v)sin-y (X —v)Tsin -1- (X — v)

cos4(^ + v)(7+ 1)+

cos-1 (k-v)(T + 1) +

£

т

sin -у (X + v) Tsin у (X + v)

sinl(X + v)(T+ 1) +

sin^-(X-v)(T+l)

p

sin -1- (X + v) T

T

, sin -у (X + v)

sin -у (X — v) T

~7

sm — (X — v)

sin~y (X —V)T

cosji (X + v)(T+l)-0] +

sin —- (A — v)

2

cos[l(X-v)(T+l)-el ,

T4^”s'MT+l)-St,

(17) 8В (v) = р (v) = у-

sin-l-(X + v)T'

-xsin у- (к + v) (T + 1) -

sin — (X + v)

sin-l-(X —v)T

Z-xsin4-(X-v)(T+l) +

sin — (X — v)

1 т1 тsin ^(X + v) T

1 т

1 т

-Цcos 1 (A + V) (T 4-1) + sin —(X + v)

sin-T(X — v)Tsin-T(X — v)Tsin -1- (X — v)sin -1- (X — v)cos-^-(X — v)(T + D =cos-^-(X — v)(T + D =

sin-T(X — v)T

sin-T(X — v)T

sin -1- (X — v)

sin -1- (X — v)

cos-^-(X — v)(T + D =

cos-^-(X — v)(T + D =

— £ т— £ т

— £ т

— £ т

sin Г (X + v) T

—1sinU(X + v)(T+l)-0 - sin — (X + v) L

sin ~ (X — v) Т sin -^ (X — v)

Sin[l(x-v)(T+i)-el ,

= P + 4-^sin[X(T+i)-ej.

0 < X = v < л,

VarH(v)] = ^-[1 + ^LCosv(T+ 1)],

0<v<n,

Var[B(v)] =^[l--^cosv(T+l)],

0< v< л,

Cov [Л (v), В (v)] = ^- -^- sin v (T + 1),

0 < v0 < v< Л.< Л.

0 < v

0 < v

< Л.

< Л.

Если v = ^IT, то соответствующие дисперсии и ковариации сводятся к (7). Математические ожидания также принимают более простой вид, поскольку sin (% ± л/) = (—I)7’ sin х и cos (х ± л/) = = (—I)7 COS X.

Следствие 4.4.1.

8^1 (-2S-) _$<,,.= с ^ -

р . XT =Tsln—

cos [2-x(r + i) + ^--e

sin

cos [4"х(г+1)-'т--6

sin

Х¥=-^-, 1 =

» — 2я/ л— г ,

+

I. , кт— 1)/2|т

|(Т— 1)/2].

= у- Sin= у- SinXTXT, ... , 1(7- 1)/2],, ... , 1(7 - 1)/2].-Х(7+ 1)-е],Х^=0,cos ^ X (7 4* 1) +-у-е], х#=л,, ... , 1(7- 1)/2],, ... , 1(7 - 1)/2].-Х(7+ 1)-е],Х^=0,cos ^ X (7 4* 1) +-у-е], х#=л,

= у- Sin

= у- Sin

XT

XT

, ... , 1(7- 1)/2],

, ... , 1(7 - 1)/2].

-Х(7+ 1)-е],

Х^=0,

cos ^ X (7 4* 1) +

-у-е], х#=л,

, ... , 1(7- 1)/2],

, ... , 1(7 - 1)/2].

-Х(7+ 1)-е],

Х^=0,

cos ^ X (7 4* 1) +

-у-е], х#=л,

^В (^-) = 86, = р ^ =

[1л/

_ х (Т + 1) + -2- - е

sin f-i-х (Т +1) — ^-— е]

[2Т J

.1 /л 2л/ \*

г)

_ о1 _ 2л/_

Piр » I

Отметим далее, что

s*n "4" ^ г

-L 8Л (0) = 8а0 = а0 = -£-^cos ■

sin — X

■2

и -^- 8Л (0) = 8а0 = а для X = 0. Кроме того.

Isin“7T XT'

-^- 8Л (л) = 8аг/2 ^ o-Tji — -^г1

sin — (X + л)

для четного Т и -у^А (л) = ^ац^ = а для X = л. Мы будем предполагать, что 0 < X < л. Дело в том, что если л < X < 2л, то вместо X можно рассмотреть X* = 2л — X, поскольку

a cos X/ + р sin X/ = а cos [2л/ — (2л — X) /] + Р sin [2л/ —•

— (2л — X) /] =

= а cos [— X*/] + р sin [— X*/] =

= а cos X*/ + (— Р) sin X*t.

Выборочная функция интенсивности R2 (v) определяется равенством

R4^ = А2^НВЧ^ =

4 Т

= *тг 5 У§У1 (cos vs cos v^ + sin vS sin v0's,/=l

4 T

= 7? 2 &&cosv(s —0 =

1 s,t=l

T 2 vi^tT ^ ^T 2 vi^tT ^ ^0 < v ^ л.0 < v ^ л.

T 2 vi^t

T ^ ^

T 2 vi^t

T ^ ^

0 < v ^ л.

0 < v ^ л.

Если v = 2nj!T, to R2 (2nj/T) = R] = a^ + 6/,/ = 1, ...

..., [(T— 1)/2]. Теоретической величиной, соответствующей R2 (v), является

р2М = аг(У) + р2М =

n2 fsin2 4" <x + v) 7 si"2 T ^ — v) T

= 7^ i1i^

sin2 — (A + v) sin2 — (X — v)

sin -|- (X + v) T sin — (X — v) Г'

+ 22.2cos |X (7 + !) = 20] , (

sin — (X + v) sin — (X — v)

V :/: X, 0 < V < Л,

-2 (1 I sin2 XT 0 sin XT , *.rp ., > r»Ai^ — P p + T1 sin2 x+ 2 rsinXcos [X(T +1)— 26] j,

0< X = v < л.

При v = Ъц/Т (27) обращается в

12 cos [Z (Т + 1) — 26].

= V\ x=^-, i=i, ...,ит-ад.

Заметим следующее. Пусть тригонометрический тренд имеет период, являющийся делителем длины ряда, т. е. X = Ъц/Т. Тогда математические ожидания выборочных тригонометрических коэффициентов Л (2л^/Т), В (2nfc/T), к = 1, ..., [(7 — 1)/2], к ^ /, имеющих периоды, отличные от периода тренда, но являющиеся делителями длины ряда, равны нулю. Сумма квадратов этих математических ожиданий, т. е. квадрат теоретической амплитуды р|, также равен нулю в этом случае. Если к = /, то квадрат теоретической амплитуды равен одновременно квадрату амплитуды тренда р. Кроме того, 2а2 = 0, и если Т четное, то и 2а|/2 = 0. (Если 1 = 0, то р2 = 0, к = 1 1(7 — 1)/2], 2а2 = 2а2 и, если Т четное," 2а2/2 = 0. Если X = л при четном Т, то р2 = 0, к = 1, ..., TI2—1, 2а2 = 0 и 2а2/2 = 2а2.) Вообще отличными от нуля будут математические ожидания тех выборочных тригонометрических коэффициентов, периоды которых не являются делителями длины ряда (v тЬ ^nklT, к = 1, .... [(7 — 1)/2]). При этом будут отличны от нуля и соответствующие p2(v). Однако если период тренда не является делителем длины ряда, 1 ^InjlT, j = 1, ... ..., [(7 — 1)/2], то будут отличны от нуля математические ожидания и всех тех выборочных тригонометрических коэффициентов, периоды которых являются ее делителями, v = 2икП\ к = 1, ... ..., [(7" — 1)/2], а также соответствующие теоретические амплитуды. Резюмируем: совокупность теоретических амплитуд р2, ... ••• > Р[<г-1)/2] обладает следующим специфическим свойством. Случай, когда ровно одна амплитуда равна р2, а остальные амплитуды равны 0, может наблюдаться,-только если период тренда равен одному из значений: Т, Т1^ Т/ЦТ — 1)/2],

В предположении, что величины yt имеют совместное нормальное распределение, квадратичная форма (0 < v < л)

Q (v) = 25а [Л (v) В (v)] х

+ cos v + D TCV sin v (Т + 1) ГУЛ (V?

^sinv(T+l) l-^_Cosv(T+l)J |b(v),

= ^7=5ГТ'Л’М + В‘М +

V T2sin2v/

+ “Sv lcos v Ф -Ц) [В2 (V) - Л2 (V)] -

— 2 sin v— 2 sin v(Т+ПЛ^В^)])(Т+ПЛ^В^)])

— 2 sin v

— 2 sin v

(Т+ПЛ^В^)])

(Т+ПЛ^В^)])

Sin vT/т I 1 \—.— cos v Г +Tsmvх 1 'Sin vT/т I 1 \—.— cos v Г +Tsmvх 1 'X I mISinvT . /m I\— Sinv(T + I)\T sin v v zX I mISinvT . /m I\— Sinv(T + I)\T sin v v z2Taa2Taasin2 vT \T2 sin2 v/sin2 vT \T2 sin2 v/sin2 -у (X + v) Гsin2 -^- (X + v)sin2 -у (X + v) Гsin2 -^- (X + v)sin2,2_(X-v)rsin2 ^- (X — v)sin2,2_(X-v)rsin2 ^- (X — v)

Sin vT/т I 1 \

—.— cos v Г +

Tsmvх 1 '

Sin vT/т I 1 \

—.— cos v Г +

Tsmvх 1 '

X I m

ISinvT . /m I

\— Sinv(T + I)

\T sin v v z

X I m

ISinvT . /m I

\— Sinv(T + I)

\T sin v v z

2Taa

2Taa

sin2 vT \

T2 sin2 v/

sin2 vT \

T2 sin2 v/

sin2 -у (X + v) Гsin2 -^- (X + v)

sin2 -у (X + v) Гsin2 -^- (X + v)

sin2,2_(X-v)rsin2 ^- (X — v)

sin2,2_(X-v)rsin2 ^- (X — v)

имеет нецентральное х2-распределение с 2 степенями свободы и параметром нецентральности

-2L[a(v)0(v)]x

sin vT ., 1 x \ ^ // x

х[1--Й^гСО5[М7'+1)-20]] +х[1--Й^гСО5[М7'+1)-20]] ++ 2+ 2sin -^- (X + v) T sin — (X — v) Tsin -^- (X + v) T sin — (X — v) Tsin ^- (X + v) sin -^- (X — v)sin ^- (X + v) sin -^- (X — v)sinvT "T sin vsinvT "T sin vcos[X(7+ 1) —20] —cos[X(7+ 1) —20] —V^=X,0<¥<Л,V^=X,0<¥<Л,“-yf1 + -йтгс”1,-(г+1)-2е1}.o<x-v<„.“-yf1 + -йтгс”1,-(г+1)-2е1}.o<x-v<„.f^sinv(T+l) \ /a(v)

х[1--Й^гСО5[М7'+1)-20]] +

х[1--Й^гСО5[М7'+1)-20]] +

+ 2

+ 2

sin -^- (X + v) T sin — (X — v) T

sin -^- (X + v) T sin — (X — v) T

sin ^- (X + v) sin -^- (X — v)

sin ^- (X + v) sin -^- (X — v)

sinvT "

T sin v

sinvT "

T sin v

cos[X(7+ 1) —20] —

cos[X(7+ 1) —20] —

V^=X,0<¥<Л,

V^=X,0<¥<Л,

“-yf1 + -йтгс”1,-(г+1)-2е1}.o<x-v<„.

“-yf1 + -йтгс”1,-(г+1)-2е1}.o<x-v<„.

Если v = InjIT, то (29) будет равно TR^RSis^, а (30) обратится в 7р2/(2о2), / = 1, .... [(7 — 1)/2]. Распределенные по (центральному или нецентральному) закону X2 величины, кратные R1 (2л/7), .... R4 (2л 1(7 — 1)/2]/7) независимы. Однако выборочные амплитуды для- v у= 2л//7, / = 1, ...< [(7— 1)/2], будут, вообще говоря, взаимно зависимыми.

4.4.2. Решающие процедуры, основанные на выборочных амплитудах, для периодов, являющихся делителями длины ряда

Рассмотрим теперь использование выборочных интенсивностей при v = 2л/7, 4л/7, ..., 2л [(7 — 1)/2]/7. Если величины нормально распределены, то Rj, .... ^[(-г—0/2] независимы и 7/?2/(2о2) имеет Х2-распределение с параметром нецентральности 7р2/(2<т2), приведенное в (28).

Мы уже упоминали о том, что если X = 2nklT, где к — целое число, заключенное между 1 и [(7 — 1)/2], то р2 = р2 и р? = 0 при / ^= к. Если же это не так (т. е. Х7/(2л) нецелое), то р2 > 0 для всех /. Иными словами, если период 2л/Х функции f (t) не является периодом ни одной из ортогональных функций, табулированных столбцами в матрице М, то все интенсивности, соответствующие периодам указанных функций, положительны. При этом можно ожидать, что интенсивность для 2л/, близкого к кТ, велика. Покажем, что если 2як!Т < X < 2л (k + 1)/7, то тогда наибольшей интенсивностью является либо р2, либо р2+1.

Лемма 4.4.2. Если |/<| ^ 1, то функция

к^ = —^+J+

sin2 — (X + х) sin2 — (X — х)

~11

sin — (X + *) sin — (X — х)

монотонно возрастает при 0 < х < X и монотонно убывает при X < х < л.

Доказательство. Запишем функцию h (х) в виде

(32)(32)h^ =h^ =1si”-^ (Х + х)1si”-^ (Х + х)1 sin —- (X — х)1 sin —- (X — х)

(32)

(32)

h^ =

h^ =

1

si”-^ (Х + х)

1

si”-^ (Х + х)

1 sin —- (X — х)

1 sin —- (X — х)

2 (К + 1)

sin — (X + х) sin — (X — х)

sin —^ — х)~ sin — (X + х) 2 (К + 1)•1 чхsin — (X + х) sin — (X — х)

sin — (X + х) sin — (X — х) J22'

41 ; •1 I2— 4 cos — X sin — x 22cos x — cos X41 ; •1 I2— 4 cos — X sin — x 22cos x — cos X4(К + 1)4(К + 1)= 4 cos2 X= 4 cos2 X1sin — х21sin — х2COS X — cos X_2COS X — cos X_2. о 1 ло 1sin2 — X — sin2X. о 1 ло 1sin2 — X — sin2X4(К+1) .cos X — cos X *4(К+1) .cos X — cos X *2222

41 ; •1 I2

— 4 cos — X sin — x 22

cos x — cos X

41 ; •1 I2

— 4 cos — X sin — x 22

cos x — cos X

4(К + 1)

4(К + 1)

= 4 cos2 X

= 4 cos2 X

1sin — х

2

1sin — х

2

COS X — cos X

_2

COS X — cos X

_2

. о 1 ло 1

sin2 — X — sin2X

. о 1 ло 1

sin2 — X — sin2X

4(К+1) .

cos X — cos X *

4(К+1) .

cos X — cos X *

2

2

2

2

Оба слагаемых в правой части (О, X). Можно записать также,Оба слагаемых в правой части (О, X). Можно записать также,возрастают с ростом х в интервале чтовозрастают с ростом х в интервале что

Оба слагаемых в правой части (О, X). Можно записать также,

Оба слагаемых в правой части (О, X). Можно записать также,

возрастают с ростом х в интервале что

возрастают с ростом х в интервале что

(33) h(x) =(33) h(x) =1sin -1- (X + х)1sin -1- (X + х)1.1« isin — (X — х)1.1« isin — (X — х)22

(33) h(x) =

(33) h(x) =

1

sin -1- (X + х)

1

sin -1- (X + х)

1

.1« i

sin — (X — х)

1

.1« i

sin — (X — х)

2

2

2(1—K)

sin — (X + x) sin — (X — x)

4 sin —- X cos — x224 sin —- X cos — x22cos x — cos Xcos x — cos X4(1-K)COS X — cos X4(1-K)COS X — cos X

4 sin —- X cos — x

22

4 sin —- X cos — x

22

cos x — cos X

cos x — cos X

4(1-K)

COS X — cos X

4(1-K)

COS X — cos X

= 4sin2-l-X= 4sin2-l-X4(1-K)cos X — COS X4(1-K)cos X — COS XXcos

= 4sin2-l-X

= 4sin2-l-X

4(1-K)cos X — COS X

4(1-K)cos X — COS X

2

2 X

COS2cos2 -—22

Здесь оба слагаемых в правой части убывают с ростом х в интервале (X, л).и

Поскольку при К = cos [X (Г + 1) — 20]

(34)(34)P^^-sin2-^™^),P^^-sin2-^™^),

(34)

(34)

P^^-sin2-^™^),

P^^-sin2-^™^),

то, согласно лемме, р? возрастает при / = 1, ..., к и убывает при / = к + 1, ...»[(Г — J)/21t если ^к < XT < 2д (^ + 1), Отсюда вытекает

Теорема 4.4.2. Если 2nk!T < X < 2л (& + 1)/Т и р/ — (поло жителъный) квадратный корень из величины (28), то

(35)(35)Р/<Р/+ь /=1k~ 1.

(35)

(35)

Р/<Р/-ь / = &+2, ... , |(Т-1)/2].

В соответствии с полученным результатом распределение с наибольшим параметром нецентральности имеет либо R^, либо R^+1. В некотором смысле худшим при данном к будет такое X, 2nk!T < < Х<_ 2л (к + 1)/Т, при котором большая из величин р6 и p*+i становится минимальной. Однако это значение X и соответствующее ему наибольшее из чисел pft и р»+1 являются весьма сложными функциями параметров к, Т и 0.

Рассмотрим теперь аппроксимации pft и рд+ь Если 2nklT <_ < Х< 2л (k + 1)/Т, то аргументы sin (Х/2 — kn!T) и sin [Х/2 — — (k + 1) л/Т] по абсолютной величине меньше л/Т. Поэтому при достаточно больших Т первый член разложения

(36)(36)sin х = хsin х = хх3 . х3+Л20х3 . х3+Л20

(36)

(36)

sin х = х

sin х = х

х3 . х3

+Л20

х3 . х3

+Л20

1„ Л8sin2 Т1„ Л8sin2 Т(37)(37)Pl+1 = "^ sin2 леPl+1 = "^ sin2 ле126 + 1 + вsin3 л Т126 + 1 + вsin3 л Т+". 3 V-1 sin3 л —Т+". 3 V-1 sin3 л —Т

1

„ Л8

sin2 Т

1

„ Л8

sin2 Т

(37)

(37)

Pl+1 = "^ sin2 ле

Pl+1 = "^ sin2 ле

1

26 + 1 + в

sin3 л Т

1

26 + 1 + в

sin3 л Т

+". 3 V-1 sin3 л —

Т

+". 3 V-1 sin3 л —

Т

дает достаточно хорошую аппроксимацию sin х для х = Х/2 — — knlT и х = Х/2 — (А + 1)л/Т, Положим X = 2л (А + е)/Т (О < е < 1). Тогда

(1

Р* ~ fa" Sin2 Л6 26 + 8

sin л —-—Т

2 cos [2л (Те + е + 6)/Т — 26] '

26 -|- 1 -|- 88 — 1

sin л—sin л —-—.

ТТ

Поскольку 0 < sin ле/Т < sin [л (2к + е)/Т] и 0 < sin [лх X (1 — е)/Т] < sin [л (2^ + 1 + е)/Т 1 (к + 1 < Т/2), то вторые члены в р| и р^+1 соответственно больше первых и больше половин абсолютных значений третьих, То, в какой степени домини-

рует второй член, зависит в первом случае от отношения

26 + 826 + 81 /26 + 8 \8

sin л —-—л ——л + • • •

/чтт = т 6 ' г /_

881 / 8 Л

sin л —л —л — 4- ■ ■ •

ТТ6 \ Т

2Л + в82Л + в8,„(26+в)2

2Л + в

8

2Л + в

8

л2еа

6Т2 +

равного примерно 2^/е + 1. За исключением случая, когда k очень мало (маленькая частота и большой период), это отношение велико и второе слагаемое в выражении для р2 доминирует. Если к близко к [(Т — 1)/2], то первое слагаемое можно исследовать более точно. Аргумент л (2^ + е)/? заменяется на л — лх X (2& + е)/Т и (38) аппроксимируется посредством (Т — 2& — е)/е.

Анализ вторых слагаемых в выражениях для р^ и р2+1 показывает, что большее из них достигает минимума при е = 1/2. Соответствующей аппроксимацией для р^ и р2+1 является

Если Т достаточно велико, то (39) близко к р2 (2/л)2 = р2 (0.6366)2 = = р2 X 0.4053. Иначе говоря, каждое из р^ и р^+1 составляет около 41% интенсивности гармонической составляющей, а сумма р2 + + Ра+1 составляет около 81%. Как будет видно из следующего абзаца, значения остальных р2 необходимо должны быть малыми. (Если е меньше 1/2, то второе слагаемое в р2 приближенно равно р2 (1 — л2е2/6)2.)

Полная сумма квадратов значений ^yt = / (/) равна ТТТт

2 Р (0 = а2 2 cos2 XI + 2а₽ 2 cos X/ sin М + Р2 5 sin2 Xi = <=i<=i/=1<=1

_ Р2{4' + ‘£нГСО5[Х(Г+1)-2е1}’ °<Ь<л,

Та?,X = 0, л.

Ее можно нормировать делением на Т72. Если X = 2nk!T или если X = 2л (к + 1/2)/Т, то второе слагаемое в правой части (40) равно 0 и

4-2/2(0 = р2. W±2^Le 1 t=\ ' 1

Если X = 2л (k + е)/Т, то последняя сумма равна

^^!Ч^ =

= р2 1 += р2 1 +sin 2ле+ 8)Т sin 2л v Т -Тsin 2ле+ 8)Т sin 2л v Т -Т, к 4- 8 \ ОД 1 2л I 8 Ну— ) — 20 |.

= р2 1 +

= р2 1 +

sin 2ле

+ 8)

Т sin 2л v Т -

Т

sin 2ле

+ 8)

Т sin 2л v Т -

Т

Второй член в (42) будет мал, в частности если к велико. Заметим, что в обоих случаях

т[(т-П/г)

^^Р^» 5 Р* + 2а2 + 2а2/2,

причем, если Т нечетное, последнее слагаемое в правой части должно отсутствовать. Коэффициенты а0 и ат/2 задаются соотношениями (23) и (24). Они обычно бывают малы (см. упр. 34 и 35) и вносят малый вклад в сумму квадратов (43). Отсюда следует, что нормированная сумма квадратов математических ожиданий наблюдаемых значений близка к сумме квадратов [(Т — 1)/2] интенсивностей. Часть последней суммы, не входящая в наибольшую или в следующую за ней по величине амплитуду р^, относится к остальным р?. Предыдущие рассуждения показывают, что наибольшая из этих р2 составляет около 41 % указанной суммы квадратов.

Отметим, что сумма квадратов (40), деленная на ст2, является параметром нецентральности (30) при v = X (X ^= 0, л). Статистика Q (X) является квадратичной формой относительно переменных А (X) и В (X). Ее можно рассматривать как сумму квадратов двух нормированных ортогональных линейных комбинаций значений Ух, ■••, Ут- Сумма квадратов математических ожиданий этих линейных комбинаций равна сумме квадратов математических ожиданий значений всех наблюдений. Это показывает, что параметр нецентральности распределения статистики Q (v) принимает максимальное значение при v = X.

Процедура, использующая статистики R^, ..., R2 (q = = [(У—1)/21), состоит в следующем. Гипотеза Но: р2 = 0 принимается, если R2. Cg^R2, / = 1, .... q, где g выбирается так,

чтобы вероятность (92) из § 4.3 была равна определенному уровню значимости е. В противном случае принимается гипотеза Hf. р2 > > 0 и р2 > р2, i j, 1 = h •••, 9, где R2 > g^Rt и R2 > R2h z=i

i V= j, I = 1, .... q. Гипотеза H( означает (теорема 4.4.2), что X лежит в пределах между 2n/T и 2njlT и находится в непосредственной близости к интервалу (2л (j — 1/2)/Т, 2л (/ + 1/2)/7). Используя величины Z/ = Т7??/(2о2), области принятия указанных гипотез можно записать в виде

R». г, < -г^— ^zb /= 1, .... 9,

о I'M

Rf. Zi > -,-£■- S zb Zj>zb i=^b i=\q,

■ j=l, ..., q.

Покажем теперь, что если верна гипотеза Я/, то вероятность прийти к заключению о ее истинности больше вероятности решения о том, что верна какая-либо другая гипотеза Н, и что эта вероятность достигает максимума при X = 2л//Г (в последнем случае р, = 0 для i #= b- Пусть т2 = 7р2/(2сг2). Предположим, что наблюдения yt нормально распределены.

Лемма 4.4.3. Интеграл

У к (г | т2) dz = У e“vl2k (z) /0 (т]/ z) dz

-сс

является возрастающей функцией от т2 (0 ^ т2 < оо).

Доказательство. Если т2 -< т2, то неравенство z > с равносильно неравенству к (z\^lk (z|t^) > d при надлежащим образом выбранном d. Тогда имеем

(47)(47)У к (г | т2) dz > d $ к (z | т2) dz, Сс

(47)

(47)

ООСС

1 — j к (z | т2) dz = j к (z | тр dz < d § к (z | т|) dz = с00

= d 1 — J к ч. | т2) dz .

С

Отсюда и следует утверждение леммы, g

fЛемма 4.4.4. Вероятность Рг {/?!|т^,т|, ..., т^} является возрастающей функцией от т^ при фиксированных значениях т^, ... ..., х^и убывающей функцией от т| при фиксированных значениях

Доказательство. Пусть h (z2, ..., zq) — максимальное из чисел q

^>^ и [g^/d — gH ^z^ Тогда

1=2

Рг^т^т*, т*}==

Интеграл в фигурных скобках является в силу леммы 4.4.3 возрастающей функцией от Тр Аналогично, пусть т (гъ z3. ..., z^— q

минимальное из значений zx и [(1 —g)/gA^i — 5 ze Тогда 1=3

Pr^jTf,^, т2} =

СООО OQW (^li^SZq)

П dz,.1 + 2П dz,.1 + 2J ... J | П^(^|т2)j fe^T^dza

П dz,.

1 + 2

П dz,.

1 + 2

00 max Zj *+^g

i>2

Интеграл в фигурных скобках является в силу леммы 4.4.3 убывающей функцией от т^.и

Теорема 4.4.3. Если т? > т?, то'

Рг^/14 .... T2}>Pr{/?jT2, .... Т2}.

Доказательство, Левая часть (51) больше, чем вероятность события Rj с заменой в условии т2 на т2. Последняя же равна вероятности Rk с заменой в условии т^ на т2 и больше, чем правая часть (51). ■

Теорема 4.4.4.

Рг {/?/1 т2 = т2, т? = 0, /^/}>Рг^/|т2<та, 2т?=т4.

Доказательство. Эта теорема вытекает из последовательного применения леммы 4.4.4 с заменой т2 на т2 и т2 на т2, I ^ j. н

Вероятности Pr {^i|t|, ..., т2}, ..., Pr ^Rq | т^, ..., т2} зависят от rfт2 и вычисление их весьма затруднительно.

4.4.3. Использование тригонометрических функций, периоды которых не являются делителями длины ряда

Ранее было замечено, что уъ ..., ут можно выразить с помощью у, аъ Ьъ ..., а нт-ц/г], 6[(т-1)/2] и ат^ (если? четное). Если Т = ^Н + 1, то

н

yt = "у + 2 Ui cos-^-1 + bj sin -^- . /=i \'/

Если же T = 2H + 2, то н

yt = "у + ^Uj cos -^-t + bjsin -yL h + аГ/2(— 1/. /=1 \'

Коэффициенты Л (v) и В (v) также могут быть выражены с помощью этих Т тригонометрических коэффициентов. Например, для Т =

2tf + 1'

т

A (v) = у 2 cos v/ +

+v Scos cos v^+т\

+ bj 2 §in "У* cos v^ / = /=i/

_ sin-^-vT

У1cos4v(T+l) + sin — v

2

V —

sin^v-^^+l)

sin vT2Tsin vT2T

sin vT2T

sin vT2T

2у2уcos ^- v (T + 1); isinV

2у

2у

2

н

“i

cos

V

cos ^ V (T + 1)

П

sin — v — \ 2

л/ 1

T n/\ T

+ b)

sin [—v(T+l) + ^-• / 1 л/ ,

sin

sin ^ v (Г + 1)

Tx

sin V

\ 2

т л/ \ T

sin vT

(56) 3(v)=1

sin 2- v (T + 1)

sin— v2

н

<4

sin 2-v(T+1)4

л/ ■

Т

sin

^iт

sin^±v(T + l)-^-

. / 1sin V\ 2

+ bj+ bjcos [-1- v (Г + 1) +cos [-1- v (Г + 1) +cos -yv(T+1) —-у-. / 1лПsin — V—\ 2Тcos -yv(T+1) —-у-. / 1лПsin — V—\ 2ТВычисление упрощается, если использовать следующие ортогональные преобразования величин A (v), В (v) и пар коэффициентов а/ и b], j = 1, ..., Н:(57) C(v)= Л (v) cos-^-v(T + l) + B(v)sin-l-v(T+ 1) =Вычисление упрощается, если использовать следующие ортогональные преобразования величин A (v), В (v) и пар коэффициентов а/ и b], j = 1, ..., Н:(57) C(v)= Л (v) cos-^-v(T + l) + B(v)sin-l-v(T+ 1) =0/cos—+ fy sin ——П^ГГ +sm(Tv + — j0/cos—+ fy sin ——П^ГГ +sm(Tv + — jл/л/°! cos — + bj sin —л/л/°! cos — + bj sin —sinsin(68)(68). я/л/aism — - bi cos —. я/л/aism — - bi cos —n/_\T )n/_\T )

+ bj

+ bj

cos [-1- v (Г + 1) +

cos [-1- v (Г + 1) +

cos -yv(T+1) —-у-. / 1лП

sin — V—

\ 2Т

cos -yv(T+1) —-у-. / 1лП

sin — V—

\ 2Т

Вычисление упрощается, если использовать следующие ортогональные преобразования величин A (v), В (v) и пар коэффициентов а/ и b], j = 1, ..., Н:

(57) C(v)= Л (v) cos-^-v(T + l) + B(v)sin-l-v(T+ 1) =

Вычисление упрощается, если использовать следующие ортогональные преобразования величин A (v), В (v) и пар коэффициентов а/ и b], j = 1, ..., Н:

(57) C(v)= Л (v) cos-^-v(T + l) + B(v)sin-l-v(T+ 1) =

0/cos—+ fy sin —

—П^ГГ +

sm(Tv + — j

0/cos—+ fy sin —

—П^ГГ +

sm(Tv + — j

л/л/

°! cos — + bj sin —

л/л/

°! cos — + bj sin —

sin

sin

(68)

(68)

. я/л/

aism — - bi cos —

. я/л/

aism — - bi cos —

n/_\T )

n/_\T )

D(v) =; i— Л(у) sin-у v(T + 1) + В (v) cos-^-v (7 + 1) =

— aj sin -^- + bj cos -y-

sin (-|~v — ^-^

где(59)где(59)л/ , ,. л/

где

(59)

где

(59)

Cl = a, cos -у- + bj sin

Если T = 2H + 2, то Л (v) равно правой части (55)' плюсЕсли T = 2H + 2, то Л (v) равно правой части (55)' плюс11112ar/2sin-i-vTcos -1- v (T + 1) + 4-л2ar/2sin-i-vTcos -1- v (T + 1) + 4-л• I 1 Sin — V• I 1 Sin — Vdj= — aisin-^г+ bjcos-^L = y-2 У<sin ^r"(^r) '

Если T = 2H + 2, то Л (v) равно правой части (55)' плюс

Если T = 2H + 2, то Л (v) равно правой части (55)' плюс

1

1

1

1

2ar/2sin-i-vTcos -1- v (T + 1) + 4-л

2ar/2sin-i-vTcos -1- v (T + 1) + 4-л

• I 1 Sin — V

• I 1 Sin — V

£2£2В (v) равно правой части (56) плюс 2ац2 sin -^- vT1 sin ^-у v (Т + 1) +

£2

£2

v +v +v + -5"^j *, C (v) равно правой части (57), a

v +

v +

D (v) равно правой части (58) минус 2dr/2 sin у vT1 Ч-ул^ , где dr/2 = —ar/г (а Ст^ = Ьт^ = 0).

В случае нормальности коэффициенты а, и bj некоррелированы и независимы. При этом некоррелированы и взаимно независимы среднее у и коэффициенты с/ и dj. Поэтому некоррелированы также при любых v и V величины С (v) и D (v') и совокупность {С (v)} для всех v (0 < v < л) не зависит от совокупности (D (v)} для всех v (0 <_ v ^ л). Поскольку преобразование, переводящее A (v), В (v) в С (v), D (v), ортогонально, то R2 (v) = С2 (v) + I>2(v). К сожалению, представления С (v) и D (v) использовать нелегко.

Если f (/) = р + Р cos (Xt — 9), то можно изучить отклонения от выборочного среднего. Положим

A*(v) = -^-^(yt —y)cosMt,

В* (v) = у 2 (^ — F) sin Mt.

• Теорема 4.4.5. Если ^yt = р + a cos Xt + Р sin Xt = р + + р cos (Xt — 9), mo

(63) 8л*(У) = -ег

sin у (X + v) T sin -^- (X + v)

cos I у (X + v) (Г + 1) — 9

sin4(X-v)T

-xcos -L(1-v)(7+ l)-9 - sin—(X —v) LJ

2 ^T^T • 1 1 ' smTXsin — vTX~cossin — v22 ^T^T • 1 1 ' smTXsin — vTX~cossin — v2COSCOSЦ_Х(т+1)-б]хЦ_Х(т+1)-б]х4v(7+l) ,4v(7+l) ,

2 ^T^

T • 1 1 ' smTX

sin — vT

X~cossin — v2

2 ^T^

T • 1 1 ' smTX

sin — vT

X~cossin — v2

COS

COS

Ц_Х(т+1)-б]х

Ц_Х(т+1)-б]х

4v(7+l) ,

4v(7+l) ,

=^00=11(7-+ 1)—ej

2 sin4ir

T—ГТ—cos

sin — X 2

(64) 8B*(v) = 4

X cos

sin — (X + v) Гsin -^- (X + v)

sin ±(% + v)(T+ 1) — 9 —

sin -^ (X — v) Tsin 4 (X — v)

sin[2_(X-v)(T+ 1) —0 -

sin —- XT

XX22

X

X

sin — vT

sin — v2

sin Ц- v(7+ 1) ,

v ^ %, 0 < v •< л,

^ sinfMT+D-ei-

sin2 — XT 22

T 1

sin2 — X 2

cos[-l-X(7+ 1) — О] X

X sinX sin

X sin

X sin

0 < X = v < л,

(65)

Var M*(v)| =

2o2 t"

sin vT №VC0S

v (7 + 1)-

22sin — vT

2

2

— 2— 22 cosA-v^+i)

— 2

— 2

T sin — v

2

(66)

Var \В* (v)| =

2о2У

« sinvT

I — -ra^Tc°sv(T + 0 —

— 2

sin — vT

L—sin4.v(T+ 1)

T sin — v

2

2

(67)(67)CovM*(v), B*(v)] =CovM*(v), B*(v)] =

(67)

(67)

CovM*(v), B*(v)] =

CovM*(v), B*(v)] =

SinvT . /m .

sin V (7 + I) —

Tsinv v 17

— 2

sin — vT2

т •1

T sin — v

2

-2

cos-i-v(7+ l)sin^-v(7+ 1) ,

Квадрат теоретической амплитуды равен

(68)p*2(v) = ^_

’ sin*-2-(X + v)T

sin2-^-(X — v) Т

sin2 -y (k + v)

sin2 -|- (X — v)

sin -^- (X + v) Г

sin -^- (X — v) Г

sin -^- (X + v)

sin — (л — v)

cos [X (T+I)—20] —

sin — XT 42

Г~1—sin — X2

cos2[-l-^(71+ 1) —в] X

sin — vTSinV2sin — vTSinV2

sin — vT

SinV

2

sin — vT

SinV

2

sin 2- (X + v) Тsin 2- (X + v)

sin 2- (X — v) Г

4Г24Г2o 1sin2 — VT2• 2 1Sin2 V2o 1sin2 — VT2• 2 1Sin2 V2

4

Г2

4

Г2

o 1

sin2 — VT

2

• 2 1

Sin2 V

2

o 1

sin2 — VT

2

• 2 1

Sin2 V

2

sin — XT

cos2 -Lx(T+l)

sin2 — X l

2

-Р2

sin2 XTf2 sin2 X

^-003 11(7+20] -

sin2 — XT 42

T2 1

sin2—X 2

cos2 [2-Х (Т + 1) — 01 X

sin XT T sin Xsin XT T sin Xsin2 — XT2

sin XT T sin X

sin XT T sin X

T2 sin2 ± x

2 -

Отметим, что A* (2nj/T) = A (2nj/T), В* (2 л/7 Г) = В (2nj/T), R*2 (2nj/T) = R2 (2л/77) = R2 и p*2 (2л/77) = p2 (2л/77) = p2.

Критерий для проверки гипотезы о том, что р = 0 в предположении, что ^у( = р cos (М — 0) для некоторого 0 < X < л, а значение о2 неизвестно, может состоять, например, в отклонении нулевой гипотезы, когда max R2 (v)/^у2 превышает некоторую /=1

постоянную величину. К сожалению, вероятность такого события, при нулевой гипотезе не вычислена в нормальном случае. В силу непрерывности R2 (v) максимум R2 (v), 0 < v ^. л, не будет сильно отличаться от максимума R2., / = 1, ..., [(Т — 1)/2]. Если предполагается, что бу, = р + р cos (X/ — 0), то аналогичным образом можно „зовать max «.-M/i^S-.

Обратимся теперь к задаче оценивания а, р и X в предположении, что тренд является нетривиальной тригонометрической последовательностью. Для удобства будем считать, что р = 0. Если предполагать, что величины yt распределены нормально, то логарифм соответствующей функции правдоподобия будет равен

1- Т log 2л - 4 Т log о*2 - -^ S (а*, р*, X*),

где т

S (а*, р*, X*) = 5 (У, — а* cos X*/ — р* sin X*/)2.

<=1

Оценками максимального правдоподобия для а, р и X являются значения а*, р* и X*, минимизирующие сумму S (а*, р*, X*). Для заданного значения X* экстремальные значения а* и Р* удовлетворяют соотношениям

[1 + tS* cosX* (г +1)]а* + таг*sin ^* (Т +1) Р*=я (X*),

-TOT-sinX*(T +!)«* +

+ [ 1 — -#^5- cos X* (Г + 1)1 р* = В (X*).’Т sin А*\ I I Г \/

Разрешая их относительно а* и Р*, получаем соответственно

(72)(73)Для(72)(73)ДляA ^ ~ 7^~х*[cos х*(Г + n А ^ + sin х*(Т+° в (Х*)]

(72)

(73)

Для

(72)

(73)

Для

“=" sin2 Х*Т’

“ Г2 sin2 X*

.8 ^ —ТХ7 lsin х* (г+*)л м -cos ** (т+о8 (^*)]

₽1 Sill л

=■ sin2 X*f‘

“ Г2 sin2 X*

г

этих значений а* и Р* сумма квадратов (70) равна 2^/~ t=i

—o^Q (X*), где Q (X) — квадратичная форма, определяемая соотношением (29). Значение X*, минимизирующее последнюю сумму квадратов, совпадает со значением X*, максимизирующим Q (X*), и удовлетворяет уравнению dQ (X^/dX* = 0. Однако при этом производная представима слишком сложным выражением и это уравнение нельзя решить в явном виде (см. упр. 40).

Рассмотрим теорию этих процедур для случая больших выборок.

Теорема 4.4.6. Если %yt = a cbs Kt + р sin Kt, 0 < X < л, Var (</,) = о8, a Cov (</,, у^ = 0, t ^ s, то

(74)

plim Л (v) = . Т-*оо

f °’

V 5^= X,

V = X,

0<

; V< Л,

(75)

plim В (v) =

[ о.

V =7^= X,

0<

C v< л.

Т-юо1

10,

V — X,

(76)

plim R2(y)= J

1 °>

V 5^= ?l,

0<

^ V << Л

7*-ЮО|

I p2.

V = X.

Доказательство. В соответствии с теоремой 4.4.1 ^А (v) -> 0, v ^Х, 8Л (v) -> а, v — X, ^В (v) -> 0, v ^= X, ^В (v) -> р, v = X, Var [Л(у)] -> 0 и Var [В (v)l -> 0. Поэтому в силу неравенства Чебышева справедливы соотношения (74) и (75). Из них в свою очередь вытекает соотношение (76), так как R2 (v) непрерывно зависит от A (v) и В (v). я ’

Следствие 4.4.2. Если ^yt = р +« cos Kt + Р sin Kt, 0< X <л, Var (z/,) = о2 и Cov (у(, у^ = 0, / 5^ s, то выводы теоремы 4.4.6 остаются справедливыми для Л*^), B*(v) и R*2 (v).

Теорема 4.4.7. Пусть yt= a cos Kt + р sin Kt + ut, 0 < X <л, 8u, = 0, 8u3= о8, случайные величины и, независимы и их распределения удовлетворяют условию ^ §2.6. Тогда величины V Т/2 х х[Л (X) —а] иУ Т/2 [В (X) — р] имеют в пределе двумерное нормальное распределение с нулевыми средними, дисперсиями о2 и нулевой ковариацией. При этом У Т/2 A (v) и УТ/2 В (v), v =^Х, 0 < v < л, имеют то же самое предельное распределение, а TR1 (у)Д2а2) имеет в пределе ^-распределение с 2 степенями свободы.

Следствие 4.4.3. Пусть yt = р + а cos Kt + р sin Kt + ut, 0 -< X < л, 8uz= 0, 8ц2 = ст3, и случайные величины ut независимы, а их распределения удовлетворяют условию (3) § 2.6. Тогда утверждение теоремы 4А.1 сохраняет силу для A* (v), В* (v) и R*2 (у).

Теоремы 4.4.6 и 4.4.7 выполняются для A (v), В (v) и R2 (v) при каждом значении v. Их можно обобщить таким образом, чтобы они выполнялись одновременно для v = vb ..., vft при фиксированном 1г. Однако мы заинтересованы в аналогичных предельных результатах либо для всех v = 2л//Т, / = 1, ..., [(Т — 1)/2], либо для всех v в интервале 0 <v<n. В любом из этих случаев .число точек не является фиксированным конечным числом.

Уиттл (1952) высказал утверждение о том, что модифицированные оценки максимального правдоподобия а, р и К являются со-

(77)(77)стоятельными [см. также М. Рао (I960)], а А. Уолкер (1968) дал строгое доказательство этого факта, показав, кроме того, что

(77)

(77)

plim Т (X — X) = 0.T->CQ

Уиттл утверждал также, что эти оценки распределены асимптотически нормально, с ковариационной матрицей, приводимой ниже (правда, Уиттл допустил незначительную ошибку). Уолкер дал строгое доказательство того, что VT (а — а), У? (Р — 0) и 7^2 (X — — X) имеют в пределе совместное нормальное распределение с нулевыми средними и ковариационной матрицей

(78)(78)10 Ap—12а201^-a1 Q112yP -ya— p210 Ap—12а201^-a1 Q112yP -ya— p2

(78)

(78)

10 Ap

—1

2а2

01^-a

1 Q112

yP -ya— p2

10 Ap

—1

2а2

01^-a

1 Q112

yP -ya— p2

2a2

P2

a2 + 4P2 — Зар — 6P'

■— Зар 4a2 + p2 6a

—6p6a12

Доказательства этих результатов крайне длинны и сложны. Заслуживает внимания то обстоятельство, что дисперсия X имеет порядок 1/Т3 вместо обычного UT и иногда встречающегося 1/Т2. Предположения Уолкера состоят в том, что X у= 0, л, а величины ut независимы и одинаково распределены со средними 0 и дисперсиями о2.

Существенным для получения соотношения (77) [А. Уолкер (1965)] является доказательство сходимости по вероятности к нулю величин

9 Т9 т

Аи^ = у2 “<cosvf, Ви (v) = -у £ щ sin v/

<=■1<=i

одновременно для всех v. Пусть R^ (у) = Л„(у) + В2 (v). Уолкер (1965) доказал следующий результат.

Теорема 4.4.8. Если величины и, независимы, имеют нулевые средние и дисперсии а2, то

plim max R„ (v) = 0.

. T-*OQ O^V^n-

Доказательство, Имеем

§ max 7?«(v) — -^- § max у «,ew

O^v^n1 O^V^n

Однако

(82)(82)T2 T

(82)

(82)

У и^ = 2 е^-^иг = t=\m'=i

T-|s] 2 “<“<+!$! <=iT-|s] 2 “<“<+!$! <=iT—1T-|s|T—1

T-|s] 2 “<“<+!$! <=i

T-|s] 2 “<“<+!$! <=i

=2 e‘vs 2 «z“<+|si <2

(T—1)/=1s=—(T—1)

для каждого v. Поэтому соответствующее математическое ожидание оценивается величиной

(83)(83)л 2 «? + 2 2 »f=lS=1л 2 «? + 2 2 »f=lS=12 “<«<+» <2 “<«<+» <Т-1Т-1Т—sТ—s<Ta2 + 2 2 ®( > «««ж s=i L \ <=i.= Та2 +<Ta2 + 2 2 ®( > «««ж s=i L \ <=i.= Та2 +=Т/2=Т/2

(83)

(83)

л 2 «? + 2 2 »

f=lS=1

л 2 «? + 2 2 »

f=lS=1

2 “<«<+» <

2 “<«<+» <

Т-1

Т-1

Т—s

Т—s

<Ta2 + 2 2 ®( > «««ж s=i L \ <=i.

= Та2 +

<Ta2 + 2 2 ®( > «««ж s=i L \ <=i.

= Та2 +

=Т/2

=Т/2

7—1 ГT—s11/2

+ 22 8 2 UiUt-VsUt'Ut^s I. s=i L и^х.

= Та2 + 2 2* (а4 (7 — s)]1^ =

S=sl

Т

Отсюда вытекает, что

(84)(84)8 max /?ц (v) < 4а2 f-i- + -|0«v<nI ' d

(84)

(84)

Утверждение теоремы следует из этого результата и из обобщенного неравенства Чебышева, g

Уиттл (1959) при дополнительном предположении, что § | ut |4+6< < оо для некоторого 6 > 0, получил равенство

(85)(85)plim J„+- max Ru^ = 4a2.

(85)

(85)

T-»oo ю8 1 o^v^n

Из соотношения (57) § 4.3 вытекает, что в случае, когда величины ut нормально распределены,

)plim -j-^r max R„ = 4o8.

Интересно отметить, что максимальное значение R^ (v) по всем действительным значениям v (0 <v ^. л) стохастически подобно максимальному значению R^ (v), взятому по множеству v = 2nj/T, i=\_.., ((Т—1)/2].

. ОБСУЖДЕНИЕ

(Функции тренда, имеющие периодический характер, существенно используются во многих областях: экономике, метеорологии, связи, астрономии и др. Часто эти периодические функции являются тригонометрическими или могут быть выражены в виде линейной комбинации последних. В настоящей главе были рассмотрены некоторые проблемы статистических выводов относительно таких функций тренда.

Наблюдаемый временной ряд описывается и анализируется с помощью линейных комбинаций, коэффициентами в которых служат тригонометрические функции времени, т. е. выборочные тригонометрические коэффициенты A (v) и В (v). Как мы увидим в гл. 8, эти коэффициенты используются в спектральном анализе ковариационной структуры стационарных процессов.

Основным практическим недостатком процедур, рассмотренных в настоящей главе, является то, что они предполагают некоррели- рованость случайных членов и постоянство их дисперсий. В большинстве приложений, однако, от временного параметра зависит структура как систематической, так и случайной составляющей. Другим недостатком является то, что методы, которые можно математически строго обосновать, являются ограниченными и не применимы ко всему кругу практических задач.

Интересным, по крайней мере с исторической точки зрения, является ряд Бевериджа цен на пшеницу в Западной и Центральной Европе с 1500 по 1869 г. Индекс составлен на основе цен, имевшихся приблизительно в 50 пунктах различных стран. Беверидж (1921) приводит этот индекс (подобранный так, что среднее за период 1700—1745 гг. равно 100), но использует для анализа ряд процентных отношений индексов данного года к среднему за период в 31 год, для которого данный год является серединой. Этот последний ряд, который считается свободным от тренда, приведен в табл. А. 1.1 приложения АЛ. Позднее Беверидж (1922) дал периодограмму, вычисленную с использованием NRa (2л^/А)/300, где

N — целое, не превосходящее 356, a k/N выбирается так, чтобы получить большое количество частот. Последовательность данных начиналась с 1545 г. Соответствующие результаты приведены в табл. А. 1.3 приложения А.1. Беверидж обнаружил 19 периодов, заслуживающих дальнейшего анализа. Сам по себе этот анализ достаточно интересен. Однако исходная модель кажется здесь неуместной, потому что трудно оправдать лежащую в ее основе идею о том, что циклический тренд состоит из многих тригонометрических составляющих, которые остаются неизменными в течение более чем 300 лет. Как мы увидим позднее, более подходящей представляется модель стационарного процесса. При этом основой соответствующей статистической обработки является спектрограмма.

ЛИТЕРАТУРА

Уиттекер и Ватсон (1943).

Т. Андерсон (1958), Бирнбаум (1959), (1961), Б ьюис-Б ал лот (1847), Департамент сельского хозяйства США (1939), Дэвис (19 41), Ирвин (1955), Карлин и Труакс (1960), Кендалл (1946b), Кудо (I960), Кули, Льюис и Уэлш (1967k Кули и Тьюки (1965), Леман (1957), Рунге (1903), Шустер (1898), Шеффе (19 70k Стивенс (1939), Уиттл (1951), (1952), Дж. Т. Уолкер (1914), Феллер (1968), Фишер (1929), (1940).

М. Рао (1960, Уиттл (1952), (1959), А. Уолкер (1965), (1968)*

Беверидж (1921), (1922).

УПРАЖНЕНИЯ

(Разд. 4.2.1) Используя равенство ^ = cosX + I sin X, докажите, что (a) cos (а — b) = cos a cos b + sin a siru b, (b) cos (a + b) = cos a cos b — sin a sin b, (c) sin (a + b) = sin a cos b + cos a sin b, (d) sin (a — b) = sin a cos b — cos a sin b.

(Разд. 4.2.1) Убедитесь в справедливости соотношений

cos a cos b = ~ cos (а — £>) + ~ cos (а + Ь),

cos2 а = у + -i- cos (2a),

sin a sin b = — cos (a —- b) — ~ cos (a + b),

sin2 a= -^— cos (2a),

sin a cos b = ~ sin (a + b) + ~ sin (a — £)•

(Разд. 4.2.1) Докажите соотношение (11).

(Разд. 4.2.2) Выпишите матрицу М для Т = 4 в числах (используя '^2 ). Постройте графики соответствующих четырех функций.

(Разд.4.2.2) Выпишите матрицу М для Т == 6 в числах. Постройте графики соответствующих шести функций.

(Разд. 4.2.2) Пусть матрица N=(el2nns^T J/Т), а М определяется соотношениями (14) и (21). Найдите матрицу Р, такую, что N = МР. Покажите, что NN' = I.

(Разд. 4.2.3) Приведите все 12 функций, необходимых для представления периодической последовательности с периодом 12.

(Разд. 4.2.4) Докажите соотношения (36) — (39) методом, используемым в (40).

(Разд. 4.2.4) Докажите соотношения (35) — (39) по аналогии с доказательством (8)..

(Разд. 4.3.3) Проверьте, что распределение величины (27) действительно имеет вид (28).

(Разд. 4.3.3) Покажите, Что преобразование (29) индуцирует преобразование оценок, описанное в предыдущем предложении.

(Разд. 4.3.3) Покажите, что (29) эквивалентно

* l/ 2лА^ , , , .2л/?, д ,

М< = kMt + cQ + 2j t cos -™- t + di Sin — t + 1=1 '11)

+4"sin 4"0 2sin [—гe]ку$+сг/2 н o'.

t = 1, . .., T

(Разд. 4.3.3) Покажите, что критерий F *> F2T_p (e) является равномерно наиболее мощным для проверки гипотезы Н: р (&/) = 0 среди критериев, мощность которых зависит только от р2 (fy)/a2.

(Разд. 4.3.3) При уровне значимости е укажите /-критерии для проверки нулевой гипотезы а0 = а^, где aj — заданное число, против альтернатив (а) а0 > > «О’ №) «0 < «о и (с) а0 aj.

(Разд. 4.3.3) При уровне значимости е укажите /-критерии для проверки нулевой гипотезы aTj2 = 0 против альтернатив (а) а^2 > 0, (Ь) ат^2 < 0 и (с) ат,2 * 0.

(Разд. 4.3.3) Найдите группу преобразований, относительно которой статистики (30) (или (36)) и у являлись бы максимальными инвариантами, оставляющую инвариантной задачу проверки гипотез по значениям статистики (30)..

(Разд. 4.3.3) Выразите а (АЛ) и 0 (/Л) в (31) в виде сумм, содержащих значения / (/) при /= !,..., Т = hnt и в виде сумм, содержащих значения / (/) при /= 1, .... п.

(Разд. 4.3.3) Докажите, что статистики (30) и (36) совпадают.

(Разд. 4.3.3) Докажите, что величины (31) и (37) совпадают.

(Разд. 4.3.3) Покажите, что граничные точки интервалов (42) и (43) с заменой Fx* т__р (е) на 2^ т_р (е) являются тангенсами углов наклонов прямых, проходящих через начало координат и касающихся круга (38).

(Разд. 4.3.3) Докажите, что математическое ожидание величины a Уф cos ф + b (Л/) sin ф равно р (fy) cos [ф — 0 (А?/)].

(Разд. 4.3.3) Найдите двусторонний доверительный интервал для р (&/) cos [ф1 — 0 (^у)] с уровнем доверия 1 — е при неизвестном о2.

(Разд. 4.3.3) Покажите, что величины У Т [а0 — а0], У Т \ат,^ — аг/21, Ут [а (fy) — а (^у)], УТ \b (kj) — р (fy)], / = 1, ..., q, имеют в пределе при Т оо совместное нормальное распределение, если величины yt независимы, имеют дисперсии а2 и равномерно ограниченные моменты порядка 2+6 для некоторого 6 > 0. (Указание. Использовать следствие 2.6.2.)

(Разд. 4.3.4) Докажите эквивалентность выражений для к (г | т2) в первых двух строчках соотношения (49), используя формулу удвоения для гамма-функции У^г (2Р + 1) = 22₽ г(р + 1) Г (Р + 1).

(Разд. 4.3.4) Докажите, что нецентральное X2-распределение с 2 степенями свободы (плотность которого приведена в (49)) является ограниченно полным, т. е. если

g (г) * (г | тг) dz = 0о

тождественно относительно т2 > 0, то g (z) = 0 почти всюду (z > 0) для каждой ограниченной функции g (г). (Указание. Записанное выше тождество можно переписать в виде

° = 2 с7(т2)? ?e-z/2g ®гЧ4г<

где с^ > 0.)

(Разд. 4.3.4) Докажите, что произведение q — 1 нецентральных Х2-рас- пределений, каждое из которых имеет 2 степени свободы, является ограниченно полным.

(Разд. 4.3.4) Пусть xi, х2, хз (xi + х2 + хз = 1, х, > 0) — барицентрические координаты (расстояния точки от сторон равностороннего треугольника с высотой 1). (а) Постройте на чертеже области, в которых max Xj > g, -^ < g С -g и ~ < g< 1. (Ь) Постройте на чертеже области, в которых вторая по величине координата Xj > g, 0<£<уи2<^^-1.

(Разд. 4.3.4) Пусть xi, х2, хз (xi + х2 + х3 = 1, xi > 0) —■ барицентрические координаты. Дайте графическое представление областей Ro, Ri, R^ R», R12, R13, /?зз. определяемых соотношениями

Ro: Xi<g,/=1.2,3,

Rf. xi >g, х;< g*xk,i* j + h + i,

Rif Xi > g, Xj > g*xk,i* i*k* i,

в которых g* > 1 и g > у.

(Разд. 4.4.1) Докажите лемму 4.4.1.

(Разд. 4.4.1) Проверьте соотношение (23),

(Разд. 4.4.1) Проверьте соотношение (24).

(Разд. 4.4.1) Проверьте соотношение (30).

(Разд. 4.4.2) Покажите, что

4р2 sjn2

2«о + 2^/2 р^Д {1 + cos X cos [X (Г + 1) 20]}.

(Разд. 4.4.2) Покажите, что для X = 2л (k + е)/Т

«о«ор sin лер sin леТ sin лТ sin лк + 8Тк + 8Тcoscosк + 8л т"к + 8л т"8~ Р к + 8 ~ Л2 т8~ Р к + 8 ~ Л2 тл2 „1е2л2 „1е26(й+е)2 cos ^26(й+е)2 cos ^2к + е л —т~к + е л —т~(Разд. 4.4.2) Покажите, что для X = 2л (k + е)/Т(Разд. 4.4.2) Покажите, что для X = 2л (k + е)/Таг/2 —аг/2 —р sin ле.-=—sin_£4-8Т cos л—-—р sin ле.-=—sin_£4-8Т cos л—-—к + ел —~—Тк + ел —~—Т(Разд. 4.4.3) Покажите, что(Разд. 4.4.3) Покажите, что1л/sin — v cos2Т_2 л/ coscos v1л/sin — v cos2Т_2 л/ coscos v2л/ cos ——* cos v2л/ cos ——* cos v1. л/cos — v sin2 T1. л/cos — v sin2 T(Разд. 4.4.3) Покажите, что для Т = 2Н + 1(Разд. 4.4.3) Покажите, что для Т = 2Н + 111sin — v sin — vT С (v) = 4^-7—^sin — v sin — vT С (v) = 4^-7—^ннУ1 COS VУ1 COS Vл/4cos —2л/"cos — COS Vл/4cos —2л/"cos — COS V

«о

«о

р sin ле

р sin ле

Т sin л

Т sin л

к + 8

Т

к + 8

Т

cos

cos

к + 8

л т"

к + 8

л т"

8

~ Р к + 8 ~ Л2 т

8

~ Р к + 8 ~ Л2 т

л2 „

1е2

л2 „

1е2

6

(й+е)2 cos ^2

6

(й+е)2 cos ^2

к + е л —т~

к + е л —т~

(Разд. 4.4.2) Покажите, что для X = 2л (k + е)/Т

(Разд. 4.4.2) Покажите, что для X = 2л (k + е)/Т

аг/2 —

аг/2 —

р sin ле.

-=—sin

_£4-8

Т cos л—-—

р sin ле.

-=—sin

_£4-8

Т cos л—-—

к + ел —~—

Т

к + ел —~—

Т

(Разд. 4.4.3) Покажите, что

(Разд. 4.4.3) Покажите, что

1л/

sin — v cos

2Т_

2 л/ coscos v

1л/

sin — v cos

2Т_

2 л/ coscos v

2л/ cos ——* cos v

2л/ cos ——* cos v

1. л/

cos — v sin

2 T

1. л/

cos — v sin

2 T

(Разд. 4.4.3) Покажите, что для Т = 2Н + 1

(Разд. 4.4.3) Покажите, что для Т = 2Н + 1

1

1

sin — v sin — vT С (v) = 4^-7—^

sin — v sin — vT С (v) = 4^-7—^

н

н

У

1 COS V

У

1 COS V

л/

4cos —

2л/"

cos — COS V

л/

4cos —

2л/"

cos — COS V

cos — v sin — vT

HHdj sin ——1 T2 л/ cos —cos vdj sin ——1 T2 л/ cos —cos vD^-^2-™2

H

H

dj sin ——

1 T

2 л/ cos —cos v

dj sin ——

1 T

2 л/ cos —cos v

(Разд. 4.4.3) Покажите, что для К = cos [X (7 + 1) — 20j

dp2 (v) _ _ р2 I7 sin (X + v) 7

sin2 -2- (X + v) 7 cos *1- (X + v)sin2 -2- (X + v) 7 cos *1- (X + v)sin (X — v) 7sin (X — v) 7sin3 -у (X + v)sin3 -у (X + v)sin2-^-(X — v)sin2-^-(X — v)

sin2 -2- (X + v) 7 cos *1- (X + v)

sin2 -2- (X + v) 7 cos *1- (X + v)

sin (X — v) 7

sin (X — v) 7

sin3 -у (X + v)

sin3 -у (X + v)

sin2-^-(X — v)

sin2-^-(X — v)

sin2 — (X — v) 7 cos — (X — v)

Л-КТЛ-КТsin3 — (X — v)sin v7sin3 — (X — v)sin v7

Л-КТ

Л-КТ

sin3 — (X — v)

sin v7

sin3 — (X — v)

sin v7

, v ^ X, 0 < у < л.

(Разд. 4.4.3) Покажите, что для производной dp2 (v)/dv, определенной в

упр. (38),

dp2 (у) _ 2 7 cos Х7 sin X — sin X 7 cos X ( sin Х7

И™~dvpTsin2A| T sin X + Af1

У->ЛV/

(Разд. 4.4.3) Запишите уравнение dQ (X*ydX* = 0 в развернутом виде.

(Разд. 4.4.4) Докажите, что (86) вытекает из соотношения (57) § 4.3.

Глава 5

ЛИНЕЙНЫЕ ВЕРОЯТНОСТНЫЕ МОДЕЛИ С КОНЕЧНЫМ ЧИСЛОМ ПАРАМЕТРОВ

ВВЕДЕНИЕ

Обратимся теперь к моделям образования временных рядов, в которых характеристические и наиболее существенные свойства временной последовательности не сводятся к детерминированной функции среднего значения, а заключены в самой вероятностной структуре. В этом случае, например, уже не будет регулярных периодических циклов, а будут более или менее нерегулярные случайные изменения с теми или иными статистическими свойствами вариабельности. Такие модели обычно называют случайными процессами. Процессы, вероятностная структура которых не изменяется со временем, называются стационарными. (Более полно стационарные случайные процессы рассматриваются в гл. 7). В этой книге мы в основном изучаем процессы, которые или стационарны (близки к стационарным), или же таковы, что по крайней мере их случайная составляющая может приближенно считаться стационарной (в отличие от детерминированным образом меняющейся функции среднего значения).:

Одной из наиболее простых и, по-видимому, наиболее часто используемой моделью такого рода является процесс авторегрессии, или стохастическое разностное уравнение. О последовательности случайных величин уь у^ ... говорят, что она удовлетворяет стохастическому разностному уравнению, если существует такая линейная комбинация

tit + Pi№-i + • • • + ^ptit-p = Щ, t = р + 1, ...,

что последовательность ир.^ Up^, ••• является последовательностью независимых и одинаково распределенных случайных величин. (При этом мы часто будем предполагать ^ ut = 0.) Это определение удобно распространить на бесконечные в обе стороны

последовательности ..., у_ь yQ, уъ ..., связанные с бесконечной в обе стороны последовательностью **., и_\. и^ иь ... . Такие процессы также называются процессами авторегрессии.

Используя оператор ^ (действующий по правилу ^ = = ^4.1), соотношение (I) можно представить в виде (2)(^ + Р1^-'+ ... + ^y(_p = Ut.

Поскольку ^ = А + 1, то оператор, применяемый в (2) к yt-P, можно записать иначе как полином степени р от А, так что левая часть (1) будет линейной комбинацией величин yt_p, ^yt-P, ... ..., tfyt_p. Поэтому при рр =/= 0 соотношение (1) называется стохастическим разностным уравнением порядка р. О соответствующем процессе говорят как о процессе авторегрессии порядка р. Разностный оператор А обсуждался ранее в § 3.4.

Стохастическое разностное уравнение (1) можно представлять и иначе. Если случайная величина и, не зависит от yt_\, у^, .... то условное распределение случайной величины yt при заданных значениях yt-i, yt—z, ... совпадает с распределением величины uz— (Р1</<-1 + ... + ^pyt-py Поэтому совместное распределение случайных величин у(, yt_\, ..., ух (t 5> р) можно получить, зная распределение и( и совместное распределение величин yt-i^... ...,yv Если задать распределение случайной величины ut (одинаковое для всех f) и совместное распределение любых р последовательных величин yt, то последовательным применением указанной процедуры можно получить совместное распределение для ys, s < t, и любого числа последующих yt. В следующем параграфе мы получим условия, при которых процесс, определяемый таким способом, будет стационарным (и при которых ut не будет зависеть от yt_x, yt_2, ...).

Приведенная модель полезна тем, что с ее помощью можно получить весьма обширный класс процессов. Влияние тренда легко учесть, добавляя в левую часть соотношения (1) слагаемое 2?/г«» i в котором Zu— известные величины (функции времени). Мы изучим некоторые свойства подобных моделей в § 5.2.

Многие задачи статистического вывода связаны с конечным числом параметров рь ..., рр и дисперсией случайной величины иг Они могут состоять, например, в оценке указанных параметров и проверке гипотез относительно значений последних. При большой длине наблюдаемого ряда эти задачи могут быть рассмотрены в асимптотическом плане в соответствии с теорией наименьших квадратов, обзор которой был сделан в гл. 2. Теория сериальной корреляции для малых выборок рассматривается в гл. 6.

Другой простой моделью стационарного процесса является скользящее среднее (3)yt = aovt + a^-i + ... + a»^-,.

Здесь о( — независимые одинаково распределенные случайные величины. Эту модель можно объединить с моделью, рассматривавшейся ранее, приравнивая левую часть соотношения (1) правой части соотношения (3). Иными словами, возмущающий фактор в уравнении (1) будет при этом скользящим средним, определяемым правой частью (3). Каждую из описанных моделей можно модифицировать. Для этого предположим, например, что наблюдаемый процесс - складывается из процесса, порождаемого одной из этих моделей, и независимой случайной «ошибки». Тогда члены наблюдаемой последовательности {xj имеют вид xt = yt + wp где {ty(} — последовательность независимых одинаково распределенных случайных величин. Статистические выводы во всех получаемых таким образом моделях сложнее (даже в асимптотическом плане), чем в случае процесса авторегрессии.

Если все совместные распределения нормальны, то совместное нормальное распределение случайных величин yt полностью определяется заданием их средних, дисперсий и ковариаций. Если процесс к тому же стационарный, то эти распределения будут полностью определяться заданием среднего и дисперсии случайной величины ut и коэффициентами 0, в случае (1), среднего и дисперсии случайной величины vt и коэффициентами а/ в случае (3), среднего и дисперсии случайной величины и, и коэффициентами а/ и р, (i = 0, .... р, j = 1, .... 7) в комбинированной модели. Если введенным выше определениям удовлетворяют лишь первые и вторые моменты, то иногда говорят, что эти определения выполняются в широком смысле. Например, говорят, что последовательность {yz} удовлетворяет стохастическому разностному уравнению в широком смысле, если величины ut, определяемые соотношением (1), таковы, что § uz = О, <S u2 = a2, S и^ = 0, t #= s. Подобным же образом можно говорить о моделях скользящего среднего и о комбинированных моделях, определенных в широком смысле с помощью величин ut.

Юл (1927) предложил использовать процесс авторегрессии для анализа временных рядов и применил его к данным о числе солнечных пятен. Дж. Уолкер (1931) построил соответствующую теорию и применил ее к анализу атмосферных явлений.

ПРОЦЕССЫ АВТОРЕГРЕССИИ

Представление временного ряда с помощью бесконечного скользящего среднего

Во введении к этой главе было показано, каким образом по совместному распределению некоторых р последовательных величин yt и по распределению (независимо и одинаково распределен-

ных) ut в совокупности с соотношением

р

(1)(1)^гУ1-г = %0О=1,

(1)

(1)

г=0

можно определить совместное распределение последующих случайных величин уг Покажем теперь, что каждую случайную величину yt можно выразить в виде линейной комбинации р предшествующих ей случайных величин у, и иг. При выполнении формулируемых ниже условий каждую случайную величину yt можно представить в виде бесконечной линейной комбинации случайной величины ut и ей предшествующих случайных величин иг.

Наиболее простым случаем является уравнение первого порядка

(2)(2)Ut = РУ/-1 + ut.

(2)

(2)

Если вместо yt-\ в это уравнение подставить его выражение yt-i = = pyt—i + Ut-i (получаемое из (2) заменой t на t — 1), то (2) примет вид

(3)(3)yt = i4-Y put_v + p3z/(_2.

(3)

(3)

Действуя далее подобным же образом, можно прийти к соотношению

^ = ы, + pu,_i + ... + p*Uf_, 4- ps+* yt-w,

так что

yt — (и, + ри(_, + ... + рщ(_5) = р5*1^-^]).

Если {у,} — бесконечный в обе стороны по / стационарный процесс, то эта разность при | р | < 1 с ростом s становится малой. В частности (если существуют вторые моменты),

8 \yt — \Ut + put_\ + . . . + psU/_s)]Z = p2^1»!^//;2-^!)

(7)(7)не зависит от t и с ростом s стремится к нулю. В связи с этим yt здесь записывают в виде

(7)

(7)

у, = 2 ргц‘-гг—О

и говорят, что ряд в правой части сходится к yt в среднем (или в среднеквадратичном). (Сходимость в среднем обсуждается в разд. 7.6.1.)

Вернемся теперь к общему случаю. Запишем соотношение (1) для моментов t и t —1 в виде

yt utPi У/—i• • • ^ptit—p^

Ut-\ = «(-1 — Р1</<-2 —' • • • — ^pyi-\_p;

Подстановка (9) в (8) дает

У1 ” “iPl (“t—1Р1У/—2 ' • • •РрУ<—1—р) — P2yt_2 —' ♦ • •

• • • РрУ<—р =

= U( — P1U/-1 — (P2 — Pl) yt-2 — • • • + PlPpt/f-l-p-

Повторяя подобную процедуру s раз, получим для yt выражение

yt = Mt + 61Ы<—1 + . . . + 6sUt—s + as\yt-s-1 + O-siyt—s—2 + • • •

. . . 4" CLSpyt—s—p«

(При каждой подстановке справа остается ровно р последовательных д^ Подстановка в (11)

g^s^[ = Ut—s—l ^ ^iyt—s—2 " • • • — $pgt~s—p=4

приводит к равенству

gt = ut + 6iuw + ... + 6SU/^S 4* °^si^—s—i 4*

+ (as2^asl₽l) yt-s-2 4- • • • 4” (a*sp ~ ^Pp-l) yts-p — ' а51РрУ/—s—p—!•

Входящие сюда коэффициенты определяются рекуррентными соотношениями с**

О$+1 == asb

о4)“.‘Л /='р->.

as+l,p = “slPp-

Дальнейшее применение указанной процедуры приводит к представлению

yt = 2 b’ut-t,

1=0

в котором 6* = 1. Условия, при которых ряд (15) сходится вДред- нем, мы выясним ниже. Во всяком случае, соотношения с (11) по (14) справедливы для любого s. А это и показывает, что совместное распределение некоторых р последовательных у, и следующих за

ними величин ut определяет совместное распределение последующих yt.

Указанную процедуру можно изложить и формальным образом.

Пусть ^ — оператор запаздывания, т. е.

(16)(16)&У< = yt_\.

(16)

(16)

С использованием этого оператора разностное уравнение (1) может быть записано в виде

р

2 ^'у, = Ur

г=0

Тогда формально

/ р1

yt= 2РХ и„

\г=0/

где

(

Р\ —1ОО

= 56,^.

г=0/г=0

То есть 6Г являются коэффициентами при гг в разложении

/ Р1 ОО

2 ₽Х = 26/

' г=0/г=0

и могут быть определены формальным делением. Убедимся теперь в том, что 6, = 6Г. Имеем

(21)(21)1 _ JР12 + • ‘ • + PpzP _ЧР12 +ЧР12+4-Рр^

(21)

(21)

1_ (Р«-Pi) 2Ч- ••• +(Рр-Р1РР-1)2Р-Р1РР2р+1

1 + Pi2 + ‘ + Рр^

Следует отметить, что коэффициент при z1 в числителе правой части (21) совпадает с коэффициентом при yt-i в (10), / = 2, ... ..., р + 1. Продолжая этот процесс, получаем

(22)(22)1 + Pi2 + • • • + ^р1 + Pi2 + • • • + ^р=ss 16^2 + • • •=ss 16^2 + • • •1 + Р1г + ■ • • + PpZP1 + Р1г + ■ • • + PpZP1

(22)

(22)

1 + Pi2 + • • • + ^р

1 + Pi2 + • • • + ^р

=ss 16^2 + • • •

=ss 16^2 + • • •

1 + Р1г + ■ • • + PpZP

1 + Р1г + ■ • • + PpZP

= 1 + 6^ 4- • • • + 6szs 4- asizs+' 4-

(«S2 - «siPi) г5"1"2 + • • • + <asp - “siPp-i) ^ - “s1PpzS+p+1• 4* Pi2 4" • ■ ■ 4" Pp^

Таким образом, коэффициенты 6, и а^ удовлетворяют тем же рекуррентным соотношениям, что и коэффициенты 6* и а^. Поскольку совпадают и начальные условия, отсюда следует, что 6* = 6Г и о^ = н-sh Уравнение

2 р^- - О

г=$ О

называется алгебраическим уравнением, присоединенным к (I)1*. Оно имеет р корней, которые мы обозначим хИ ..., хр. Если |хг| < < l,i = 1, ..., р, то при рр ^ 0 корни уравнения

5Р^ = 0

г=0

равны Zj = l/xt и | zt | > 1. Для всех z, таких, что |z| < min |г,|, ряд

сходится (абсолютно). Отсюда и из (22) следует, что

+

сходится к нулю для |г| < min |г(| (в частности, для |z| = 1). В силу этого ая- -> 0 при $ -> оо для каждого i. Таким образом, величина

/S\2

81 yt — ^ д,и(_Д = 8(asi^-s-i + ••• -V «spyt-s-p^

\г=0/

сходится к нулю при $ -> оо. А это и означает, что

у, = 5 8rut_,

r=0

в смысле сходимости в среднем.

Теорема 5.2.1. Если все корни характеристического уравнения (23), соответствующего стохастическому разностному уравнению (1), по абсолютной величине меньше 1, то yt представимо бесконечной линейной комбинацией случайных величин utl ut-x. ... .

г) Мы будем называть его для краткости характеристическим уравнением для (1).— Прим, перев.

Следствие 5.2.1. Если все корни характеристического уравнения по абсолютной величине меньше 1, то yt не зависит от ut+i, Ui+2

Доказательство. Случайная величина yt является линейной комбинацией случайных величин ut, ut-iа они не зависят от t^-|-l, U't-^2i ••• * в

Рассмотрим кратко случай, когда некоторые корни характеристического уравнения по абсолютной величине превосходят 1. Предположим, что |%J > 1, i = 1, ..., q, |xj < 1, i = q + 1, ..., p. Запишем исследуемое стохастическое разностное уравнение в виде рр

и{ = ^ ^Р-ГУ1-Р = П (^ - xz) yt_p.

г=0(=1

Обращая (29), получаем

.(30) yt-р = П (^ — х^и, =

1=з:1

= Т\^-хГх П ^(l-x^r’u^ i=lt=<7+l

= П [(—г)^--^^-1! П ^^-х^Х^, 1=1 L\ *'\‘/ J f=^4-i

поскольку ^ = ^-*. Каждый член (1—х?11^-1 в последнем выражении можно разложить по степеням ^. Члены (1 — х,^-1 разложим по степеням ^. Если 1 < q < р, то весь оператор в правой части (30) будет степенным рядом по ^ (= ^*-1) и ?(= ^-1), так что при этом будут включены иь образующие бесконечный в обе стороны ряд ..., ut-t, ut, ut+iЕсли же q = р (все корни по абсолютной величине больше 1), то этот оператор будет степенным рядом только по 51 и соответственно будут включены только случайные величины и(, ut+i, ... . Приведенное рассуждение является чисто формальным. Однако его можно обосновать таким же образом, как это было сделано в случае, когда все корни по абсолютной величине предполагались меньшими единицы. Мы увидим р

в гл. 7 (упр. 22), что если линейную форму П (^ — х() yt-p заменить линейной формой (при любых х^

ГР

n(^-v') П ^-x^yt-p=u*t,

i=\i=r+l

то остатки n’t также будут некоррелированными (но уже не обязательно независимыми).

Рассмотрим теперь случай, когда имеется только один корень, равный 1,

yt = yt—x + ut.

Предположим, что ^ut = 0, ^ut = а2. Тогда

yt — yt~s = Щ + Ut^\ + • • • + Ut—S-H

и

§ (у, — yt_^ = Vt + M-s — ^ytyt-s = so2.

Если процесс стационарный, то &yl = ^y2ts- Из (34) при этом получаем

^ytyts = &У2j- so2, s = 1, 2

Последнее может выполняться для всех s > 0 только при о2 = О, и поэтому yt = yts с вероятностью 1. Интуитивно ясно, что дисперсия yt должна возрастать с ростом I, если только дисперсия ut не равна нулю, а это противоречит стационарности.

Более общим является случай

(^_1)П(^_.x^yt-p = ut,

i=2

Р

где I х; 1 =/= 1, / = 2, ... , р. Если П (^—xt)yt_p = z<_t, то

Z=2

(^— 1)г/-1 = и( и z( = zts = ‘z с вероятностью 1. Таким образом,

р

TX^-x^p-z

1=2

и yt = 2 6/, Т. е. yt = yt-s с вероятностью 1 (переменная г здесь может быть случайной величиной).

Теорема 5.2.2. Если стационарный случайный процесс удовлетворяет стохастическому разностному уравнению, характеристическое уравнение которого имеет хотя бы один корень, равный единице, то с вероятностью 1 все значения этого процесса совпадают.

Начиная с настоящего момента, мы будем ограничиваться рассмотрением случая, когда все корни характеристического уравнения (23) по абсолютной величине меньше единицы. При этом случайная величина yt не будет зависеть от tzz+i, и<+2, ,,. и ее можно представить в виде ^^ut-r, Обратимся теперь к коэффи- •г=й

циентам 6Г Из (25) вытекает, что

(38)

\г=0)5=0Г=05=0

= 5fps6^=

Г=0 5=0

р—1 /\оо / р\

= 2 2 P«8/-s z< + 2 2 рд_, p.

/=0 s=0)t=p \s=0/

Здесь мы заменили г на t — s. Поскольку последнее соотношение является тождеством относительно г (для | г | < 1 сходимость рядов равномерна), то коэффициент при г° в его правой части равен 1, а коэффициенты при положительных степенях равны 0. Запишем это в развернутой форме:

1 = Р060 = 60,

0 = Mi + Мо — 61 + Р1>

:

0 — Mp—i + • • • + Рр—16а,

0 = P06f + • • • + рр6<—р, / = р, р + I, ... .

Уравнение (40) является однородным разностным уравнением, соответствующим неоднородному разностному уравнению (1). Если все корни характеристического уравнения (23) различны, то общее решение однородного разностного уравнения (40) имеет вид

6, = f^ г = 0, 1, ... .

i=i

При этом если х, действительно, то действителен и коэффициент ки Если xt и Xz+i комплексно сопряжены, то kt и кцд также комплексно сопряжены, а сумма к(хГ1 + й-н^-н действительна, г = = 0, 1, ... . В случае наличия кратных корней общее решение можно построить, используя упр. 9 и 10.

Уравнения (39) задают р граничных условий. Решая их последовательно, определим 60, 6Ъ ..., 6р_ь Совокупность соотношений (41) для г = 0, 1, ..., р — 1 представляет собой систему р линейно независимых линейных уравнений с р неизвестными къ .... кр. Эта система имеет единственное решение. (См. также упр. 4.)

Если р = 1, то 6Г = (—р1)г является показательной функцией от г. Если р = 2, а хг и х2 различны, то ^ = xj^ — х^, k2 = = —X2/(Xj — х2) и

(42)(42)Х1—Х2Х1—Х2V+1 — Z+16,= -^г = 0, 1,

(42)

(42)

Х1—Х2

Х1—Х2

Если хг и х2 действительны, то 6, будет линейной комбинацией двух показательных функций переменного г. В противном случае запишем Xj и х2 в виде xt = aeze, х2 = ae~'e. При этом

кх = ^е _№, кг —й<е_е-1-е

и коэффициенты.

дол-i) -zetr-H)

6r = кхх\ + к^2 = a'ei6_e-i9=

_ a, sin 6 (r + 1)sin 6

образуют затухающую функцию синусоидального типа, что аналогично (42) для комплексно сопряженных корней.

Моменты второго порядка. Ковариационная функция

Если совместные распределения нормальны, то они полностью характеризуются средними &yt, которые мы из соображений удобства временно будем полагать равными нулю, дисперсиями Sy? и ковариациями &ytyt^.s. В случае когда совместные распределения отличны от нормальных, эти моменты первого и второго порядков тем не менее несут существенную информацию о рассматриваемом процессе. Например, корреляция между у( и у(+ь (т. е. отношение Sy^y^/KSy?Sy2t+s) является мерой связи этих двух случайных величин.

Если процесс у, стационарный (в частности, если у, может быть представлен в виде (28)), то все дисперсии Sy? совпадают, а ковариации зависят только от разности индексов рассматриваемых случайных величин. Эти моменты

^ytyt+^ = о(s), s= — L 0, 1

образуют в совокупности так называемую ковариационную функцию (иногда называемую корреляционной функцией). В этой книге мы будем называть корреляционной функцией нормированную функцию ст (s)/ct (0).

Покажем, что ковариационная функция о (Л) удовлетворяет однородному разностному уравнению (40). Умножая (1) на (28) с заменой /на /— s, получаем

2 ^ryt_yt-s = 2 6qU^t_s_q.

^=«0/*=*0

Поскольку ^yt-ryt-s = о (s — г), Wt = О2, ^иг = 0, t =£ t\ математическое ожидание обеих частей (46) удовлетворяет для s = 0 и s > 0 соответственно соотношениям

р

2рга(-г) = о2,

г=0

2 P/j(s —г) = О, s= 1, 2,.

г=0

Эти соотношения часто называют уравнениями Юла—Уолкера» Таким образом, последовательность о (1 — р), а (2 — р), ..., ..., о (0), ... удовлетворяет однородному разностному уравнению (48) и поэтому

а(К) = J] с^, h=l—p, 2 — р,...,

1=1

если корни х{ различны и рр ^ 0 (так что xt ^=0). Граничными условиями будут р — 1 соотношений

a^—hy^a^ h=\. ..., р —1

и соотношение (47), в котором о (—р) заменяется на о (р) (причем а (—р) не обязательно имеет вид (49)). Последнее условие служит для определения величины коэффициента пропорциональности.

гг2/гг2/Если р = 1, то о (й) = (—Рхро2^! — Pi), h = 0, 1, ..., является показательной функцией h. Если р = 2, а ^ и х2 различны, то 4+14+1

гг2/

гг2/

1 — X21 — ^2

Если хг и х2 действительны, то а (й) будет линейной комбинацией двух показательных функций. Если же они комплексно сопряжены и равны ае±/е, то (51) принимает вид

Л^9)— о^^пб № + 1) — a2sin 6(/t —1)]

v 7(1—a2) sin 6 [1—2a2 cos 26 +a4]

и представляет собой затухающую линейную комбинацию функций от й синусоидального типа.

Поскольку о (й) является линейной комбинацией возведенных в степень й корней характеристического уравнения и все эти корни лежат в единичном круге, то |а (й) | ограничена сверху показательно убывающей функцией. Именно, для надлежащим образом выбранного К >0, |а (й)| < К (шах |%J)\ Положительный корень вносит вклад в виде убывающей показательной функции; отрицательный — в виде знакопеременной показательной функции, убывающей по абсолютной величине, Пара комплексно сопряженных кор-

ней дает осциллирующую тригонометрическую функцию, убывающую по абсолютной величине. При этом период ее колебаний зависит от аргумента этих комплексных корней.

Флуктуации временных рядов

Типичный временной ряд, образованный с помощью модели стохастического разностного уравнения, флуктуирует. Наблюдаемые при этом колебания значений ряда нерегулярны. Однако они обнаруживают тенденцию к определенной средней продолжительности, значение которой зависит от параметров порождающего процесс разностного уравнения. Если считать, что последовательные значения ряда образуются согласно (1), то каждое множество из р последовательных yt непосредственно влияет на следующее значение уг Так, при р = 2 можно записать yt в виде

yt = — р! yt-\ — ^yt-i -Vut =

= — (Pi + Рг) У1—1 + P2 {yt—1 — yt—i) + Uf

Из этого выражения видно, что непосредственное воздействие на значение yt оказывают здесь значение yt—x и разность у<-2 — yt-\. Обычно благодаря этому и возникает тенденция к флуктуациям.

На указанный процесс можно взглянуть с иной точки зрения, используя представление у, = ^ 6, и<—г. Каждое us вносит

Г=О в последующее у<^ вклад, определяемый коэффициентом bq. Поскольку эти коэффициенты осциллируют, то воздействие на последовательные уг флуктуирует, вызывая тенденцию к флуктуации у наблюдаемого ряда yt.

На подобный характер поведения ряда указывает, кроме того, и ковариационная функция. Поскольку (обычно) a (s) ^ 0, то между yt и yt^s имеется определенная статистическая связь, хотя и имеющая тенденцию к уменьшению при увеличении s > 0. Эта связь (измеряемая коэффициентом корреляции) и ведет к возникновению флуктуаций. Если характеристическое уравнение имеет пару комплексных корней, то соответствующие тригонометрические функции осциллируют и указанная связь может на некотором интервале изменения s возрастать вместе с s.

Введение «независимых» переменных

Пусть известно, что на рассматриваемый временной ряд могут оказывать воздействие некоторые внешние переменные z^, ..., z^. Их влияние можно учесть, заменяя (1) более сложной моделью

рЯ

2 РгУ«-г + 2 № = «г

г=01=1

В частности, подобным образом в модель всегда можно ввести константу (беря q = 1, zu = 1) и положить при этом S^ = 0.

Выражение (54) можно записать иначе:

р _q

и, = П (^ — х() yt-p + 2 ^zu =

pГqp1

П (^ — xz) yt_p + 2 Vz П ^-x<r Zu

/=iL(=ij=i

PГqco

П (^~ X,) y(_p + S v, 2 6sZM-P-s =

/=1t=l s=0

<=o L <=i s=o

При q = 1, Z\t = \ оно принимает вид

2 ^Atit-r— Hl = «<,

r=0

где p = —^2 6S.

s=0

Прогнозирование

Стохастическое разностное уравнение (1) можно переписать в виде

yt = — Р1У/-1 — • • • —М‘-р + “z-

где ut не зависит от yt—\, yt-2, ... • Условное математическое ожидание случайной величины yt при заданных значениях yt-v yt-2, ... есть

§ (у, I yz—ь yt-2, ...} = — Piyz—1 — • • • — £pyt-p-

Это условное математическое ожидание можно использовать в качестве прогноза случайной величины yt. Дисперсия его выражается соотношением

§|—P^z-i— ••• — ^Pyt-P — yj2 = §u2 = a2;

среднеквадратичная ошибка любого другого прогноза f (yt-i, yt_2) ...) будет иметь вид

8 [/ (yt-i, yt_2, •..) — у,I2 =

— ^ [/ (yz—1. yz—2, • • •) + Piyz—1 + • • • + ^pyt—p — u^1 = §у^ + ^ [/ (</z—ь yz-2, • • •) + ^yz-i + • • • + ^eyt—PY-

Теорема 5.2.3. Если стационарный процесс yt удовлетворяет стохастическому разностному уравнению (1) и все характеристические корни этого уравнения лежат в единичном круге, то прогноз (58) имеет наименьшую среднеквадратичную ошибку среди всех прогнозов, использующих значения yt-\, yt-2, ... .

Наилучшим прогнозом случайной величины yt, использующим значения yt-s-ь yt-s-s, ..» (s > 0), будет прогноз

ЦуД yt-s-1, yt-s-2, .. Д = asXyt-s-\-V ••• + aspyt_s_p. Коэффициенты asi = а^, ..., asp — asp задаются соотношениями (11) и (22).

5.3. РЕДУКЦИЯ ОБЩЕГО СКАЛЯРНОГО УРАВНЕНИЯ К ВЕКТОРНОМУ УРАВНЕНИЮ ПЕРВОГО ПОРЯДКА

Для изучения стохастического разностного уравнения (1) § 5.2 его удобно записать в форме векторного уравнения первого порядка. ПоложимДля изучения стохастического разностного уравнения (1) § 5.2 его удобно записать в форме векторного уравнения первого порядка. Положим00 0 ... —1000 0 ... —10

Для изучения стохастического разностного уравнения (1) § 5.2 его удобно записать в форме векторного уравнения первого порядка. Положим

Для изучения стохастического разностного уравнения (1) § 5.2 его удобно записать в форме векторного уравнения первого порядка. Положим

00 0 ... —10

00 0 ... —10

Тогда указанное стохастическое разностное уравнение можно переписать в виде

(4)(4)У/ + Byz_i = uz.

(4)

(4)

Первое скалярное уравнение из (4) есть в точности уравнение (1) из § 5.2, а все остальные являются тождествами. Таким образом, скалярное стохастическое разностное уравнение порядка р оказывается частным случаем векторного стохастического разностного уравнения первого порядка.

Рассмотрим теперь общее стохастическое разностное уравнение первого порядка относительно вектора с р компонентами:

(5)(5)у, + Byz_i = ur

(5)

(5)

Здесь и, — случайный вектор с нулевым средним и ковариационной матрицей Hu^U/ = 2, причем butvis = 0, t ^ s, а матрица В = = ф;/), Если в (5) последовательно производить подстановку

у$ = —Bys_i+us

для s = t —1, / — 2, .... то в конце концов придем к представлению

y, = 2FB)TuM.

Т=0

Пусть Хь Хд, .... Хр — характеристические корни матрицы —В, т. е. корни уравнения

| В + М / = 0.

Если все эти корни различны, то найдется матрица С, такая, что

— B = CAC~‘,

где А — диагональная матрица *>

(Ю)(Ю)

(Ю)

(Ю)

В этом параграфе, а также в § 5.5 и 5.6 мы получим ряд результатов, справедливых в случае, когда все характеристические корни

Ч Если существует р линейно независимых характеристических векторов, то (10) является канонической формой матрицы —В. Более общей является Жорданова каноническая форма, имеющая диагональные блоки вида

~Х 1 о ... о о"

о х i ... о о

О О О ... X 1 _о о о ... о х_ в которых X — корень характеристического уравнения (8). (См. Халмош (1958) йли Тернбулл и Эйткен (1952). Они называют такую форму классической канонической формой.) Каждому из линейно независимых характеристических векторов будет при этом соответствовать ровно один такой блок. (См. упр. 17 и 18.)

матрицы В (или В) лежат в единичном круге. Так как вычисления с использованием общей жордановой канонической формы трудоемки, будем доказывать соответствующие результаты исходя из диагонального характера матрицы Л. Что касается общего случая, то здесь мы предлагаем читателю обратиться к подстрочным примечаниям и к упражнениям.

Из соотношения (9) имеем

(—В)т = САТС-1,

где ’>

(

XJ о ... 0\

0 ° ।

О 0 ... Хр/

Поэтому (7) можно записать в виде

y( = cf Л^-’и^-г.

т=0

Ряд в правой части сходится тогда и только тогда (в среднеквадратичном, см. разд. 7.6,1), когда |Х, |<;1, / = 1, .... р. Действительно,

У/-2 (-Bfu^^-C^ ЛтС-1и/_т —

т=0т=0

-СА^'С-’умн-!).■

В предположении стационарности ковариационная матрица

8yMs+»y;_(s+1) = Г

не зависит ни от t, ни от s. Поэтому ковариационная матрица разности (14) равна

CAs+1C“'F (С-1)' Л$+*С.

Поскольку каждый элемент матрицы (16) является линейной комби* нацией элементов (ХД/)5^1, он будет сходиться к нулю при s -> оо, только когда каждое |XJ < 1 \ (Для того чтобы было верно и

г) В случае когда матрица Л имеет общую жорданову каноническую форму, диагональный блок размера тХ^ матрицы Лт, соответствующий характеристическому корню Хг-, будет иметь следующий вид. Все его элементы, расположенные на / мест выше главной диагонали, равны (у) Xj-"^ / = О, 1, ... , т— 1. Элементы же, расположенные под главной диагональю, равны нулю. (См. упр.

2) В случае общей жордановой канонической формы (ХДу)5^1 заменяются полиномами от s (степени не выше чем 2р—2), умноженными на Х^1—k X^x—l.

обратное, т. е. чтобы условие /XJ < 1, i = 1, .„, р, было также и необходимым для сходимости ряда в (13), требуется невырожденность ковариационной матрицы вектора уг)

Обратимся снова к соотношению (4), представляющему собой векторную форму записи скалярного уравнения порядка р. Покажем, что корни характеристического уравнения (23) из § 5.2. совпадают с корнями уравнения

|В + М| = 0.

Определитель

Pi + X

Рз

Рз ..

•Рр—1

р,

— 1

X

0 ..

.0

0

(18)|В + М| =

0

— 1

X

. 0

0

0

0

0 ..

. X

6

0

0

0 ..

. —1

X

легко вычислить последовательно, прибавляя к каждому (f + 1)-му столбцу Z-й столбец, предварительно умноженный на X, i =* 1, ... ..., р — 1. При этом получим

(19)

Pi + X Р2 4" РА 4~ X2 .

• • Рр + xPp—i 4" • • • 4“ Х^- ^ 4- X-

— 10.

0

0—1.

0

66.

0

= Рр + ^Рр—1 + • • • + ^ !Р1 + ХР,

а это и есть характеристический полином из (23) § 5.2. Поскольку предполагается, что все корни этого полинома лежат в единичном круге, то таковыми же будут и характеристические корни матрицы —В. Отсюда вытекает, что сумма

(20)(20)у, = 5 (-в)т«^т=0

(20)

(20)

является определенной (т. е. ряд (20) сходится в среднем).

Если все корни хь ..., хр различны*, то найдется матрица С, такая, что —В = С А С-1, где

(

xY 0 ... 0 \

0 хг ... 0 \

О 0 ... Хр)

Тогда, как следует из предыдущего, (20) можно записать аналогично (13). При этом первая компонента равна

& = 2 2 cXixyxut_tl

т=0 /=1

где2) (с^) = С-1. Это соотношение эквивалентно представлению (28) § 5.2. Таким образом, представление (28) можно получить еще одним способом. Именно, для этого следует найти матрицу С, столбцы которой являются характеристическими векторами матрицы —В, и использовать (22). (См. упр. 20.)

В случае общего векторного уравнения соотношение (13) можно использовать для отыскания ковариационной матрицы вектора ^t при заданных матрицах В и 2. Действительно (при Ь^ t = 0), искомая матрица имеет вид

^1^ = 2 (-B№_T»;_S(-B') =

T,s=0

= 2 ВТ2Вт = т=0

= С 2 ATC-1 S (С-1)' АТС' = F.

т=0

Здесь *

fM = 2

£ЛЛЛ=1 т=0Рр2 V

унл=х

~ Д 18 1 - ЧМ п’

Если С и Л определяются исходя из матрицы В, то выражение (24) можно упростить: о (0) = ftb ст (1) = fw = fi+u , ... .... ст (р — 1) = hP = fPb

Если умножить (5) на транспонированное (7), а также на транспонированное (7) с заменой в последнем индекса t на t — s, то получим

&М + B§yz-iy; = 2,

^y;_s + BSyz_iy;_s = O, s=l, 2, ... .

Поскольку 8у<_1у/_$ = §y(y<-(S-i), мы можем, действуя последовательно, получить из (26)

Wt-s = (— B)s8yfyi.

Беря последнее выражение при s = 1 и подставляя его в транспонированном виде в (25) вместо Яу/-1Уб получим соотношение

ад-вадв' =2

или

F —BFB'=2.

Решение системы линейных уравнений (29) является, таким образом, еще одним способом отыскания матрицы F. При этом Fo = 2 можно взять в качестве начального приближения и применить итерационный метод, вычисляя последовательные приближения F, = 2 + BFz-iB'. Если В = В и

(

ст2 0 ... 0\

о о ... о/

это даст нам возможность вычисления ст (/г).

В векторное уравнение независимые переменные можно ввести, полагая

(

Т1 Уз ?Д/яи\

° ° ‘‘ ° |, z, = I Z2'|.

0 0 . . . 0 /\ Zqt)

При этом модель принимает вид

уг + Ву/_1 + Гх, = и,

и

У/ = i (- В)тЩ-г - 5 (- В)^- т=0т=0

5.4. ОЦЕНКИ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

В СЛУЧАЕ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИЯ

Одной из первоочередных задач при статистическом исследовании модели стохастического разностного уравнения является оценка коэффициентов 0Ь ..., Рр и дисперсии о2 по наблюдениям отрезка ряда уь ..., ут. Если ut распределены нормально и модель описывается разностным уравнением (1) из § 5.2 для всех /, то набор этих коэффициентов вместе с дисперсией а2 (при Я^ — 0) полностью определяет распределение величин yt. Мы займемся более общей задачей оценки коэффициентов в модели

(1)(1)рq

(1)

(1)

2 Р,^-г + 2 ?<?« = иъ / = 1, ..., г. г=0(=1

Найдем оценки максимального правдоподобия параметров рь ..., РР, 71, • , 7^ и q2* При этом будем предполагать, что величины ut независимы и нормально распределены с нулевыми средними и дисперсиями Wt = о2. Исходное предположение о стационарности процесса мы изменим, полагая (помимо того, что мы ввели в модель переменные Zu\ что наблюдения yt начинаются в точке / = —(р— 1) и ЧТо при этом у_^р_\^ у-^р-^ ..., у0 — заданные известные числа. Тогда совместное распределение величин иъ ..., ат будет полностью определять совместное распределение наблюдаемых величин уъ ..., ут (заметим, что zn, ..., zqX, ..., zXt, ..., zqT — заданные числа). Указанное предположение сделано для удобства отыскания оценок максимального правдоподобия. (В гл. 6 рассмотрены трудности, возникающие при отсутствии такого предположения.) Заметим, что любая процедура оценивания для этой модели является оценкой максимального правдоподобия или ее незначительной модификацией. Во всяком случае при больших Т влияние такого предположения невелико, а в асимптотической теории оно и вовсе не требуется. Оценки максимального правдоподобия и соответствующая асимптотическая теория для рассматриваемой модели были предложены Манном и Вальдом (1943b).

Обозначим

(3)(3)У( + P'y<-1 + v'z( = U t,/ = 1Т.У( + P'y<-1 + v'z( = U t,/ = 1Т.

(3)

(3)

У( + P'y<-1 + v'z( = U t,/ = 1Т.

У( + P'y<-1 + v'z( = U t,/ = 1Т.

Поскольку иъ ..., ит не зависят от у-р-^ ..., Уо, то условная плотность распределения случайных величин иъ ..., ит при заданных значениях у-р-^х, .,., уй совпадает с безусловной и равна

(4)(4)^f'2 ехр( 2,4^f'2 ехр( 2,4

(4)

(4)

^f'2 ехр( 2,4

^f'2 ехр( 2,4

При фиксированных значениях у-р^ь ..., у0 соотношение (3) определяет взаимно однозначное отображение переменных уъ ..., ут на переменные игит. Якобиан этого преобразования есть

(5)(5)dut dys—1 0 0Pl 1 0p2 Pl 10 0 0dut dys—1 0 0Pl 1 0p2 Pl 10 0 0... 0... 0 ... о... 1.... 0... 0 ... о... 1.

(5)

(5)

dut dys

—

1 0 0

Pl 1 0

p2 Pl 1

0 0 0

dut dys

—

1 0 0

Pl 1 0

p2 Pl 1

0 0 0

... 0

... 0 ... о

... 1.

... 0

... 0 ... о

... 1.

Отсюда следует, что при заданных значениях ^-р+ь ..., у0 совместная плотность вероятностей значений уъ ..., ут есть

"йл^" ^р f~ т i (^+Р'у'-1+w •

Если это выражение рассматривать как функцию правдоподобия по отношению к параметрам р и у, то для получения оценок максимального правдоподобия для этих параметров необходимо максимизировать последнее выражение на множестве всех возможных значений Р и у. Для этого в свою очередь достаточно найти значения параметров Р и у, при которых достигает минимума сумма

Т~Г г/~\"]2

5 (^ + Р'У<-1 + v'zz)2 = 5 ^—(—Р' —т')(У/-1 <=i/=1 L\z( /J

Таким образом, мы приходим к обычной задаче наименьших квадратов. Нормальными уравнениями относительно значений Р = р и у = у, минимизирующих сумму (7), будут здесь уравнения

t=l\Xt /\—-у//=1\Z//

Их можно записать в матричной форме следующим образом:

(9)(9)АнАпАнАпАм\ / Р ^ /аоА23Ду/'d.Ам\ / Р ^ /аоА23Ду/'d.

(9)

(9)

Ан

Ап

Ан

Ап

Ам\ / Р ^ /ао

А23Ду/'d.

Ам\ / Р ^ /ао

А23Ду/'d.

где(Ю)где(Ю)т „ „, т „

где

(Ю)

где

(Ю)

ац = 2 у^-’У^р Ai2 = а21 = 2 y,_iz;,

тт~т

а22 = 2 zzz;, а0 = 2 ^У'-ь d = 2 уа-

<=i<=i<=1

Оценкой максимального правдоподобия для а2 будет

(П)(П)о2 = 4" 2 (у< + Р'у<-‘ + v'z<)2-

(П)

(П)

Непосредственно видно, что плотность (6) зависит от значений наблюдаемых переменных через выражение (7). Последнее же равно

2 ^ + 2Р'ао + 2v'd + РАиР + 2Р'А12у + у'А22у.

Т

Отсюда следует, что 2/А, а0, d, Ап и А12 образуют достаточное множество статистик.

В частном случае q = 1, 2^=1 положим у3 = у; уравнения для оценок примут вид

Ра_ а

2 а‘& + ТУ^Ч = — аю- 1 = \,...,р,

/-1

т 2 M^i + ^Т = — Ту,

где т

ам =2 yt-iUt-ь / = 1. • • • • Р*

т

аю = 2 У«-1Ур1 = 1. • • •» Р'

Ту№ = 2 yt-ь1 = 0, 1, ..., р,

и у = у^у Если из /-го уравнения (13) вычесть умноженное на у^ уравнение (14), то получим

2 2 yt-iyt-i—тшч) Р/ =—2 yt-tyt + ту^

/=i l<=ij /=1

t = 1, ..., р.

или, что равносильно, р т__ л г__

2 2 ^1—у^Нун—у^ Р/ =—2 ^у^—«^ ^t—yV i=\ /=i<=i

/ = 1, ..., р.

Суммы по t в (19), соответствующие одному и тому же значению разности (i — /), отличаются только добавлением или вычитанием крайних членов. Эти суммы можно различным образом видоизменять, Например, можно вместо (19) записать уравнения

(20)2 CHbi = - Ch * = 1»- Р.

/=1

f СА = “^ i=L-P,

р

Z^LA"^’ / = 1, р.

/=1

Из соображений удобства и для согласования с последующим изложением определим входящие сюда величины следующим образом:

**\ т—п __

Ch = C_h =2 <У« - У^ ^ ~ У^’

й = 0, 1, Т—1,

c*h - < ft = 1 £ (^ - У) (у^ - у)»

Л — 0, 1, Т— 1,

т

= chlcX К = 0, 1,.., Т — 1, и у = ^yt/T. Отметим, что (22) получается из (21) делением всех 4 на с^

Если Т относительно велико, то различие между уравнениями максимального правдоподобия (19) (при наблюдениях t/-P+i, ... ..., ут) и уравнениями (20), (21), (22) (включающими только наблюдения уъ ...» Ут) становится незначительным. При этом последние уравнения обладают большей симметрией. Каждая диагональ матрицы коэффициентов состоит в этом случае из одинаковых элементов. Что касается правых частей, то они образованы из тех же элементов, к которым добавляется еще один.

(25)R* =

^-2

,Г* =

г\

Если обозначить

то (22) можно записать в виде

R*b =— г*.

(26)(26)Решением уравнений (26) будет b = —(R*)-1r*< Эти уравнения обладают тем преимуществом, что они используют лишь р статистик, а матрица R* является положительно определенной. (Матрицу R* можно рассматривать как пропорциональную матрице, у которой элемент, находящийся на пересечении i-й строки и

(26)

(26)

/-го столбца, равен 2 (Уш— У^ (У<-Н — У\ и разность yt^i — у t=-p

полагается равной нулю при t + i < 0 и t + i > Т.) Кроме того, матрица R* симметрична и относительно главной диагонали и диагонали, идущей из левого нижнего в правый верхний угол матрицы.

Специфическая форма R* и г* приводит к простому рекуррентному способу вычисления коэффициентов уравнения (р + 1)-го порядка по решению соответствующего уравнения р-го порядка. Уравнения относительно вектора коэффициентов уравнения (р + + 1)-го порядка, который мы обозначим b (р + 1), имеют вид

(2?) R;+1b(p+ 1) = -г;+1,

(28) RJ+i = n Гр v; 1.(28) RJ+i = n Гр v; 1.Ь(Р+1) =Ь(Р+1) =[b(l)(p+ 1) \ (6р+1 (р + 1)) ’[b(l)(p+ 1) \ (6р+1 (р + 1)) ’где

(28) RJ+i = n Гр v; 1.

(28) RJ+i = n Гр v; 1.

Ь(Р+1) =

Ь(Р+1) =

[b(l)(p+ 1) \ (6р+1 (р + 1)) ’

[b(l)(p+ 1) \ (6р+1 (р + 1)) ’

Rp и Гр задаются соотношениями (25), а Гр — (гр, Гр_ь ..., и)'

есть просто Гр с координатами, записанными в обратном порядке. При этом (27) распадается на два уравнения

Rpb( (р + 1) + Vpbp^\ (р 4- 1) — Гр,

^(Р + П + бр+нр+п^-^+ь

Исключив Ь<*> (р +1) из (29) и (30), получим

»,+, (,+ 1)--,

1 — Гр^р) ‘ГР!+ ГР Ь(р)

где вектор b (р) = (Ьр (р), Ьр_\ (р), ..., Ьх (р))' получается из вектора b (р) изменением порядка его координат на противоположный. Подстановка (31) в (29) дает

ь(,) (р +1)=- (r;)-1^ - (r;)-1 7pbHv (р +1) =

= b(p) + b(p)6p+,(p+ 1).

В покомпонентной записи (31) и (32) имеют вид

£н + 2 ^+1—A w (33)bp+1 (p + 1) =^,

+ X r*ibi W

bi (p + 1) = bs ^ + bp^_j (p) bp+x (p + 1),

/= 1, p.

Полученные уравнения позволяют легко вычислять оценки для процесса заданного порядка. Промежуточные вычисления дают коэффициенты для всех процессов более низкого порядка. В § 5.6 будет показано, что bp^x (р + 1) есть частная корреляция между tit и ^+р+ь «при фиксированных величинах у^х, ..., yt^- Этот метод соответствует стандартному методу добавления в уравнение регрессии независимой переменной. Упрощенные формулы для этого случая были предложены Дурбином (1960а).

Мы уже замечали, что уравнения (9) для оценок коэффициентов стохастического разностного уравнения формально совпадают с уравнениями, используемыми в методе наименьших квадратов. В случае обычной регрессии оценки наименьших квадратов являются наилучшими несмещенными линейными оценками. Получаемые здесь оценки не линейны по уг Обращаясь к уравнениям (9), Дурбин (1960b) назвал их линейными (относительно оценок) и несмещенными, в том смысле, что при замене в (9) оценок на истинные значения параметров математические ожидания правой и левой частей совпадают. В пределах такого класса уравнения (9) являются наилучшими в том смысле, что дисперсия разности правой и левой частей минимальна.

АСИМПТОТИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ ОЦЕНОК МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Обсуждение асимптотических свойств

В этом параграфе мы покажем, что оценки максимального правдоподобия, полученные в § 5.4, состоятельны и асимптотически нормальны при неограниченном возрастании периода наблюдений. Хотя доказательства оказываются здесь более сложными, соответствующие условия и результаты подобны сформулированным в теореме 2.6.1 и следствиях 2.6.1, 2.6.2 для оценок наименьших квадратов. В связи с этим при больших выборках и в настоящем случае можно целиком использовать обычную технику регрессионного анализа.

В § 5.3 было показано, что скалярное стохастическое разностное уравнение порядка р можно рассматривать как частный случай р-компонентного векторного стохастического разностного уравнения первого порядка

(О у^ + Ву/^ =и„

где

(2)

Здесь В — матрица коэффициентов размера р X р, 8и, = О, (Su^u/ = 2, и, независимы, а характеристические корни матрицы —В лежат в единичном круге. Уравнения, из которых определяются оценки максимального правдоподобия для скалярной модели произвольного порядка, являются частным случаем уравнений, используемых для получения таких оценок в векторной модели первого порядка:

4- 5 yt-iy^B' = — 4" 5 у^-^р

/=1*=1

2 = 4" 2 (У/ + By/-i) (у, + By,-!)'.

/=1

Если и, распределены нормально, а у0 считается заданным вектором, то В, определяемая из (3), есть оценка максимального правдоподобия. Нам будет удобно сначала получить асимптотические свойства этих оценок, а затем уже перенести полученные результаты на случай скалярного уравнения р-го порядка.

Прежде всего мы покажем, что с точки зрения асимптотической (при Т -> оо) теории, случай, когда (1) выполняется при t = 1, 2, .«., а вектор у0 фиксирован, ничем не отличается от случая, когда (1) выполняется при всех t (t = ..., —1, 0, 1, ...). Затем будет показано, что оценка В состоятельна и асимптотически нормальна. Далее находятся дисперсии и ковариации предельного распределения и показывается, что их можно состоятельно оценить. Эти результаты будут распространены на модель скользящего среднего, а также на модель стохастического разностного уравнения, в которой возмущение является скользящим средним.i

При проведении доказательств предполагается, что все характеристические корни скалярного стохастического разностного уравнения различны и что в векторном случае матрицу —В можно привести к диагональному виду. Однако соответствующие результаты будут иметь силу и без этих предположений. Важно только, чтобы характеристические корни лежали в единичном круге. Указания на необходимые изменения в доказательствах вынесены в подстрочные примечания.

Асимптотическая эквивалентность выборочных моментов второго порядка двух процессов

т ,

Рассмотрим сумму 2у^» в которой ур t = 1, ..*, Т, порождается с помощью (1) при заданном у0, так что

^^(-Вуи^ + НВ/у».

s=0

7

Наряду с ней рассмотрим сумму 2У/У/ ,в которой у/ удовлетворяет соотношению (1) при всех t = ..., —1, 0, 1, .i$, так что

y;=5(-B)su^

.s=0

ТТ

Покажем, что матрица 2 У*У* — 5 У^> нормированная делением

на V? или на Т, сходится по вероятности к нулевой матрице.

Из (5) и (6) следует, что у/ — у, = (— В/ (уо — у0), где

y^2(^B)su_.

s^3

Поэтому

тт

2у<уГ — Ы = /=1/=1

= 2 (— В)‘ (Уо — у о) У/ + 5 у, (уо — Уо)' (— В'/ +

+ f (-вУ(У;-уо)(У;-уоу(-в'у.

^=1

Сумма математических ожиданий квадратов элементов матрицы т

^ (—В)' (уо — Уо) У< равна

д§2 (-влУ;-у0)у;[2 (-B)4yS-y0)yJ =

/=iLs=i

- tr$ 2 (- в/ (уо - Уо) у;у$ (у; - Уо)' (- в')4 = /,s=l

= 2 1г[(-ВУ(Р + уоУо)(-В'Л§у;у5, /,s=l

в силу того, что вектор Уо (зависящий от u0, u_i, ...) нс зависит от уь •••, Ут (поскольку последние зависят только от иь ..., Ur) и §УоУо = F.

Лемма 5.5.1. Для любого X, большего абсолютной величины максимального по абсолютной величине характеристического корня матрицы —В, найдется такая константа с, что все элементы матрицы (—В/ будут меньше сХ‘, t = 0, 1 ।

Доказательство. Матрицу (—B)z можно записать в виде

(—В^СД'С-1,

где матрица Л диагональная и ее диагональ состоит из характерис- тических корней матрицы — В, а С — невырожденная матрица. В качестве указанной константы с можно взять ^ произведение следующих трех чисел: порядка р, максимального абсолютного значения элементов матрицы С и максимального абсолютного значения элементов матрицы С-1. ■

О В случае общей жордановой канонической формы при | X/1 < К найдется константа к^ такая, что ф Х^ < к^. При этом в с будет входить шах к^. (См. упр. 17.)1

Поскольку

ЗД = 2 (- В)'2 (- в'/ + (- В)' УоУо (- в'/. г=0

для Х< 1 и удовлетворяющих условию леммы 5.5.1,

Nt'it = tr ^tyt «^ ^ сЧ?р3 max | оч | + ^Х^р^Уо = г=0

= с4р3 max I ом I -^у— + с2Р2УоУо^а <

где с — константа из леммы 5.5.1. Оценивая | &ytys| произведением V^t У^у, и используя для оценки последнего неравенство (12), мы можем оценить абсолютную величину второго из сомножителей, стоящих под знаком суммы в правой части (9).

Что касается первого сомножителя, то его абсолютная величина ограничена значением 7<V+S, где К равно произведению с2, р3 и максимума абсолютных значений элементов матрицы F + уоуОе Поэтому

^М-^Р + уоУоИ-ВУ^^^^ «-^г-

Таким образом, правая часть (9) нс превосходит некоторой нс зависящей от Т постоянной. Отсюда и из неравенства Чебышева следует, что первая и вторая суммы в правой части (8), нормированные делением на ]/Т, сходятся по вероятности к нулю.

Третья сумма в правой части (8) является положительно полу- определенной. Ее математическое ожидание равно

gf (_в/(у^у0)(У;-у0)'(-В')/ =

= 2 (—B/tF + y^X—В'У.

След этой матрицы ограничен произведением р3, максимального абсолютного значения элементов матрицы F + уоуо и Х2с2 (Г— — Х2Г)/(1 — X2), так что он равномерно ограничен по Т. Применение неравенства Чебышева в форме, используемой для неотрицательных случайных величин, показывает, что сумма диагональных элементов матрицы, представляющей третью сумму в правой части (8), деленная на ]/Т, сходится по вероятности к нулю. По-

скольку эта матрица положительно полуопределенная, отсюда следует, что вообще все ее элементы сходятся по вероятности к тт

нулю. Таким образом, показано, что разность 5У/У/ —S У/Уб_/=1

деленная на КЛ сходится по вероятности к нулю.

• Рассмотрим теперь разность

i yt.yr-f y/-iy;= t=l/=1

—2 y#-i tyLi (— в') + и<1 =

/=1

(-ву +

+ 5 M-. —У'-0 **Г/=1

Сумма математических ожиданий квадратов элементов второго слагаемого правой части равна

tr§ 2 (-В/~‘(У0-Уо)иЧ(Уо-Уо)'(-В')5-1 = /,s=l

= (tr 2) 2 tr (- В/-1 (F + у^) (- В')'-1

и ограничена произведением чисел tr 2, р3, максимального абсолютного значения элементов матрицы F + УоУо и с2(1 —Х27)/(1—X2). Поэтому она равномерно ограничена по Т. Отсюда следует, что второе слагаемое правой части (15), деленное на VT, сходится по вероятности к нулю.

Поскольку

(17)(17)■ тт

(17)

(17)

2 у21У21 - 2 У'-'У/-!

J=1и

- тт■

2 У&*' — 2 У/У/ + УоУо' - УгУт — УоУо + УтУт _t=\t=l

и последние четыре члена в правой части последнего соотношения сходятся по вероятности к нулю, то левая часть (17) сходится к нулю. Объединяя этот результат с предыдущим, получаем, что разность (15), деленная на V 1\ сходится по вероятности к нулю.

Теорема 5.5.1. Пусть процесс {у,} удовлетворяет соотношению (1) для t = 1, 2, ..., у0—фиксированный вектор, а процесс {у^} удовлетворяет соотношению (1) для всех t = ..., — 1, 0, 1, ..,; кроме того, случайные величины uz независимы, §uz = 0, Ли^щ == S и все характеристические корни матрицы —В лежат в единичном круге. Тогда

(18)

plim

T-*CQ

"1TJT-

ут

= о,

(19)

Plim vt 2 у2,у?v? S

r-.oo 1 > ; /=1r ' /=iJ

= 0,

(20)

Г i 7i 71

P1,m VT 2 У^* VT 2 y^

/ —► ОО^_jу 1 ^=1

= 0.

Смысл этой теоремы заключается в том, что. асимптотические свойства матриц В и S (состоятельность и асимптотическая нормальность) будут одними и теми же и для процесса {yj, и для процесса {у/}. Иметь дело с процессом {у^} более удобно, поскольку он является стационарным.

Состоятельность оценок максимального правдоподобия

Покажем теперь, что матрица коэффициентов при оценках максимального правдоподобия в (3) сходится по вероятности к некоторой невырожденной матрице, матрица в правой части (3) также сходится по вероятности к некоторой матрице и что результирующее уравнение имеет в качестве единственного решения матрицу параметров В. В этом разделе обозначение у, будет указывать на то, что процесс удовлетворяет (1) при всех / = ..., —1, 0, 1, ♦ .., так что

У/= 2 (—B)su/_s, t=..., -1, 0. 1

S=s0

И

Wt = i (-B)sS(-B')s = F.

s=0

Лемма 5.5.2. Пусть случайные векторы un u2, ... независимы, ^ = 0 и §uzu/ = 2. Тогда если и( одинаково распределены или ^\иц\2*8<, т, i = 1, ,.., р, t = 1,2, ,.., для некоторых е > 0 и т, то

1 г

plim-i-^ uX = 2l

Доказательство. В случае одинаково распределенных случайных векторов утверждение леммы следует непосредственно из закона больших чисел для одинаково распределенных случайных величин, применяемого к каждой компоненте уравнения (23). При выполнении второго условия элемент матрицы uzti/, стоящий на пересечении i-й строки и /-го столбца, именно uuUjt, имеет математическое ожидание оц и при этом

S| uuuit|1+е/2 < VW^W4 tn.

Утверждение леммы вытекает в этом случае из закона больших чисел, известного под названием теоремы Маркова. [См, Лоэв (1963, § 20.1).] е

Лемма 5,5.3. Пусть у, определяется соотношением (21), все характеристические корни матрицы —В лежат в единичном круге, случайные величины и, независимы и 8и, = 0, 8и(и< = 2. Тогда

plimy2 и(у;_] =0.

Доказательство. Сумма математических ожиданий квадратов т

элементов матрицы (1/ЛЗи/У/-1 равна

1 Т1 г

tr 8 у 2 ys_! u; у 2 и/У;_, = s=lf=l

Т1 Т

= -тГ 2 ^trys-iu^zy;-! =-тг2 WM-tft-' = 5,^=1Ы

= trStrF=~trStrF

в силу того, что ^у5—lUsU^y^—i = 0 при t Ф s (поскольку us не зависит от ys_i и u^y/_i при s > t и и, не зависит от остальных сомножителей при s < /)• Утверждение леммы следует из неравенства Чебышева. а

В соответствии с леммой 5.5.3

(2?) plim Гу- 2 у,у;_! + В у- 2 У/-1У^ = 0»

Т-.оо [^t=lJ

а в соответствии с леммой 5.5.2

(28) plim(28) plimт, т. т

(28) plim

(28) plim

У 2 V#i + В у 2 У#—iy; + у 2 у^В' +

+ ву 2У,-1У;_1В' =2.

Если вычесть из (28) произведение (27) на В', а также произведение В на транспонированное соотношение (27), то получим

(29)(29)ттттplim у 2 у,у; — В 4" 5 УМВ' = 2.г-°° L <-1i=i .plim у 2 у,у; — В 4" 5 УМВ' = 2.г-°° L <-1i=i .

(29)

(29)

т

т

т

т

plim у 2 у,у; — В 4" 5 УМВ' = 2.

г-°° L <-1i=i .

plim у 2 у,у; — В 4" 5 УМВ' = 2.

г-°° L <-1i=i .

Здесь использован тот факт, что разность

1 т 1 71

у 2 у/у,—у S y'-'Yi-i = у (угуг—уоу^

сходится по вероятности к нулю. Поскольку уравнение

(31)(31)А —ВДВ' = 2

(31)

(31)

имеет единственное решение относительно А (см. упр. 27), то (29) г , определяет предел по вероятности матрицы (1/7')2У/У< и этот

предел равен (22).

Теорема 5.5.2. Пусть yt определяется соотношением (21} для t = 1, 2, ... , причем все характеристические корни матрицы—В лежат в единичном круге, а случайные величины и, независимы и 8и, = 0, §uzu/ = 2. Пусть, кроме того, и, либо одинаково распределены, либо §\и«\2+е < т, t = 1, .... р, / = 1, 2, .... для некоторых 8 > 0 и т. Тогда

plim 2- f У,у; = plim -^ f yi-W-i = F, ' Z=I - t=x

где F задается соотношением (22).

Лемма 5.5.4. Если матрица 2 положительно определена, то такова же и матрица F.

Доказательство. Матрица F, во всяком случае, будет положительно полуопределенной как ковариационная матрица. Поскольку же Г = 2 + BFB', она является положительно определенной как сумма положительно определенной и положительно полуопрет деленной матриц. (См. упр. 28). в

Теорема 5.5.3. Пусть выполнены условия теоремы 5,5.2 и матрица F положительно определена. Тогда

plim В = В,

Т-^оа

plim 2 = 2.

Доказательство. Для доказательства (33) заметим, что / 1 т\-1

plim В' — В' = plim -у- 2 y/-iyLi X

Г-юоу

х f J- 2 y<-iy,jc 2 у<—1У<—i®

\ f=lt=l

/ 1 Т Vх \ т

= — plim -у 2 У^У^ у 2 У<-1и/ = °-

Тогда (34) вытекает из представления

2 = А 2 (yz + By,_i) (у, + Вуг-О' =

11 71 7

у 2 У/У/ + ®у 2 у/—iy/ 4* у 2 У/У/—1® 4*

+ в у 2 у<-1У<-1®'>

и из соотношений (28) и (33). е

Теорема 5.5.3 показывает, что указанные оценки для В и 2 состоятельны при довольно общих условиях, в частности более общих, чем те, при которых они являются оценками максимального правдоподобия. Мы выбрали эти условия потому, что они относительно просты и тоже приводят к асимптотической нормальности. Предположение о том, что все характеристические корни лежат в единичном круге, не является необходимым для состоятельности оценки матрицы В. Однако оно необходимо для общей теоремы об асимптотической нормальности. (См. Т. Андерсон (1959).)

Чтобы доказать состоятельность оценок для скалярного уравнения порядка р, остается показать невырожденность матрицы F.

Лемма 5.5.5. Если о2 > 0, то матрица

F = 2 BsSBs,

SiesQ

положительно

определена, где

о2

0

0 .

.. О'

■ 01

02

0з

. 0р"

0

0

0 .

.. 0

-1

0

0 ..

0

(38) 2 =

0

0

0 .

.. 0

, в =

0

— 1

0 ..

0

_0

0

о .

•• 0_

0

0

0 ..

0_

Доказательство. Если для некоторого х оказывается, что

то при этом должны выполняться соотношения

О = x'Sx = xfo2,

(4°)

О = x'BsS(x'Bs)', s=l, 2, ,

Но из последних непосредственно следует, что хг = 0 и равны нулю первые компоненты векторов x'Bs, s = 1, 2, ... . Первая же компонента вектора х'В равна —х2, так что х2 = 0. Подобным же образом показывается, что равны нулю все компоненты вектора х. Итак, если x'Fx = 0, то обязательно х = 0, что и требовалось доказать. в

Теорема 5.5.4. Пусть yt определяется соотношением (1) из § 5.1 для t = ..., —1, 0, 1, ..., причем все характеристические корни этого уравнения лежат в единичном круге, а случайные величины щ независимы и ^и = 0, Wt = о2 > 0. Пусть, кроме того, ut либо имеют одинаковые распределения, либо S | и, | 2+6 < т, t = 1, 2, ..., для некоторых е > 0 и т. Тогда

plimp = Р,

Т -юо

plim о2 = о2.

Т->оо

Асимптотическая нормальность оценок

Предельное распределение матрицы

ГТ(В'-В') = -Г7’(4-2 y^y;J ‘т^У'-1^

(39)(39)x'Fx = 2 x'BSBx = О,s=0x'Fx = 2 x'BSBx = О,s=0\ 1=1/1=1

(39)

(39)

x'Fx = 2 x'BSBx = О,s=0

x'Fx = 2 x'BSBx = О,s=0

совпадаете предельным распределением матрицы—F-1 (1/J/T) X г .

X 5 У<-1и<- Покажем, что предельное распределение произвольной линейной комбинации элементов последней матрицы, напоимер

11 т

8т = у=- 5 и;Фу/_ь

является нормальным.

Положим

У^ = 2 (— B/u^s,

5=0

w

1Тоо

2(-B)4-!-s.

Г 1/=15=^+1

Тогда

№ = 4 2 5 ^(-B)su/_i-su^(-B)°uT_1_0 = /,Т=1 S,G=H1

=4" s 5 ^ tr (— b)s u/_i_su;_i_0 (- в)°Ф'ити;Ф= /,Т=1 S,G=fc-H

= 4 2 S tr(— B)’S(— В')Ф 2Ф-

Z=1 S=:&4-1

= кФ 2Ф 2 (—B)sS(—BT^^.

s=^+l

(Здесь использовано соотношение х'х = trxx'.) Поскольку ряд

5 (—B)s 2 (—B')s сходится, то Мк -> 0 при к -> оое Для фикси- 5=0

рованного к случайная величина

к

и;Фу^1 = u;®2 (-B)suw_s

5=0

имеет нулевое среднее и дисперсию

S ^ и,Ф (- В)$и,_1_5и<Ф (- B)r uz_!_r = s,r=0

к

= 2 tr (— B)s 2 (— B')s Ф'2Ф = of.

■5=0

Ковариация двух таких величин, взятых в точках t и т (/ ^= т), равна

8 2 и<Ф(— B)su^i_suTO(— В)Ч-1-г = 0, т^/.

s,r=0

Кроме того, последовательность {и^Фу/^i} обладает тем свойством, что любое конечное подмножество ее элементов, соответствующих значениям / = ^, ... , tn ^ < ... < ttv не зависит от элементов, соответствующих / с — к — 1 и t > tn + к + 1. Использование теоремы 7.7.5 приводит к следующей лемме.

Лемма 5.5.6. Пусть ^ определены соотношением (45), причем случайные величины uz независимы и одинаково распределены с нулевыми средними и ковариационными матрицами SuzU/ = 2. Тогда распределение случайной величины ZkT, определенной соотношением (46), (52)Рг ^ZkT< 2} = FkT, (2)

имеет при Т оо предел

Пш^г(2) = Ф^),

где

Ф (и) = С —U- e-№2/2dM),

J у 2л

а а к указаны в (50).

Далее,

lim Of—^Ф/—V

Х ’к->=о\°к )\ а )

где

о2 = lim о2 = tr 2ФРФ'.

к-ЮО

Здесь мы используем следствие 7.7.1.

Лемма 5.5.7. Пусть выполнены условия леммы 5.5.6 и характеристические корни матрицы —В лежат в единичном круге. Тогда случайная величина St, определенная в (44), имеет в пределе при Т —> оо нормальное распределение с нулевым средним и дисперсией а2.

Применение теоремы 7.7.7 приводит к искомому результату. Матрицу с элементами f^akl обозначим для краткости F 0 2. Это есть кронекерово произведение матриц F и 2.

Теорема 5.5.5. Если выполнены условия лемм 5.5.6 и 5.5.7, то _ Т

(1/КТ) 5 У/—1U/ имеет в пределе нормальное распределение с нуле- вым средним и ковариационной матрицей F 0 2.

Теорема 5.5.6. Пусть {yj — последовательность случайных векторов, удовлетворяющих уравнению (1), в котором, и, — независимые и одинаково распределенные случайные векторы с §uz = О и %xxt\it = 2, и пусть характеристические корни матрицы —В лежат в единичном круге, а матрица F положительно определена. Тогда У"Т (В' — В') имеет в пределе нормальное распределение с нулевым средним и ковариационной матрицей F-1 ® 2.

Доказательство. Этот результат вытекает из теоремы 5.5.5 и (43). (См. упр. 29.) в

Теорема 5.5.7. Пусть {^} — последовательность случайных величин, удовлетворяющая уравнению (1) из § 5.1 для t = ..., —1, О, 1, ..., и пусть корни характеристического уравнения, соответствующего (1), лежат в единичном круге, а случайные величины ut независимы и одинаково распределены с нулевыми средними и дисперсиями о2. Тогда УТ ф— Р) имеет в пределе нормальное распределение с нулевым средним и ковариационной матрицей о2?-1.

В формулировках теорем 5.5.6 и 5.5.7 условие одинаковой распределенности случайных величин можно заменить условием равномерной ограниченности их моментов порядка 2 + в или использовать вместо него условие типа Линдеберга.

5.5.5. Случай неизвестного среднего

Предположим теперь, что векторное разностное уравнение имеет вид

у, + Ву/_) + v = и,'

или, что эквивалентно,

(у, — ц) + В (у^ — ц) = и,,

где

v =— ц — Вц.

Тогда будут

(60)

(61)

уравнениями максимального правдоподобия для В, v и S

S = 4" 5 (Уг + ®У'-‘ + v) (У< + ®У<-« + *)'♦

Уравнение (60) приводит к следующей паре уравнений: / 1 т ,_( х т_\

— 2 yz-iy^ — yU)y(1) в = - — 2 ^-^i ~У(1)У ’

\6=1/\6=1/

v = — у — Ву(|),

— т _ т

где у = (1/7) 2 У< и у(1) = (1/7) 5у«-ь Мы хотим показать, что <=i<=i

асимптотическое поведение оценок В, являющихся решениями уравнений (62) и (3) соответственно, одинаково при ц = 0. Для этого достаточно в свою очередь показать, что при ц = 0 величины КТущУц) и УТуоУ' сходятся по вероятности к нулю.

Рассмотрим сначала случай, когда (57) выполняется для t =...,—1, 0, 1При этом

y^n + ft-B)8^,

s=0

гак что Sy, = Ц. Ковариационная матрица векторов у? и у<- для / < V есть

S (у;-Ц) (у;,-,*)'= 2 (-B)s^_sU;._H-B')s' =

s,s'=O

= 2 (— B)s 2 (— B')s+Z'-1 = F (— В/Ч s=0

Отсюда следует, что

т^ (у* - И) (у* _ ^'=4- % 2 (у; - и) (у; -иг =

U'=l

= F + -L 2 (Т - s) F (- В')5 + 4" 2 (Г - s) (- B)s F s=ls=l

и сходится при 7 -> оо к

lim Tg^-^-^'-F+Fyt-Br + St-B)^^ S=1S=1

= F + F(-B')(1 + B')-1 +

+ (I + В)-1 (- В) F =

= F (I + В')"’ + (I + B)-’F — F.

В силу неравенства Чебышева У7 (у * — g) (у * — |*)' сходится по вероятности к нулевой матрице.

В случае когда (57) выполняется только для t = 1, 2, ... и у0 — фиксированный вектор,

У, = ^ + (~ В/ (у0 — р) + 2 (— В)$

s=0

Разность между у?, определяемым (64), и yz, определяемым (68), равна

(-в/[У;-(у0-ц)ь

где уо задается соотношением (7), так что соответствующая разность между УТ/ и УТ^ равна

y^f (-В/[Уо-(Уо-Н)1.

Сумма же математических ожиданий квадратов элементов матрицы (70) сходится к нулю.

Из приведенных результатов следует, что VТ y<i) y<i) и V"Т У(1)У' сходятся при ц = 0 по вероятности к нулю и во втором случае. Оценки В для обеих моделей, определяемые (62) и (3), имеют одинаковые асимптотические свойства.

Теорема 5.5.8. Пусть yt определяется соотношениями (64) или (68), в которых uz независимы и одинаково распределены с <luz = =0, <Suzu/ = S, и все характеристические корни матрицы —В лежат в единичном круге. Тогда предельное распределение случайной величины VT (у — ц) нормальное, имеет нулевое среднее и ковариационную матрицу (67).

Доказательство. Пусть St = K^V (у — g), уР} равно правой т

части (45) плюс g, ZkT = (1//Г) 5ф' (уР} — и), XkT = ST — ZkT. /=1

г—1г—1Тогда, если yz определяется соотношением (64), то

г—1

г—1

8X2feT = Ф' (- B)*+1 F + 4- 5 (Т - s) F (- В')$ + s=l

4- 2 (Т - s) (- B)s f1 (- В')6+’ф.

Правая часть (71) сходится к нулю, когда к -> оо. Используя теорему 7.7.5, находим, что Z^t имеет в пределе при Т -> оо нормальное распределение с нулевым средним и дисперсией, сходящейся при к-* оо к некоторой постоянной. Применение следствия 7.7.1 приводит к заключению о том, что St имеет в пределе нормальное

распределение. Поскольку вектор ср был произвольным, то последнее означает нормальность в пределе случайного вектора УТ^— pi). Если у, определяется соотношением (68), то надо использовать (70) и еще раз применить следствие 7.7.1. в

Скалярное стохастическое разностное уравнение порядка р можно записать в векторной форме, беря в качестве v вектор v, у которого отлична от нуля и равна v только первая компонента.

Действительно, уравнения (60) для модели (57), в которой В заменяется на В, у, на у, и и, на и0 показывают, что при этом необходимо должны равняться нулю последние р — 1 компонент v. Тогда из (59) будет следовать, что все компоненты вектора pi р

равны р = v/(l + 2 ^jY Применяя полученные результаты для этого случая, находим, что УТ (у — pi), имеет в пределе^ распределение, совпадающее с предельным распределением УТ (у — р) е, где е = (1, .,., 1)'.-

Случай фиксированных переменных

Оценки максимального правдоподобия были получены у нас для модели

(72)(72)ря

(72)

(72)

у ^syt_s + 2 ТА/ = uv

s=0/=1

Она может рассматриваться как частный случай /7-компонентной векторной модели

(73)(73)У/ + By^-i +rz, = uzУ/ + By^-i +rz, = uz

(73)

(73)

У/ + By^-i +rz, = uz

У/ + By^-i +rz, = uz

(74)(74)1*-у 2 у<-1У, /=11 т./=1.1*-у 2 у<-1У, /=11 т./=1.

(74)

(74)

1*

-у 2 у<-1У, /=1

1 т

./=1.

1*

-у 2 у<-1У, /=1

1 т

./=1.

в которой Г — матрица размера р х q, состоящая из констант, и zt = (zn, ... , zqiY. Оценки максимального правдоподобия для В, Г и 2 определяются из соотношений

- 1 7,1 т ,А ■

2 У/-1У/-1 у 2 У'-12/ в' /=1/=1

1 Тv т„

^2 ZA Г

— /=1/=1_ _ .

<75) S = -L 2 (У^ + By<-i + Fzz) (у, + Ву/^i + Гв,)'.

Асимптотическая теория, развитая для В и 2, определяемых уравнениями (3) и (4), может быть распространена и на В, Г, 2, определяемые из (74) и (75). Однако подробно изложить такую теорию довольно сложно. Поэтому мы наметим ее лишь в общих чертах. (См. Т. Андерсон и Рубин (1950), а также Купменс, Рубин и Лейпник (1950).)

Если (73) выполняется для / = 1, 2, ... и у§— фиксированный вектор, то

у, = 2 (- ВГ щ_ь + w, + (- В/уо,

5=0

где

wz=-2(-B)Tz^s.’

s=0

Если (73) выполняется для всех / = .„, —1, 0, 1, ,.. и zz = 0 для t = 0, —1, .„, то решение (73) будет иметь вид

y^fl-B^+w,.

s=0

Разность у? — yz равна при этом (—В)' (уо — у0), где уо определено в (7).

Теорема 5.5.9. Пусть у, определяется соотношением (73) для t = 1, 2, ... при фиксированном векторе у0, а у< определяется тем же соотношением (73) для всех t = .„, — 1, 0, 1, ,,, , Пусть при этом случайные величины и, независимы, §и, = 0, 8uziit = 2, а характеристические корни матрицы —В лежат в единичном круге. Тогда, если zz = 0 для t = 0, —1, ... и г^ <N, t = \,2, ... для некоторого N, то справедливы соотношения (18), (19), (20) и

(79)(80)(79)(80)^±[77 S у,-’г' ”77 g у'^] - °’НтНх-тНлФ0'

(79)

(80)

(79)

(80)

Доказательство. Мы имеем тт

(во ^уХ-^у,у:-

=i(-B)4y;-y0)[s\-B^f=115=0

+ 2(—В)'(Уо —Yo)w/ +

/=1

+ 2 wz(y;—Уоу (~в'/ +

+ 2 (- ВУ (Уо —Уо) (уо -Уо)' (- В'/.

Первый, третий и пятый члены в правой части, деленные на ]/Т, сходятся по вероятности к нулю в силу доказательства теоремы 5.5.1. Сумма математических ожиданий квадратов компонент второго члена равна

tr § 5 (— В)' (уо — у0) wzwz- (уо — у»)' (— B'f = t,v=\

= 2 wzWrtr(-B),(F + yoyo)(-Bf.

ur-=\

Поскольку I WZWZ'| < VWtW( VWt-Wf,

wiw,= 2 zLsr(-B')s(-B)s'rzz_s.

s,s'=O

и каждый элемент вектора z, меньше УМ, то сумма (82) равномерно ограничена (по лемме 5.5.1). Из этого следует, что разность (81), деленная на Ут, сходится по вероятности к нулю.

Рассмотрим теперь

2- 2 У'-^ = f (~ В/-1 (yS -у0) zz.

/=1^1

Сумма математических ожиданий квадратов компонент (84) ограничена по тем же причинам, что и выше (надо только wz заменить на zz). Это доказывает (79).

Далее,

(85)

2 у;.* -2 y^-iz; ]г'+2 <у;_1—у^-о «;■

Сумма математических ожиданий квадратов компонент последней матрицы также равномерно ограничена. (См. доказательство теоремы 5.5.1.)

Наконец,

2$- 5 У^-В^УЬ^ — 2У<-^ .

Таким образом, теорема доказана. н

Как и в разд. 5.5.2, асимптотические свойства оценок В, Г и S (при соответствующих предположениях) одинаковы и для у6 определяемого (73) при t = 1, 2, .». с фиксированным вектором у0, и для у/, определяемого (73) при всех t = ..., —1, 0, 1, ... . В связи с этим мы в дальнейшем будем рассматривать только последний случай, используя обозначение у, для (78).

Лемма 5.5.8. Пусть yt определяется соотношением (78), в котором и, независимы, Ни, = 0, Яи^и/ = 3, а матрица —В такова, что все ее характеристические корни лежат в единичном круге. Тогда, если г^ ^N^ t = 1, 2, ее. , для некоторого N, то

' (87)(88)' (87)(88)Тplim у 2 и/У^1 = °.Т-*со 1

' (87)

(88)

' (87)

(88)

1 трИт Т 5 и<2< = 01

Доказательство. Сумма математических ожиданий квадратов компонент допредельной матрицы в (87) равна

уг 1г 2 ^z-iu^z^, = -^ tr 2 tr 2 gyz-iy^ =

= 4" tr 2(trF + у-2 w;_jWZ_i) \'=1/

и сходится к нулю при Т —> оо. Сумма математических ожиданий квадратов компонент допредельной матрицы в (88) равна

4» tr f Wtxt>ut, = у» tr 2 4 z^ < 4" tr 2 N

и также сходится к нулю, в

Из леммы 5.58 вытекает, что

(91)(91)plimT-vooplimT-vooГ 171 т1 ту2 ум-j + в т 2 y^-'y^i + г у 2 z^->/=1#=1<=1Г 171 т1 ту2 ум-j + в т 2 y^-'y^i + г у 2 z^->/=1#=1<=1=о,=о,(92)(92)plimТ-*ООplimТ-*ОО1т1т71 7172 уд + вт2 У'-12/' + г^2 ZX (=1<=!<=!71 7172 уд + вт2 У'-12/' + г^2 ZX (=1<=!<=!= 0.= 0.

(91)

(91)

plim

T-voo

plim

T-voo

Г 171 т1 т

у2 ум-j + в т 2 y^-'y^i + г у 2 z^->

/=1#=1<=1

Г 171 т1 т

у2 ум-j + в т 2 y^-'y^i + г у 2 z^->

/=1#=1<=1

=о,

=о,

(92)

(92)

plim

Т-*ОО

plim

Т-*ОО

1т

1т

71 717

2 уд + вт2 У'-12/' + г^2 ZX (=1<=!<=!

71 717

2 уд + вт2 У'-12/' + г^2 ZX (=1<=!<=!

= 0.

= 0.

(93)(93)(94)(95) Тогда (96)и(94)(95) Тогда (96)и(97)(97)trS -у-2 (у<—i — w<—i) z^trS -у-2 (у<—i — w<—i) z^1 ту 2 (У<-> — w^-Oz,,1 ту 2 (У<-> — w^-Oz,,

(93)

(93)

(94)

(95) Тогда (96)

и

(94)

(95) Тогда (96)

и

(97)

(97)

trS -у-2 (у<—i — w<—i) z^

trS -у-2 (у<—i — w<—i) z^

1 т

у 2 (У<-> — w^-Oz,,

1 т

у 2 (У<-> — w^-Oz,,

Последние соотношения в совокупности с леммой 5.5.2 дают

4* 2 у^ + в4- 2 У'-'У/ + г^ 5 Z^1 = 2-<=1(=1f=l J

Предположим теперь, что существуют пределы

1 Г

Ншу^хд = М,

1 т

lim у 2 w/^z; = L.

Г-.ОО 1 Ы

1 т1 7

8 у 2 У'-1^ ^ ^ 2 W<-1Z< L<=’<=i

—у 2 Z/Zr tr ^ (y^<— w<->) (y<,_1 ~ Wi'^o' < < N y- tr [F (1 + В'Г1 + (I + Bp1 F - F].

Правая часть последнего неравенства сходится к нулю. Таким образом,

(98)plimy2 y^-izyb.

т*» 1 S

Из (92) и (98) выводим, что

(99)(99)1 г

(99)

(99)

plim у 2 УЛ .-= — BL — ГМ. т*» 1 и

Из (91), (93) и того факта, что (30) сходится по вероятности к нулевой матрице, получаем

2 = plim fy 2 у(у; — В у 2 У*—1У^В'

Т-ЮО \ ^J^}

— в 4" 2 У'-12<г + г4" S z^ = ^1/=1/

= plim (4- 2 у<у; - в 4- 2 У(У;в^ - вы - п/в' -

Т'-оо \^](=1/

— гмг.

т

Это показывает, что (1/7*) 5 У^У/ имеет предел по вероятности и что этот последний должен быть равен

Т. Т

lim g 4~ 2 У^ = F + lim 4" ij WX = F + н-

T-VOO ^jT-*OQ ' f^

Здесь мы предположили существование предела

Н = lim 4" 4 w,w,.

Тч.00 1 Я

Теорема 5.5.10. Пусть характеристические корни матрицы —В лежат в единичном круге, пределы (94), (95) и (102) существуют и ztzt< N при t = 1, 2, ... для некоторого N. Пусть при этом либо uz одинаково распределены, либо 8 | иц 1+£ < m, i = 1, ем, р, t = 1, 2, ... , для некоторого е > 0, Тогда, если и, независимы, 8uz = О и 8uzii/ = 2, то

" 1 7,

~ 2 у^—iy^i

plim t-' Lx ■

т 2^ гД<^

Для состоятельности оценок В и Г при этих условиях нужно еще, чтобы матрица (103) была невырожденной.

Лемма 5.5.9. Если матрицы F и М положительно определены, то и матрица (103) положительно определена.

Доказательство. Поскольку ■

(х' у')(Н Ч(х^ Ит^г2(х' У')(w,,; z;)(X'U

■\L М/\У/ til \ z, /"\у/

матрица этой квадратичной формы положительно полуопределена. Квадратичная форма

, , ,х/F + Н L\/x\,_, , , , ,х/Н Ц/х\

105(х'у')=хТх+(хУ)

\ L М/ \у/\L М/ \у/

является суммой двух неотрицательных квадратичных форм и поэтому может равняться нулю, только если обе они обращаются в нуль. Поскольку F положительно определена, то из x'Fx =0 следует, что х = 0. Поэтому, для того чтобы (105) равнялось нулю, необходимо, чтобы у'Му = 0. Последнее выполняется лишь при У = 0. и

Теорема 5.5.11. Если в условиях теоремы 5.5.10 матрица F положительно определена, а матрица М из соотношения (94) не вырождена, то

plimB = B, ,

Т-ЮО

plimf = r,

Т —►OQ

plim2 = 2.

Обратимся теперь к асимптотической нормальности (1/КЛ X

Т_ Т

х2у^и(1У7)2¥-. Средние этих случайных величин /=1/=1

равны нулю. Выкладки, подобные проведенным в (89) и (90), показывают, что

lim-^sf y^1U;®f uy^F + H^S, <=i<=i

(ПО) lim-^gy y^u^v ид = Ь®2,

/=1

iim^sf z,u;®2 u<z; = m®s.

Положим (112)(ИЗ)Положим (112)(ИЗ).г*00/=1/=1

Положим (112)

(ИЗ)

Положим (112)

(ИЗ)

Sr = у-^иДФу^ + бх,).

ZkT = '^i1 ^(Фу^ + бг,),V 1 /=1

где у^ и Хит те же, что и раньше. В данном случае слагаемые в Хм не будут одинаково распределенными, даже если и, одинаково

распределены. Если моменты четвертого порядка и( равномерно ограничены по I, легко показать, что будут равномерно ограниченными и четвертые моменты слагаемых в V^Zut. Сложнее показать (с использованием неравенства Гёльдера), что если Л | и«|2+е равномерно ограничены, то будут равномерно ограниченными и моменты порядка 2 + е этих слагаемых.

Теорема 5.5.12. Пусть у, определяется соотношениями (76) или (78), случайные векторы uz независимы, &uz = 0, §uzu< = 2 и все характеристические корни матрицы — В лежат в единичном круге. Пусть, кроме того, Ttxt<_ N, t = 1,2, ..., для некоторого N и существуют пределы (94), (95) и (102). Тогда, если Wtt<.N*, I = 1, .„, р, t = 1, 2, ... , для некоторого N*, то

"Ут § y<’,Uy

Vt § z,u'

имеет в пределе при Т -> оо нормальное распределение с нулевым средним и ковариационной матрицей

(Пб)(^ м)®2-

Теорема 5,5,13. Если выполнены условия теоремы 5.5.12 и если ООТ

матрицы F = 2 В»2В$ и М = lim (1/Т) 2z,z/ положительно 5=0Т-^оо/=1

определены, то

Ут (В' — В'), ^(Г — Г)

имеет в пределе нормальное распределение с нулевым средним и кова- риационной матрицей

(И7)fF + H ЬГ’®2.

\ ^ М/

Невырожденность матриц F и М предполагается, так что обратная матрица в (117) существует. Если 2 вырождена, то вырожденным будет и предельное нормальное распределение. Если z, есть скалярная постоянная, то утверждение теоремы будет вытекать из одинаковой распределенности и, с ковариационной матрицей 2, без привлечения условий на моменты более высокого порядка. Дело в том, что при этом щ (Фу<—i + 9zz) образуют стационарный процесс с конечной зависимостью. В общем случае условия

на zz и uz можно ослабить в том смысле, что можно требовать только, чтобы и< (ФуЙ + 0zz) удовлетворяли условию типа Линдеберга. Условие z<zz < N можно также ослабить, заменив его условием 2^ I Zjt\ <00, / = 1, .... q.

/=i

Теорема 5.5.14. Пусть yt определяется соотношением (1) из §5.4, в котором ut независимо распределены, ^и, = 0, Su< = о2>0, причем все характеристические корни матрицы —В лежат в единичном круге. Пусть, кроме того, z'tZi < N, t = 1,2, ..., для некоторого N, a Qut < т, t= 1, 2, ..., для некоторого т, матрица М из (94) положительно определена и существуют пределы (95) и (102), где

(Н8)

Тогда VT (Р — Р), VT ^ — У) имеет в пределе при Т -*• оо нормальное распределение с нулевым средним и ковариационной матрицей

(П9)(П9)

(П9)

(П9)

СТАТИСТИЧЕСКИЕ ВЫВОДЫ О МОДЕЛЯХ АВТОРЕГРЕССИИ, ОСНОВАННЫЕ НА ТЕОРИИ БОЛЬШИХ ВЫБОРОК

Связь с регрессионными методами

В § 5.4 было показано, что оценки максимального правдоподобия векторов р = (ръ ..., рр)', у = (уь ..., у,)' и дисперсии а2 получаются при минимизации выражения

T /рр\2

5(^ + 2 ь1У<-‘ + 2 cizn

t=l \1=1/=1/

и потому формально являются оценками наименьших квадратов. Следствием этого является то, что в этих моделях можно использовать все вычислительные процедуры обычного регрессионного анализа.

/F + Н L V1\ V м//F + Н L V1\ V м/В § 5.5 мы показали, что при надлежащим образом выбранных условиях соответствующие оценки р и у имеют асимптотически нормальное распределение, как и в случае обычной регрессии. Таким образом, при больших выборках (т. е. при больших значениях Т) эти оценки можно рассматривать как нормально распределенные и использовать при этом процедуры обычного регрессионного анализа. Аппроксимирующее многомерное нормальное распределение статистик УТ (0 — 0) и УТ (у — у) имеет ковариационную матрицу"

/F + Н L V1

\ V м/

/F + Н L V1

\ V м/

а2

В свою очередь матрица (2) аппроксимируется матрицей

где

=—4-» i+ру'-1+v'z<)2=

, г -

Аг =у*2 yt-iy,-i =

■ jгхт,г■

Т^JУ(—1Т^У*—\У1—»2• 1 •m22У^ — ^yt—P

1T1T1т

”т" 2 yt—^yt—X m 2 ^/—2• 1 • Т ^ I tit—^yt—p

/=1/=1/=1

1 г 1 71 7

2 у*—ру*—\ "j* 2 y^—pyt—^ • • • "у 2 tit—p

Lt = -у 5 У#—iz; =

™ 1 7! г! г -

т1 2 У1—1^Иm У1—1^2/ • • • ~У1—l^qt

/=1/=11 t=\

1 71 71 7

-г ' 2 У^—^^2 ^—2^2/ • • • yt—^qt

= М/=11 ^=1

Т 2 yt—p^\t -qT 2j yt—pz2t • • * -у 2 yt—pZqt

■^1/=11 M

Mr = ^fz^ = /=1

т 5 2и т 2 21• • • т 2 z^t

4г 5 ^г» 4- 5 4• • • 4" 2 ^^

/=1/=1/=1

Обычно, полагая 2^ = 1, в модель вводят некоторую константу. При этом если ^ исключить из уравнений для оценок, то все используемые суммы квадратов и попарных произведений будут включать отклонения от соответствующих средних. (Мы опустили знак ~ у F, Н, и L, так как в § 5.6 общий векторный случай не рассматривается.)

Как было замечено в конце § 5.4, элементы каждой диагонали

матрицы (1/7) У y/_iy/_i различаются только членами, относя- /=1

щимися к началу и концу ряда. Поскольку мы занимаемся теорией больших выборок, то этими «концевыми» эффектами можно пренебречь и использовать матрицу, на диагоналях которой стоят одинаковые элементы. Кроме того, можно изменить и нормировочный множитель (1/7). Тогда каждая диагональ, отстоящая на s от главной диагонали, будет состоять из элементов

T+p-s 2У«У‘-5’ s = °. 1Р-

<=-р+$+1

т

Если вычитается среднее у* = ^уДТА-pYто сумма примет вид /=-(p-d

г + *2 (yt-y*Hy-s-y*Y

T

Возможны и другие модификации, например У ytyt-sKT + p—s) — _f=—p-|-s-|-l

— z/*2. Отметим, что мы располагаем наблюдениями на отрезке от

-Р + 1 до Т,''

Проверка гипотез и доверительные интервалы ' Рассмотрим статистики

VT ^71-, Ут^^З. ,

sVV1sV m11

где s^a11 и s^mii соответственно z-й и (р + /)-й диагональные элементы матрицы из (3). Из обычной теории регрессии можно вывести, что каждая из статистик в (10) имеет распределение, близкое к нормальному с нулевым средним и единичной дисперсией. Поэтому для проверки гипотез относительно Pt- или yt- и построения доверительных интервалов для этих параметров можно использовать обычные методы.

Пусть нас интересует некоторая совокупность коэффициентов, например р^, ..., Plg, у^, ..., у/А. Тогда можно воспользоваться тем, что статистика

di) ^ 2 ®.-Р<,Ж-₽и+л +

Vu,y—1

g ha_

+ 22 2T,,)(,A +

U=1 y=l

h~)

u,v=lJ

имеет распределение, близкое к распределению X2 с g + h степенями свободы. Здесь aiuiy, llu$y1 miujy образуют матрицу, обрат

ную к матрице, составленной из строк и столбцов с номера

ми iTlми iTlк> ji+P, kA-Рк> ji+P, kA-Р(кт матрицы ' ж- . Это vLy Nit'

ми iTl

ми iTl

к> ji+P, kA-Р

к> ji+P, kA-Р

приводит к соответствующим критериям и доверительным интервалам. (Можно, кроме того, использовать и F-распределение с g + h и Т — (р + р) степенями свободы.)

Проверка гипотез о порядке процесса авторегрессии

Порядок стохастического разностного уравнения определяется входящим в него (с ненулевым коэффициентом) переменным, имеющим наибольшее запаздывание. При той форме записи уравнения, которую'мы используем, порядок равен просто р (0Р ^ 0). Если не считать влияния «независимых переменных» 2ц, то непосредственно на значение yt влияет самое большее р запаздывающих переменных, именно yt-л, ..., yt-p. Поэтому для прогнозирования следует использовать только такие переменные,

В связи с этим представляет интерес определение порядка модели авторегрессии. Мы исследуем эту задачу для разностного уравнения

^ + Р1#/-1 + ••• + ^ptit-p + Y = ut-

Уравнения для оценок параметров рь ..., Рр имеют в этом случае вид

р

^a^ = -a*w /=1, ..., р.

z-i

где т_ .

а*ц = 5 yt-itit-i — Ty^h, i, j=V .... р, t=i

т_ _

«м = 5 У*-^~ ТУ^У- i=l, ...,Р.

у = z/(0), а у^ задается соотношением (17) из §5.4. [Уравнения (13) соответствуют (18) из § 5.4.1

Рассмотрим сначала задачу выбора между решениями о том, что порядок уравнения равен р или р — 1 соответственно. Иными словами, требуется решить, будет ли рр = 0. Мы поставим эту задачу как задачу проверки нулевой гипотезы Н\ рр = 0 против альтернативы рр #= 0. Критерий отношения правдоподобия будет здесь аналогичен двустороннему /-критерию, использовавшемуся при исследовании регрессии. Мы отвергнем нулевую гипотезу, если (16)|Ди_>/(е),

sVa*”

где (д*1^ = (я*/)””1, а / (е) — двусторонняя ЮОе-процентная точка стандартного нормального распределения. При достаточно больших значениях Т уровень значимости этого критерия будет близок к 6.

Пусть нулевая гипотеза неверна. В общем случае мы имеем

.plimf-i-Oy) = F,

где F выражается соотношением (37) § 5.5, plim s = о и plim 0Р = Г-*ооТ-*оо

= РР. Статистика критерия, стоящая в левой части (16), ведет себя примерно как VT\ Рр |/(о]/^). Это утверждение можно сделать строгим и использовать его для доказательства состоятельности указанного критерия. Иными словами, можно доказать, что для заданной альтернативы рр =£ 0 вероятность отвергнуть нулевую гипотезу с ростом Т приближается к единице.

Больший интерес может представлять изучение мощности указанного критерия для последовательности конкурирующих гипотез ррг, такой, что_

Нт у^Тррг = <р =# О'

(при этом о2, рп .,., Рр—] предполагаются фиксированными, а иъ например, нормально распределенными). Тогда ^р]^Уа*рр^ имеет в пределе нормальное распределение с единичной дисперсией и средним, равным ^HpVtppY Для того чтобы сделать это утверждение (а вместе с ним и ряд последующих) строгим, надо было бы доказать, что VT (В — Вг) имеет в пределе нормальное распределение с матрицей средних Ф и ковариационной матрицей, соответствующей В, если Пт ]/Т (В — Вг) = Ф для надлежащим образом

Г -*оо

выбранной матрицы В. (Здесь В, В и Вг относятся к векторному марковскому случаю.)

Лемма 5.6,1. Если рр = 0, то

о2Г=1-

Доказательство. Прежде всего мы имеем (см. упр, 8 гл, 2) ./ /и • • • А,р—1 \~1 / Ар

■■рр 1 = fpp— (/pi ... /р,р—i) I ;"/ I '

\/р—1,1 ... /р—i,p—1/ Vp—l.P

В стационарном случае величины

А/ = § (yt-i — &yt-i) (yt-j — Ьум) =

= 8 (у, — ^ (ys-i+i — ^ys-i+i) = о (i — iY

i, j=l, p, при PP = 0 соответствуют вполне определенному разностному уравнению порядка р — 1, и они должны удовлетворять следующему соотношению [см. (48) из § 5.2]:

Соотношение (20) принимает при этом вид [см. (47) из § 5.2]

(23)^ = a(0)+o(p-l)PP„i+ ••• +а(1)р1=а^

Это и доказывает лемму. а

В свою очередь доказанная лемма приводит к следующей теореме.

Теорема 5.6.1. Если РР = 0, то в условиях теоремы 5.5.7 статистика VТ^р имеет в пределе при Т -> оо нормальное распределение с нулевым средним и единичной дисперсией.

Рассмотрим теперь задачу проверки нулевой гипотезы о том, что порядок стохастического разностного уравнения равен т, против конкурирующей гипотезы, состоящей в том, что порядок этого уравнения равен р (> т\ Пусть матрица А* = ^^ разбита на блоки с выделением mvip — т строк и столбцов и пусть соответствующим образом разбивается вектор Р, так что

(24)(24)А* =А* =

(24)

(24)

А* =

А* =

Тогда статистика критерия отношения правдоподобия для проверки гипотезы о том, что 0m+i = ... = Рр =0, будет монотонной функцией статистики

(25)(25)S2S2

(25)

(25)

S2

S2

имеющей в случае истинности нулевой гипотезы предельное Х2-рас- пределение ср — т степенями свободы. Имеющаяся здесь аналогия с обычными регрессионными методами позволяет предположить, что мощность этого критерия зависит главным образом от некоторой функции параметров, измеряющей увеличение среднеквадратичной ошибки прогнозирования из-за использования т составляющих вместо р. [См. § 2.5. Это было отмечено А. Уолкером (1952).]

Другой подход к проверке гипотезы о том, что Рт-н = ... = = Рр =0, был предложен Кенуем (1947) и развит затем Бартлеттом и Дианандой (1950), а также другими авторами. Для простоты изложения положим у = 0 и используем в связи с этим матрицу А вместо А*. Если {pj является стационарным процессом авторегрессии произвольного порядка, например р, с коэффициентами Р1, - м Pm, 0, •••, 0, то величины

gi = -=rS Ut-iUt^

V 1 t~\

S ytUt—i+ v 1

ТТ'

+ Pl 2 yt—xyt—i + ••• + Pm 2 tit-myt-i = ^=1f=l.

i= i, ..., p,i= i, ..., p,1 m

i= i, ..., p,

i= i, ..., p,

= 7F ^lb

имеют нулевые средние и матрица их ковариаций (порядка р) равна o2F = о2 [о (i — /)1. Из теоремы 5.5.5 вытекает, что gb ..., gp имеют в пределе совместное нормальное распределение. Если yt нормально распределены, то предельное совместное распределение любого набора случайных величин g( совпадает с распределением аналогичного набора случайных величин oyt. При этом совместное распределение случайных величин

т1 т Т

А/ = 5 ^bgj-k = —т=г 2 0ft S y*-i+kUt ” к=0г 1 к=0/=1

= т^" 2 № S yt-i-vhUt-i = —U- 5 РА0/./-*-Г 1 k,M /=1V 1 к,1=0

i^m+i, .... р,

является в пределе нормальным. При любом Т оно имеет нулевое среднее. Ковариации его вычисляются с использованием соотношения

mm

№) U^ = 2 №н^ = ^ 5 0ftaа-к-i) = к=06=0

[ 0,/ > i,

I °4,/ ■ л

полученного с помощью (47) и (48) § 5.2, и равны m( 0,/ > /',

Ujhr = 2о hNr-t = ( ^j = г

Таким образом, при нулевой гипотезе совместное распределение случайных величин кпц-\,о\ hm^-2 /<А ...» hp/o2 имеет нулевое среднее и единичную матрицу ковариаций. В пределе при Г -> оо это распределение является стандартным нормальным.

Исходя из указанных результатов, статистики hj можно было бы использовать для проверки гипотезы p^+i = ... = Рр =0 при известных значениях а2 и рь ..., Рт, поскольку статистика

1 р

4". 2»?

/=т+1

имеет Х2-распределение ср — /и степенями свободы. Для большей эффективности этой процедуры А. Уолкер (1952) предложил добавлять еще одну статистику с тем, чтобы предельное распределение критерия было Х2-распределением с р степенями свободы.

Для проверки гипотезы Pm+i = ... = Рр = 0 при неизвестных значениях остальных параметров было предложено использовать статистику (30) в несколько измененном виде с заменой неизвестных

параметров в (30) их оценками. Положим

АА А|А А

fy = S P»g/-t =-^ S PtMu-t, i = m-H,...,P, &=оV Т k,i=o

где р0 = 1, рь ..., 0т — оценки максимального правдоподобия, р А

указанные в § 5.4 (с заменойр нагл). Рассмотрим критерий X ^//s4 /=т-Н

и убедимся в том, что при нулевой гипотезе он асимптотически эквивалентен критерию (30). Действительно, поскольку 0А является состоятельной оценкой для РА и plim aq!T = a (i — /), T-voa

ТО

plim5PA4-«z,/-a == 2Р»о(/ —£ — 0 =°, i>l>

TtCQ k=Q1fe=0,

plim 2Pz 4*ai.M = 2P<°V — к — 0 = 0,l>b.

/=o1/=0

Поэтому

plim (й,—'hj) = T->oo

= plim VT 2 PtPz 4" ам-к ”m'

2 pa ~

U=-0.

m

= plim 2 ^ ^ (Pt — Pt) Pz 4" °z,/^t +

T-*co кд=0

+ plim 2 Pt VT (Р/ — Pz) 4- aM«i= = •r-^OQ kJ=Q

= 0,/ = m + 1

Поскольку к тому же s2 (построенная в предположении, что порядок стохастического разностного уравнения равен /и) является состоятельной оценкой для а2 при нулевой гипотезе, то из этих двух фактов и следует упомянутая асимптотическая эквивалентность.

Теорема 5.6.2. Если все корни характеристического уравнения, соответствующего стохастическому разностному уравнению, по

/=т+1/=т+1рядка т, лежат в единичном круге, то статистика

/=т+1

/=т+1

(35)

имеет в пределе №-распределение с р —т степенями свободы. Здесь hj определяется соотношением (31), а 8т является оценкой для а2, соответствующей указанному разностному уравнению.

Свяжем теперь оба описанных подхода к задаче проверки гипотезы о порядке стохастического разностного уравнения.

Лемма 5.6.2. Если р = т + 1, то

p^pm+1(m+1) = _^,

где pm+i (т + 1) — оценка для P^+i в предположении, что процесс имеет порядок т + 1, а 8™ — оценка для а2, указанная ниже, в (45).

Доказательство, Пусть матрица сумм квадратов и перекрестных произведений с элементами

т

ам = 2 yt-iyt-ь 1,/ = 0, 1, ...,/»+L

разбита на блоки следующим образом: (^оо ^01 ^o.w+i \

Тогда оценкой вектора Р (m) = [Pj (т), ..., Рт ^т)?, в предположении, что разностное уравнение имеет порядок т, будет

р(т)=-АП'А10.

Если выразить hm-vt через указанные блоки матрицы А, то получим

VThm^ =

тт

= ^0,т4-1 + 5 Р^ (^) ^0,/n+l—к + 5 Р/ (т) СЦ,т-\Л +/?=1/=1

+ ^ Pfe (m) Р/ (m) Чт^х-ц =

— ^0,^4-1 + 5 Рт+1—/ (#0 ^0/ + ^т4-1,1Р (#0 4~ /=1

+ 5 P/(m)pm+i-/(m)az/ = /.z=i

= ^0,т+1 1 A^ijAn А10.

Уравнения для оценок величин рь ..., рт+ь использующих разностное уравнение (/и + 1)-го порядка, имеют вид

Мп Ai,m+i \/р^1) (m + 1) \/А10 \

I .III = 1—II,

M/n+U tim+1,m+i/^+] ^ + ^y Who/

т.е.

Aup<D (m + 1) + Ai,m+1pm+i (m + 1) = — А10,

Am+upi*) (/«+!) + am+i,m4-iPm4-i (m + 1) = —am+i,o-

[Отметим, что последние соответствуют уравнениям (29) и (30) из § 5.4.1 Если умножить (42) на Am+i.Mn1 и вычесть результат из (43), то получим соотношение

(am+i>m+i •— Am+i,iAn1Ai,m+i) pm4-i (т + 1) = = '— (йт+1,0 — Am+ijAi/Ajg),

правая часть которого равна —У'Тйт+ь Коэффициент при

pm+i (т + 1) в левой части в Т раз больше величины

/лк\°т+1,т4-1Ап-Н,1А11 Al.m+1 ~2

Р9/-

асимптотически эквивалентной о^ (основанной на уравнении порядка т). Соответствующие суммы в матрицах, определяющих s^ и От, отличаются только крайними членами. Это и доказывает лемму. ■

Лемма 5.6.3. Если p^i = ... = Рр = 0 и у = 0, то

(46) plimТ-*оо(46) plimТ-*оо= 0.= 0.Р(2г(р)(Ага-А21Лн1А1а)Р<2,(/')s2

(46) plim

Т-*оо

(46) plim

Т-*оо

= 0.

= 0.

Доказательство. Из доказательства леммы 5.6.2 видно, что Р/ (/) является отношением правой части нормального уравнения к

коэффициенту при Р/, если предварительно из системы нормальных уравнений исключить первые / — 1 неизвестных рР Таким образом, мы имеем ситуацию, подобную соотношению (20) § 2.3, где 6/ = = С]!ац. В данном случае коэффициент при р, равен Tsj-\, a S/_i определяется соотношением (45) при т = / — 1. Поэтому, как показано в § 2.3, числитель уменьшаемого в (46) равен

р -

2 Ts^d).

Для завершения доказательства остается только заметить, что

(48)

Теорема 5.6.3. Если pm+i = ... = Рр = 0 и 7=0, то разности между (25), (30), (35) и

р

Т 2 Р/(/)

/=т-Н

стремятся по вероятности к нулю при Т -*■ оо.

Доказательство. Это вытекает из лемм 5.6.2, 5.6.3 и из соотношений (48) и plim s2 = o2.g

T-*OQ

Если справедлива нулевая гипотеза, то каждый из этих критериев при у=0 имеет в пределе %2-распределение ср — т степенями свободы. Если 7 5^ 0, то матрица А заменяется на А*.

р

В критерии 2 ^ilo4 можно брать также величины hb опреде- /=т+1

ленные следующим образом:

тт Т

hj = 2 Р^ж = — 2 Ра S yt-j-kUt =

/?=0У Т fc=0 /=1

Эти статистики имеют нулевые средние и дисперсии о4. Они не кор- релированы, а их предельное совместное распределение является нормальным. Однако если в таком определении hj параметры 0Ь ...

0т заменить их оценками, то соответствующее предельное распределение изменится.

А. Уолкер (1952) рассмотрел предельную мощность перечисленных критериев против альтернатив, сближающихся с нулевой гипотезой.

Указанная асимптотическая теория не изменяется при изменении крайних членов сумм. В частности, при у =# 0 матрицу Л* можно заменить матрицей

Со

Cl

■ Ср—\

Ср

с*

Со

Ср-

Ср—)

(51)

С* =

Ср-1

Ср-г

. Со

С\

— Ср

Ср—\

. С1

Со

где со, ..., с*р определяются соотношениями (24) § 5.4 при наблюдениях уъ ..., у?. В свою очередь с* могут быть заменены отношениями г, = с*7со, / = 0, 1, ..., р. Отметим, что уравнение (44) настоящего параграфа соответствует уравнению (31) § 5.4 (с переставленными индексами р и пг\ •

Пусть матрица С* разбита на блоки,

СоСр—1 Ср

(52)(52)С* =С* =^р—\ Ср—.1 Ср—1

(52)

(52)

С* =

С* =

- Ср Ср-i Со

Тогда частная корреляция между yt и у^р при фиксированных Уж» ••» Уж-х равна

(53)(53)ср — cp-i (Cp-i) lcp-iс0— Ср—\ (Ср_]) 1 Ср—i

(53)

(53)

Нормальные уравнения для оценки р (р), использующие в качестве оценок для а (/), / = 0, 1, ..., р, статистики С/, имеют вид

(54)(54)Ср—] Ср_Л /ь(1) (р) \ _/ ср—iСр-1 Со / VP (Р) / \Ср

(54)

(54)

Решением (54) относительно —Ьр (р) является (53). Таким образом, с точностью до эффекта, вносимого крайними членами, оценка параметра Рр в предположении, что порядок равен р, совпадает с коэффициентом частной корреляции между yt и у^р при фиксированных значениях уь^\, ..., yt-vp-x*

Теперь следует рассмотреть вопрос о выборе надлежащей степени стохастического разностного уравнения. Аналогия с обычной регрессией (§ 3.2) наводит на мысль о том, что если исследователь

в состоянии установить наибольший р и наименьший т возможные порядки уравнения, то он может последовательно проверять гипотезы Рр = 0, Рр—1 = 0 и т. д. Мы изучим этот вопрос в гл. 6 с помощью видоизмененной модели, позволяющей использовать точную теорию, подобную теории § 3.2.

При больших Т можно использовать ту же теорию, что и в предположении нормальности. Максимальный порядок р может быть выбран достаточно большим, скажем 7710 или 774, если значения г^ i =р, р — 1, ..., m + 1, берутся достаточно малыми, такими, как 10~3. Ряды изучаются, как правило, по той причине, что наблюдения оказываются зависимыми. Поэтому минимальный порядок т следует выбирать положительным, но малым, например равным 2. Для проверки гипотезы Рр = О при больших выборках нужна только оценка Рр (р). Фактически для выполнения процедуры со многими решениями здесь нужны только оценки Р/ (/) для j = р и для тех меньших значений /, при которых гипотеза Р/ = 0 еще принимается, вплоть до значения /, при котором она впервые отвергается. Вычисление этих оценок исходя из п, ...» г*р рассматривается в § 5.4. Необходимые статистики можно также получить при прямом решении уравнения Rpb (р) = —Гр.

МОДЕЛЬ СКОЛЬЗЯЩЕГО СРЕДНЕГО

Модель

qУ, = 2 а^-ьi=oqУ, = 2 а^-ьi=oПусть

q

У, = 2 а^-ьi=o

q

У, = 2 а^-ьi=o

(1)

где а0 = 1, а {и,} — последовательность независимых случайных величин со средними ^ = 0 и дисперсиями Wt = аг. Тогда ^yt = = 0 и

Такой вид моментов первого и второго порядков определяется по существу только некоррелированностью величин и(. Соотношение (1) можно записать также в виде

(3)(3)q

(3)

(3)

/-0

где 66 — оператор запаздывания ^ot = ^-1), q

М (?) = 2 a^-i

и ^М^-1) — линейный оператор, полученный заменой г на 66 q •

в выражении zqM^z ) = 2 ^i^1 •

Для произвольного стационарного процесса выражение

2 а (A) zh назовем производящей функцией ковариаций. Ковариация А=—оо

а (й) является коэффициентом при 2^ в этом разложении. Для процесса скользящего среднего (1), имеющего ковариации (2), производящая функция ковариаций принимает вид

q,

2 о (К) zh = о^М (2) М (z^).

•h=—q,

[Отметим, что это уравнение, а вместе с ним и соотношение (2) могут быть получены из леммы 3.4.1.1 Если коэффициенты а0 = = 1, аь ..., aq заданы, то для вычисления ковариаций можно образовать произведение, стоящее в правой части (5), и найти коэффициенты при соответствующих степенях переменной z. Поскольку а$ действительны, то корни гъ ..., zq уравнения

М (z) = О

либо действительны, либо образуют пары комплексно сопряженных корней. Если о^ =/= 0 [и отсюда а (^) #= 0], то корнями уравнения 2(7

2 o(g — q)z8 = 0

6=0

будут величины zb ..., zq) Vzu ..., Vzq.

Пусть нам дан произвольный набор значений ковариаций а(0), а(1), ..., а^) ^ О стационарного процесса, причем а(^ + 1) = ... = 0. Если х/ является корнем уравнения (7), то, ввиду того что о (h) = о (—А), корнем (7) будет также и 1/х/. Если корень по абсолютной величине меньше 1, то кратности этого корня и корня, обратного ему, совпадают (по той причине, что в этом случае при обращении в нуль производной некоторого порядка в точке Xj та же производная будет обращаться в нуль и в точке YlxjY Таким образом, корни, отличные по абсолютной величине от единицы, можно объединить в пары (х/, 1/х/). Более того, любой корень, лежащий на единичной окружности, должен иметь четную кратность. Дело в том, что если |z| = 1, например z = е1\ то q

2 ^ (g) z8 является при этом спектральной плотностью, и поэтому a=-q

она будет действительной и неотрицательной (§ 7.3). (См. упр. 35.) Корни уравнения (7) можно перенумеровать и разбить на два таких множества (хь ..., xj и (x?+i x2l7), что если | xj < 1, то

х?+< = l/xz, а если | xz | = 1, то х^ = xz, I = 1, .... q. Поскольку коэффициенты в (7) действительны, то эти корни действительны или попарно сопряжены. Поэтому

<7<7.

М* (z) = П (z —хй = 2 «/^

i=i/=о

имеет действительные коэффициенты и (5) остается в силе, если М (г) заменить на М* (г). Таким образом, последовательность ковариаций (о (/г)}, у которой о (^ + 1) = ... =0, может быть порождена с помощью процесса конечного скользящего среднего (1), имеющего коэффициенты «о = 1, ai, ..., а9 и Var (vz) = о2.

Если заданы ковариации о (0), о (1) ст (т?) или дисперсия

ст (0) и корреляции рА = ст (й)/о (0), h = 1, .... q, то коэффициенты соответствующего, процесса скользящего среднего можно получить, исходя из изложенного, следующим образом. Решая уравнение (7), получаем значения хх x<zq. Затем образуем сумму М* (z) и находим коэффициенты при степенях z.

Если все корни уравнения (6) лежат в единичном круге, то ряд

/ q\ — 1qq гого

(2 °ЧХЧ = П (1 —z/x) = П 2 (z!x^ = 2

' /=о//=1/=1 v=oг=о

сходится при | х | < 1/max | z, |. Мы можем записать

у, = (2 «^ 9t = ^i iXtit = 2 Тг^-г. \/=0/г=0г=0

Если все корни (6) лежат в единичном круге, то (10) будет сходиться в среднеквадратичном. Здесь можно использовать доводы, аналогичные применявшимся в § 5.2 для доказательства сходимости в среднем ряда (28). [См. также (34) — (36) из § 7.5.] Фактически <7

если все корни различны, то у. =2 kA, где константы ^ к.

7=1*

выбраны надлежащим образом. [См. (39) — (41) § 5.2.1 Отметим, что последнему условию не удовлетворяют такие простые модели, как среднее (yz + у/_1)/2 и разность Ду( = yz+i — vt.

Оценивание параметров

Если случайные величины yt распределены нормально, то наблюдения будут нормально распределенными с нулевыми средними и ковариациями (2). Мы займемся сейчас оцениванием q + 1

параметров рассматриваемой модели по Т наблюдениям: уъ ...,ут. К сожалению, хотя ковариационная матрица имеет простой вид, этого нельзя сказать об обратной к ней матрице. Действительно, минимальное достаточное множество статистик состоит здесь из Т компонент, а уравнения максимального правдоподобия весьма сложны и не могут быть решены непосредственно. [См. упр. 4 и 5 гл. 6.]

Подход, которому следовал А. Уолкер (1961), состоит в применении метода максимального правдоподобия, когда распределение некоторых п выборочных корреляций близко к нормальному. Как будет показано в теореме 5.7.1, вектор Ут (гх— pj, ... ..., VТ (гп—рп) имеет в пределе нормальное распределение с нулевым средним и ковариациями ^ = ^ (рь ..., рД являющимися функциями от корреляций рл = а ^1о (0), h = 1, ..., q. Соответствующие выборочные корреляции равны rh = сь/с0) где

1 T^h

с^ = C—h = —Тр ^S ytyt^hi h = 0, 1, . * *, Т 1.

Здесь п (п ^ q, п < Т — 1) фиксировано. По сути дела, тот факт, что максимизируется распределение выборочных корреляций, близкое к нормальному, служит здесь лишь мотивировкой для получения соответствующих уравнений относительно оценок. Свойства же процедур оценивания не зависят от этого приближения.

Положим р = (рь ..., р^)'. Логарифм функции, приближающей функцию правдоподобия относительно г = (гь ..., г^\ выражается формулой

logL =Ln log 2л^-log | W [ —

./W11№2\/г»)—p'

ено'o'r<2>')

2vP1 /\ W21w22r<2)

где(13)где(13)w1 =w1 =W11 W12'W21 w22W11 W12'W21 w22

где

(13)

где

(13)

w1 =

w1 =

W11 W12'

W21 w22

W11 W12'

W21 w22

разбиты на блоки c q и п — q строками и столбцами. Вектор частных производных равен'

(14)(14)dlogL _11др2 ] W |dlogL _11др2 ] W |^Щ-^-Т^'-р' г(2)')х^Щ-^-Т^'-р' г(2)')х

(14)

(14)

dlogL _11

др2 ] W |

dlogL _11

др2 ] W |

^Щ-^-Т^'-р' г(2)')х

^Щ-^-Т^'-р' г(2)')х

9 /W11 W12\ /rd) — р X"dp~\W21 W22/\ r<2>9 /W11 W12\ /rd) — р X"dp~\W21 W22/\ r<2>4- TW11 (rd) — p) + TW12r<2).4- TW11 (rd) — p) + TW12r<2).

9 /W11 W12\ /rd) — р X"dp~\W21 W22/\ r<2>

9 /W11 W12\ /rd) — р X"dp~\W21 W22/\ r<2>

4- TW11 (rd) — p) + TW12r<2).

4- TW11 (rd) — p) + TW12r<2).

Приравняем этот вектор нулевому. Поскольку VТ (г(1) — р) и УТ г(2) имеют в пределе нормальное распределение, нормируем полученное уравнение делением обеих частей на VТ. Первые два члена в результирующем уравнении будут иметь порядок 1/]/"Т и сходиться по вероятности к нулю. Учитывая это, приходим к следующему соотношению для оценки вектора р:

р = К1) + (^ “^W12^ = rd) — W^W^2) =

= г(1> —W12(p) W21* (р) r(2).

(См. упр. 8 гл. 2.) Процедура оценивания состоит в том, что г(|) используется в качестве состоятельной оценки для р, затем вычисляется W12 (r0>) Wm1 (г(1>) и р оценивается по формуле

р = г(1) - W12 (r(1)) W^1 (г(1)) г(2).

Статистика VT (р—р), вычисленная согласно (16), будет иметь то же самое предельное распределение, что и статистика УТ (р — р), вычисленная в соответствии с (15), а именно нормальное распределение с нулевым средним и ковариационной матрицей

Wn-W12W2-2*W21.

Указанную процедуру можно выполнять с помощью итерационного процесса. Пусть р<0) — начальная состоятельная оценка. Тогда последовательные итерации имеют вид

(18)(18)^> = r<’>-W12(^-W24p(/"1)) г(2).

(18)

(18)

Уолкер приводит соответствующий пример для ряда из 100 наблюдений, полученного Дурбином (1959) с помощью модели, в которой <7=1 и ах = 1/2. Первые пять выборочных корреляций равны 0.35005, —0.06174, —0.08007, —0.14116 и —0.15629. Матрица W, полученная из матрицы ковариаций первых пяти корреляций, равна

'1— Зр2 + 4р4 2р(1—р2)

р2

0

0“

2р(1—р2)1 + 2р2

2р

Р2

0

(19)

Р22р

1 + 2р2

2р

Р2

0р2

2р

1 +2р2

2р

_00

Р2

2р

1 + 2р2_

где р = рх. Для п — 2 и q = 1 формула (15) принимает вид

(20)(20)Р = Г1Р = Г12р (1 — р2) ,1 + 2р22-2р (1 — р2) ,1 + 2р22-

(20)

(20)

Р = Г1

Р = Г1

2р (1 — р2) ,1 + 2р22-

2р (1 — р2) ,1 + 2р22-

В качестве нулевого приближения берем р (0) = rv Тогда р(|) = = 0.38051 и р(2) =0.38121 (р =0.4). Оценка стандартного отклонения асимптотического распределения равна

(21)(21)у=Г Кtwu (р) — 0)12 (р)/0)22 (р) = 0.0565.

(21)

(21)

Следует заметить, что (17) — монотонная функция от п в том смысле, что для каждого х квадратичная форма х' (Wu — W12W^1W2i) х не убывает с ростом п. Точнее говоря, выражение х' [Wi^ —Wi2)(W22))~'iW2?)1x является дисперсией предельного нормального распределения статистики VT х' (р — р) при использовании гь ..., гп. Эта асимптотическая дисперсия не убывает по п для каждого х. При этом предполагается, что п выбирается достаточно большим (Г берется достаточно большим для того, чтобы соответствующие распределения хорошо аппроксимировались нормальным).

Оценки р и с0 величин р и о (0) можно использовать для вычисления оценок параметров аь ..., aq и а2. Тогда вектор VT (^-аД, .... VT<aq— ад) будет иметь предельное нормальное распределение.

Иной подход был использован Дурбином (1959). Он предложил бесконечную сумму (10) аппроксимировать конечной суммой

п

у\ = 5 ЧгУ1-п

г-О

где /г достаточно велико. (Заметим, что у0 = 1.) Последовательность {у/} образует процесс конечного скользящего среднего. (Представление (22) фактически соответствует (11) из § 5.2 с надлежащими изменениями в обозначениях. Так, иг заменяются на уо затем уг — на ип а получающаяся в результате линейная комбинация переменных Vt-n-x» ..., vt-n-q переносится в левую часть.) Статистика и* состоит из vt и линейной комбинации статистик ^__n_i, ..., Vt_n-q. Коэффициенты последней будут малы, если п велико. Они являются линейными комбинациями величин уп+ь ...» у^, определяемых соотношениями (9) или (10). Последние представляют собой линейные комбинации степеней (с (п + 1)-й по (п + ^)-ю) корней уравнения М (2) = 0, о которых предполагается, что все они лежат в еди-

со ciсо cici^0ci^0рп—\ Сп—2рп—\ Сп—201с201с2

со ci

со ci

ci

^0

ci

^0

рп—\ Сп—2

рп—\ Сп—2

01

с2

01

с2

яичном Круге. [См. (14) или (22) и (26) § 5.2.] Отсюда следует, что при больших п случайные величины vt будут близки к некоррелированным, а (22), грубо говоря, будет стохастическим разностным уравнением. Это наводит на мысль о том, что вектор у == = (71, ..., ЧпУ следует оценивать исходя из уравнения

(24)(24)2 =2 =ст(0) ст(1)ст(0) ст(1)ст(1)ст(0)ст(1)ст(0)СТ (П — 1) ст (п — 2)СТ (П — 1) ст (п — 2)

(24)

(24)

2 =

2 =

ст(0) ст(1)

ст(0) ст(1)

ст(1)

ст(0)

ст(1)

ст(0)

СТ (П — 1) ст (п — 2)

СТ (П — 1) ст (п — 2)

Последнее можно записать в эквивалентной форме с помощью корреляций r0 = 1, гь ..., гп. Теорема 5.7.1 утверждает, что вектор ГТ (G-Px), .... Ут(гп-рп) имеет в пределе нормальное распределение и plim rt = pz, i = 1, ..., n. Поэтому нормальное рас

пределение имеет в пределе и вектор Ут (у — у*), где у* = —2 ‘о, ст = [ст (1), ..., ст (п)]' и

_ст(п—■ 1) ст(п— 2) ...ст(0)

Величины ст (А) определены в (2). Вектор у* (=—2 'о) является аппроксимирующим для у (компоненты уь ..., у„ последнего определены в (9)). Отметим, что plim у =у*. Сходство соотношения (22)

Т-*оо

со стохастическим разностным уравнением приводит к предположению о том, что указанное предельное распределение имеет ковариационную матрицу, близкую к матрице, получающейся умножением матрицы, обратной к 2, на ст2. Но тогда аппроксимирующая плотность должна иметь в показателе экспоненты квадратичную форму, равную умноженной на —Т/(2ст2) форме

(у — у*)' 2 (у —- у*) = у'2у — 2у'2у* + у*' 2у* =

= у'2у + 2у'о — у*'о =

п

где о* (0) = о2 — v*'o = а2 — 2 Tr а (И- Если 2 ио соответст-Г=1

вуют процессу авторегрессии порядка п, то о* (0) будет дисперсией этого процесса. [В § 5.2 соотношение (47) можно записать в виде п

Ста = 2 Parfa (+ a (48) — в виде Ра = —2^‘оа, где индекс а г=0

указывает на процесс авторегрессии, изучаемый в настоящем разделе, и замену р на пЛ Заменим в (25) о* (0) на ст (0). Тогда квадратичная форма в показателе экспоненты аппроксимирующей плотности будет равна умноженной на —(1/2) Т форме

У а2

«/

/=1

<7-1

«1+2 «/«/•+!

/=1

<?-2

«2 + 2 «/«/+2 • ' /=1

..0

<7-1

«1+2 «/«Ж

/=1

<7

1 + 2 «,2 /=1

(7-1

«1 + 2 «/«/+1 •

/=1

..0

X

<7—2

«2 + 2 «/«/+2 /=1

<7-1

«1 + 2 «/«/+1

/=1

1 + 2 «/ • /=1

..0

X

0

0

0.

. Z^1 —

(26)

(То, Т1- Тз, •••• Tn) X

То

Т1

Т2

_Тп_

/q—\\ и—1/q—\\ и—1+ 2 «1 + 5 «/«/+1 5 T«T«+i +\/—1) и=0+ 2 «1 + 5 «/«/+1 5 T«T«+i +\/—1) и=0

/q—\\ и—1

/q—\\ и—1

+ 2 «1 + 5 «/«/+1 5 T«T«+i +

\/—1) и=0

+ 2 «1 + 5 «/«/+1 5 T«T«+i +

\/—1) и=0

А А•• +2^2 TuTu+0м=0А А•• +2^2 TuTu+0м=0

А А

•• +2^2 TuTu+0м=0

А А

•• +2^2 TuTu+0м=0

((7—2\ П—2^

«2 + 2 «/«/+2 2 Т«Т«+2 +

/=1/ а=о

если То = L Приравнивая i = 1, .... q, получаем.

нулю производныенулю производныепоследней по azпоследней по az(27)

нулю производные

нулю производные

последней по az

последней по az

п

/1—1 а А

п—2 А а

n—q4-Y а а“

2 ?„?“+!

2 т„т«+2

• • • 2 yuyB+?-i

и—0

и—0

и=0

и=0

п—1 А

п

п—1 А А

^—q+2 А А

2 vht«+i

2%

2 ?„?«+!

2п тнт«+»-2

и=0

и=0

и=0

и=0

п—2 а А

п—1 А А

п

п—(/+3 А а

X

2 №+2

2 yuy«+i

2 %

• • * ^J '^u^uA*q—3

и=0

и=0

«^=0

u=0

П—(/+1 ZX л

n-q-V2 а а

/г—(/+3 А а

п

2

. ы=0

2 YuTu+?-2 ы=0

'VuV^'Vq— «=о

• •»2 Yu

U=0_

— п~^ /X /х '

«10^2«3«10^2«3и=0

«1

0^2

«3

«1

0^2

«3

/1—2 а А

2 т«?«+2

и=0

п—3 а а

2 т«т«+з

и—О

п—q А А

Эти уравнения совпадают с теми, которые можно было бы получить для q коэффициентов стохастического разностного уравнения, если бы наблюдениями были соответственно 1, уь ..., у„. Решение этих уравнений a = (аь ..., а?)' является состоятельной оценкой вектора а*, который в свою очередь является решением уравнения (27), если в последнем заменить у на у*. Вектор а* приближенно равен вектору а.

При Т-> оо и фиксированном п вектор VT (о^— ai), ... • ••, У Т (а^ — а*) имеет в пределе нормальное распределение. Значения «1, ..., aj, к которым сходятся по вероятности аь ... ..., ав, могут отличаться от аь .... а^, но, по-видимому, это отличие будет незначительным, если и велико.

6.7.3. Центральная предельная теорема для процессов скользящего среднего

Для обоснования асимптотической нормальности оценок нам необходимо доказать, что выборочные корреляции имеют в пределе нормальное распределение. Хотя вторые моменты выборочных ковариаций зависят от четвертых моментов самого процесса, тем не менее оказывается, что вторые моменты асимптотических распределений коэффициентов корреляции зависят только от вторых его моментов. При этом факт асимптотической нормальности определяется только тем, будет ли конечной дисперсия.

Теорема 5.7.1. Пусть yt, t = 1, 2, ..., определяется соотношением (1), где у( — независимые одинаково распределенные случайные величины с ^ =0 и $у< = ст2. Тогда вектор VT (rt — pj, ... .... /Т(г„-рп) имеет в пределе при Г -> оо нормальное распределение с нулевым средним и ковариациями

q-V-n

Wkk' =5(Pg—h£g—h/ + Pg+^Pg—Л' — ^p^PgPg-j-ft'1—

g=~(<7+n)

’ 2pk'pgpg-\-h + 2pApA'pg).

Доказательство. Пусть 0 < h ^ q. Рассмотрим следующее выражение:

-117

VT (C^pAC0) — —=7 ^2 Uttit-Vh P& ^^ 2 У/ =

"T—k q

5 5 ajajOt-iOt^h-i — _/=l /,/=0

т q-

— pft 5 S aiajUt-iVt-j ='

/=1 «,/=0_

1 ГТ-k , q—kq\

= -^=- 2 2 «iai+htit-t + 2 а/ад-^+^Л — i^j-h

<7a

2 а,У/_г + 2 W-й-/

1=0i,j=0

Первая сумма в правой части равна q—kT—q

-^ 2 а,а,+А 2 ^

уТ i=ot=\

с точностью до самое большее 2^2 слагаемых. Подобным же образом и третья сумма в правой части (29) равна (30) с точностью до самое

большее 2+ слагаемых, так как рА = 2 о^°+-д/2 «?. Поэтому i=0/ z=o

предельное распределение величины VT (ch — рйс0) совпадает с предельным распределением статистики

ГТ—А qГ q

(31)(31)—— 2 2 «.a/Uz-z^+ft./ —pAS 2 oc,a/Vz-zV/-/

(31)

(31)

У Т /=1 /,/=0/=1 t,/=0

i^=j—hi=£j

" T—h q q—hT q q

= -7=- 2 2 2 aiakj-hVt-iVt-k — ph 2 2 2 ощЬ-М-ь

VT /=1 i=0k=-ht=w=0h=0

ky=iky=i

За исключением, быть может, 4g3 слагаемых, (31) совпадает с

Т—q q q—hT—q q q

2 2 2 azafc+AusVs+z-6 — Pa 2 2 2 a,atysVs+z-fc = s=l t=0 к——hs=l i=0 k—0

k^ik=^i

T—q q q

= T7=- 2 2 2 («А+л — PAaW

У T s=l i=Qk=—h k=M

где a/ = 0 для i < 0 и i > q, и az = a£ для i = 0, 1, q. Далее, (32) есть

—j=7 2 2 2 (a^z'+A-g — pAa,:az'-g)usus+g =

7 S=1 g=—q Z=0 6¥=0

! T-qp+h <7

=2 2 2 («za^+A-g — pfta№_g) ysy$+g +

q q

+ 2 2 («zaz+h+/ —pAa;az+/)ysys_f f=l t=0

Последнее отличается не более чем 2 (q + I)3 слагаемыми от

। Т—qq+h g

(34^ Ту" 2 2 2 (az«z+A-g + az'az+A+g —2pAaza^_g)y4ys+g,

у 1 s=l g=l z=o

T—q nn

имеющего вид 2 (2 ^gysy$+g). Слагаемые 2 ^sys+g имеют ну-

S=1 g=lg=l

левые средние, дисперсии пп

8 2 k^v^gV^^ =0^2 ^g

&^=хg=\

и нулевые корреляции. Последовательность их образует (q + Ку зависимый стационарный случайный процесс. Асимптотическая нормальность (29) вытекает теперь ^ из теоремы 7.7.5.

Для q < h < п имеем ph = 0 и

t т-h1 T-h q

VTch = -=- 2 ytyi+h = —=- 2 5 a^jyt-iOt^h-b У T t=\у T /=i z,/=o

а последнее отличается не более чем 2q (q + I)2 слагаемыми от

jт-h q

2 2

У TS=1 i,j=0

J T—h q-Vh q

= -7=7 25 5 a;a;+/,_gVsvs+g.

V T s— 1 g=—q-\-h t—0

Использование теоремы 7.7.5 приводит к тому, что и (37) имеет в пределе нормальное распределение. Отметим, что коэффициент при vtut+i + PtUt^j в (37) для / #= 0 совпадает с коэффициентом при vzV/+/ в (34) по той причине, что а/ = 0 для j > q и рА = 0.

Поскольку

?/ е\

2 <ад+А = 5 а/ РА,

z=o\/=0 /

ковариация между (34) и величиной, получающейся из (34) при замене h на h', 0 < h < К, равна

/ q \ 2 q-Vh'

<т 2 “Z 5 (pA-g + Pg+A — 2pApg) (pft--g + pg+A' — 2pA-pg) =

\z=o / g=l

I / q 2 q-Vh'

= "o~ a4 I S af /5 (Ph-g + Pg-Vh — 2pApg) (№-S + Pg+ft' —'

Z U=0/ g=-^qW

— 2pA'pg) = o2(0)azAA,,

где шаа- определено в (28). [Если §и<<оо, то (39) есть Нт Тб (ch — рАс0) (са- — Ра-с0).1 Имеем, далее, Т-юо

ТqТ

с0 = -у 2 А = 2 a,a/ Т" 2 Ut-lUt-i = /=1i,/=0/=]

q 1 тqт

=2а'2 т 2+ 2 a‘az "т 2 ut-iyt-b

1^0/=1/,/=0/=1

Т

Каждая сумма (1/Т) 2 у^-i сходится по вероятности к о2 в силу т

закона больших чисел, а каждая сумма (1/Т) 2 «t-i «t-ь i Ф j, сходится по вероятности к нулю, так как сходится к нулю при i #= j / . ТV 1 г1

§ hr S Vt-iVt-A = "пГ 2 bt-iVt-iVs-iVs-j = -угО4.

\ 7 /=1/1^,s=l1

Таким образом, с0 сходится, по вероятности к а2 2 а? =о(0). Поэтому предельное распределение величины (42)У? Vh - Рй) = УТ^-^-

есть N (0, Whh\ Доказательство теоремы завершается аналогичным п

рассмотрением произвольной линейной комбинации X kh VТ х /i=i

х (ГА — рДи

ПРОЦЕСС АВТОРЕГРЕССИИ С ОСТАТКАМИ

В ВИДЕ СКОЛЬЗЯЩЕГО СРЕДНЕГО

Модель

Пусть ^ удовлетворяет соотношению рq

2 ₽s^-s = 2 «-pt-b

3=0/=0

В котором ро = а0 = 1, а {и,} —последовательность независимых случайных величин с 8и( = 0 и Hyf = а2. Чтобы исключить тривиальные случаи, будем полагать ₽р #= 0 и а^ ^= 0. Тогда имеем 8у< =0. Соотношение (1) можно записать в виде

рq

2= 2

s=0/=0

Пусть корни уравнения

р

2 Ps^-5 = °

8=0

равны хь ..., хр, а корни уравнения

q

5 a;Z^ = 0

/=0

равны zb ..., z,,. Тогда (2) можно переписать следующим образом:

Рq

П (1 -х^ у, = П (1 - г^ и(.

1=1/=1

Соотношение между {у,} и {v(} не изменится, если обе части (5) разделить на общие множители. Поэтому без ограничения общности будем считать, что (3) и (4) не имеют общих корней. .

Для того чтобы yt можно было выразить в виде линейной комбинации vt, и<-1 ... (когда а2 > 0), необходимо, чтобы все корни уравнения (3) лежали в единичном круге. При этом

yt = П (1 — х^1 П (1 — 2^Vt =

/=1

5 S5 7г^—г*

-s=0 /=0г—0

Коэффициенты (6J здесь те же, что и в разд. 5.2.1. Коэффициенты {уг} получаются следующим образом:

То = 6оао = К

71 = 6oai + 6iao = «1 + 6Ь

7^-1 = 60a^i + 6^-2 + • ♦ • + 6^_ia0,

7r = ^r—q^q + 6г—<74.1^—I + • • • + 6га0, Г = q, q + 1, . . . .

Умножим обе части (1) на yt-н» h = 0, 1, ...» и возьмем от полученных выражений математические ожидания. В результате придем к системе соотношений

2 Pso(A-s) = 2 2 a^^Vt-iUt-h-r = о22 2 a,yr6,v+ft, s=0/=0 г=0/=0 г—0

й = 0, 1, ... , где 6р-+» есть дельта Кронекера. В частности, отсюда следует, что

2 Р.0^ — s) = 0, /i = ^-f-l,....

s=0

Таким образом, последовательность {а (г)} удовлетворяет для г = q + 1 — р, ... однородному разностному уравнению. [В разд. 5.8.2. будет показано, что эти уравнения в совокупности с условием Ро = 1 определяют Рь ♦.♦, Рр, если последовательность {а (г)} известна.]

Для некоторых целей более удобным оказывается рассматривать 1 качестве параметров процесса не 0Ь ..., рр, о2, аь а^, а ₽ь Рр» а(°)’ Рь •••, Р^ где рЛ = а (/i)/a (0). Если обозначить левую часть выражения (1) через иь то математическое ожидание произведения и^^н можно записать в виде

рр

^UtUt*h= 2 №Nt-sytA-h-r = 2 PsPr®^ + $ — г). s,r=0s,r=0

С другой стороны, используя правую часть (1), то же математическое ожидание можно записать в виде

(Н)(Н)^1/^/_|.д^1/^/_|.дР-1ЛI а2 2 /=о к0,Р-1ЛI а2 2 /=о к0,а/а/+ i м>а/а/+ i м>h = 0, ± 1, ..» , ±^, й = ±(9+1), ... .h = 0, ± 1, ..» , ±^, й = ±(9+1), ... .

(Н)

(Н)

^1/^/_|.д

^1/^/_|.д

Р-1ЛI а2 2 /=о к0,

Р-1ЛI а2 2 /=о к0,

а/а/+ i м>

а/а/+ i м>

h = 0, ± 1, ..» , ±^, й = ±(9+1), ... .

h = 0, ± 1, ..» , ±^, й = ±(9+1), ... .

Использование (10) и (И) приводит к следующей записи производящей функции ковариаций случайной последовательности {«<}:

q р

а(0) 2 2 PM+s-rZ^^vM^Attz-1).

h=—q s,r=0

Здесь М (z) определяется посредством (4) из § 5.7. Используя (9), соотношение (12) можно переписать в виде

Рq—s

о(0) 2 №2 PM-s^-aWW"1).

5,л=0h=—(q—г)

В левой части последнего соотношения присутствуют лишь параметры ₽ь ..., Рр, а (0), Pi, ..., р^, а в правой — лишь параметры а2, аь ..., о^. Поэтому вторая совокупность параметров вполне определяется первой. Левая часть (13), умноженная на zq, будет полиномом степени 2q. Корни ее будут образовывать пары, как было указано в разд. 5.7.1. Одно из образующихся при этом двух множеств корней определяет М (г) и через него значения ах, аа. [См. Дуб (1944).]

Оценивание параметров

Если случайные величины vt распределены нормально, то нормально распределенными будут и yt. Как и в случае обычного скользящего среднего, изучавшегося в § 5.7, матрица, обратная ковариационной матрице конечного множества случайных величин уъ ..., у-г, является отнюдь не простой, минимальное достаточное множество статистик имеет мощность Т, а уравнения максимального правдоподобия сложны и не поддаются непосредственному решению. Тем не менее (как указывается в теореме 8.4.6) любое конечное множество

выборочных корреляций имеет асимптотически нормальное распределение. А. Уолкер (1962) обобщил на рассматриваемый случай метод оценивания, используемый для модели обычного скользящего среднего, т. е. максимизацию функции, аппроксимирующей функцию правдоподобия первых п выборочных сериальных корреляций.

Если случайные величины vt независимы и одинаково распределены с ^ = 0 и Яи/ = о2, то совместное предельное распределение статистик У"Т (гг — рх), ..., У Т (гп — рп) будет многомерным нормальным с нулевыми средними и ковариациями

wgh = 2 (pr+gPr+/z + pr—gpr+/i — 2ptiprpr+g — 2pgprp/4-h+ 2pgpApr).

По этому поводу см. теорему 8.4.6. [Если все корни (3) лежат в единичном круге, то условия теоремы 8.4.6 будут выполнены. См. (41) в § 5.2, а также (6) и (7).] Для усовершенствования процедуры оценивания, использующей данное предельное распределение, удобно использовать переменные

(15)

Х1 = гь/=1q,

р

Xi = 2Pz/-s,i = q + 1, ..., q + p,

s=0

Р

Xi = 3 PsP/z-s-/, i = q + p + i. ..., n,

где г0 — 1 и г_/ = г/, / = 1, 2, ... . Поскольку из (9) следует

р

(16)2 Р5рл—s = О» h = q + 1, ... ,

s—О

то совместное распределение статистик УТ (хх— pj, ... ..., УТ ^xq — рД УТ x^+i, ..., УТхп будет нормальным с нулевыми средними и ковариациями ср,,, I, j = 1, ..., п, выражения для которых можно получить из (Wij\ Пусть р = (ръ ..., рД, х(1) = = (хь ..;, xqy, Х^ =<Xq+i xq+py,x№ = (xq+p+1, .:., хпу, х = (х<1)-, х<2)', х^'у. Соответственно этому разобьем матрицу ф = (ф/;-) и ей обратную на блоки, состоящие из q, р и п — (<? + р) строк и столбцов,

/®n

®12

Ф13

(17)

Ф = Ф21

^22

®23

\Фз1

Ф33

®33

/фИ ф12 ф13 ф-1 _ [ ф21 ф22 ф23 \ф31 ф32 фЗЗ

Тогда логарифм функции, аппроксимирующей функцию правдоподобия от х, будет равен

logL =^-n log 2л£-log|0| —

(

фП ф12 ф13\ ^(Ц-рх ф21 ф22 ф23 II х(2) I. фз1 фзг фззу\х(3) у

В качестве оценок мы возьмем такие значения рь ..., Рр, рь ..., рр, которые будут удовлетворять дифференциальным уравнениям d log L/^ = О, s = 1, ..., р, и d log Udph = О, h = 1, ..., q. В этих дифференциальных уравнениях члены, включающие частные производные <pq (или (р1') по 0S и рА, имеют меньший порядок по Т, чем другие. Если пренебречь этими членами и умножить на соответствующие константы, то в результате получим уравнения

Ф11 (х<'> — р) + ф12х<2) + ф1зх(3) = о,

-^- [Ф21 (х<‘) — р) + Ф22Х<2) + Ф23Х<3)] +

+[ф31 (Х(1) — р) + ф32х(2) _]_ ф33х(3)] = 0>

где

дх^' / дх; \.. 1,1

<21) т = №)’ ! =q + p, s=i,

/оох дх^' / дх. \11

Т=\"дГЬ l = q + p-H, п, s=l,

Для того чтобы упростить (20), заметим, что

^~ = r/-s> i = q+^ •••. q + p- s=i,...,p,

1K" = 2SP//-»-#. / = 9+р+I, ,.. , n, s=l, ...,p.

Поскольку статистики VT Vw — P/-s), / =9+ I, ..., q + p, s = I, .... p, имеют предельные распределения, то dx,7dps в (20) можно для этих значений / и s заменить на р/_$. Ввиду того что в силу (16) предельными распределениями обладают статистики р

VT^tTi-s-t при / = q 4- р 4- I, ... , п, s = I, ... , р, то для таких значений jus производные dxj/d^s можно заменить в (20) нулями. В результате получаем, что (20) асимптотически эквива-

лентно(25) гделентно(25) гдеR = (p/-s)R = (p/-s)Р<7-Н• • • Р^+р—1Vq • • • Р<7+р—2р^—р+2 • • • Ру .Р<7-Н• • • Р^+р—1Vq • • • Р<7+р—2р^—р+2 • • • Ру .

лентно

(25) где

лентно

(25) где

R = (p/-s)

R = (p/-s)

Р<7-Н• • • Р^+р—1

Vq • • • Р<7+р—2

р^—р+2 • • • Ру .

Р<7-Н• • • Р^+р—1

Vq • • • Р<7+р—2

р^—р+2 • • • Ру .

R [ф21 (Х(1) _ р) _|_ ф22х(2) _|_ ф23х(3)] _ О,

(26)

Докажем, что матрица R невырождена. Пусть имеет место обратное. Тогда существует некоторый постоянный вектор с = = (сь ..., срУ, такой, что

2 с,ру_, = О, j = 9+ 1, • • • , q + Р.

S=1 р-

Из (16) вытекает, что pft = — 5 Р«Рл-ь h = q + 1, ... . Применение этого соотношения к (27) показывает, что (27) выполняется тогда и для j = q + р + 1, ... .Но это означало бы, что процесс можно представить моделью (1), в которой параметры ро, ..., Рр заменены параметрами сь ..., ср) а значения параметров аь ..., а. определяются через q, ..., ср и рь ..., р^ в соответствии с (13). Но это противоречит предположению о том, то РР ^ 0, в соответствии с которым левая часть (1) определяется не р, а р + 1 постоянными.

Поскольку R невырожденная матрица, то (19) и (25) можно объединить в уравнение

/фИ ф12 ф13\ Х Р \

( ф21 ф22 ф23) I Х<2> I = 01

\Х(3>/

При этом

/Х^» — р\ /фИ ф12 -1 ,ф13\ф \

(х(2) у~ уф21 ф22 ] (ф23у Х<3) = ' Ф23 ) Фз3 Х<3>’

(См., например, упр. 8 гл. 2.) Правая часть (29) представляет регрессию векторов х(1) — ри х(2> на х<3), использующую ковариационную матрицу предельного распределения. Тогда

р = х<,)-Ф13Фз‘51х<3)

состоит из (асимптотических) остатков корреляций гь .... гд на р

2 PsP/ rHs-t, j = ^ + р + 1, •••, »• Остальные уравнения в (29) *./=0

Р

говорят о том, что (асимптотические) остатки сумм X Р$ г^, j = р

«а + 1,9 + Р на 2 PAo-s-b / = q + р + 1, ..., п, рав-

7s,/=0

ны нулю. Поэтому их можно записать в виде

р А

2 PZ/-S (Х(3>) = о, j = q + 1q + Р,

s^=0

где г is (х<3)) обозначает остаток n_s от его (асимптотической) рег- (3)'

рессии на х •

Полученные уравнения являются нелинейными, поскольку Ф и х(3) зависят от неизвестных параметров. Тем не менее решения уравнений (30) и (31) можно получить методом итераций, вычисляя Ф и х(3) для некоторых начальных оценок р и р( и уточняя затем эти оценки путем решения (30) и (31) с полученными значениями Ф и х(3), и т. д. В качестве начального приближения можно взять состоятельные оценки искомых параметров, определяемые соотноше- аРа

ниями р” = rz, i = 1, ... , q, и 2 Р$г;-Г = 0, j = q + 1, ... , q + p.s=0

Оценки, определяемые уравнениями (30) и (31), состоятельны и асимптотически нормальны. Вектор

УТ (р - р) = У"Т (x<D - р) - <M&* /Тх(3)

имеет предельное нормальное распределение с нулевым средним и ковариационной матрицей Фп—Ф13Фй' Фзг Уравнения (31) в силу ро = ро = 1 можно записать в виде

5 PZ/—s (х(3)) = — г/ (х<3)), / = <7 + 1q + р.

5=1

Совместное распределение статистик У Т [г, (х<3)) — pz], i = = 1 q + р, асимптотически нормально. Поэтому (33) эквива

лентно уравнению

р_ А_ р

2 rHs (х<3>) УТ (Р, - pj = -УТ 2 rz_s (х<3>) р„

5=1$=0

£=</+1, ... , q + p.

С учетом (16) правая часть (34) может быть записана в виде р _

-ЗГТк^^-р^р,, / = <7+1q + p,

и имеет поэтому в пределе нормальное распределение с нулевыми средними и ковариационной матрицей Ф22 — Ф23Фзз1Ф32. Поскольку [rz-_s (x(3,)J сходится по вероятности к R', то (34) показывает, что предельное распределение вектора У Т ф — Р), где р = = (Pi, ..., Рр)' и Р = (Pi, ..., Рр)', совпадает с предельным распределением вектора

(RT* УТ (х(2) - Ф23Ф31'х(3)),

которое является нормальным, с нулевым средним и ковариационной матрицей

(RT* (Ф22 - Ф23Фз1’Ф32) R1-1.

Совместное распределение векторов У Т (р — р) и Ут (р — Р) также сходится при Т -* оо к нормальному. Ковариация этих двух векторов в предельном распределении равйа

(Ф^-Ф^Чг) R~'-

На рассматриваемый случай можно также распространить процедуру, предложенную Дурбином для модели скользящего среднего, несколько видоизменив ее (Дурбин (1960b)). Предположим, что мы исходим из некоторого начального приближения (начальных оценок) для параметров plf .... Рр. Обозначим соответствующие

А„р А

оценки Pi, ..., р®. Положим й/0) = 2 Р$yt-s. Используем теперь s=0

метод Дурбина, описанный в разд. 5.7.2, для оценки коэффициентов в модели скользящего среднего

q

и?» = 2 «)%-/,

/=0

где и^ рассматриваются как наблюдаемые значения. Обозначим получающиеся при этом оценки a(i°\ ..., а^0).

Пусть случайный процесс {х,} таков, что ‘ р

2P/r-. = v„ t= ...,-1,0,1

s=0

Тогда случайный процесс {</<}, определяемый соотношением

yt = xt + «tXt-x + • ■ ■ + aqxt-q, t= ... , — 1, 0, 1, ... ,

будет удовлетворять уравнению (1) для t = ..., —1, 0, 1, ... . Если последовательность {х(} задать для t = ..., —1, 0, а последовательность {«//} задать для t = 1, 2, ..., то последовательность

{^} можно продолжить, решая уравнение (41) последовательно относительно %х, х2, ... . Это приводит к мысли определять 40) для

-™А(о)(о)

< = 1, .... Т, используя аг а» и произвольные Хо , ... ..., х^+ь следующим образом:

х10| = йН^№+ ■■■ +£№), '=1Т,

Параметры 0Г можно оценить теперь исходя из последовательности {^0)}> удовлетворяющей (41). В результате получим новое приближение рГ1, •••. Рр*- Дурбин предложил переходить поочередно от одной процедуры к другой таким образом, что после рР, ..., Рр1* вычисляется аР, ..., а(Д затем Pi2>, .... Р₽* и т. д. Можно ожидать, что при больших значениях Т (и п) итерационный процесс будет сходиться.

НЕКОТОРЫЕ ПРИМЕРЫ

Вольд (1965) образовывал искусственные временные ряды с помощью разностных уравнений второго порядка, в которых ut считались независимыми случайными нормальными отклонениями. Три таких ряда затабулированы в приложении А.2, там же приводятся их графики. При этом рт = —у, Р2 = у2, корни характеристического уравнения равны у ехр (±1'2л/6) и у = 0.25, 0.7 и 0.9 соответственно. В каждом из этих случаев дисперсия величины ut выбиралась так, чтобы дисперсия yt равнялась единице. На приведенных графиках можно проследить тенденцию к наличию колебаний с периодом, близким к 6. Этот период выражен заметнее для больших значений у.

Значения первых трех выборочных корреляций (rh = СА/С0) указанных рядов для Т = 200 и соответствующих им теоретических корреляций [рА = ст (Л)/ст (0)1 приведены в табл. 5.1.

Таблица 5.1

ВЫБОРОЧНЫЕ И ТЕОРЕТИЧЕСКИЕ КОЭФФИЦИЕНТЫ КОРРЕЛЯЦИИ ДЛЯ ТРЕХ ПРОЦЕССОВ АВТОРЕГРЕССИИ (Г = 200)

V

гг

'а

лз

Pi

Р2

Рз

0.25

0.2473

0.1120

0.0492

0.23529

—0.00368

—0.015625

0.70

0.5113

—0.0473

—0.3001

0.46980

—0.16114

—0.34300

0.90

0.5011

—0.3858

—0.7726

0.49724

—0.36249

—0.72900

1 Г1 Г2\[ ^ 'i 1 ГХ II Ь2 Г г Гг 1 / \Ь31 Г1 Г2\[ ^ 'i 1 ГХ II Ь2 Г г Гг 1 / \Ь3Оценки для Pj и р2 в предположении р = 2 и оценки для ръ р2, Р3 в предположении р = 3 получаются соответственно из уравнений

1 Г1 Г2\[ ^ 'i 1 ГХ II Ь2 Г г Гг 1 / \Ь3

1 Г1 Г2\[ ^ 'i 1 ГХ II Ь2 Г г Гг 1 / \Ь3

(1)(1)1 Г1)Р^ = —Г1

(1)

(1)

Л 1 / W2/ V2

Соответствующие результаты приведены в табл. 5.2.

Таблица 5.2

ОЦЕНКИ КОЭФФИЦИЕНТОВ ПРОЦЕССОВ АВТОРЕГРЕССИИ

V

Pt

Р2

bi

ь4

61

ь.

6,

0.25

—0.25

0.0625

—0.2339

-0.0542

—0.2334

-0.0518

—0.0103

0.70

—0.70

0.49

—0.7250

0.4180

—0.6893

0.3561

0.0854

0.90

—0.90

0.81

—0.9273

0.8505

—0.9736

0.9010

—0.0545

Критерий для проверки нулевой гипотезы Р3 = О можно строить, используя статистику ]/Т Ь3, значения которой в указанных трех случаях равны соответственно —0.1458, 1.208 и —0.7706. При нулевой гипотезе значения статистики VТ Ь3 должны быть распределены приблизительно нормально с нулевым средним и единичной дисперсией. Если ограничиться разумными уровнями значимости, например 1 %, 5% или 10%, то ни в одном из трех случаев нулевая гипотеза не будет отвергнута соответствующими двусторонними критериями.

Юл (1927) предложил использовать процесс авторегрессии в качестве более предпочтительной статистической модели по сравнению с моделью, в которой случайная ошибка накладывается на тригонометрический тренд. (Модель последнего типа рассматривалась нами в гл. 4.) Он применил его к числам Вольфа солнечной активности, которые представляют собой данные ежегодных измерений солнечной активности за период с 1749 по 1924 г. [Эти данные более широко и более подробно представлены Вальдмейером (1961).) Числа, использованные Юлом, затабулированы в табл. А.3.1 приложения А.З. Подобные данные анализировались Крэддоком (1967). Соответствующие результаты приведены ниже. В первом приближении эти ряды выглядят похожими на искусственные ряды Вольда.

Первые пять корреляций, приведенные Юлом, указаны в табл. 5.3.

Для процесса второго порядка Юл получил оценки Ьг = = —1.34254, Ь2 = 0.65504, v =—13.854, о =15.41. Корни характеристического уравнения равны 0.67127 ± 0.45215г =

= 0.80935 exp (± i33.963o}. В соответствующей модели имеется тенденция к сохранению периода 360733.963° = 10.600 (лет). Это несколько меньше, чем обычно принимаемый период, чуть больший 11 лет. [Шустер (1906) принимает его равным 11.125 лет.}

Таблица 5.3Таблица 5.4

КОРРЕЛЯЦИИ ДЛЯ ЧИСЕЛ СОЛНЕЧНОЙПОСЛЕДНИЕ КОЭФФИЦИЕНТЫ

АКТИВНОСТИ

Запаздывание

Корреляции

р

Ьр№

Ут ьр (р)

1

0.811180

2

0.433998

1

—0.811180

— 10.761

3

0.031574

2

0.655040

8.690

4

—0.264463

3

0.101043

1.340

5

—0.404119

4

—0.013531

—0.180

5

0.050001

0.663

Используя данные табл. 5.3, Юл находит оценку параметра Рр в предположении, что процесс имеет порядок р, (частный коэффициент корреляции) для р = 1, 2, 3, 4, 5. Эти оценки приведены в табл. 5.4. Следует отметить, что значения V ТЬ^р), которые должны быть приблизительно нормально распределенными при Рр = = Pp+i = ... = 0, оказываются относительно малыми по абсолютной величине для р = 3, 4, 5.

1700 1710 1720 1730 1740 1750 1760 1770 1780 1790 18001700 1710 1720 1730 1740 1750 1760 1770 1780 1790 1800Ю0Ю011111 д!11111 д!ооxaaaAJVxaaaAJV1900 1910 1920 1930 1940 1950 i9601900 1910 1920 1930 1940 1950 i960

1700 1710 1720 1730 1740 1750 1760 1770 1780 1790 1800

1700 1710 1720 1730 1740 1750 1760 1770 1780 1790 1800

Ю0

Ю0

11111 д!

11111 д!

о

о

xaaaAJV

xaaaAJV

1900 1910 1920 1930 1940 1950 i960

1900 1910 1920 1930 1940 1950 i960

Рис. 5.L

Солнечная активность за период с 1700 по 1965 г,

Коэффициенты корреляции для чисел солнечной активности по Крэддоку.

Изучение данных солнечной активности было предпринято также Крэддоком (1967), использовавшим ежегодные наблюдения с 1700 по 1965 г. График результатов наблюдений представлен на рис. 5.1. Соответствующие корреляции приведены на рис. 5.2. Крэддок производит подбор различных моделей авторегрессии для р от 1 до 30. На рис. 5.3 представлен график отношения Ор/по (в процентах), где Ор — оценка дисперсии на основании модели порядка р (с включенной в модель константой). Разность Т (op_i — Ор) пропорциональна отношению рр1арр, которое используется при проверке гипотезы 0р = 0. [См. (16) § 5.6.] Фактически ^-статистикой является

Остаточная вариабельность в моделях авторегрессии.

Приведенные данные весьма определенно указывают на то, что рх и р2 должны быть взяты отличными от нуля. Далее, представляется сомнительным, чтобы значения Р3, ..., Р» были равны нулю. Значения Рю, • ••, Pie более похожи на нулевые. Наконец, можно заключить, что р19, ..., Р30 будут нулями. В формальных терминах процедуры со многими решениями, описанной в конце разд. 5.6.3, возьмем р = 30 и т = 0. Коэффициенты У1У, j =9 30,

Таблица 5.5

ОЦЕНКИ КОЭФФИЦИЕНТОВ ПРОЦЕССОВ АВТОРЕГРЕССИИ ДЛЯ ИНДЕКСА БЕВЕРИДЖА ЦЕН НА ПШЕНИЦУ С ВЫДЕЛЕННЫМ ТРЕНДОМ

р 61 (р)

Ьц(р)Ь3(р)Ь4 (р) Ьь(р) Ьв (р) blip) beip) V370bp(p) 7ГГ

а0

2 —0.7368

3 —0.7489

4 —0.7503

5 —0.7488

6 —0.7435

7 —0.7285

8 —0.7123

0.31105.984 0.6179

0.3397—0.0388—0.7460.6170

0.3521—0.06620.03670.7060.6162

0.3494—0.05160.0055—0.0415—0.7980.6151

0.3501—0.05820.0504—0.05460.12842.4700.6050

0.3437—0.05240.0436—0.01380.0417 0.11652.2410.5968

0.3495—0.05430.0496—0.02110.0895 0.0153 0.13902.6740.5853

равны приближенно 1.2, за исключением К^Рш равного примерно 2.2, и УУрв, примерно равного 3.8. Если последовательность 8П i =9, ..., 30, такова, что 0.0002 < е; < 0.02, то порядок следует выбрать равным 9. Если же 0.03 < ег < 0.1 для i =18, .... 30, то порядок следует принять равным 18. (ет = ... = 830 = 0.0035 соответствует р0 =0.9.)

Уиттл (1954) изучал солнечную активность на базе полугодовых данных за период с 1886 по 1945 г. и подыскал для них модель авторегрессии, использующую запаздывания на 1 и 22, т. е. на 6 месяцев и 11 лет. Было проведено и много других статистических исследований.

[[Рядами Вольфа и Уиттла занималась также Шерф (1954). Она подобрала модель авторегрессии с запаздываниями на 1, 2 и 9.

В качестве другого примера рассмотрим ряд Бевериджа индексов цен на пшеницу с выделенным трендом, затабулированный в приложении А.1 вместе с его корреляциями. Оценки коэффициентов процесса авторегрессии порядка р даны в табл. 5.5 для р = 2, 3, ... .... 8. В предпоследнем столбце этой таблицы приведены значения статистики Ут Ьр (р), которые могут быть использованы для проверки нулевой гипотезы рр — 0 против альтернативы рр ^ 0, в пред-

положении, что порядок процесса не выше р. Следует отметить» что при любом разумном уровне значимости нулевая гипотеза Р2 = = 0 отвергается, в то время как нулевые гипотезы Рр = 0 для р = = 3, 4, 5 принимаются. Нулевая гипотеза Рр =0 отвергается для р = 6, 7, 8 с уровнем значимости 2,5% и принимается для р = 6, 7 с уровнем значимости 1 %. Если полагать, что порядок не может быть больше р для р = 6, 7 или 8, и использовать предложенную ранее процедуру со многими решениями, то решение о том, что порядок равен р, принималось бы при уровне значимости, не меньшем 0.025. С другой стороны, если использовать процедуру со многими решениями, состоящую в поочередной проверке гипотез Р/ = 0 для / = = 2, 3, ... до тех пор, пока какая-то из этих гипотез не будет принята и будет решено, что порядок равен порядку, соответствующему последней отклоненной гипотезе, то можно было бы прийти к заключению, что процесс имеет порядок 2 [как это было у Саргана (1953)]. Однако, судя по табл. 5.5, для порядка рассматриваемого процесса может оказаться наиболее подходящим и значение, большее 8.

ОБСУЖДЕНИЕ

В настоящей главе мы обсудили математические модели стационарных процессов, определяемые конечным числом параметров. При этом модели были таковы, что о них можно говорить как о линейных, имея в виду линейность по коэффициентам, по наблюдаемым переменным и по гипотетическим случайным переменным. В ряде случаев модель соответствует теории образования наблюдаемых данных и ее коэффициенты имеют самостоятельный смысл. В других случаях модель является аппроксимацией, оказывающейся адекватной для многих целей.

* Модель авторегрессии обладает рядом преимуществ по сравнению с моделью скользящего среднего и процессом авторегрессии с остатками в виде скользящего среднего, хотя последние в определенных случаях могут хорошо описывать образование наблюдаемых временных рядов. Оценки коэффициентов процесса авторегрессии легко вычисляются. Статистические процедуры для такого процесса, основывающиеся на теории больших выборок, легко выполнимы, поскольку они соответствуют обычной технике наименьших квадратов. Во многих случаях коэффициенты процесса авторегрессии допускают непосредственную интерпретацию, а линейные функции от запаздывающих переменных могут быть использованы для прогнозирования.

Как мы увидим позднее, каждую из этих моделей можно использовать для аппроксимации и оценивания спектральной плотности.

ЛИТЕРАТУРА

. Дж. Уолкер (1931), Юл (1927).

Тернбулл и Эйткен (1952), Халмош (19 58).

Дурбин (1960а), (1960b), Манн и Вальд (1943b).

Т. Андерсон (1959), Т. Андерсон и Рубин (1950), Купменс, Рубин и Лейпник (1950), Лоэв (1963).

Бартлетт и Диананда (1950), Кенуй (1947), А. Уолкер (1952).

Дурбин (1959), А. Уолкер (1961).

Дуб (1944), Дурбин (1960b), А. Уолкер (1962).

Вальдмейер (1961), Вольд (1965), Крэддок (1967), Сарган (1953), Уиттл (1954), Шерф (1964), Шустер (1906), Юл (1927).

Упражнения. Кузнец (1954), Хаавелмо (1947).

УПРАЖНЕНИЯ

(§ 5.1) Найдите коэффициенты он, ..., ар в соотношении (2), если последнее записано в виде

(Ар +1 + ••• + ap) Ut-p = ut-

(Разд. 5.2.1) Проведите подробно выкладки в (30) для случая q = 1, р = 2. Выразите и^ определяемое выражением (31), с помощью ut для г = 1. Убедитесь, что ut не коррелированы.

(Разд. 5.2.1) Пусть (yt^ — стационарный процесс, удовлетворяющий уравнению

Ut + Uw = “ь

в котором ^ut = 0, gu2 = aa и gu/ц. = 0, t * s. Докажите, что yt = (—l)s yt^s с вероятностью 1.

(Разд. 5.2.1) Докажите, что линейное разностное уравнение порядка р ^№2t + ^^2w+ ••• + Pp(0^p-a(0,

где Ро (0 ^ 0, рр (/) ^ 0 на множестве S последовательных значений / имеет одно и только одно решение г/, для которого значения zt при р последовательных значениях t равны заданным. (Указание. Доказать индукцией по t, что значения решения zt при любых р последовательных целых значениях t определяют значение zt для следующего целого t.)

(Разд. 5.2.1) Покажите, что t-я степень любого корня х/ характеристического уравнения (23), соответствующего стохастическому разностному уравнению

Ро^/ + Pi^/—1 + • • • + ^Pwt_p = 0,

является решением последнего (ро =£ 0, рр =£ 0). (Указание. Сделать подстановку = ^.)

(Разд. 5.2.1) Покажите, что

(^ - a) Pg (t) а1 = Pq-1 (0 a<+1,

где Pq (Q и Pq—1 (t) —. полиномы степени q ч q — 1 соответственно.

(Разд. 5.2.1) Покажите, что

(Разд. 5.2.1) Покажите, что выражение c^cf + c\tcf^ + ... + + cm^-itm’^a^—rn^ можно записать в виде Рт.__^ (f)a* (Для а 0)*

(Разд. 5.2.1) Докажите, что если а — действительный корень кратности т характеристического уравнения (23), соответствующего однородному разностному уравнению у пр. 5, то ^ = Pm__i (t)c? будет решением этого разностного уравнения.

(Разд. 5.2.1) Докажите, что если а^ и ае—1^ составляют пару комплексно сопряженных корней кратности т алгебраического уравнения (23), соответствующего однородному разностному уравнению у пр. 5, то

Wt = Рт_х ^elto + Рт_х (f)

является решением последнего. Здесь Рт_\ (0 и Рт_\ (0 — полиномы, соответственные коэффициенты которых комплексно сопряжены.

(Разд. 5.2.1) Докажите, что если все корни уравнения (23) различны, то ,Р

всякое решение разностного уравнения из упр. 5 имеет вид wt = ^ к^, где ко

эффициент kt действителен, если действителен X/, и коэффициенты kt и к^ комплексно сопряжены, если таковы же xt и х^. (Указание. Используя упр. 5, покажите, что wt указанного вида является решением, и, используя упр. 4, покажите, что оно будет единственным для заданных р последовательных (по /) значений wt.)

(Разд. 5.2.1) Выясните, является ли условие pi = 0 в модели разностного уравнения второго порядка необходимым и достаточным для того, чтобы yt и у^ были независимыми.

(Разд. 5.2.2) Выведите из (51) следующие выражения:

о (0) =--d+p2)2-Pfо (0) =--d+p2)2-Pf1+р21-Р» ’1+р21-Р» ’

о (0) =--

d+p2)2-Pf

о (0) =--

d+p2)2-Pf

1+р2

1-Р» ’

1+р2

1-Р» ’

q2 — Pl

° ~ (l + p2)2-pf "1 -₽2'

(Разд. 5.2.2) Получите выражения, указанные в упр. 13, используя (42) и соотношения

/со\2оо

О (0) = 8 ( 5 6г“<-г) = °2 2 6П

' г=0)г=0

а (1) = 8 S ^t-r 2 6s“/-i-$ = °2 2 6A+i-

r=0s=0r=0

(Разд. 5.2.2) Постройте график 6r и o(r) для о2 = 1 и (a) Pi = 0.9, (b) Pj = -0.9, (с) Pi = 0.1, (d) Pi = -0.1.

(Разд. 5.2.2) Постройте график 6, и о (г) для о2 = 1 и (a) Pi = 0.25, Р2 = 0.0625, (b) Pi = 0.7, р2 = 0.49 и (с) Pi = 0.9, р2 = 0.81.

17. (§ 5.3) Найдите Лт, если

"X

1

0 . ,

. . 0

0“

0

X

1 .,

. . 0

0

Л =

0

0

X . ,

. . 0

0

0

0

0 ..

X

1

_0

0

0 . .

. . 0

(§ 5.3) Докажите, что кратность характеристического корня X матрицы Л в упр. 17 равна размеру этой матрицы и что у Л имеется только один линейно независимый вектор.

(§ 5.3) Докажите, что вектор (xf d, xf 2, ..., 1)' является и притом единственным характеристическим вектором матрицы —В (с точностью до умножения на константу), соответствующим корню х/ произвольной кратности. Опираясь на этот факт, докажите, что если не все эти корни различны, то матрица —В не может быть выражена в виде САС”"1, где матрица Л диагональна.

(§ 5.3) Покажите, что соотношения (28) § 5.2 и (22) § 5.3 тождественны.

(§ 5.4) Найдите условия, при которых тт

1 X1 ^-11 V yt

Т S УкхТ Й Vt-x

будет несмещенной оценкой для —Pi при р = 1 (и q = 0).

(§ 5.4) Оценками в п. (Ь) упр. 18 гл. 3 служат у0 = 72.31, ft = 2.206 и ft = —0.1109.

Найдите оценки (максимального правдоподобия) коэффициентов pi, р2 и дисперсии о2 в модели

Ух + Р1У/-1 + Р2У/-2 = «с

где ut имеют нулевые средние и дисперсию ст2,

yt — yt — ТоФот V) — 71Ф1Т $

и У_\ есть цена за 1897 г., у0 — за 1898 г. и т. д.

Найдите оценки корней xi и х2 характеристического уравнения (23) § 5.2; оценки коэффициентов 6Л в (42) или (44) § 5.2 и оценки о (г) в (51) § 5.2.

Покажите, что оценки для Pi и р2 в (а) близки к оценкам максимального правдоподобия в модели;

У1 + Pif//_ 1 + Р2У/—2 + ао + ai^ = ut*

(§ 5.4) (а) Пусть оценки параметров pi и р2 определены соотношением

Покажите, что

(Ь) Пусть оценки параметров pi, р2, рз определены соотношениями

Покажите, что

3~X_2r^+2r*2r2-r22

(Разд. 5.5.1) Распишите подробно уравнение (3) для у/ = у/ и убедитесь, что это уравнение определяет те же самые оценки, что и уравнение (8) § 5.4.

(Разд. 5.5.1) Пусть в соотношении (1) и/ независимы и распределены согласно N (0, 2), а у0 — заданный вектор. Покажите, что уравнения (3) и (4) определяют оценки максимального правдоподобия для В и 2.

(Разд. 5.5.2) Покажите, что из того, что матрица А положительно полу- определена и trA = 0, вытекает А = 0.

(Разд. 5.5.3) Докажите, что из уравнения (31) матрица А определяется однозначно. (Указание. Преобразовать (31) к виду

А* - ЛА*А' = 2*,

где А* = С-1 А (С'Г1 а Г = С~~*3 (С')-1.)

(Разд. 5.5.3) Покажите, что если А = В + С и при этом матрица В положительно определена, а матрица С положительно полуопределена, то матрица А будет положительно определенной. (Указание. х'Хх = х'Вх + х'Сх, а матрица А положительно определена тогда и только тогда, когда х'Ах > 0 и из х'Ах = 0 следует х = 0.)

(Разд. 5.5.4) Убедитесь, что если случайная матрица W имеет ковариационную матрицу А 0 2, то матрица A~!W будет иметь ковариационную матрицу А”1 0 2.

(Разд. 5.5.5) Пусть в соотношении (57) и/ независимы и распределены по закону N (0, 2), а у0 — заданный вектор. Покажите, что уравнения (60) и (61) определяют оценки максимального правдоподобия для В, v и 2.

(Разд. 5.5.5) Вычислите (67) для р = 2 и В = В.

(Разд. 5.5.5) Покажите, что сумма математических ожиданий квадратов компонент (70) сходится к нулю.

(Разд. 5.6.3) Проверьте, что (50) имеет нулевое среднее, дисперсию о4 и что эти суммы при различных значениях индекса / не коррелированы.

(Разд. 5.7.1) Для q= 1 покажите, что | о (1) | < а (0)/2.

(Разд. 5.7.1) Докажите, что все корни уравнения (7), лежащие на единичной окружности, имеют четную кратность. (Указание. Для г = ^ выражение

2 »&)г8 = 5 a (g) cos Xg = f (X),t=—q&=—q

является спектральной плотностью и поэтому неотрицательно. (См. § 7.3.) Покажите, что если X = v корень f (X), то он имеет четную кратность. Для этого надо показать, что наивысший порядок производной функции f (X), обращающейся в нуль при X = V, должен быть четным.)

(Разд. 5.7.1) Докажите, что ряд (10) сходится в среднеквадратичном.

(Разд. 5.7.1) Для q = 1 покажите, что | S7 | = о21 (1 — а^^^) X X (1 —оф—1, где 5Г = [о (t — s)] имеет размер Т X Т. (Указание. См. разд. 6.7.7.)

(Разд. 5.7.1) Для q — 1 покажите, что

Иш оЙ = Т-*ооИш оЙ = Т-*оо(-ajK-sl^-afminu.s))(-ajK-sl^-afminu.s))где (о^) — матрица, обратная кгде (о^) — матрица, обратная ко2 (1 — ос,)’матрице [о (t — s)] = Sr размера TXT.о2 (1 — ос,)’матрице [о (t — s)] = Sr размера TXT.39. (Разд. 5.7.3) Для q = 1 дексов[уп = 1 — Зр2 + 4р4,0/12 = 2р — 2р3,39. (Разд. 5.7.3) Для q = 1 дексов[уп = 1 — Зр2 + 4р4,0/12 = 2р — 2р3,и pj = р покажите, что для положительных ин-и pj = р покажите, что для положительных ин-wii = 1 + 2р2’ W/.h-i = 2р,wii = 1 + 2р2’ W/.h-i = 2р,/ = 2,3, ./ = 2, 3, ./ = 2,3, ./ = 2, 3, .

Иш оЙ = Т-*оо

Иш оЙ = Т-*оо

(-ajK-sl^-afminu.s))

(-ajK-sl^-afminu.s))

где (о^) — матрица, обратная к

где (о^) — матрица, обратная к

о2 (1 — ос,)’

матрице [о (t — s)] = Sr размера TXT.

о2 (1 — ос,)’

матрице [о (t — s)] = Sr размера TXT.

39. (Разд. 5.7.3) Для q = 1 дексов

[уп = 1 — Зр2 + 4р4,

0/12 = 2р — 2р3,

39. (Разд. 5.7.3) Для q = 1 дексов

[уп = 1 — Зр2 + 4р4,

0/12 = 2р — 2р3,

и pj = р покажите, что для положительных ин-

и pj = р покажите, что для положительных ин-

wii = 1 + 2р2’ W/.h-i = 2р,

wii = 1 + 2р2’ W/.h-i = 2р,

/ = 2,3, .

/ = 2, 3, .

/ = 2,3, .

/ = 2, 3, .

^/,/4-2 = Р2’/ = 1> 2, . . . , wq = О,

(§ 5.9) В следующей таблице представлен график совокупного дохода, остающегося после уплаты налогов (в сопоставимых ценах), в США за период с 1919 по 1941 г., в млрд, долларов:

1919

44.32

1927

59.26

1935

57.47

1920

45.45

1928

61.58

1936

* 65.87

1921

44.08

1929

65.04

1937

67.39

1922

47.67

1930

59.18

1938

62.34

1923

54.10

1931

54.91

1939

68.09

1924

54.65

1932

46.72

1940

72.77

1925

56.28

1933

48.12

1941

84.29

1926

58.00

1934

53.25

Эти данные взяты у Хаавелмо (1947) за 1922—1941 гг. и у Кузнеца (1954, стр. 151—153) за 1919—1921 гг.-

Начертите график ежегодных доходов.

Найдите оценки (максимального правдоподобия) коэффициентов plf ра, Ть ?2 и стандартного отклонения о в модели

й + Pi^-1 + РаУ^_2 + Vi + W = «6 <=1. ....21, гД^м/ имеют нулевые средние и дисперсии о2, yt представляет доход за t + 1920 год, t — **.1,0,1,..., 21, а у^ и у0 рассматриваются как заданные величины.

Матрица сумм равна

квадратов и перекрестных произведений для \, t, yt_x, yt_2, yt

/ 21231120211741241\

/2313311139051355114473\

1120213905701126824772365I

I1174135516824766781703131

\124114473723657031375151/

Найдите оценки (максимального правдоподобия) параметров р и 6 (коэффициентов тренда для модели, записанной в виде

^- (р + 60 + Pi Vyt-\ - [р + 6 (/ - 1)]} + р2 {^_2 — [р + 6 (/ - 2)]} = ut.

Найдите корни характеристического уравнения, соответствующего стохастическому разностному уравнению, имеющему в качестве коэффициентов полученные оценки, укажите аргументы и амплитуды этих (комплексных) корней.

Глава 6

СЕРИАЛЬНАЯ КОРРЕЛЯЦИЯ

ВВЕДЕНИЕ

Одна из первоочередных задач в анализе временных рядов состоит в том, чтобы решить, не является ли наблюдаемый ряд реализацией последовательности независимых случайных величин. В качестве простой альтернативы здесь можно использовать процесс, у которого последовательные наблюдения коррелированы. Примером такой альтернативы будет процесс, порождаемый стохастическим разностным уравнением первого порядка. В подобных случаях для проверки гипотезы о независимости может оказаться уместным использование различного вида сериальных корреляций первого порядка.

Пусть наблюдаемый ряд уъ ..., ут является реализацией процесса, имеющего нулевое математическое ожидание. Одно из возможных определений сериальной корреляции первого порядка таково:

т

5 ад-1

'1 = ^.

В этой главе рассматриваются различные определения сериальной корреляции. Если известно, что средние значения равны нулю, то эти определения являются модификациями (1). Если же средние значения неизвестны, то yt в (1) заменяется отклонением от выборочного среднего (или от оценки тренда). Многие модификации связаны с изменением крайних членов, т. е. членов, содержащих Уъ Ун Ут—\, Ут. Другие включают в себя введение дополнительного сомножителя, например Т/(Т — 1).

Сериальная корреляция служит мерой взаимной зависимости между элементами последовательности наблюдений, подобно тому как мерой зависимости между двумя множествами наблюдений хь ..., xn и 2х, ..., гы служит обычный коэффициент корреляции (средние предполагаются равными нулю)

(2)(2)NN

(2)

(2)

N

N

В случае сериальной корреляции в числителе последнего выра-

2 жения переменная х{ заменяется науь а г^ на yt-x- Поскольку Jj^ /=2

тг-1.

и 2 yLi = 2у/ служат в случае стационарного процесса (с ну- /=2/=1

левым средним) оценками для (Т — 1)/о2, то эти статистики можно т

заменить на 2 ^ (возможно, домножив еще на (Г — Х^Т\ Таким

образом, определение (1) аналогично определению (2). Сериальную корреляцию называют иногда автокорреляцией.

Сериальные корреляции более высокого порядка определяются аналогичным образом. Так, одним из определений сериальной корреляции /-го порядка является

т■ S gtvt-j

Г, =.

Эта величина измеряет взаимную зависимость наблюдений, сдвинутых на / единиц времени. Она может использоваться для проверки нулевой гипотезы о независимости против альтернативы, утверждающей существование зависимости между наблюдениями, отстоящими друг от друга на / единиц времени.

В большинстве ситуаций, однако, полагают, что наличие зависимости наблюдений, отстоящих друг от друга на i единиц времени, автоматически приводит к зависимости наблюдений, отстоящих

Ц В дальнейшем автор обычно называет такие отношения сериальными коэффициентами корреляции.— Прим, перев.

друг от друга также на 1, 2, ..., i — 1 единиц времени. В связи с этим сериальную корреляцию Лго порядка обычно используют для проверки нулевой гипотезы, утверждающей существование зависимости (/ — 1)-го порядка, против альтернативы, утверждающей, что порядок зависимости равен Л Например, можно говорить, что процесс, порождаемый стохастическим разностным уравнением г-го порядка, соответствует зависимости порядка I. При этом сериальный коэффициент корреляции порядка i следовало бы использовать вместе с сериальными коэффициентами корреляции меньшего порядка.

Более общей является задача определения порядка зависимости для случая, когда предполагается, что этот порядок не меньше m (> 0)и не бс^ьше р (> т\ Такую процедуру со многими решениями можно построить, используя сериальные коэффициенты корреляции вплоть до порядка р.

Вопросы проверки независимости, проверки порядка зависимости и установления наличия зависимости были по существу уже рассмотрены в гл. 5 при исследовании модели стохастического разностного уравнения (фактически стационарного гауссовского процесса конечного порядка). Свойства соответствующих процедур, распределения оценок и критерии, используемые для этих целей, были изложены в рамках теории больших выборок. В настоящей главе будут получены оптимальные процедуры и точные распределения для моделей, являющихся некоторыми модификациями модели стохастического разностного уравнения. (Например, оценка —Pi в модели стохастического разностного уравнения первого порядка имеет вид сериального коэффициента первого порядка.)

Общие типы моделей мы получим исходя из модели стохастического разностного уравнения (§ 6.2). Для этих экспоненциальных моделей предлагаются оптимальные (односторонние или несмещенные) критерии для проверки зависимости. Разрабатываются процедуры со многими решениями, использующие такие критерии (§ 6.4). Соответствующие построения аналогичны тем, которые использовались для определения степени полиномиального тренда (разд. 3.2.2); определяются некоторые точные модели как для случая известных средних (§ 6.5), так и для случая, когда средние неизвестны, включая модели с трендом (§ 6.6). Эти модели связываются с определениями сериальных коэффициентов корреляции. При их исследовании используются циклические сериальные коэффициенты корреляции, а также коэффициенты, основанные на сумме квадратов последовательных разностей. Мы получим точные распределения некоторых сериальных коэффициентов корреляции (§ 6.7) й их приближенные распределения (§ 6.8), а также найдем некоторые совместные распределения (§6.9). Использование сериальных корреляций в качестве оценок будет рассмотрено позднее, (гл. 8).

ТИПЫ МОДЕЛЕЙ

В гл. 5 мы изучали временные ряды, порожденные стохастическим разностным уравнением порядка р:

У/+ Р1У/-1 + ••• + ^рШ-р = ut>

где {wj — последовательность независимых случайных величин с нулевыми средними и дисперсиями о2. Если распределение величин ух, ..., ур задано, a ut не зависит от yt—h yt-2» ...» Ут для t = = р + 1, ..., Т» то распределение величин ир^\. .... ит будет полностью определять совместное распределение ух. .... ут» являющихся наблюдаемыми величинами. Если, к тому же, случайные величины ut являются одинаково распределенными, то совместное распределение величин уъ .... ур можно подобрать таким образом, что yt будут образовывать стационарный случайный процесс, если только все корни соответствующего характеристического уравнения лежат в единичном круге. [В разд. 5.2.1 было показано, что для того, чтобы случайный процесс ..., у_\. у0. уг. .... удовлетворяющий стохастическому разностному уравнению (1), был стационарным и величина yt не зависела от ^+i, ut^» ...» необходимо и достаточно, чтобы все корни характеристического уравнения, соответствующего (1), лежали в единичном круге.] Если о2 является единственным неизвестным параметром распределения случайной величины ut. то параметрами процесса будут Pi, ..., Рр и о2.

Займемся рассмотрением временных рядов, имеющих совместные нормальные распределения с нулевыми средними. Случай, когда средние отличны от нуля, будет рассмотрен в этой главе позднее. Модели с нормальными распределениями называются гауссовскими. В таких моделях совместное распределение величин у1э •••, Ур определяется полностью заданием ковариационной матрицы этих величин, которую будем обозначать Spp. Пусть

^рр = (а(?))-

Тогда плотность совместного распределения величин уг, ..., ур равна

ехР — 214)М) •

а плотность совместного распределения Up^. .... ит равна

(4)

1

1

еХр \2а2

i А

М>-Н /

ррПоэтому плотность совместного распределения уъ ..., ут есть

р

р

(б) wWV'12(б) wWV'12expj— 2 2а(?)М + w )(/,s=!

(б) wWV'12

(б) wWV'12

° м>+1л

Выражение в показателе экспоненты, заключенное в квадратные скобки, равно

р. т

2 АрУкУб + ~^~ 2 \А + Pii/t-i + ••• + ЙуЬрЧ-

/,s=lи /=р+1

+ ^1УьУ^ + ^&Vt--xyt-2 + ••• + ^p-x^pyt-p-yxyt-pA- •••

• • • + ^pytyt^pA —

1 Гт^р

— (1 + Pi+ • ‘ * + Й) 2 У1 + 2 (Pi + Р1Р2 + • • •

L/=р+1

тр

+ 2 atsytys-V 2 Ькутл-1-еУт+1-5.

/,s=l/,s=l

(Мы предполагаем 7 > 2р.) Представим (6) в виде p'S *у, где

У=(Рь УтУ-

Если Spp выбирается так, чтобы процесс оказался стационарным, то из соотношения

o(s_/) = Q[(7’_s+i)_(T_Z+i)]

следует, что элемент, стоящий на пересечении Ли строки и s-ro столб* ца матрицы S-1, совпадает с элементом (7 — t + 1)-й строки и кТ — $ + 1)-го столбца той же матрицы. Ввиду этого указанная квадратичная форма по переменным Рь ..., ур будет иметь точно такой же вид, как и квадратичная форма по переменным ут, ... ■ •’„ tiT-Vi-Di т- е- ats = biSl t, s = 1, ..., p. Коэффициенты последней можно получить из соотношения (6).

Заметим, что в квадратичной форме (6) отсутствуют слагаемые ytys» Для которых р — s | > р. С точностью до крайних членов эта квадратичная форма является линейной комбинацией сумм ^ytyt-i, t

/ — 0, 1, ..., р, именно

1+Р1+ +₽pV 2 , 9₽1 + ₽1₽2++₽P-1₽₽V,

55- Zjyt + 2— 2j ytyt-i +

• • • + 25 ytyt-p.

Коэффициенты этой квадратичной формы (в количестве р + 1) задают преобразование р + 1 параметров о2, ръ ..., 0р. Гипотезы и задачи со многими решениями можно формулировать, используя эти коэффициенты. Отметим, что 2Рр/о2 является коэффициентом при 2 ytyt-P.

t

Последние члены в (6) [точнее две последние суммы в правой части (6)1 также являются некоторыми функциями от о2, 0Ь ..., 0р. Отсюда следует, что достаточное множество статистик будут составлять здесь р + 1 сумм yytyt-h / = 0, 1, ..., Р, и, кроме того, не- t

которые из произведений ytys и уТ-ц-1УтАл-&, ^, s = 1, ..., р. В свою очередь тот факт, что число статистик в минимальном достаточном множестве много больше, чем число оцениваемых параметров, не дает возможности поставить задачи статистических выводов таким образом, чтобы они приводили к относительно простым оптимальным процедурам.

Если значение Т довольно велико по сравнению с р, то суммы ^yttit-i будут доминировать над остальными членами. Это наводит t

на мысль заменить (5) такой плотностью, которая использовала бы те же самые суммы, но в которой крайние члены были бы изменены таким образом, чтобы можно было получить семейство только р + 1 достаточных статистик.

Предположим, что плотность совместного распределения величин уъ ..., ут имеет вид

Ж, .... Ут|?о. ••-. ?р) = К ехр[— (yoQo+ ‘” +VpQP)/21, где Q; — квадратичная форма по у = (г/ъ ..., утУ,

(Ю)Qi = у'А/у,

А/ — заданные симметрические матрицы, / =0, 1, .... р, причем Ао положительно определена, а у0, ..., ур — параметры, у0 > 0, такие, что квадратичная форма,

(П) Q=ToQo+ + TpQp = у'(Т<Л + +?рАр)у '

положительно определена. При этих условиях (9) является многоМерной нормальной плотностью. Константа К = К (Тоур)

зависит от значенийуо, ..., yD и имеет вид

А-(То. • • • , Yp) = (2лГг/21?оАо + ••• +ТрАРГА.

Обычно в качестве Ао будет браться единичная матрица I.

Связь между параметрами в (9) и (5) следующая:

.1+Р1+---+Р2

То - 52

о Р1 + 0102 + * * * + 0р—10р

Т1 = 2^р— ,

v — 2 а2 •

Заметим, что ^т^х = ... = ур =0 тогда и только тогда, когда pm+i = ... =р =0. Обычно квадратичная форма Qj равна т

2 ytUt—i плюс квадратичная форма по переменным у1э ..., ууплюс *=Ж

подобная ей квадратичная форма по переменным ут-Wi ..., ут. Эги квадратичные формы выбираются соответствующим образом (например, с общими характеристическими векторами). Три примера систем квадратичных форм приводятся в § 6.5.

С помощью этой модели рассмотрим проверку гипотезы о том, что ут+1 = ... = ур =0 для определенных заранее значений m и р. В частности, нас будет интересовать случай пг = р — 1. Наиболее важным является случай, когда р = 1. Поэтому в литературе ему уделяется особое внимание. Мы найдем критерий, равномерно наиболее мощный против альтернатив ур < 0 (или, что эквивалентно, Рр <. 0), а также равномерно наиболее мощный несмещенный критерий. Реальное использование этих критериев целиком зависит от степени разработанности теории и наличия необходимых таблиц.

Другой тип задач, которым мы будем заниматься, это процедура со многими решениями для выбора наибольшего индекса i, при котором еще у. ^ 0, среди i = m, ..., р. Последний будет представлять собой порядок зависимости. Мы зададимся вероятностью завышения порядка для случая, когда порядок на самом деле равен f, 1 = /и, ..., р — 1, и потребуем, чтобы процедура была равномерно наиболее мощной против альтернатив о положительной зависимости (yt. < 0) или равномерно наиболее мощной несмещенной процедурой . Такие процедуры строятся из ряда критериев проверки гипотез подобно тому, как это было сделано в разд. 3.2.2. [См. Т. Андерсон (1963).]

РАВНОМЕРНО НАИБОЛЕЕ МОЩНЫЕ КРИТЕРИИ

ДЛЯ ПРОВЕРКИ ЗАДАННОГО ПОРЯДКА ЗАВИСИМОСТИ

Критерии, равномерно наиболее мощные

против альтернатив о положительной зависимости

Исходной моделью для наблюдений уъ ..., ут будет модель с многомерной нормальной плотностью (9) из § 6.2. В настоящем параграфе мы будем интересоваться проверкой гипотезы о значении yt-, I = 1, ..., р, в предположении, что yz+i = ... = ?р =0. В этом случае указанная плотность равна

ft • • • . Ут | То, • • • , Tz) = К, (ТоTz) X

X exp — -Т (ToQo + • • • + TzQ/)J > где

К£ (ToTz) = К (To, • • • , T„ 0, ... , 0) =

= (2лГг/2|т0А0+ ••• + ?АГ2,

а квадратичная форма yoQo + ••• + 4tQi положительно определена. Нулевая гипотеза состоит в том, что порядок зависимости меньше i (в предположении, что он не больше V). Если i = 1, то нулевая гипотеза ^ = 0 есть просто гипотеза независимости (когда матрица Ао диагональна, например когда Ао = I). В этом разделе мы займемся проверкой гипотезы о том, что у^ имеет заданное значение, против односторонней альтернативы. В случае когда i = 1 и выбрана нулевая гипотеза ух = 0 (рх =0), естественной является альтернатива ?! < 0 (т. е. рх < 0), которая соответствует положительной теоретической корреляции между последовательными наблюдениями. Если же i > 1, то альтернатива к нулевой гипотезе у< ~ = 0 (Pz = 0) уже не обязательно будет иметь вид у, < 0 (р^ < 0), поскольку —Pt представляет частную корреляцию между yt и y^i при заданных корреляциях низшего порядка. Поскольку критерии, оптимальные против альтернатив у, > 0, строятся подобно критериям, оптимальным против альтернатив yt- <_ 0, мы ограничимся рассмотрением только альтернатив, соответствующих положительной зависимости (у, < 0).

Для экспоненциальных семейств плотностей, таких, как (1), задачи статистических выводов относительно просты. Наиболее существенным является здесь тот факт, что минимальное достаточное множество статистик имеет в этом случае размерность, совпадающую с размерностью множества параметров.

Теорема 6.3.1. Если уь ..., у? имеют плотность совместного распределения (1), то Q01 ..., Q{ образуют достаточное множество статистик для параметров у0, ..., yf.

Экспоненциальное семейство имеет классическую форму Купме- наДармуа. Последняя, очевидно, удовлетворяет критерию факторизации, состоящему в том, что соответствующая плотность может быть представлена в виде произведения неотрицательной (измеримой) функции от параметров и достаточных статистик и неотрицательной (измеримой) функции от наблюдений, не зависящей от параметров. [См., например, Леман (1959, стр. 75) или Кендалл и Стьюарт (1961, стр. 41).] В рассматриваемом случае в качестве первой функции можно взять самоё плотность, а в качестве второй использовать единицу. Из этой теоремы вытекает, что интересующие нас выводы могут быть сделаны на основании значений статистик Оо, •••• Qt- Например, для любого критерия, использующего все наблюдения уг, ..., ут, можно так подобрать критерий (быть может, рандомизированный), использующий только достаточные статистики Qo, .... Q(, что уровни значимости и функции мощности обоих критериев будут одинаковыми.

Теорема 6.3.2. Семейство распределений случайных величин Qo, •••, Qi 6 (1) пРи значениях параметров у0, .... yz, таких, что квадратичная форма y0Q0 + ... + T<Q< положительно определена, является полным.

Свойство полноты также является общим свойством экспоненциальных семейств. [См., например, Леман (1959, стр. 183) или Кендалл и Стьюарт (1961, стр. 256).] Доказательство вынесено в упр. 7.

Из теоремы 6.3.2 следует, что критерий для проверки нулевой гипотезы о том, что ti равно заданному значению, например у)0, имеющий заданный уровень значимости е, и определяемый подобной областью, обладает неймановской структурой. Иными словами, если Si — множество в пространстве случайных величин Qo, ..., Qb такое, что

Pr (Sz | у0, уъ ... , у(_ь ?Р, О, ... , 0} = ez,

ТО'

Pr [Sz IQ0, ... , Q,_i; у0, ... , yz_b ур, О, . . . , 0} = 8;

для почти всех возможных значений Qo, ..., Q,_i. [См. Леман (1959, разд. 4.3) или Кендалл и Стьюарт (1961, п. 23.19).] Доказательство вынесено в упр. 9. Отметим, что, поскольку статистики Qo, ..., Q(_i достаточны для у0, ..., yz_b вероятность Pr {Sz | Qo, .... Qz-i; То, •••, Т^-ьуР, 0, ...,0} не зависит от значений у0, ..., у^.

Пусть ht (Qi | Qo, Qi_t; Yo, •••, Yt) —условная плотность распределения величин Qz при заданных значениях Qo, Qz_! и Тж = ••• = ур = 0. Эта плотность будет интересовать нас на множестве У^ всех возможных значений Qo, ..., Qz_] (которое

характеризуется положительной маргинальной плотностью распределения величин Qo, .... Qi—i). Пусть Л, (Qo, .... Qz | Yo у,) — плотность для Qo, .... Qi ПРИ Yi-н = ••• = Yp = 0- Она выражается формулой

ht (Qo, .. • , Qz | YoYz) =

= Kt (YoYz) exp= Kt (YoYz) exp5" (YoQo +5" (YoQo +••• + yzQz)]*z(Qo Qz),••• + yzQz)]*z(Qo Qz),

= Kt (YoYz) exp

= Kt (YoYz) exp

5" (YoQo +

5" (YoQo +

••• + yzQz)]*z(Qo Qz),

••• + yzQz)]*z(Qo Qz),

которая получается из соотношения для плотности величин ylt ... ..., ут преобразованием ylt ..., ут в величины Qo, ..., Q; и в (Т — i — 1) величин yt и последующим интегрированием этих (Т — i — 1) величин yt по области, определяемой значениями Qo Qi- Выполнение этих операций одновременно определяет функцию kt (Qo Qz) в (5). При этом Vt будет множеством значений Qo, ..., Qi, для которых kt (Qo, ..., Q^ > 0. Маргинальная плотность величин Qo, ..., Qi—i будет равна

(6)(6)Кг (Yo, ■ • • , Yz) exp^- (YoQo + • • • + Y-iQ.-i)] X X tUi (QoQi—Г, Yi),

(6)

(6)

где

tnAQo, ... , Qi_i; Yz) = J e^^kAQo, Q^Qf

(Заметим, что /nz (Qo, ..., Qz—r, yz) > 0 для всех yz.) Таким образом, условная плотность для Qt при заданных значениях статистик Qo, ..., Qi—1 из Vt-\ имеет вид

<8> й, № 10,Q^; т.ti - ят^т^Ь -

~ hi (Qi | Qo, • • • , Qt—ь чР-

Условная плотность распределения величины Q( при заданных значениях Qo, ..., Qz—1 представляет собой экспоненциальное семейство с параметром yz. Действительно, для фиксированных значений Qo, ..., Qz—1 функция ^z (Qo, ..., Qi) будет зависеть только от Qz, а функция ml (Qo, ..., Qz_i, yz) будет функцией от yz, выполняя роль нормирующего множителя. Следует заметить, что условная плотность Az (Qz | Qo, ..., Qz—i, yz) может быть записана только для Qo, Qi-x из Vi_x.

Поскольку критерий для проверки гипотезы yz = ^Р имеет неймановскую структуру, мы можем применить фундаментальную лемму Неймана — Пирсона (упр. 10) к условному распределению величины Qz. Наилучщим для проверки гипотезы yz = у^ против альтернативы yz = ^ оказывается критерий, имеющий критиче-

скую область

ht(Qt\Q0, .... Qj-f. тР>)

hi (Qi | Qo, ■. . , Qi_v, ?</>)

= exo[— (V0 — V2>)0 1 ^^Qz~,;

L 2\ mt (Qo, . . . , Qz__1; yf 9

Константа к, зависящая от значений Qo, ..., Qi-\, определяется так, чтобы условная вероятность события (8) при yz ^у^ равнялась желаемому уровню значимости. Если уР > у!2), то критическую область (9) можно записать в виде

Q( 2> с^ (Qo, ... , Qi—i; yz \ yz >).

В частности, такой вид будет иметь критерий для проверки гипотезы у, = 0 против альтернативы yz = yz2) < 0.

Теорема 6.3.3. Наилучишй подобный критерий для проверки нулевой гипотезы yz = у^ против альтернативы yz = у/2) < уР с уровнем значимости^ имеет критическую область (10), где константа ct (Qo, ..., Qt_\\ уР, yz2)) определяется так, чтобы при yz = yz1) вероятность события (10), соответствующая плотности (8), была равна %t.

Поскольку ct (Qo, ..., Qi_i; у^, yz2)) определяется из условной плотности (8) при yz = yV\ то она не зависит от значения у£2) и поэтому ее можно записать в виде ct (Qo, ..., Qi-\; yzI}). Таким образом, критическая область (10) не зависит от у/2). Поэтому она определяет критерий, являющийся наилучшим против любой альтернативы у{2) < уР1.

Теорема 6.3.4. Равномерно наиболее мощный подобный критерий для проверки нулевой гипотезы yz = у^ против альтернатив yz < < т!'^ с уровнем значимости ^ имеет критическую область (Н)Qi>Ci(Q0, ... , Qt_i; тР).

Константа ct (Qo, ..., Qt-\\ у!^) определяется так, чтобы при ^i = уР вероятность события (11), вычисленная в соответствии с плотностью (8), равнялась г^

Нас будет особенно интересовать случай yzI} = 0. В этом случае условная плотность Qz при нулевой гипотезе равна

ht {Qt | Qo, ... , Qt_v, 0) =

Ri^\ \4^ • ’ • ’ 4i-^\)

Следствие 6.3.1. Равномерно наиболее мощный подобный критерий для проверки нулевой гипотезы yz = 0 против альтернатив yz < 0 с уровнем значимости г( имеет критическую область

Qi>cAQ0) (М.

Константа ct (Qo, ..., Qt-i) определяется так, чтобы интеграл от плотности (12) по множеству (13) был равен г^

Когда мы перейдем к рассмотрению конкретных моделей, то увидим, что обычно критическая область (13) имеет вид

(14)(14)Г1>САГ1, ... , г,-1),Г1>САГ1, ... , г,-1),

(14)

(14)

Г1>САГ1, ... , г,-1),

Г1>САГ1, ... , г,-1),

где г^ = Q]/Qo, ..., rz = QJQ0 —сериальные коэффициенты корреляции. В частности, при i = 1 критерий для проверки гипотезы о независимости против альтернатив о положительной зависимости имеет критическую область rx > Cv

2. Равномерно наиболее мощные несмещенные критерии

При проверке гипотезы о том, что порядок зависимости меньше i (т. е. yz = 0), нас может интересовать альтернатива, состоящая в том, что порядок зависимости равен Т(т- е. yz^ 0). Эта альтернатива двусторонняя, а для двусторонних альтернатив не существует равномерно наиболее мощного критерия. Например, наилучший подобный критерий для проверки гипотезы yz = у^ против альтернативы yz = ^ < у^ с уровнем значимости ez имеет критическую область (11). В то же время наилучший подобный критерий для проверки той же гипотезы, но при альтернативе yz = ^ > у^ будет иметь критическую область

Q^cUQo, ..., Qi-v, А

где c'i (Qo, .... Qi_i; тР*) определяется так, чтобы вероятность события (15), подсчитываемая согласно плотности (8), была равна ez при Уг — у^* При рассмотрении двусторонних альтернатив потребуем, чтобы критерий был несмещенным, т. е. чтобы его функция мощности достигала минимума при yz =yz1}. В классе несмещенных критериев с данным уровнем значимости найдем равномерно наиболее мощный критерий. Такой критерий действительно будет существовать, поскольку семейство плотностей экспоненциально, и область принятия гипотезы будет интервалом. Опишем вывод равномерно наиболее мощного несмещенного критерия только в общих чертах. Полное и строгое доказательство приведено у Лемана (1959, гл. 4, разд. 4).

Для заданных Qo, ..., Q/—1 пусть Я будет критической областью с уровнем значимости ez, т. е.

(16)

J hi (Qi I Qo, * • *, Qt—i > Yt ^) d'Qi ^i-

Пусть соответствующей функцией мощности будет р (yz). При этом Р Ы”) = е/и .

(17)

Для того чтобы критерий был локально несмещенным, надо приравнять нулю первую производную функции мощности в точке yz = = ур. Дифференцируя под знаком интеграла, получаем

(18) О=-^-р(у,)|^1) =

f q kj (Qo, . . . , Qj)

4 ' т< (Qo- • • •, Qw; y*0)

exp Ig— I dQt +

d'Si [ WitooQz-h yz) j|.

X ) ^z (Qo, • • • , Qz) exp I— 1 dQ( =

- 4 j QA. (Qz I Qo, • • •, Q-i; vP) dQi +

+ 8zmz(Qo> • • • , Qi—i; T< ’) dv . mz(Q0, ... , Qw; yz) vz=vzlb

Дифференцируя подобным же образом

(19)

в точке yz =уР и сравнивая результат с (18), получаем соотношение

(2°) .VQA(QtIQo. ..., Qz-i; ^MQz = R

= ее J QzAz(QzlQo, .... Qt-i; T^dQp

Таким образом, (20) является условием локальной несмещенности критерия.

Мы хотим теперь найти такую критическую область R, чтобы она удовлетворяла соотношениям (16) и (20) и, кроме того, максимизировала функцию р (у,) для некоторого частного значения у,, например для у, = у*2> > у*1*. В силу обобщенной фундаментальной леммы Неймана — Пирсона (упр. 12) такая область определяется неравенством

ht(Qt\Qe, .... Qz-U уР)>

> aht (Q, | Qo, ... , Qz-U yP) + bQ^ (Q, | Qo, ... , Qz-il yP),

если существуют функции а и b от Qo, ..., Qz—i, такие, что указанная область удовлетворяет (16) и (20). Неравенство (21) равносильно неравенству g (Qz) > 0, где

g(Qt) = ехр[—-L^-y^Qzj-^ + BQz).

"if (Qo- • • • . Qz-p yP) в _ ^ mt (Qo- • • • . Qz-b Yp) mt (Qo, . . . , Qz—n yp’) ’mt (Qo, . . . , Q^; yP>)*

Поэтому

-557^№) = -4-^2,-YP)exp —у(уР-уР^г -В.

Если В > 0 (и ур > у^), то последняя производная отрицательна и неравенство (21) определяет некоторый полуинтервал (—оо, с). Однако такая критическая область не удовлетворяет соотношениям (16) и (20). (См. упр. 13.) Поэтому величину В следует брать отрицательной. Указанная производная будет непрерывно возрастающей функцией, принимающей нулевое значение только в одной точке. Эта точка будет точкой минимума функции g (Qi). Если этот минимум отрицателен (что имеет место, когда А достаточно велико), то (21) определяет два полуинтервала (—оо, с) и (d, оо). Область принятия в таком случае равна (с, d). Отметим, что значения end определяются соотношениями (16) и (20), которые не зависят от ^. Подобным же образом при у/2) < уР можно доказать, что константа В должна быть положительной и что область принятия будет интервалом, удовлетворяющим (16) и (20) независимо от значения у<2). Таким образом, мы получили равномерно наиболее мощный несмещенный критерий.

Теорема 6.3.5. Равномерно наиболее мощный критерий для проверки нулевой гипотезы yz = уР против альтернативы yz ^ у^

с уровнем значимости eL имеет критическую область

Qi > сщ (Qo> • • •, Qi—g ^))

Q^clMQ.-U Yi'*')»

где cUt (Qo, •••, Qt-G Y*0) u сц (Qo, •••, Qi-i; yP) определяются так, чтобы■

cyAQo Qi—Г vph

J ht (Qt | Qo, .... Qi_r, ^MQi= 1—8,

clAQo Qi—i; vp)

a

cu^Qo» Qi—f Vp)

J Qihi (Qi | Qo, ..., QM; TP) dQ, =

clAQoQi-д*' v^h

= (1 - sj J Qihi (Qi I Qo, ..., Q,_i; yP) dQt.

Следствие 6.3.2. Равномерно наиболее мощный критерий для проверки гипотезы ^( = 0 против альтернатив ^ #= 0 с уровнем значимости ^ имеет критическую область

Qi 2> Су. (Qo, • * * , Qi—1),

Qi Cl^ (Qo> • • • > Qi—1),

где су. (Qo, •••, Qt—i) u сц (Qo, •••> Qi-i) определяются соотноше

ниями .cyAQ0Qi—i)

(29> J -dHtTTTTT^T^-1 —

clAQoQi—1) a

cy^QoQi—i)

(30)(30)C G ki (^0>

(30)

(30)

cL^QoQi-i)

J Ri—\ Vxo> • • • , 4i—p

Если условная плотность распределения величины Qt при заданных Qo, •••, Qi-i для у, = 0 симметрична, то (30) автоматически

будет выполняться для

Сц (Qo> • • • > Qi—1)Си^ (Qo> • * • > Qi—1),

поскольку тогда обе части (30) будут равны нулю. При этом (29) можно записать в виде

I cuAQoQt—1)

Равномерно наиболее мощный односторонний подобный критерий можно называть также равномерно наиболее мощным односторонним несмещенным критерием, поскольку из несмещенности критерия вытекает подобие критической области.

Следует отметить, что условное распределение величины Qt при заданных Qo, ..., Qi-\ не зависит от значений параметров у0, ... ..., у/-ь Ввиду этого последним можно приписать любые значения, которые окажутся более удобными. Например, можно взять у0 = = 1, 71 = ... ==0.

т

Обычно Qo будет равно 2 У/- Отношение z=i

(33)

можно рассматривать как сериальный коэффициент корреляции. Если ^ = ... = у, = 0, то совместное распределение гъ ..., rt не зависит от у0 (> 0) и Qo. (См. теорему 6.7.2.) Оптимальные критерии (13) и (28) могут быть определены с использованием условного распределения rt = QJQ0 при заданных гь ..., п-х.

Частную сериальную корреляцию порядка i при неизменных сериальных корреляциях порядков 1, ..., i — 1 можно определить обычным способом. Мы уже говорили о том, что этот частный сериальный коэффициент корреляции может быть использован для проверки гипотезы ^t = 0. Поскольку он является линейной функцией аргумента rz (с коэффициентами, зависящими от г^ ..., rt_i), то использование его при заданных значениях гъ ..., п_\ эквивалентно использованию самого rt при тех же г1? ..., гм. (См. разд. 6.9.2.)

Случаи, когда равномерно наиболее мощного критерия не существует

Имеется целый ряд задач сериальной корреляции, решения которых нельзя получить из теорем 6.3.4. и 6.3.5. Если бы мы хотели проверить нулевую гипотезу

Т1= ... =yp = Q

ОООО

против альтернативы yj = 717Р = 7Р, где 71, .... 7Р— заданные числа, то равномерно наиболее мощный подобный критерий мог бы иметь критическую область

2^ 4jQi с (Qo)>

где константа с (Qo) подбирается так, чтобы условная вероятность события (35) при нулевой гипотезе была равна е. Если альтернативные значения параметров ух 7р имеют вид

^i = hb i = l,...,p,

где у/ фиксированы, то критическая область (35), с 7° замененными на 7/, будет наилучшей для всех альтернатив к > 0. Однако, если альтернативные значения не лежат на прямой (36) в пространстве параметров, область (35) не будет одной и той же для всех допустимых альтернатив (7?, .... 7°). Но это и означает, что в данном случае не существует равномерно наиболее мощного критерия.

Рассмотрим стационарный случайный процесс, определяемый соотношением'

у( + ^yt—1 = и(, t = ... , — 1, 0, 1, •..,

в котором | Р | < 1, а каждое ut распределено нормально, с нулевым средним и дисперсией о2, и не зависит от yt-i, yt-i, ... и u/_i, u^2, ... • При этом маргинальное распределение выборки ух, ... .... ут задается выражением (1), в котором

Ао = 1,

“0 1 0 ...00’

1 0 1 о о

I0 1 о ... о о

А1 = 4-: : : : : ’

обо ... о i

(38)(38)"О о оо о"О о оо о000... 10

(38)

(38)

"О о о

о о

"О о о

о о

о о ... о о

о ... о о

О 1 ... о о

00... 10о о ... о о

Множество альтернатив для ух = 2р/о2 и у2 = р2/а2 не лежит на прямой. Поэтому здесь не существует равномерно наиболее мощного критерия даже для односторонних альтернатив.

Если | Р | мало (т. е. близко к нулю), этот случай подобен модели разд. 6.5.4. Если р близко к —1, такой случай подобен модели разд. 6.5.3. Следовательно, можно предположить, что для проверки гипотезы р = 0 в этой модели (когда среднее значение известно) полезной статистикой должны оказаться одна или две соответствующие корреляции. Положительная зависимость соответствует р •< 0.

Пусть (37) определяет распределение для t = 1, .... Т при условии у0 г 0. Тогда Ао и Ат будут такими же, как и в предыдущем случае, а

“1 0 0...0 0"

0 1 о ... о о

0 0 0 ... 1 о

_0 0 0 ... 0 0_

Множество альтернатив для ух = 2р/о2 и у2 = Р2^2 не лежит на прямой, так что и здесь для проверки гипотезы р = 0 не существует равномерно наиболее мощного критерия.

Модель, определяемая разностным уравнением второго порядка

yt + Pi№—i + Рг№—2 = uv ^ = Ь •••> Т,

с циклическим определением у0 = ут, У-\ ^ Ут-\, приводит к плот

ности (1) с

Ао = I,

0...0 г 0 1...оо

о...оо

0 0...01

0 0...10_

(41)(41)0 10 ...10“

(41)

(41)

001 ...01 о о о ... о о

о о ... о о

1 о о о ... о о

О 1 о о ... о о

Если альтернативные гипотезы не связывают специальным образом Pi и р2, то равномерно наиболее мощного критерия для проверки гипотезы Pi = р2 = 0 не существует.

Теория, изложенная в этом параграфе, была развита Т. Андерсоном (1948), (1963).

ВЫБОР ПОРЯДКА ЗАВИСИМОСТИ КАК ЗАДАЧА СО МНОГИМИ РЕШЕНИЯМИ

Займемся теперь вопросом об определении порядка зависимости на основании наблюдений уъ ..., ут- Будем предполагать, что исследователь может определить некоторый наименьший m и некоторый наибольший р — возможные порядки зависимости. Во многих случаях пг оказывается равным нулю (указывая тем самым на независимость). В других случаях исследователь может в силу каких-нибудь причин ожидать, что порядок зависимости не меньше некоторого положительного числа пг. Ввиду того что имеющиеся наблюдения удалены друг от друга не более чем на Т — 1 единиц времени, ясно, что максимальный порядок р не может быть больше чем Т — 1. Однако ясно также, что для того, чтобы процедура обладала хорошими свойствами в отношении мощности, максимальный порядок р должен быть выбран по возможности много меньшим Т — 1.

Исследователь имеет, таким образом, задачу со многими решениями. Именно, ему необходимо выбрать порядок /и, m + 1, ... ..., р — 1 или р. Эта задача подобна задаче выбора степени полинома, представляющего тренд, изучавшейся в разд. 3.2.2. Хотя распределения здесь уже другие, общая структура задачи и ее решение будут теми же, что и в разд. 3.2.2. Мы формализуем задачу, стоящую перед исследователем, считая, что ему необходимо решить, какому из перечисленных ниже взаимно не пересекающихся множеств принадлежит параметрическая точка (7^4-1, • • • , ур):

Нр : ур =7^0,

Нр—1: ур — 0, ур—1 ^ 0> (!):

Hm-V\ • Ур — е е *У/п+20, У/и 4-1 =0= 0,

Нт- ?Р == 7^1=0.

Принадлежность параметрической точки множеству Ht означает, что порядок зависимости равен i. Альтернативная формулировка состоит в том, что исследователю необходимо решить, верна ли хотя бы одна и (если да) какая именно из следующих нулевых

гипотез:

#р:?р = 0,

НР1Р-\: ^р = Yp—1 = 0,

(2)

HPtp_\t тц-1 : Ур — • • • = Y”H-i “ 0»

Если верна какая-нибудь из гипотез (2), то будут верны и все ей предшествующие. Если же некоторая из гипотез (2) ложна, то будут ложными и все последующие. Иными словами,

HPlP-x/и4-1 с • * • а Нр.

Эти два семейства множеств связаны соотношениями

НР)Р_\ = Нр^2 U • • • U Нт1

Нр,р—Хт-Н — Нт.

Предположим, что исследователь намерен непосредственно контролировать вероятности ошибок, возникающих при неправильном решении о том, что коэффициенты отличны от нуля, когда они в действительности равны нулю, т. е. вероятности завышения порядка зависимости. В связи с этим будем считать, что исследователь приписывает некоторый уровень значимости каждой из нулевых гипотез:

рр = Рг {отвергнуть Н*р | //р},рр + рр_х = Рг {отвергнуть H*PiP_x \Н*р,Р-х^

:

Рр + • • • + рт-н = Рг {отвергнуть H*piP_xm+11 Н*р,р—1, /«+1} —

= Рг {отвергнуть Нт\Нт},

причем pz > 0 и рр + ... + Рт-н < 1. Поскольку здесь каждая нулевая гипотеза включает в себя последующую (т. е. каждая последующая гипотеза является более сильной), вероятности отклонения берутся монотонно неубывающими (т. е. вероятность отклонения более сильной нулевой гипотезы, когда она верна, не меньше аналогичной вероятности для менее сильной гипотезы). С помощью взаимно непересекающихся множеств, указанное разнесение по уровням значимости записывается в виде

Рр = Рг {принять Нр I Нр_х и ... и Нт^рР—х = Рг (принять Нр_х | Нр_2 и ... и ^},

Pm-VX = Рг (принять Нт^х | Нт\.

Пусть рт = 1 — pq — ... — Рт-н = Рг (принять Н т | Н^. Посредством соотношений (6) исследователь приписывает определенные значения вероятностям решений о том, что порядок зависимости равен /, когда в действительности этот порядок меньше ц i = т + 1, ..., р.

Статистическая процедура для этой задачи со многими решениями состоит в следующем. Имеется набор р —m + 1 попарно не пересекающихся, составляющих полную группу областей в пространстве значений Qo> •••> Qp (или в исходном пространстве значений у^ ..., ут\ Мы обозначим эти области R^ Rm-vx, ..., Rp. Если выборочная точка попадает в Rb то принимается гипотеза Ht. Приписывание уровней значимости приводит к тому, что эти области становятся подобными в том смысле, что при Yz = ... =^р = = 0 вероятности попадания выборочной точки в Rn ..., Rp равны соответственно рь ..., рр (независимо от уо, уп ..., yz-i). Иными словами, если порядок зависимости меньше /, то вероятность ошибок от приписывания зависимости порядка i не зависит от того, каков именно истинный (более низкий) порядок.

Рассмотрим сначала альтернативы, утверждающие факт положительной зависимости. Это соответствует значениям ^ < 0. (Позднее мы рассмотрим несмещенные процедуры для yz =# 0.)

Зафиксировав указанные ограничения, потребуем, чтобы области R( были наилучшими в том смысле, чтобы были максимально возможными вероятности попадания в R( при условии, что верна Hb i = т + 1, ..., р. Мы одновременно пытаемся максимизировать вероятности попадания в р — т различных областей (каждую для всех отрицательных значений соответствующего параметра). Далее будет показано, что в указанных выше условиях при подборе одной из областей с целью максимизации вероятности попадания в эту область не имеет значения то, как выбираются остальные области. Этот факт позволяет оптимизировать области /?^+ь ..., Rp одновременно.

Ограничения (5) или эквивалентные им ограничения (6) приводят к тому, что каждое множество Rt или, что равносильно, каждое множество Rt U R^x U ••• U Rp —область отклонения гипотезы ^р,р-хс — имеет (ввиду свойств достаточности и полноты) неймановскую структуру. Иначе говоря, при i = т + 1, ... , р,

рг VRt | Qq, ,.. , Qi-x ; yz = • • • = yp = 0} = pi

для почти всех возможных значений Qo, ..., Qz—1 - Исходя из этого можно показать, что выбор Rp, ..., Ri^ (при допущении (6)) не влияет на выбор Rb т. е. что вероятность попадания в R( (являющаяся функцией yj при vz+i = ... = ур = 0 не зависит от того, какими были выбраны Rp, ..., Ri-^x. Отметим, что значение yz интересует нас только в том случае, когда yz+i = ... = ур = 0. Если же какое-нибудь из yz+ь •••, Тр не равно нулю (т. е. если порядок зависимости больше i), то вопроса о значении yz нс возникает и мы можем считать yz =# 0.

Лемма 6.4.1. Пусть множество Sz-н в пространстве значений Qo, ..., Qp таково, что

Pr {Sz-i-i |yz+i = • • • = Yp = 0} = рр + • • • + Pz+ь

и пусть Tt —множество, определяемое значениями Qo, ..., Qz. Тогда

Pr{Si+1 nTJTw= ... =Vp=0} =

= (1— Pp — ••• — P«+i)Pr {TJyz+i = ... =yp = 0}, где Si+i —множество, дополнительное к Si+i.

Смысл леммы состоит в следующем. Каким бы образом мы ни выбирали Rp, .... Ri+i при условии (6), из которого следует (8) для Si+i = Rp (J ••• U Ri+ь вероятность попадания в область R(, определенную как пересечение St+i П Ть будет зависеть только от Т£ и не будет зависеть от 5,4.1 (когда верна гипотеза НР1Р_\/4-1). Доказательство леммы проведено в разд. 3.2.2 с использованием коэффициентов регрессии. Там же дано подобное доказательство сформулированной ниже леммы 6.4.2. Оба эти доказательства опираются только на свойства полноты и достаточности. При этом соответствующую терминологию и обозначения можно заменить терминологией и обозначениями настоящего параграфа.

Пусть Tf —область, определяемая неравенством

(Ю)Qi>ci(Q0, ... , Qi-0,

в котором с£ (Qo, ..., Qi-0 выбирается так, чтобы условная вероятность (10) при заданных Qo, ..., Q{_\ равнялась ez для yz = 0, и пусть ez = р,/(1 — рр — ... — piV)-'

Лемма 6.4.2. Пусть 5,4-1 удовлетворяет соотношению (8), а Rt — произвольное не пересекающееся с Si+i множество, для которого

Pr {R£ | у, = уИ| = ••• =^р = 0^=р..

Тогда при ^ < 0

Pr{S(+1 П ^|?ж = ••• =Ъ = 0}>

>Pr{^|Yi+l = •= Ур = 0}.

Из приведенных двух лемм вытекает, что, какими бы ни были области Rp, .... Ri-yx, наилучший выбор области Rt состоит в том, что R( должно являться частью Т*, не содержащей точек Rp) ... ... , Ri-yx* При таком выборе R{ вероятность

Pr{7?z|W == ур = 0} =

= (1— рр— ... — А+1)Рг {Т^ Yz+1 = ••• =Vp = 0}

не зависит от выбора Rp, ..., Яцл.

Теорема 6.4.1. Пусть непересекающиеся множества Rm, Rm+\,... Rp выборочного пространства таковы, что Rm U /?m+i U ... ... (J Rp есть все это пространство и

Pr (7?z | ^ = у<+1 = ••• = Vp = O} = Ри i = m+3,...,P

где Рт+х + • • • + Рр < 1- Тогда для каждого значения ^ < 0 вероятность Рг ^Rt | yz, у^ = • • • = ур = 0} принимает максимальное значение на множестве R^ определяемом как пересечение множества (10) при г( = рД1 — рр — ... — pi-yx) и дополнения к множеству Rp U ... U Rt-ул, i = т + 1,..., р.

Оптимальной, таким образом, является следующая процедура

rp = t;

Rp—i — Тр П Тр_хп

Rt = Гр{\ т*р_х п ... n TUx п П

Rm-yx — Тр П тр—х П . • • П Т т-у2 П Tm-y\,

Rm-ТрП Тр_; П . . . П ^+2 П ^+ь

Эта процедура сводится, по существу, к следующему. Поочередно проверяются гипотезы ^р = 0, Чр-х = 0 и т. д. до тех пор пока либо какая-то из гипотез, например yz = 0, нс будет отклонена и будет решено, что верна Нь либо будут приняты все гипотезы вплоть до Нт. Таким образом, указанная процедура является последовательностью критериев. Этот факт обусловлен требованием независимости от истинного порядка вероятности правильного решения О том, что порядок зависимости меньше данного натурального числа.

Рассмотрим теперь процедуры, использующие двусторонние критерии. При этом будем накладывать требование несмещенности.

Теорема 6.4.2. Пусть Rm, Rm+i, .... Rp —непересекающиеся множества выборочного пространства, объединение которых Rm U Rm+i U ••• U Rp совпадает со всем этим пространством и

Pr lRt U ... U RPIYz = Уж =^ • • • = Yp = 0} <

<А+ ••• -V РР,

Рг {/?z U ... U Rp | у, = у/+, = • • • = ур = 0} <_

<Pr{^zU • • ■ U RPI Yz- Y<+i = =Yp = 0),

i = т + 1, ... , р,

где рт-^д + • • • + рр < 1. Тогда для любого значения yz вероятность Pr ^R( | yz, 7/4-1 = ... = 7р = 0} будет максимальной на множестве Rb представляющем собой , пересечение множества, указанного в следствии 6.3.2, для et = рД1 —рр — ... —р/4-1), и дополнения к множеству Rw J ... U Rp, i = m + 1, ..., p.

Мы не говорили еще о том, как следует выбирать вероятности Рт» Рт-н, • ••, Рр- Если все sz фиксированы и равны, например, е, то рр = е, рр-1 =8(1 — е), ..^ Pl =8(1 — 8)p_z, .... pm+1 = = s (1 —sf m *, pm = (1 —8)p“m. Вообще говоря, приходится идти на компромисс между нашими стремлениями не переоценить порядок зависимости и сохранить чувствительность процедуры к ненулевым коэффициентам. Альтернатива состоит здесь в выборе Рр < Рр-i < ... < Pm-vi- Причем, если для больших значений i значения pt задавать весьма малыми, можно позволить себе в качестве максимального порядка р брать достаточно большое число.

Результаты этого параграфа приводят к критерию для проверки гипотезы

Н: 7^4-1 = • • • = 7Р = 0.

При этом процедуры, указанные в теоремах 6.4.1 и 6.4.2, можно интерпретировать как критерии с уровнем значимости рпцл + ... ... + Рр, согласно которым гипотеза (17) отклоняется, если выборочная точка попадает в любую область, отличную от Rm.

Процедура, указанная теоремой 6.4.1, состоит из односторонних критериев для проверки гипотез против односторонних альтернатив, утверждающих факт положительной зависимости. Если альтернативой к независимости служит отрицательная зависимость (7Z > 0), в этом случае также употребляется процедура, аналогичная предыдущей, но состоящая уже из односторонних критериев вида (15) § 6.3. Кроме того, можно сконструировать составные

процедуры для случая, когда в качестве альтернативы к гипотезе yz = 0 выступает гипотеза yz < 0, yz > 0 или yz =£ 0, / = = tn + 1, • Р-

Замечания, сделанные в разд. 3.2.2 относительно такого типа процедур со многими решениями, используемых для определения степени полиномиального тренда, применимы и в настоящем случае. С теоретической точки зрения преимущество этой процедуры состоит в том, что исследователь контролирует здесь вероятность ошибочного завышения порядка зависимости. Неудобством ее является то, что максимальный порядок зависимости р должен быть установлен заранее. Частично это неудобство можно обойти, полагая значение р весьма большим, но выбирая зато вероятности р( очень малыми для i, близких к р. Иными словами, устанавливаются весьма малыми значения вероятностей ошибочного решения о том, что порядок зависимости равен I, если это i велико.

Альтернативой к указанной последовательной процедуре является процедура, использующая критерии значимости в обратном порядке. Если считается, что порядок зависимости нс меньше т, то исследователь может проверить сначала гипотезу ym+i = 0 с уровнем значимости ет+1. Если эта гипотеза будет принята, то выносится решение о том, что порядок зависимости равен т. В противном случае проверяется гипотеза уш+2 = 0. Эту процедуру можно продолжать таким образом и дальше, используя указанную последовательность критериев значимости. Если впервые будет принята гипотеза yz = 0, то порядок зависимости принимается равным I — 1. Если гипотеза yz = 0 отвергается, то переходят к проверке гипотезы yz+i = 0. Если при этом отвергаются все гипотезы вплоть до гипотезы ур = 0 с номером р, заданным заранее, то порядок зависимости считается равным р. Преимущество этой процедуры состоит в том, что не всегда требуется вычислять bqc р + 1 квадратичных форм, поскольку последовательность критериев может оборваться прежде, чем придется проверять гипотезу ^р = 0. Ввиду этого вопрос о том, как следует выбирать здесь р, является несущественным.

В разд. 3.2.2 было указано, что соответствующая процедура для определения степени полиномиального тренда имеет определенное практическое неудобство. Это неудобство состоит в том, что если коэффициент при степени i имеет достаточно большое значение, то возникает тенденция к завышению оценок дисперсии ошибки, используемых для проверки ут+ь ..., у/-ь Это в свою очередь ведет к возрастанию вероятности принятия одной из гипотез ym+i =0, ..., yz—i = 0. В результате, может увеличиться вероятность ошибочного занижения степени полинома. Фактически чем больше yz, тем больше и вероятность такой ошибки (если считать остальные у/ фиксиррвацными). Этот случай проверки порядка зависимости представляется более трудным для анализа. Если зави-

симость соседних наблюдений, отстоящих на две единицы времени, велика, то вполне может оказаться, что вероятность отклонения гипотезы ух = 0 не будет велика. Так что при таком подходе может быть ошибочно решено, что порядок зависимости равен единице, в то время как на самом деле он не меньше двух.

По-видимому, такую процедуру можно использовать, если для некоторого частного значения i значения параметров ут-н, .., Y/-i будут достаточны для того, чтобы нельзя было решить, что хотя бы один из них будет равен нулю без того, чтобы ^t ^ 0. Например, такая процедура может оказаться подходящей для случая, когда значения параметров ^( монотонно убывают (или просто быстро убывают). Однако никакого теоретического исследования оптимальных свойств здесь не имеется.

До сих пор в этой главе мы предполагали, что ^уг = ... = = &ут =0. Если средние отличны от нуля, но известны, то при тех же предположениях в качестве объекта изучения можно рассматривать разности переменных и их математических ожиданий. Знание средних является, однако, предположением, далеким от реальности. Мы рассмотрим случай неизвестных средних в § 6.6, после того как обсудим более кснкретные модели в § 6.5. (См. Т. Андерсон (1963).)

МОДЕЛИ: СИСТЕМЫ КВАДРАТИЧНЫХ ФОРМ

Общее обсуждение

Плотности распределений случайных величин уъ ..., ут, составляющих наблюдаемые временные ряды, которые мы здесь рассматриваем, предполагаются нормальными. В показателе экспонен

ты этих плотностей будут стоять суммы —(ZjY/Q/ /2, где Q; = ' /=ь ‘

= УХ^ —квадратичная форма по у = (yTl УтУ- Сериальные коэффициенты корреляции, получаемые из таких сумм, равны г, = = QjlQo- В этом параграфе будет предложено несколько различных систем матриц Ао, Ап ..., Ар. В каждой из них Q, будет близка к 2 ytyt-b как это предполагалось в §6.2. Коэффициенты гь ..., гр в каждой из этих систем можно использовать для проверки гипотез о порядке зависимости, в соответствии с теорией § 6.3, и для выбора порядка зависимости согласно § 6.4.

Для того чтобы быть подготовленными к анализу указанных систем матриц, рассмотрим сначала множества матриц в общем плане. Характеристические корни X,, ..., Хт и соответствующие им характеристические векторы vb ..., vt матрицы А размера Т X Т

удовлетворяют соотношениям

Avs = X$vs, s= 1, ..., Т.

Поскольку эти соотношения можно записать в виде (А — XSI) vs = 0 и при этому8 =# 0, то матрица А —XJ должна быть вырожденной. Иными словами, Xs является корнем уравнения

(2)(2)| А — XI | = 0.

(2)

(2)

Если матрица А симметрична (а это мы предполагаем для квадратичных форм у'Ау), то все корни (2) и компоненты характеристических векторов будут вещественными. Если все эти корни различны, то характеристические векторы ортогональны. Если пг корней совпадают и равны, скажем, X, то при этом существует m линейно независимых решений уравнения (А—XI) v = 0. Каждое такое множество может служить совокупностью характеристических векторов, соответствующих m-кратному корню X. Удобно выбирать это множество таким образом, чтобы входящие в него векторы были взаимно ортогональны. При этом они необходимо будут ортогональны и остальным характеристическим векторам. Если каждый характеристический вектор нормировать так, чтобы сумма квадратов его компонент равнялась 1, то получим соотношения

Vs\t = б s/, s, / = 1, ... , Г,

где 6SS = 1 и 6Sf = 0 при s #= /.

Положим

(4)(4)“Xi 00 X.о о“Xi 00 X.о о... 0 - ... о... Хг... 0 - ... о... ХгV = (уь ... , Ут).V = (уь ... , Ут).

(4)

(4)

“Xi 0

0 X.

о о

“Xi 0

0 X.

о о

... 0 - ... о

... Хг

... 0 - ... о

... Хг

V = (уь ... , Ут).

V = (уь ... , Ут).

Тогда (1) и (3) можно записать соответственно в виде

(5)(5)(6)(6)AV = VA,

(5)

(5)

(6)

(6)

VV = I.

Если умножить обе части (5) слева на матрицу V', то придем к соотношению

(7)(7)VAV = А.

(7)

(7)

Иными словами, ортогональная матрица V диагонализирует симметрическую матрицу А. При этом квадратичная форма у'Ау приводится с помощью преобразования у = Vx к диагональному виду х'Ах. Мы используем эти преобразования для того, чтобы упростить задачу отыскания распределений квадратичных форм и сериальных коэффициентов корреляции.

Нас будут интересовать системы матриц Ао, Аь ..., Ар. Обычно Ао = I. При этом любой ненулевой вектор является характеристическим для I и любая ортогональная матрица V диагонализирует I, так как V'lV = I. Оказывается весьма удобным, чтобы все А/ приводились к диагональному виду с помощью одной и той же матрицы V, т. е. чтобы

V'A/V = A/, /=1,

Это будет иметь место, если vb ..., vt будут характеристическими корнями для каждой из матриц А/. В связи с этим полезна следующая теорема.

Теорема 6.5.1. Если Хь ..., Хт —характеристические корни, a vb ..., vj —характеристические векторы матрицы А и если Р (А) полином от А, то характеристическими корнями и векторами матрицы Р (А) будут соответственно Р (XJ, ..., Р(Хт) и vD ..., vt.

Для доказательства этой теоремы мы используем следующие две леммы.

Лемма 6.5.1. Пусть Хх, ..., ХТ и vb ..., vt —соответственно характеристические корни и характеристические векторы матрицы А. Тогда Xf, ..., Хт и vb ..., vT будут соответственно характеристическими корнями и характеристическими векторами матрицы

g =0, 1, ... .

Доказательство леммы Мы будем доказывать эту лемму по индукции. Прежде всего очевидно, что она справедлива для g = 1. Предположим, что она справедлива для g = G — 1. Тогда

- A (A°-'vs) = A^"'vs =

= V“‘ (Av$) = Vs =

= Xfvs,s=l, ...,T.e

Лемма 6.5.2. ПустьХк\, ..., XhT и vn ..., xT —соответственно характеристические корни и характеристические векторы матрицы Al, h = 0, ..., Н. Тогда характеристическими корнями и харак- н

теристическими векторами матрицы X abXh будут соответственна

нн

но XX abXhT иvlr ..., Vj.

h=0h=0

Доказательство леммы. Имеем нн

5 «Лл = 5 я^х* s = 1, ..., Т.ш

h^Oh=0

Доказательство теоремы. Пусть

Р (А) = а01 + ^А + • • • + »нкН . •

Тогда утверждение теоремы вытекает из доказанных двух лемм. в

Циклическая модель

Одной из возможных разновидностей сериальных корреляций, имеющей простые математические свойства и достаточно изученной, является так называемый циклический сериальный коэффициент корреляции. Он связан с некоторой циклической вероятностной

моделью.

Пусть В есть циркулянт:

" 0 1 0 0 •.. oo-o 0 1 0 ... О ОО 0 0 1 ... О О

(12)(12)в =,-0 0 0 0в =,-0 0 0 00 0 0 010 0 00 0 0 010 0 0о оО 1 о оо оО 1 о о

(12)

(12)

в =,-0 0 0 0

в =,-0 0 0 0

0 0 0 0

10 0 0

0 0 0 0

10 0 0

о о

О 1 о о

о о

О 1 о о

Эта матрица ортогональна, В 1 =В'. Положим

- О 1- О 1(13)(13)Аг = -у (В + В') = 4Аг = -у (В + В') = 41 ОО 1 о о1 ОО 1 о оО О ... Olio ... о о 01 ... 00 1 0 ... о оО О ... Olio ... о о 01 ... 00 1 0 ... о о

- О 1

- О 1

(13)

(13)

Аг = -у (В + В') = 4

Аг = -у (В + В') = 4

1 О

О 1 о о

1 О

О 1 о о

О О ... Olio ... о о 01 ... 00 1 0 ... о о

О О ... Olio ... о о 01 ... 00 1 0 ... о о

О О 0 0 ... О 1

_ 1 О О 0 ... 1 о

При этом имеем /Т-1г

QT = y'Ajy = -к- 2 у#уьн + 2 ytyt-\ + УтУт + УтУ1

Z \/=1Z=2

Т

= 2 У/^-ь

6=1

т

где у0 = ут. Последняя сумма равна 2 У4У1-\ плюс УгУт. Послед- ний член включается в Qx из соображений удобства вычислений.

Определим, далее,

a/=--L[b/ + (B')/i = 4(b/ + b-/)’ i<-rT-

Эта матрица имеет элементы, равные 1/2, на диагоналях, расположенных соответственно на j единиц выше и ниже главной диагонали. Последние соответствуют квадратичной форме ^ytyt-j, стоящей в показателе экспоненты плотности стационарного гауссовского процесса, имеющего порядок не ниже, чем /. Кроме того, матрица А, имеет элементы, равные 1/2, на диагоналях, расположенных соответственно на Т — / единиц выше и ниже главной диагонали. Вообще

а?' = ^ [в + в-1]2' =

= (-i-)2f B2' + 2rB2r-2 + QB2r-4 + •••

... + 2rB“(2z-2) + B~2r

Агг + 2гАзг—2+ • • • + С 1)( г ) * ’

/1'ух »2г-|“1 / 1 \(17) Ai = ^-y^/1'ух »2г-|“1 / 1 \(17) Ai = ^-y^А2Г+1 + (2r + 1) Агг—1 + • • •А2Г+1 + (2r + 1) Агг—1 + • • •

/1'ух »2г-|“1 / 1 \

(17) Ai = ^-y^

/1'ух »2г-|“1 / 1 \

(17) Ai = ^-y^

А2Г+1 + (2r + 1) Агг—1 + • • •

А2Г+1 + (2r + 1) Агг—1 + • • •

так что А/ можно записать в виде полинома от Ах: А2 = 2 А? — 1, А3 = 4А? — ЗАХ,

А4 = 8А4 — ЗА? + I,

А5 = 16А? — 20А? + 5АП А6 = 32А] — 48Ai + 18А? — 1.

Теорема 6.5.2. Характеристические корни матрицы Ai равны

COS 0 = 1, COS —у— , cos —^— ’ COS -y— , COS -y— , • • • ,

л (7 — 1)л (T — 1)„ _

cos ——— , cos —~ , если T нечетное,

A 1 2л2л4л4л

cos 0 = l, cos -у-, cos —— > cos —^— > cos —— > • • •»

л (7 — 2)л (7 — 2)</r>•

cos——=—— , cos——=—— , cos л = — l, если T четное.

Характеристическим вектором, соответствующим характеристическому корню 1, является (1, 1, ..., 1)'. Характеристические векторы, соответствующие характеристическим корням cos 2RSIT (s ^ 0, 772), равны

2л$ cos——2л$ cos——. 2лвsin-y-. 2лвsin-y-

2л$ cos——

2л$ cos——

. 2лвsin-y-

. 2лвsin-y-

(21)(21)4л8 COS-y-4л8 COS-y-.4л$

(21)

(21)

4л8 COS-y-

4л8 COS-y-

Sin -у-

оо1

о

о

Если Т четное, то характеристическим вектором, соответствующим характеристическому корню (—1), будет (—1, 1, —1, ..., 1)'.

Доказательство. Уравнение, определяющее характеристические корни и характеристические векторы матрицы В,

Вх = vx,

в покомпонентной записи принимает вид

х(+1 = vxp t = 1, ..., Т — 1,

хх = vxr.

Таким образом, из (23) следует, что

xt = V^x^ t = 2Т

Используя (24), получаем тогда

хг = V xv

^Т>vT = 1.

Отсюда следует, что характеристические корни матрицы В являются корнями степени Т из 1, т. е. они равны 1, el2n,T, elto,T, ... .... е '. Если характеристический вектор, соответствую

щий корню e'2”s/r, s= О, 1, ..., Т — 1, имеет первую компоненту, равную е1^1Т, то его Лй компонентой будет е1Ш$1т. Обозначим этот вектор через us. Тогда

A1Us = ±(B+B-1)us = 4-Bus + ^-B-1us =

= ^_^л,/Ти$ + _^е-.-2л,/7ч

2л

= COS -у— SU,.

Если s ^ О, 7/2, то cos (2л$/7) = cos [2л (7 — s)/71 является двойным корнем. В качестве соответствующих ему характеристических векторов возьмем векторы (us + Ur_s)/2 и (u3 —ur-s)/(2i), t-e компоненты которых равны соответственно

-L ^^ + eiW^,T) = cos ,

JL (е'да - е'2^-^) = sin •

Это и доказывает теорему. в

Теорема 6.5.3. Характеристические корни матрицы X, равны

cos 0 = 1, cos -^L , cos -^- , cos -^- , cos -^- > • • •

л/ (Т — 1)л/ (Т — 1)m

.,., cos —~ , cos —~ , если T нечетное,

cos 0 = 1, cos -^- , cos -~- > cos -^- > cos -^г- > • • •

л/ (Т — 2)л/ (Т — 2)•/

..., cos —у—~ , cos > ■■ -^—- , cos л/ = (— 1у, если Т четное.

Характеристическим вектором, соответствующим характеристическому корню I, является (1, 1, ..., 1)'. Характеристические векторы, соответствующие характеристическим корням cos ZnjsIT (s^O, 7/2), равны (21). Если Т четное, то характеристическим вектором, соответствующим характеристическому корню (—1/, будет (—1, 1, — 1,1)'.

Доказательство. Поскольку А/ является полиномом от Аь то она имеет те же самые характеристические векторы, что и матрица Аь а ее характеристические корни являются значениями соответствующих полиномов от характеристических корней матрицы Ах (в силу теоремы 6.5.1). Аналогично, характеристические корни и векторы матрицы, являющейся степенью матрицы В, будут характеристическими векторами и степенями характеристических корней матрицы В. Поэтому

Azus = ~ (В7 + В-/) и, = 4 (eZ2n/s/r +- e"Z2^r) us =

2л/= COS SUs.

Следует отметить, что характеристические векторы образуют здесь последовательности тригонометрических функций, уже использовавшиеся нами при изучении циклического тренда в гл. 4.

Если эти векторы нормировать, они будут образовывать те же ортогональные матрицы, что и в разд. 4.2.2, а именно:

1

2л

sin

2л4л

—у COS-у-

• •• sin

л (Г — 2)1

Т/2

/2 С№"

1

4л

sin

4л8л

* • • sin

2л (Г — 2)1_

X

/2 L№'

Т

-у- COS —

Т/2

1

1

01

n—L

—

°/2

если

(35)

М =

Т четно

Ут

>е,

, и

/2 1

/2

2л. 2л

- cos— sin —

4л. 4л

■ cos— sin-у-

4л COS —у

8л cos-у-

. л(Т—1)

••• Sin—^у

. 2л (7—1) ••• sin—

(34)

если Т нечетное.

Итак, все квадратичные формы Q, диагонализируются одной и той же ортогональной матрицей. Преобразование вектора (t/i, •••, УтУ с помощью этой матрицы к вектору (z1( ..., ?тУ приводит /-ю квадратичную форму к виду

Qj = cos szt / = 0, 1, ..., р.

S=1-

(Заметим, что значения cos 2njs/T при s = 0 и s — Т совпадают.) Если наблюдения yt независимы и нормально распределены с нулевыми средними и дисперсиями о2 (у0 = l/o2, Yi = ... = уР -0), то подобным же образом будут распределены и переменные zt.

Циклический сериальный коэффициент корреляции /-го порядка определяется как 2л/2

п 2 у«н 2cos -г Qj /=1s=i

где yt_j —yt-jvb ^ = 1, ..., /, / = 1, ..., р. Он называется так потому, что квадратичная форма Q, строится здесь с участием всех попарных произведений, отстоящих на / единиц значений наблюдений yt, и при этом сами наблюдения уъ ..., ут как бы располагаются вдоль некоторой окружности на равных расстояниях друг от друга.

Для большей наглядности можно расположить на единичной окружности Т равноудаленных друг от друга точек, так чтобы одной из них была точка (1, 0). Веса cos ^s/T будут абсциссами последних.

Преимуществом циклической модели является то, что при рассмотрении в такой модели коэффициента сериальной корреляции первого порядка соответствующие характеристические корни образуют парыХ), за исключением, быть может, одного или двух, и все используемые матрицы имеют одни и те же характеристические векторы. В § 6.7 будет показано, что если все корни двойные, за исключением, быть может, одного или двух, то распределение гг или л можно записать в явном виде. Практическое неудобство добавления слагаемых вида ухут состоит в том, что такие слагаемые никак не связаны с взаимной зависимостью элементов последовательности. Если при этом имеется тренд (который мы игнорировали), то подобные слагаемые могут оказаться большими по абсолютной величине и это поведет к ошибкам в оценке меры зависимости.

Модель, использующая последовательные разности

Займемся теперь другой системой матриц Ао, Аь ..., Ар. В § 3.4 мы рассматривали использование сумм квадратов разностей для оценивания дисперсии временных рядов. Если у^ ..., ут имеют нулевые средние, дисперсии о2 и некоррелированы, то статистика

Т—г

2 (Д' ш^

V, = -^—5-

ir-r,U

!) Имеется в виду, что корни имеют кратность два (двойные корни).— Прим, перев./

является несмещенной оценкой для о2. Если средние значения могут отличаться от нуля (но yt по-прежнему некоррелированы), то отношение VrIVq (у > г) можно использовать для проверки нулевой гипотезы о том, что тренд / (() = ^у, удовлетворяет условию ^f^t) = 0, в предположении, что А7 (/) = 0. Если средние равны нулю, а величины yt могут быть коррелированы, то изменение разностей будет отражать эту корреляцию. В частности, для г = 1 математическое ожидание 2 (7 — 1)VX равно

$ 58 5 (Уж — ^УжУг + & =

= &у! +22 ^у! + ^Ут — 2 5 ^УжУг

1=2

Если последовательные пары значений yt будут положительно зависимыми, то использование статистики VT приведет к занижению величины дисперсии.

Для проверки гипотезы о сериальной корреляции можно использовать статистику, являющуюся отношением суммы квадратов последовательных разностей к сумме квадратов наблюдений. Если средние известны и равны нулю, то такая статистика имеет вид

2^“ Vt-xY У1 + 2 2 tit + Ут — 2 5 ytyt_\ (40)-Ы_= =

^til^til

^UtUt-x + 4-У1+^-У^^UtUt-x + 4-У1+^-У^

^UtUt-x + 4-У1+^-У^

^UtUt-x + 4-У1+^-У^

Если эту статистику рассматривать как альтернативу к цикли

ческим квадратичным формам, то (40) приводит к Qo = У у] и Q,, „1=1

равной числителю дроби в правой части (40). Матрицей квадратичной формы Qx является

' 1 1 0 0 О-

1 0 1 0• 0

(41)(41)0 1 0 10

(41)

(41)

00 10 ...0

0 0 0 0 ... 1

т

Она отличается от матрицы квадратичной формы 2 У/^-i наличием

1/2 в верхнем левом и в правом нижнем углах. Последующие матрицы в этой модели можно образовать с помощью Аь используя соотношения (18) (вытекающие из (16) и (17)). Первые две полученные при этом матрицы имеют вид

(42)(42)А2 = 2А?-1 = -1-А2 = 2А?-1 = -1-(43)(43)А3 = 4А? - 3\ = 4А3 = 4А? - 3\ = 4- О 1 1 0 ... О -1001 ...01 0 0 О ... о0 1 О О ... о_оооо... о_”00110...о01001 ...О 1ОО00...о10000...оО 1 0 0 0 ... о- О 1 1 0 ... О -1001 ...01 0 0 О ... о0 1 О О ... о_оооо... о_”00110...о01001 ...О 1ОО00...о10000...оО 1 0 0 0 ... о

(42)

(42)

А2 = 2А?-1 = -1-

А2 = 2А?-1 = -1-

(43)

(43)

А3 = 4А? - 3\ = 4

А3 = 4А? - 3\ = 4

- О 1 1 0 ... О -1001 ...01 0 0 О ... о0 1 О О ... о

_оооо... о_

”00110...о

01001 ...О 1ОО00...о

10000...о

О 1 0 0 0 ... о

- О 1 1 0 ... О -1001 ...01 0 0 О ... о0 1 О О ... о

_оооо... о_

”00110...о

01001 ...О 1ОО00...о

10000...о

О 1 0 0 0 ... о

00000 о

Следует отметить, что А/ отличается от желательной для нас матрицы квадратичной формы 2 Utyt-j только добавлением по / элементов, равных 1/2, в левый верхний и правый нижний углы.

Определение А/, / = 2, ..., р, как полиномов от Аь гарантирует совпадение характеристических векторов А/ с характеристическими векторами матрицы АР Использование тех же полиномов от Ах, что и в системе циклических сериальных коэффициентов корреляции, приводит к тому, что при малых значениях /матрицы А/ не будут сколько-нибудь значительно отличаться от матриц, у которых ненулевые элементы, равные 1/2, стоят на диагоналях, удаленных на / единиц от главной. Дело в том, что используемая нами в настоящем случае матрица Ах отличается от матрицы (В + В')/2 только угловыми элементами. Поэтому матрица А/ при малых / будет отличаться от матрицы [В; + (B')z']/2 небольшим количеством элементов.

Для характеристического вектора х с компонентами хъ ..., Хт, соответствующего характеристическому корню %, удовлетворяющего соотношению Ахх = Хх, справедливы соотношения (44)4" (xi + х^ = Xxi>

4"(^ + Xz+1) = Kxi' ' = 2, ..., 7 — 1,

4" кхт—\ + ^у) = ^Хт-

Уравнения (45) можно записать в виде

хж — 21Ц + xt_\ = О, t = 2, ..., Т г— 1,

т. е. в виде разностного уравнения второго порядка. Решением последнего являйся

xt = с^ + с^2,

где £i и 5г —корни характеристического уравнения

х2 — 2Хх + 1 = О,

соответствующего этому разностному уравнению. Корни X ± ± J/X2 — 1 различны, если только X не равно 1 или —1. Поскольку £i£2 = 1 и ^ + ^ = 2Х, то выражение (48) иначе можно записать как

xt = сх^ + с^1,

а 2Х = £ + g-1. Тогда (44) примет вид (51) 0 = Х2 + (1-2Х)х1 = с1^2 + с3Г2 +

+ (1-^-Г')(^ + с2Г1) =

- ^ (1 - г1) £ + с2 О - £) Г1 = (£ - 1) (^ - С2Г1).

Отсюда с2 = с^ и можно положить cY = V11, сг = ^,г. При этом (52)xt = ^-*л + Г^'72’ •

Уравнение (46) из тех же соображений может быть записано в виде

+ Г(т-Ч2)) =+ Г(т-Ч2)) =(53) 0 = (2Х —1) Ху — Ху—1 =

+ Г(т-Ч2)) =

+ Г(т-Ч2)) =

= (5 + Г1 - I) (f ~*/2+ Г^Т-1,2Ь - (f ~*/2

g^—*/2 ^—(Г—7г) „g^—*/2 ^—(Г—7г) „

g^—*/2 ^—(Г—7г) „

g^—*/2 ^—(Г—7г) „

= (^-гг) ^*-гЧ

так что либо 5 = 1, либо ^т = 1. Корни уравнения ^т = 1 в свою очередь равны 5 =е‘2я$/(2Г) = elsnlT, s = 0, 1, ... , 27 — 1. Поскольку e‘2”s/<27-) _e-l^iT-s№T') существует 7 + 1 различных значений X = (| + ^’)/2 для | = е*'2я$/(27’), 8=0,1, ... , 7. Однако значение X = —1, соответствующее значению $ = = —1 для з=7, не является допустимым, так как при этом

xt = 0. Остальные значения % являются характеристическими корнями матрицы Ап и, поскольку у нее существует всего Т характеристических корней, эти значения X образуют полную совокупность характеристических корней матрицы АР Для получения Лй компоненты s-ro характеристического вектора удобно домножить выражение e№i-1W№ + е-цу-1№' на 1/2.

Теорема 6.5.4. Характеристические корни матрицы Аъ указанной в (41), равны cos ns/T, s = 0, 1, ..., Т — 1, а соответствующие им характеристические векторы равны

nsnscos -^р-cos -^р-(54)(54)COSCOS3ns Иг3ns ИгCOSCOS(2Т — 1) ns2Т(2Т — 1) ns2Т

ns

ns

cos -^р-

cos -^р-

(54)

(54)

COS

COS

3ns Иг

3ns Иг

COS

COS

(2Т — 1) ns2Т

(2Т — 1) ns2Т

Следствие 6.5.1. Характеристические корни матрицы X,, получаемой по формулам (16) и (17) из матрицы Xv указанной в (41), равны cos л/s/T, s = 0, 1, ..., Т — 1. Соответствующие им характеристические векторы имеют вид (54).

Доказательство. Матрица А/ определена как полином от Ап т. е. Ai = Pj (Xj). Поэтому ее характеристические корни равны Pi (A,s), где Xs — характеристические корни матрицы An s = = 0, 1, ..., Т — 1 (в силу теоремы 6.5.1). Из доказательства теоремы 6.5.3, где А] = (В + В')/2, вытекает, что Р; (cos v) = cos /v. Используя теорему 6.5.4, получаем утверждение следствия.а

Следствие 6.5.2. Матрица X; из следствия 6.5.1 приводится к диагональному виду с помощью матрицы

(55)(55)1/21К21/21К2л cos-gp-л cos-gp-ЗпCOS-2P-ЗпCOS-2P-2лCOS^-2лCOS^-6пCOS-gp-6пCOS-gp-л (7 — 1) cos Чтл (7 — 1) cos ЧтЗл (7 — 1)C0S~—2Г ■Зл (7 — 1)C0S~—2Г ■

(55)

(55)

1

/2

1

К2

1

/2

1

К2

л cos-gp-

л cos-gp-

Зп

COS-2P-

Зп

COS-2P-

2л

COS^-

2л

COS^-

6п

COS-gp-

6п

COS-gp-

л (7 — 1) cos Чт

л (7 — 1) cos Чт

Зл (7 — 1)

C0S~—2Г ■

Зл (7 — 1)

C0S~—2Г ■

1^2 C0S1^2 C0S

1

^2 C0S

1

^2 C0S

(27—1) л (27-1) 2л _(27-1) л (7-1)

27 LU 2727

Таким образом, и здесь все матрицы приводятся к диагональному виду с помощью одной и той же ортогональной матрицы. Переходя к преобразованным переменным, найдем, что /-я квадратичная фор-

ма принимает в этих переменных вид т .

Qi = 2 cos "г” <s~ z^ i = °t^ S—1

Матрицы, используемые в этом параграфе, тесно связаны с матрицами, использовавшимися в методе переменных разностей (§ 3.4). Положим

sr = 2 ^ryt^ = s2 ysyt

иС, = (CsP). Тогда матрица Cr приближенно равна Ci. Действительно, эти матрицы отличаются только элементами с индексами s, t <_ г, и (Т —s + 1), (Т — t + 1) < г. Матрицы Сь С2, С3 и С4 были приведены в (43), (44), (45) и (46) § 3.4 (и обозначались там как Аь А2, А3 и А4 соответственно). Мы имеем:

(58)(58)(59)(59)(60)(60)2 --310... 0 "— 36 —41... 01 --46 — 4... 001 —46... 0>0000... 2 _5 -- 95 -- 1() ‘.. 0"-919 -- 156 -1.. 05 --1520 —156.. 0- 16 -- 1520 — 15.. 00- 16 —15 2С•• 000000•• 5 _14— 2820— 71о .— 2862— 5528 -81 .20— 5570 --56:>8— 8 •— 728— 5670 — £>628 •1— 828 --56:ГО— 56 •01— 828 — £)670 •2 --310... 0 "— 36 —41... 01 --46 — 4... 001 —46... 0>0000... 2 _5 -- 95 -- 1() ‘.. 0"-919 -- 156 -1.. 05 --1520 —156.. 0- 16 -- 1520 — 15.. 00- 16 —15 2С•• 000000•• 5 _14— 2820— 71о .— 2862— 5528 -81 .20— 5570 --56:>8— 8 •— 728— 5670 — £>628 •1— 828 --56:ГО— 56 •01— 828 — £)670 •С? =С? =Ci =Ci =Ct =Ct =О ~О О о о оО ~О О о о оооооооООооО ••• 14О ••• 14

(58)

(58)

(59)

(59)

(60)

(60)

2 -

-3

10

... 0 "

— 3

6 —

41

... 0

1 -

-4

6 — 4

... 0

0

1 —

46

... 0

>

0

0

00

... 2 _

5 -

- 9

5 -

- 1(

) ‘

.. 0"

-9

19 -

- 15

6 -1

.. 0

5 -

-15

20 —

156

.. 0

- 1

6 -

- 15

20 — 15

.. 0

0

- 1

6 —

15 2С

•• 0

0

0

0

00

•• 5 _

14

— 28

20

— 7

1

о .

— 28

62

— 55

28 -

8

1 .

20

— 55

70 -

-56:

>8

— 8 •

— 7

28

— 56

70 — £

>6

28 •

1

— 8

28 -

-56:

ГО

— 56 •

0

1

— 8

28 — £

)6

70 •

2 -

-3

10

... 0 "

— 3

6 —

41

... 0

1 -

-4

6 — 4

... 0

0

1 —

46

... 0

>

0

0

00

... 2 _

5 -

- 9

5 -

- 1(

) ‘

.. 0"

-9

19 -

- 15

6 -1

.. 0

5 -

-15

20 —

156

.. 0

- 1

6 -

- 15

20 — 15

.. 0

0

- 1

6 —

15 2С

•• 0

0

0

0

00

•• 5 _

14

— 28

20

— 7

1

о .

— 28

62

— 55

28 -

8

1 .

20

— 55

70 -

-56:

>8

— 8 •

— 7

28

— 56

70 — £

>6

28 •

1

— 8

28 -

-56:

ГО

— 56 •

0

1

— 8

28 — £

)6

70 •

С? =

С? =

Ci =

Ci =

Ct =

Ct =

О ~

О О о о о

О ~

О О о о о

о

о

о

о

о