Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Глава 1
ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙСТАТИСТИКИ
Математическая статистика, и, в частности, математическая обработка экспериментальных данных как ее составная часть, базируются на многих разделах математики и прежде всего на теории вероятностей. Предполагается, что читатель знаком с такими основными понятиями теории вероятностей, как случайные события и величины, вероятность события, операции над случайными событиями, случайными величинами и вероятностями, законы распределения случайных величин, предельные теоремы теории вероятностей. В качестве базовой книги, где изложены теория вероятностей и математическая статистика, рекомендуем использовать монографию [62]. Некоторые дополнительные сведения из теории вероятностей, используемые в математической статистике, будут вводиться в соответствующих местах монографии по мере необходимости.
Одной из основных, базовых задач математической статистики является задача восстановления неизвестного закона распределения случайной величины по конечному числу ее реализаций. Более подробно, рассматривается случайная величина £, для которой известна (из эксперимента) совокупность ее случайных реализаций
Х^,...^.(1.1)
Требуется с максимально возможной точностью определить закон распределения £, например плотность вероятностей р^х\
Совокупность случайных реализаций (1.1) называется выборкой, число реализаций п — объемом выборки. Если случайные реализации, рассматриваемые как случайные величины, независимы, то выборка называется повторной, в противном случае — бесповторной. Для повторной выборки, и только для нее, совместная плотность вероятностей совокупности случайных величин (1.1) (если она существует) имеет вид П р^(жД. В дальнейшем, если специально не оговорено, предпола- г=1
гается, что (1.1) — повторная выборка. В математической статистике любую измеримую функцию (скалярную или векторную) от членов выборки (1.1) принято называть статистикой.
Иногда исследователя интересует не сам закон распределения случайной величины £, а лишь некоторые его характеристики, например математическое ожидание и дисперсия (соответственно, вектор математических ожиданий и ковариационная матрица, если £ — векторная
случайная величина) или некоторые моменты случайной величины более высокого порядка.
При восстановлении плотности вероятности по выборке различают два подхода — параметрический и непараметрический.
Параметрический подход основан на гипотезе о принадлежности искомой плотности вероятностей р^х^ и) классу плотностей, определяемых совокупностью параметров и (если и фиксирован, то плотность р^х^ и) определена однозначно). Например, часто вводится гипотеза о нормальности распределения скалярной случайной величины £, т. е.
р^х\ т, ст2) = J_ e-(^-m)2/(2o-2)
V 2тг ст
с неизвестными параметрами т^ а2.
В рамках параметрического подхода задача восстановления плотности вероятностей сводится к задаче восстановления значений тех неизвестных параметров щ от которых зависит плотность вероятностей. При решении прикладных задач методами математической статистики исследователя чаще всего интересуют именно значения восстанавливаемых параметров, а не сама плотность вероятностей, поэтому методам параметрической статистики будет уделено наибольшее внимание.
Непараметрические методы восстановления законов распределения наблюдаемых случайных величин не предполагают такой жесткой фиксации класса законов распределения при помощи конечного числа параметров, хотя довольно часто в рамках непараметрического подхода используют метод «погружения» в параметрическое семейство с потенциальной возможностью неограниченного увеличения числа искомых параметров.
Параметрическая статистика. Свойства оценок
Интуитивно ясно, что по выборке конечного объема принципиально невозможно точное восстановление закона распределения в рамках как параметрического, так и непараметрического подходов. В результате восстановления мы получаем приближенные значения закона распределения (например, плотности вероятностей) или приближенные значения параметров (если использован параметрический подход). В математической статистике приближенные значения параметров плотности вероятностей или самой плотности вероятностей, полученные на основе выборки (1.1), принято называть оценками.
Оценки параметра и и плотности р^ будем обозначать символами й и р^ соответственно.
Любая оценка й зависит от членов выборки (1.1) и поэтому является случайной величиной.
Оценка й называется несмещенной^ если Ми = иТ. где ит — искомое точное значение параметра и. Если М й ^ ит^ то оценка й смещена.
Поскольку оценка й = u(Xi, . . . , Х^ зависит от членов выборки, то она, вообще говоря, будет изменяться при увеличении объема выборки
(добавлении новых членов выборки). Интуитивно ясно, что при ?2 —> оо информация о законе распределения в выборке неограниченно увеличивается, и поэтому достаточно разумная оценка параметра должна сближаться (в том или ином смысле) с его точным значением.
Оценка и = й(Х1, . . . , Хп) называется состоятельной по вероятности (в среднем квадратичном), если u(Xi,. . . , Хп) сходится по вероятности (в среднем квадратичном) к иТ при п -Л ос. Если тип сходимости безразличен или ясен из контекста, то будем говорить о состоятельности оценки без указания типа сходимости.
Конечно, состоятельность является хорошим свойством оценки, но все же скорее успокоительного, а не конструктивного характера, поскольку на практике объем выборки всегда конечен. Для практики наиболее важным является вопрос о близости (в том или ином смысле) оценки к искомому значению параметра при фиксированном объеме выборки. Меру близости можно вводить по-разному. Например, если и — скаляр и оценка й несмещена, то в качестве меры близости чаще всего выбирают дисперсию оценки (если й — несмещенная оценка вектора, то мерой близости может служить ковариационная матрица оценки). Оценки, наиболее близкие к истинным значениям, называют эффективными. Одна из основных задач математической статистики — нахождение эффективных оценок.
Как уже указывалось выше, основой параметрического подхода является жесткое постулирование класса распределений. К сожалению, на практике реальные законы распределения случайных величин, образующих выборку (1.1), как правило, отличны от постулированного. Хотя такое отличие может быть и малым, оно всегда имеется. Если оценка малочувствительна к малым изменениям (в том или ином смысле) исходного постулированного закона распределения, то такая оценка называется робастной.
Любая оценка й 72-мерного вектора и представима в виде
и = 8(Хь...,Хп), (1.2)
где 8 — оператор из конечномерного пространства элементов (Xi,. . . , Хп) в m-мерное пространство Ет.
Если 8 — линейный оператор, то оценка (1.2) называется линейной, в противном случае й — нелинейная оценка. В частности, если Хг — векторы размерности к, то линейная оценка представима в виде й = SX + uq, где 8 — матрица размерности (ттг х п к), X — совокупность компонент векторов выборки (1.1), Uq — фиксированный детерминированный вектор.
Класс линейных оценок играет важную роль в математической статистике, поскольку в этом классе часто удается найти «хорошие» оценки, а линейность оценки позволяет в большинстве случаев вычислять ее с меньшими вычислительными затратами по сравнению с нелинейными оценками.
Часто встречаются оценки, которые вместо свойств несмещенности обладают более общим свойством асимптотической несмещенности:
М u(Xi, . . . , Хп) —У иТ при п —У оо. В частности, состоятельные в среднем квадратичном оценки асимптотически несмещены.
Выше были рассмотрены некоторые основные свойства оценок. Конкретные оценки могут обладать одними из этих свойств и не обладать другими. Спрашивается, каким из перечисленных свойств оценок следует отдавать предпочтение при выборе подходящей оценки? Универсального ответа на этот вопрос не существует. Конечно, всегда желательно, чтобы оценка была эффективной. Но, к сожалению, часто эффективные оценки неустойчивы и тогда, в условиях опасности нарушения основных предположений, следует отдавать предпочтение робастным оценкам, эффективность которых максимальна. С другой стороны, и эффективные (или почти эффективные), и робастные оценки, как правило, даже для простых параметрических моделей могут быть вычислены только с помощью компьютеров. Линейные оценки наиболее легки для вычислений, но в большинстве случаев не обладают свойством робастности.
До сих пор мы рассматривали точечное оценивание параметров, в результате которого вместо неизвестного точного значения ит получаем одно его приближенное значение — оценку и.
В математической статистике существует еще один способ оценивания — интервалъный. При интервальном оценивании находят две оценки скалярного параметра и иН1ив такие, что определена вероятность Р {n G (^h^b)} = рЫ- Величину рдов = infup(u) называют доверительным уровнем, al — рдов уровнем риска. В приложениях часто доверительный уровень и уровень риска выражают в процентах, а границы пн, ив подбирают так, чтобы доверительный уровень равнялся одному из стандартных значений: 0,9; 0,95; 0,99; 0,999. Например, если Рдов = 0,95, то говорят о 95 % доверительном уровне и 5 % уровне риска.
Интервальные оценки более информативны, чем точечные, но их получение требует больших вычислительных затрат. Наиболее часто интервальные оценки получают, используя подходящую точечную оценку и. для которой удается построить плотность вероятностей p^uY Тогда доверительный интервал \и — 51, и + ^] находят из равенств
йи + ^2
J p^du = ^, J p^du = ^.
и — ^1U
В частности, если р^и^ симметрична относительно й^ доверительный интервал \и — 5, и + 5] симметричен относительно и, а 5 > 0 находят из равенства
j Ps(u) du = рдов.
и —5
С методами математической статистики можно ознакомиться в книгах [2-5,33,38,40,48,65].
Метод моментов
Пусть (1.1) — повторная выборка скалярной случайной величины £, у которой существуют моменты достаточно большого порядка.
В качестве оценки а^ начального момента к-го порядка М£^ возьмем статистику
=а-3)
г=1
В частности, оценка математического ожидания т дается равенством
(1.4) г = 1
В качестве оценки ц^ центрального момента к-го порядка М (£ — М возьмем статистику
=(L5)
г=1
в частности, оценка дисперсии Э2 дается равенством
- ™)2-(L6)
г=1
Оценки (1.3) несмещены, так как Mq^. = - ^ МХ^ = М^, состоятельны в среднем квадратичном в силу закона больших чисел (теорема Чебышева).
Оценки (1.5) также состоятельны в среднем квадратичном, но смещены, и, следовательно, обладают свойством асимптотической несмещенности. Например, для оценки (1.6)
Uvпп2п
где Ц4 — центральный момент 4-го порядка случайной величины £.
Часто вместо асимптотически несмещенной оценки (1.6) используют несмещенную оценку дисперсии:
s2 = ^lE№-^)2’(L7)
г=1
которую называют эмпирической дисперсией.
Дисперсии несмещенных оценок (1.4), (1.7) равны D (ш) = (у2*!^ Ds2 = n2(n — 1)-2D (Э2). В частности, если £ распределена по нормальному закону, то //4 = Зег4 и D (s2) = 2сг4/(п — 1).
2*
На оценках моментов (1.3) случайной величины £ основан метод моментов оценки параметров и и искомой плотности вероятностей pd^ и)-
Пусть задано т линейно независимых функций аЦж), . . . , ат(х) (т — размерность вектора и\ Имеем
Мау(£) = | Р^(ж7 и^а^х) dx = bj(u),
где bj(u) — известные функции искомых параметров и. В качестве состоятельных оценок Ма^(£) возьмем статистики
= ~ 52 a3^iY
Тогда согласно методу моментов в качестве оценок параметров берется решение системы уравнений
Ь^и^^а^ХУ j =(1.8)
В частности, если а^Х^ = Х^ 3 = L • • • . тщ то
| гцр ИЖ ™ \ Q
Пример 1.1. рАх\ и) = < п ’/ n’п
’ /^0, х < 0, где и > 0.
Возьмем а^ (х) = х. Имеем: М си (ж) = М £ = 1/и. Поэтому система
У Xi, откуда и = п /у Xi.У Xi, откуда и = п /у Xi.11
У Xi, откуда и = п /у Xi.
У Xi, откуда и = п /у Xi.
сводится к одному уравнению — = — U П г=1г= 1
Замечание 1.1. Если интегралы
| р^х; u)aj(x) dx
аналитически не «берутся», то при решении нелинейной системы (1.8) (обычно одним из методов итераций) левые части равенств (1.8) подсчитываем, вычисляя эти интегралы численно.
Если £ — векторная случайная величина размерности г, то каждый член Хг = (Хи, • • • 7 Xjr)T выборки (1.1) — r-мерный вектор.
В качестве несмещенной и состоятельной оценки т вектора математических ожиданий векторной случайной величины £ можно взять
ГЪГЪГЪrji
т = -Ух1 = ЦУхп,...УхЛ =(Xx,...,XTf.
г = 1г = 1г=1
СтатистикиСтатистики
Статистики
Статистики
1
= тт, — ! ^^(^^ — ^iX^kj — jY
1 k = Y
~Ш~Ш
~Ш
~Ш
являются состоятельными оценками ковариации cov (^, £7) и коэффициента корреляции г(^,€>) компонент ^ и ^j векторной случайной величины £. Оценка Кц несмещена, оценка Тц смещена и потому является асимптотически несмещенной.
Следовательно, состоятельной и несмещенной оценкой ковариационной матрицы К^ является симметричная положительно определенная (г х г)-матрица /Q, (г,^^-й элемент которой равен k^j. Матрицу К^ можно представить в виде
/Хи - Xi Х12-Х2...Х1г-Хг\Х21 -ХхХ^ -х2...х2г -ХТ
\х„1 -- х2.. ,хпг - xj
где X — (п х г)-матрица.
Пусть £ — скалярная нормально распределенная случайная величина и рДж) =— е~(ж~т) /(2<7 ).
у2тг ст
Рассмотрим сначала случай, когда m неизвестен, ст2 известен. В качестве оценки m возьмем статистику (1.4). Случайная величина m распределена по нормальному закону ^(m^ ст/V^Y Поэтому нормированная случайная величина (т — т)/(стл/п) распределена по нормированному нормальному закону Л/(0,1). Имеем
\т — т\ст I Vn\т — т\ст I Vn< *} = Рдов = 2Ф(<),< *} = Рдов = 2Ф(<),
\т — т\ст I Vn
\т — т\ст I Vn
< *} = Рдов = 2Ф(<),
< *} = Рдов = 2Ф(<),
22ОО
2
2
О
О
d,s — интеграл вероятностей. В таблице значе
ний интеграла вероятностей находим t = t(pAOB^ для которого 2Ф(£) = = Рдов- Тогда доверительный интервал для параметра т с уровнем доверия 100рДОв% имеет вид
т - #(рдов)-^ < т < т + <(рдов)-^.(1.9)
х/тг\/п
Для 90%, 95%, 99%, 99,9% уровней доверия коэффициент Дрдов) равен 1,64; 1,96; 2,58; 3,29 соответственно. При увеличении уровня доверия длина доверительного интервала возрастает, например, длина
доверительного интервала при уровне риска в 0,1% почти в два раза больше длины доверительного интервала для уровня риска в 10%.
Рассмотрим теперь случай, когда т и ст2 оба неизвестны. Тогда в качестве точечных оценок этих параметров возьмем статистики (1.4) и (1.7). При построении доверительных интервалов для т и ст2 используется следующее утверждение.
Теорема 1.1. Пусть (1.1) — повторная выборка случайной величины^ распределенной по нормальному закону N\m, сг). Тогда т и з^ независимы и s2(n — 1)/сг2 распределена по закону Хп-1-
Доказательство. Совместная плотность вероятностей совокупности независимых центрированных случайных величин Y^ = Xi — т^ г = 1,. . . , п, дается равенством
1/ 1 \ п
Р^ = р(У1, •••,У»)=/2 „ ехр (-—2 ) Е У,2.
(2тг) 1 а \ 2<т / .=1
В n-мерном пространстве (yi . . . , уп)Т совершим поворот вокруг начала координат так, чтобы в новой системе координат г =
= (^i,. . . , гДД выполнялось равенство %н = —— У У г- Имеем: % = z=l
= Uy,Z = UYгде U — ортогональная матрица поворота. Случайные
величины Zi,. . . , ZH независимы. Кроме того, У Z^ = У У^2, г=1г=1
поскольку при повороте расстояния не изменяются. Обозначим ту =
= - У У{. Имеем
п г=1
У Y?1 = У {Yi — туД + п ту = У Z^ + п ту^
г=1г=1г=1
откуда
— 1
- 1) =- тУ = Е^ " ^у)2 = Е Zt
г=1г=1г=1
п — 1
Из равенства s2(n — 1) = У Z2 следует, что величина т = г = 1
= т A- ZnjДп не зависит от s2, a s2 распределена по закону X^-v Теорема доказана.
Нормированная случайная величина UH = (m — тД(сгл/п) распределена по закону Л7(0,1) и не зависит от случайной величины Vn = = s2(n — 1)/(т2, распределенной по закону X^i-v Поэтому отношение Стьюдента Тн_у = UH( Д¥нДп — 1) = (т — тДДДп) распределено
по закону Стьюдента с плотностью вероятностей
РТ„_Л^ =РТ„_Л^ =1\/тг(п - 1)1\/тг(п - 1)Г(»/2) Л , Г((п-1)/2Д +Г(»/2) Л , Г((п-1)/2Д +^2 х -п^П — 1 /^2 х -п^П — 1 /t Е (—оо, ос).t Е (—оо, ос).Имеем: РИмеем: Р\т — т\sjV^\т — т\sjV^t > = РДОВ7 где t = t(n — 1, Рдов) находится изt > = РДОВ7 где t = t(n — 1, Рдов) находится из
РТ„_Л^ =
РТ„_Л^ =
1
\/тг(п - 1)
1
\/тг(п - 1)
Г(»/2) Л , Г((п-1)/2Д +
Г(»/2) Л , Г((п-1)/2Д +
^2 х -п^
П — 1 /
^2 х -п^
П — 1 /
t Е (—оо, ос).
t Е (—оо, ос).
Имеем: Р
Имеем: Р
\т — т\sjV^
\т — т\sjV^
t > = РДОВ7 где t = t(n — 1, Рдов) находится из
t > = РДОВ7 где t = t(n — 1, Рдов) находится из
равенства 2 j ртп_± (s) ds = рДов.
о
Итак, доверительный интервал для параметра т имеет вид
(1.10)(1.10)т - t(n - 1,рдов)^ С т < т + t(n - 1, рдов)^^. х/п
(1.10)
(1.10)
При фиксированной рдов коэффициент t(n — 1, рдов) убывает с ростом П И Дп — 1,РдОВ) —> Дрдов) — ИЗ формулы (1.9) при п —> ос. При фиксированном п коэффициент t(n — 1, рдов) возрастает с ростом рдов. Значения t(n — 1, рдов) для различных п и стандартных значений рдов табулированы. Например, для п = 5 коэффициент Стьюдента равен 2,13; 2,78; 4,6; 8,61 для 90%, 95%, 99% и 99,9% уровней доверия. Так как при фиксированном уровне доверия t(n — 1,рдов) > t(pAOB^ доверительный интервал (1.10) шире доверительного интервала (1.9). Увеличение доверительного интервала для т в случае неизвестного ст2 является своеобразной «платой» за незнание ст2.
Построение доверительного интервала для ст2 также основано на результате теоремы 1.1. Действительно,
гдегдеРдов — Р Л ^2Рдов — Р Л ^2s2(n — 1)s2(n — 1)ы(п-3)/2е-и/2,ы(п-3)/2е-и/2,2 п /2Г((п-1)/2)2 п /2Г((п-1)/2)
где
где
Рдов — Р Л ^2
Рдов — Р Л ^2
s2(n — 1)
s2(n — 1)
ы(п-3)/2е-и/2,
ы(п-3)/2е-и/2,
2 п /2
Г((п-1)/2)
2 п /2
Г((п-1)/2)
и > 0 — плотность вероятностей случайной величины, распределенной по закону Xn-v
Границы гдДп — 1, рдов), ^(^ — 1,Рдов) обычно выбирают согласно правилу
«2f (и) du = -—о«2f (и) du = -—оf pv2 (и) du = -—U1f pv2 (и) du = -—U1
«2
f (и) du = -—
о
«2
f (и) du = -—
о
f pv2 (и) du = -—
U1
f pv2 (и) du = -—
U1
Таким образом, доверительный интервал для ст2 имеет вид
Zi(n - 1,Рдов)82 < ст2 < Z2(n - 1,Рдов)«2,(1-11)
где zk(n - 1,Рдов) = (я - 1)ик(п - 1,Рдов), к = 1,2.
Коэффициент ^i € (0,1) обладает следующими свойствами: при фиксированном n zi — монотонно убывающая функция рДОВ1 причем ^i —> 0 при рдов —> 1; ^i —У 1 при рдов —>- 0; Zi при фиксированной рдов монотонно возрастает с ростом п и ^i —> 1 при п —> ос. Коэффициент ^2 > 1, ^2 —^ 1? МОНОТОННО убывая при П —> ОС И фиксированной РдОв. Коэффициенты zi, ^2 для различных значений п и рдов табулированы.
Неравенства Фишера—Крамера—Рао
Обозначим р(ж1, . . . , жп; и) совместную плотность вероятностей совокупности случайных величин, образующих выборку (1.1). Функция членов выборки р^Ху^ . . . , Х^ и) называется функцией правдоподобия и обозначается Ln(Xi, . . . , Хп; и). Если (1.1) — повторная выборка, то
г = 1
Часто вместо функции правдоподобия используют логарифмическую функцию правдоподобия
^n^Xh . . . , Хп*. и) — In Тп ^Х\.. . . , Хп*. и).
Для повторной выборки
Z^^,..., и) = f>№; и).
г=1
где /ДА^; м) = In Рг№; u).
Как мы уже знаем, существует много несмещенных и состоятельных оценок параметра и. Спрашивается: существует ли верхняя граница точности таких оценок, построенных на основе выборки (1.1)?
Рассмотрим сначала случай, когда и — скаляр. Тогда степень близости любой несмещенной оценки й к истинному значению ит дается дисперсией оценки D й = М (й — иту.
Теорема 1.2 (Фишер-Крамер-Рао). Пусть й = й(Х^ . . . ^ Хп) — любая несмегценная оценка и. Тогда
"Пи^у,(1.12)
где
г _ _мд21ДХ1,...,Хп; и)
1п— YVL2.
о и
Доказательство. Имеем
. . . , Х^ и} dXi . . . dXn — 1.
Откуда
f ... f ^ dXT ... dXn = 0.(1.13)
J J диx
Но M й = и или
J * * * J и^ХXп^X, tz) dX। . . . dXн — и.
Дифференцируя последнее равенство, получаем
.. [ dXx... dXn = 1.
J J ди
Умножим равенство (1.13) на иТ и вычтем из последнего равенства:
• • Vu-u^^dXx.. .dXn = 1. J Jди
Левую часть последнего равенства можно записать в виде
[(tZ-uT)-^^L„dX1...dXn = М(и-ит^.
J JLn диди
Итак, получено равенство
M(u- uT)^ = 1.
ди
Обозначим Y = и — ит^ Z = ^У Из равенства (1.13) следует, что М Z = 0. Поэтому левая часть равенства М YZ = 1 — ковариация центрированных случайных величин Y, Z. Но для любых двух случайных величин У, Z справедливо неравенство Коши-Буняковского М2УЯ ^
М У2 М Z2. Поэтому
1 <M(w-wT)2M(^) . X ди )
ди 1 ди
Имеем: —— = --—, откуда
(У и
ЭХ = 1 92Ln _ 1 /9Ln\2 = 1 Э2Ьп _ /Э1п\2 ди2 Ln Qu2 L^ \ Эи ) — Ln Эи2 \ ди ) "
Поэтому
м №)2 = -м^,
V Эи )Эи2
так как
м 1= 7 Г dx dx = 0
bn OU J J OU
Теорема доказана.
Замечание 1.2. В тексте теоремы 1.2 не зафиксированы условия, налагаемые на функцию правдоподобия Ln, при выполнении которых справедливы выкладки доказательства теоремы. Эти условия будут приведены ниже при формулировке неравенства Фишера-Крамера- Рао для многомерного случая.
Величина /п не зависит от оценки й^ а определяется только законом распределения членов выборки и характером зависимости этого закона от искомого параметра и. Из доказательства теоремы 1.2 следует, что /п положительна. Если выборка повторная, то
71 я2 /Я2 /
1п = - У М 5J1 = nh, где /1 = -М 514.
9и9и
Таким образом, /п характеризует знание о параметре и. «заложенное» в выборке (1.1), и не зависит от конкретной реализации выборки, поэтому /п называют информацией (Фишера). Из вышесказанного следует, что если выборка повторная, то увеличение выборки в к раз увеличивает информацию Фишера также в к раз.
Из неравенства Фишера-Крамера-Рао следует, что величина, обратная к информации Фишера, ограничивает снизу дисперсию любой несмещенной оценки параметра и^ построенной на основе выборки (1.1). Оценки, для которых в неравенстве Фишера-Крамера-Рао достигается равенство, называются эффективными. Отношение en = l/(/nDu). О ^ en ^ 1, называется эффективностью оценки й. Для эффективных оценок (если они существуют) и только для них ен = 1.
Пример 1.2. Пусть
рДж; и) = J_)
у2тг ст
и выборка (1.1) повторная. Тогда
„ ехр
, • • • , Ы) = П Р$(У ’ Ы) =/„ >п/2 п ’
г=1(2тг) ' О
I» = -у In 2тг - Я In <7 - -Е У (У - и)2, /1 =
2(т “7ди ст
Поэтому 1п = п/а2. Для несмещенной оценки
1 п2
й = — V D tZ = —,пп
и, следовательно, оценка й эффективна.
Пример 1.3. Пусть р^х; и) = гле-иж, х > 0, и выборка (1.1) повторная. Тогда
Ln = une , Xi > 0, г = 1,...,п,
^п —? Д —2 ’ п —2 "
•UU
Итак, для неизвестного параметра экспоненциального закона информация Фишера зависит от значения самого искомого параметра.
Для оценки й = п ^ Xi еп < 1.
г = 1
Пусть теперь и — вектор размерности т. Матрица /п = (Jij), где
Iij = —мIij = —мдХduidujдХduidujг^ j = 1, . . . , т.г^ j = 1, . . . , т.
Iij = —м
Iij = —м
дХ
duiduj
дХ
duiduj
г^ j = 1, . . . , т.
г^ j = 1, . . . , т.
называется информационной матрицей Фишера. Из определения информационной матрицы следует ее симметричность. Имеем
ш„ = 1 ql„ оХ_ = 1 92L« _ 1 Утduj Ln duj ’ duiduj Ln dutduj L^ Qu, duj "
Но1 Л2 ТГТ(/ UL % О U jJJО UL % О U jНо1 Л2 ТГТ(/ UL % О U jJJО UL % О U jM(-L^) = vUiM(-L^) = vUiX dutX dutахг... dxn = 0.ахг... dxn = 0.
Но
1 Л2 ТГТ
(/ UL % О U jJJО UL % О U j
Но
1 Л2 ТГТ
(/ UL % О U jJJО UL % О U j
M(-L^) = vUi
M(-L^) = vUi
X dut
X dut
ахг... dxn = 0.
ахг... dxn = 0.
Поэтому
ЛЕ_ = м (— — - — —) = cov(— — — —) duiduj v Ln dui Ln dujy Ln dui 1 Ln duj
Таким образом, информационная матрица Фишера является ковариационной матрицей совокупности центрированных случайных величин 1 ди1 эи\
—,. . . , и поэтому неотрицательна.
Ln duiLn дит /
Предположим, что 1п невырождена и
T-.-fl^l^...^» < ОО
для любого и и г = 1, . . . , т.
Пусть и = (Si,. . . ^ит)Т — несмещенная оценка искомого вектора ит^ построенная по выборке (1.1).
Теорема 1.3. Ковариационная матрица Ки любой несмещенной оценки и удовлетворяет неравенству
К„ > /-1.(1.14)
Неравенство (1.14) — обобщение неравенства Фишера-Крамера- Рао (1.12) на случай векторного искомого параметра и. Оно означает, что симметричная матрица К^ — I”1 неотрицательна. Элементы главной диагонали матрицы Ки являются дисперсиями ст^. компонент гц вектора оценки и. Поэтому из неравенства Фишера-Крамера- Рао (1.14), в частности, следуют неравенства а^. ^ 1^^ ^ = 1, . . . , ш, где J^1 — г-й элемент главной диагонали матрицы, обратной к информационной матрице Фишера.
Неравенство Фишера-Крамера-Рао обобщается и на случай смещенных оценок. Заметим, что неравенство (1.14) эквивалентно выполнению неравенства (К^щи) (J”1??,?;) для любого и € Ет. Обозначим bi(u) смещение г-й компоненты вектора оценки и = (щ . . . , йт)Т т. е. М и = Ui + bi(u).
Теорема 1.4. Пусть 1° выполнены условия теоремы 1.3 (условия регулярности); 2° ^(^ существуют для всех и, где г, j = 1, . . . .т. Тогда для любого вектора v Е Ет справедливо неравенство
(киУ)1^(/;М(1 + ^№(1.15)
где (г, j)-u элемент матрицы D (и) дается равенством
В частности, для одномерного случая (т = 1) неравенство (1.15) эквивалентно неравенству
М (w - uf(1.16)
где Ь(и) — смещение оценки и.
Так же как и для одномерного случая, несмещенная оценка й = = (иу, . . . , ит)Т называется эффективной (совместно эффективной)
если в (1.14) достигается равенство. Оказывается, что оценка й является эффективной тогда и только тогда, когда закон распределения оценки и нормальный (теорема Хогга-Крейга) [33].
1.4. Метод максимального правдоподобия (ММП)
ММП позволяет получать оценки, которые в определенном смысле близки к достижению границы Фишера-Крамера-Рао, а если эффективные оценки существуют, то совпадают с ними.
Согласно ММП за оценку параметра и принимается решение экстремальной задачи
(1-17)(1-17)«ММП = arg max £„(%!,..., Х„; и).
(1-17)
(1-17)
Если функция правдоподобия дифференцируема по и. то ММП- оценка (1.17) является решением системы уравнений правдоподобия
(1.18)(1.18)grad„ Ln(Xb .. ., u) = 0.
(1.18)
(1.18)
Часто вместо экстремальной задачи (1.17) и системы (1.18) удобно рассматривать эквивалентные им задачи
(1-19)(1-19)(1.20)(1.20)«ММП = arg max /„(^,..., Х„; и),
(1-19)
(1-19)
(1.20)
(1.20)
grad„ /П(ХЬ.. ., Хп; и) = 0.
Прежде чем перечислять общие свойства ММП-оценок, найдем ММП-оценки параметров для некоторых стандартных распределений.
Пример 1.4. Пусть
р$(®; м)=р$(®; м)=е-(ж-т0)2/(2<72),е-(ж-т0)2/(2<72),
р$(®; м)=
р$(®; м)=
е-(ж-т0)2/(2<72),
е-(ж-т0)2/(2<72),
где и = (то, сг2)Т и выборка (1.1) повторная. Имеемгде и = (то, сг2)Т и выборка (1.1) повторная. ИмеемМ^ь..., Хп; т0, <т2) = -^ In 2тг - ^ In ст2М^ь..., Хп; т0, <т2) = -^ In 2тг - ^ In ст2Е(Х* - №0)2.Е(Х* - №0)2.Получаем систему уравнений правдоподобияПолучаем систему уравнений правдоподобия
где и = (то, сг2)Т и выборка (1.1) повторная. Имеем
где и = (то, сг2)Т и выборка (1.1) повторная. Имеем
М^ь..., Хп; т0, <т2) = -^ In 2тг - ^ In ст2
М^ь..., Хп; т0, <т2) = -^ In 2тг - ^ In ст2
Е(Х* - №0)2.
Е(Х* - №0)2.
Получаем систему уравнений правдоподобия
Получаем систему уравнений правдоподобия
9UЭто9UЭто^^Xi-mo^O, ° г = 1^^Xi-mo^O, ° г = 1
9UЭто
9UЭто
^^Xi-mo^O, ° г = 1
^^Xi-mo^O, ° г = 1
откуда
mo^-^Xi, ст2 = - ^(Xi - m0)2.п “п “
ииИз сказанного выше следует, что ковариационная матрица вектораИз сказанного выше следует, что ковариационная матрица вектора= (то,?2)7" равна Ки= (то,?2)7" равна Ки/ ст2/п V 0/ ст2/п V 002(п — 1)сг4/п202(п — 1)сг4/п2. Информационная. Информационная
и
и
Из сказанного выше следует, что ковариационная матрица вектора
Из сказанного выше следует, что ковариационная матрица вектора
= (то,?2)7" равна Ки
= (то,?2)7" равна Ки
/ ст2/п V 0
/ ст2/п V 0
0
2(п — 1)сг4/п2
0
2(п — 1)сг4/п2
. Информационная
. Информационная
матрица Фишера /n(mo,cr2) = \ У 4\ Следовательно, при
п —> ос ковариационная матрица ММП-оценки достигает нижней границы Фишера-Крамера-Рао. Такое свойство оценок называют асимптотической эффективност/ью. Заметим, что ММП-оценка то несме- щена, а ММП-оценка 52 асимптотически несмещена.
Пример 1.5. Пусть р^х^ и) = ие-^ х > 0. Имеем
u) = nlnM-MyXj, ^ = УуХ;=0, откуда иммп = п у Xi.
Пример 1.6. Пусть
р5(ж; и) =р5(ж; и) =а < х < 6,а < х < 6,и = (а, 6)т;и = (а, 6)т;
р5(ж; и) =
р5(ж; и) =
а < х < 6,
а < х < 6,
и = (а, 6)т;
и = (а, 6)т;
^n(Xb • * • 7 ^П‘ ^7 ^)
где
^min — min {^Vi,. . . , Хп }, Xmax — шах {^Vi,. . . , Хп }.
Следовательно, максимум Ln достигается при 6ММП = ^тах, аммп = ^min-
Пример 1.7. Пусть совместная плотность вероятностей членов выборки дается равенством
p(a?i, ...,«„; и) =p(a?i, ...,«„; и) =^тгУ2!^!1/2^тгУ2!^!1/2ехр{-| (Кж ^ж - и1),х - м^)},ехр{-| (Кж ^ж - и1),х - м^)},
p(a?i, ...,«„; и) =
p(a?i, ...,«„; и) =
^тгУ2!^!1/2
^тгУ2!^!1/2
ехр{-| (Кж ^ж - и1),х - м^)},
ехр{-| (Кж ^ж - и1),х - м^)},
где х = (ж1,..., жп)т, 1 = (1,..., 1)т, т. е. все члены выборки имеют одинаковое математическое ожидание и^ распределены нормально и между ними существуют корреляционные связи. Имеем
/„(%!,..., Х^ и) = -^ 1п2тг - hn\кх\-1 ^к;Чх -U1YX- и1\ где X = (Xi,. . . , Хп^Т. Отсюда
= -<к;ЧдНкк;Ч,х^ гммп = ^у1^
71
В частности, если Кж = diag (ст2, . . . , ст2), то (К”11, 1) = У^ — ,
^х11^) = Z ^ и ^ммп = 52 ^/ S А “ средневзвешенная г = 1 <7ii = 1 <7г ' i=1 <7г
оценка.
ММП-оценки обладают свойством инвариантности.
Теорема 1.5. Пусть совокупность функций gi(uy...,gk(uy 1 ^ к ^ т, отображает область U С Ет изменения параметра и в к-мерный параллелепипед Щ Е Ек. Тогда ММП-оцешш параметра gj(u) дается равенством и-ММП = gj(uMMn).
Пример 1.8. Пусть (1.1) — повторная выборка логнормального распределения, т. е. In Х{ ~ Af^mo, а2). Известно, что математическое ожидание у и дисперсия d2 логнормального распределения связаны с то и ст2 соотношениями
ц = em°W/2, d2 = р2^ -1).
Обозначим
Yi= In Xi, i =Y = -VYi, ?2 = -VlYi-Yf.
П i —1П
Тогда согласно теореме 1.5 ММП-оценки параметров /i, d2 логнормального распределения даются формулами
Мммп = ехР {^ + 672 f^i ^ммп = Мммп(е<7 — !)•
Следующее свойство ММП-оценок связано с понятием достаточной статистики.
Пусть T(Xi, . . . , Хп) — такая статистика, что условное распределение любой другой статистики Z(Xi, . . . , Хп), не связанной функциональной зависимостью с Т, при заданной Т(Х-^ . . . , Хп) не зависит от искомого параметра и. Тогда Т(Хх, . . . , Хп) называют достаточной статистикой. Если значение достаточной статистики Т(Х-^ . . . , Хп) на выборке (1.1) известно, то знание значения любой другой статистики на выборке (1.1) не добавляет никакой новой информации об искомом параметре и. Не всякое семейство совместной плотности вероятностей членов выборки (1.1) допускает существование достаточной статистики. С другой стороны, если достаточная статистика существует, то всегда желательно ее найти, поскольку тогда вместо всей выборки (1.1) можно сохранять лишь значение достаточной статистики, не теряя при этом информации об искомых параметрах.
Ниже приведен простой критерий существования и определения достаточной статистики.
Теорема 1.6 (факторизации Фишера-Неймана). Для того чтобы статистика T(Xi, . . . , Хп) была достаточной, необходимо и доста-
точно выполнение представления
L^X^= f(T(X1;..., Хп\, и) ^Х^ ..., Х„),
где сомножитель ср не зависит от искомого параметра и.
Пример 1.9. Пусть рДж; и) ^ ЛГ^то^ст2) и (1.1) — повторная выборка. Имеем
Хп; и)- ^^Хп; и)- ^^expexp-X Е№ - то)2-X Е№ - то)2
Хп; и)- ^^
Хп; и)- ^^
exp
exp
-X Е№ - то)2
-X Е№ - то)2
£№ - X)2 + п^х - тоу£№ - X)2 + п^х - тоу1fi
£№ - X)2 + п^х - тоу
£№ - X)2 + п^х - тоу
= у—ту ехр <2
(27rcr^)n^I 2сг2
Поэтому набор двух скалярных статистик < X, ^(Х^ — X)2 > — доста- г = 1
точная (векторная) статистика, если неизвестны то и о2. Ясно, что набор | У^ Xi, У^ X21 также является достаточной статистикой.
г = 1г = 1
Пример 1.10. Пусть рДж; и) = 1/и, О С ж С и, и выборка (1.1) повторная. Тогда Ln(Xi, . . . , Хп; и) = l/u^ Х^ < и. Функцию Ln можно представить в виде Ln = 1/ип^ Хтах < и. Поэтому Хтах — достаточная статистика, если и неизвестно.
Если для закона распределения выборки (1.1) имеется достаточная статистика T(Xi, . . . , Хп), то ММП-оценки выражаются только через T(Xi, . . . , Хп) и тем самым не теряют информации о параметре и. Действительно, пусть
L„№,..., Х^ и) = Ж№,..., Хп); и), Хп).
Тогда уравнение правдоподобия имеет вид
grad„ In /(ЦАу...,^); и) = 0,
и тем самым йммп зависит только от достаточной статистики Т(Х1,...,Хп).
Пример 1.11. Пусть
а < х С Ь,а < х С Ь,
а < х С Ь,
а < х С Ь,
min? ^ММП — ^тах? При-min? ^ММП — ^тах? При-и выборка (1.1) повторная. Тогда йммп
min? ^ММП — ^тах? При-
min? ^ММП — ^тах? При-
чем {Xmin,Xmax} — достаточная статистика при неизвестных а и Ь. В частности, ММП-оценкой математического ожидания М£ будет (^min + Xmax)/2.
Пусть
J=1■J=1■р^(ж; и) = Ь(х) ехр
J=1■
J=1■
Тогда р^(ж; и) называют экспоненциальной плотностью.
Теорема 1.7. Пусть 1° выборка (1.1) повторная и р^$ц и) — экспоненциальная плотность^ 2° (т х т)-симметричная матрица R с элементами Кц = -—^— положительно определена для всех О'll г U U j
и Е U С Ет. Тогда ММП-оцешш ^ммп единственна, является достаточной статистикой и корнем системы уравнений
УЛ^ММГ^ dujУЛ^ММГ^ dujj = l,...,m.(1.21)j = l,...,m.(1.21)
УЛ^ММГ^ duj
УЛ^ММГ^ duj
j = l,...,m.(1.21)
j = l,...,m.(1.21)
Доказательство. Имеем
Х„; M) = fp№)expz=lХ„; M) = fp№)expz=l
Х„; M) = fp№)expz=l
Х„; M) = fp№)expz=l
Поэтому набор {^ Т1(ХД . . . , ^ Тт(А^)} является достаточной г = 1г = 1
статистикой. Приравнивая к нулю частные производные п, получаем систему (1.21), которая в силу положительной определенности матрицы R имеет единственное решение, доставляющее максимум Ln. Теорема доказана.
При выполнении некоторых условий регулярности ММП-оценки состоятельны, а именно: если (1.1) — повторная выборка, то йммп —^ ит по вероятности при п —У ос. Более того, для любого s > 0 существуют такие К, а > 0, что Р {|^ммп — ^т1 ^ s} ^ Ке~ап для всех п ^ 1.
Ранее при рассмотрении примеров было отмечено, что ММП- оценки являются либо эффективными, либо близки к нижней границе Фишера-Крамера-Рао при больших п. Оказывается, что и в общем случае при выполнении условий регулярности ММП-оценки являются асимптотически эффективными и асимптотически несмещенными [33].
Еще одно замечательное свойство ММП-оценок связано с их асимп
тотической нормальностью.
Последовательность случайных величин ап называют асимптотически нормальной, если найдутся такие детерминированные невырожденные матрицы Ан и векторы цн, что закон распределения величин АДа^ — /1П) стремится к нормальному ^(0, Ка) при п —> оо, где Ка — положительно определенная (т х т)-матрица.
При выполнении условий регулярности закон распределения последовательности Дп (иММп — пт) стремится к нормальному
3 А.В. Крянев, Г.В. Лукин
Af(O,1-1(иТ)) при п ^ ос, где /-1(ДТ) — матрица, обратная к информационной матрице Фишера. Используя свойство асимптотической нормальности ММП-оценок, после нахождения точечных ММП-оценок можно строить доверительные интервалы для искомых параметров. Действительно, при достаточно большом п закон распределения ^ммп — ит близок к нормальному,
ЛГ(О—/ х(мммп))-
В частности, закон распределения SjMMn — *и..т близок к одномерному нормальному,
^‘/(мммп))>
где ^ммп — j-я компонента вектора мМмп, ^/(^ммп) 7"й элемент главной диагонали матрицы /-'(^мми)- Поэтому доверительные интервалы для компонент ММП-оценки йммп имеют вид
хлД'Л^ММп)^ММП - ЦРдов)ухлД'Л^ММп)^ММП - ЦРдов)у^зт^зт/IЛ'/(ПММп)^ ^j'MMn Т ДРдов) у ^,/IЛ'/(ПММп)^ ^j'MMn Т ДРдов) у ^,
хлД'Л^ММп)
^ММП - ЦРдов)у
хлД'Л^ММп)
^ММП - ЦРдов)у
^зт
^зт
/IЛ'/(ПММп)
^ ^j'MMn Т ДРдов) у ^,
/IЛ'/(ПММп)
^ ^j'MMn Т ДРдов) у ^,
1а/2тг1а/2тг
1а/2тг
1а/2тг
где Дрдов) при заданной доверительной вероятности рдов находится по таблице интеграла вероятностей согласно равенству
(Рдов)
J е-8^2 ds = ^^-о
Теоретическое обоснование ММП дано в монографии [33].
Глава 2
МЕТОДЫ УЧЕТА АПРИОРНОЙИНФОРМАЦИИ В РАМКАХПАРАМЕТРИЧЕСКОЙ СТАТИСТИКИ
При восстановлении значений искомых параметров исследователь располагает, как правило, дополнительной (априорной) информацией о параметрах, помимо информации, «заложенной» в выборке (1.1). До сих пор оценки параметров строились только на основе выборки (1.1) и не учитывали дополнительную информацию о параметрах. Ясно, что учет дополнительной информации позволит улучшить надежность и точность оценивания.
В настоящее время используют два основных метода учета дополнительной информации в зависимости от ее характера — байесовский и минимаксный. Ниже, кроме этих двух методов учета априорной информации, изложен еще один — обобщенный метод максимального правдоподобия.
Метод Байеса
Применение байесовского подхода предполагает трактовку искомого параметра и как случайной величины. Тогда априорная информация задается в виде априорного распределения раПр(^) случайной величины и.
В большинстве прикладных задач искомый параметр и является детерминированной величиной, и поэтому искусственно навязанная байесовским подходом трактовка детерминированных величин и как величин случайных вызывает многочисленную критику в адрес метода Байеса. Следует однако отметить, что метод Байеса во многих случаях позволяет успешно учесть априорную информацию и получить разумные оценки.
Итак, при байесовском подходе и — случайная величина. Обозначим р(жх, . . . , хп, и) совместную плотность вероятностей совокупности случайных величин Xi, . . . , Хп, и. Имеем
р(жХ, . . . , Хн, и) = р(жХ, . . . , Жп | ^РапрЫ =
= р(и | ЖХ, . . . .Х^р^Хх, . . . ,ХН\
где р^п | жх, . . . , хп) — условная плотность вероятностей случайной величины и при фиксированных значениях яд, . . . , жп, р(яд, . . . , х^) — маргинальная совместная плотность вероятностей совокупности слу-
з*
чайных величин Xi,. . . , Хп, которую можно найти по формуле р(жх,..., я„) = j р(а?1,..., жп, и) du = | р(ж1,..., ж„ I м)рапр(и) du.
ии
Из вышесказанного следует формула
р(Ж1, . . . ,Жп | ^)jDanp(^)
р(Ж1, . . . , Хп | П)рапр(^) du
U
Поскольку имеется одна реализация совокупности случайных величин Xi,. . . , Хп, даваемая выборкой (1.1), то окончательно получаем формулу Байеса
р^и | Xi, • • • , Хп) — Tn(Xi, • • • , Хп; ^)Рапр(^)/С, где нормировочный множитель
С — J ^/^(Х^х, • • • , X"n, ^)Рапр(^) du и не зависит от и.
Функция р(и | жх, . . . , хп) называется апостериорной плотностью вероятностей.
В качестве точечной байесовской оценки (Б-оценки) йв выбирают одну из характеристик апостериорной плотности вероятностей, например моду, математическое ожидание или медиану апостериорного распределения. Ясно, что в общем случае все три оценки будут различными.
Существует и другой способ получения точечной байесовской оценки, при котором задается положительная функция потерь ГК(||й — ^||), где й — оценка параметра и. На основе выбранной функции потерь W(t) и полученной апостериорной плотности р^ Ж1, . . . , жп) строится функционал
R^- Хъ . . . , Xn) = j W(\\u - и\\)р^ I Хи . . . , Хп) du, и
который принято называть апостериорным риском оценки й при заданной выборке (1.1). Тогда Б-оценка определяется как решение экстремальной задачи:
йв = arg min R(u; Xi,...,Xn),(2.1)
т. e. Б-оценка минимизирует апостериорный риск.
При определении Б-оценки согласно формуле (2.1) также остается неоднозначность байесовской точечной оценки из-за возможности выбрать различные функции потерь W(t). Отметим, что при первом способе обычно в качестве Б-оценки берут моду апостериорного распределения (наиболее вероятное значение апостериорной случайной
величины гл); при втором способе чаще всего выбирают квадратичную функцию потерь W(t) = t2. Де Гроот и Рао изучали вид Б-оценок для различных функций потерь. Было установлено, что для W(t) = |£|, W(t) = t2 и W(t) = р(£ + J) — 77^ — J), 5 > 0 (прямоугольное окно), Б-оценка совпадает соответственно с медианой, математическим ожиданием и модой (для унимодальной и симметричной относительно моды апостериорной плотности) апостериорного распределения. Если апостериорное распределение унимодально и симметрично относительно моды, то все Б-оценки для любой симметричной выпуклой функции потерь совпадают.
Пусть Рапр(^) принадлежат некоторому семейству плотностей Ра. Для нахождения апостериорного распределения важно ответить на вопрос: какому семейству плотностей Рс должна принадлежать совместная плотность вероятностей выборки (1.1), чтобы апостериорная плотность также принадлежала семейству РД Семейство Рс называют сопряженным семейству Ра. Знание сопряженного семейства значительно облегчает решение задачи нахождения апостериорного распределения, поскольку в большинстве случаев сводит эту задачу к пересчету параметров, определяющих семейство Ра. Ниже приводятся утверждения о виде сопряженных семейств Рс, если основное семейство Ра связано с нормальными распределениями.
Рассмотрим сначала случай одномерного нормального закона распределения.
Теорема 2.1. Пусть
р$(ж; ц) = А е ,ж м)2/(2<т2)
выборка (1.1) повторная, и неизвестно, мера точности г = 1/сг2 задана. Допустим, что рапРМ ~ АДр,,1/т), где т = 1 /сг^ — мера точности. Тогда апостериорное распределение является нормальнымW,W + nr)) со средним р' = T/Z + НТ^ ы мерой точности т + ПТ
Из теоремы 2.1 следует, что Б-оценки неизвестного параметра и для любой симметричной выпуклой функции потерь совпадают и даются формулой
(2-2)
Из (2.2), в частности, следует, что ив ~ X при больших п. Последнее означает, что при увеличении объема выборки (1.1) «цена» априорной информации о параметре и падает и Б-оценка, суммирующая информацию о параметре и, «заложенную» в выборке (1.1), и априорную информацию, приближается к ММП-оценке йммп, построенной только на основе выборки (1.1). Наоборот, если п фиксировано, а ст2 -А- 0, то
^в ^ М? т- е- ПРИ f2 —> О «цена» априорной информации неограниченно увеличивается.
Рассмотрим теперь многомерный случай. Пусть все члены повторной выборки (1.1) — m-мерные векторы, распределенные по нормальному закону Xi ~ М(и, а2 Кж\ где Кж — положительно определенная (т х ттг)-матрица.
Требуется оценить компоненты вектора и = (т/i, . . . , ит)Т.
Пусть априорное распределение искомого вектора U — нормальное ЛГ(иа1 а2 KaY где Ка — положительно определенная (ттг х ттг)-матрица.
р(и | Ж1, .р(и | Ж1, .- ^2 (Ка 4м - Ma),U - и. а- ^2 (Ка 4м - Ma),U - и. аТогда апостериорная плотность определяется равенством
р(и | Ж1, .
р(и | Ж1, .
- ^2 (Ка 4м - Ma),U - и. а
- ^2 (Ка 4м - Ma),U - и. а
где С = [(2л)т^— нормировочный
множитель.
В качестве байесовской оценки иБ возьмем моду апостериорного распределения. Тогда получаем равенство
иБ = (^к^ + ^к^А 1 (^к^Х + ^К^иЛ, (2.3) V О"(Та / V О"(Та/
где X = - у Xi.
П г=1
Рассмотрим теперь более сложный случай, когда неизвестны и и^ иг = 1/ст2. Тогда, согласно методу Байеса, необходимо задавать априорное совместное распределение двух случайных величин (L/, R).
Теорема 2.2. Пусть априорное совместное распределение (U, R) таково; условное распределение U при фиксированном г — нормальное со средним /1 и мерой точности т, а маргинальное распределение R — гамма-распределение с параметрами а /3 > 0 (р(г) = = Ра r^^e-^1*(V^a^Y Тогда апостериорное совместное распределение (U, R) таково; условное распределение U при фиксированном г — нормальное со средним
/ _ тц + пХ
а маргинальное распределение R — гамма-распределение с параметрами
Если в качестве Б-оценок взять математическое ожидание апостериорного распределения, то с помощью теоремы 2.2 получаем
^в =^в =т/1 + пХТ + пт/1 + пХТ + п2 _ 3'2 _ 3'(2-4)(2-4)
^в =
^в =
т/1 + пХТ + п
т/1 + пХТ + п
2 _ 3'
2 _ 3'
(2-4)
(2-4)
Из (2.4) следует, что йБ ~ X. ЭБ = Э^мп при п —> ос и иБ -Л у, при т -^ ос.
Пусть р^х^ и) — m-мерное нормальное распределение с неизвестным вектором средних и и ковариационной матрицей сг2Кж, где мера точности г = 1/сг2 неизвестна, Кж — задана. Матрица, обратная к ковариационной матрице тК”1 называется матрицей точности.
Теорема 2.3. Пусть априорное совместное распределение (U^ R) таково; условное распределение U при фиксированном г — т-мерное нормальное с вектором средних у и матрицей точности тК~\ а маргинальное распределение R — гамма-распределение с параметрами а^Р > 0. Тогда апостериорное совместное распределение таково; условное распределение U при фиксированном г — т-мерное нормальное с вектором средних ц' = (К”1 + пК”1)-1 (Ка А у, + иК^'Х), а маргинальное распределение R — гамма-распределение с параметрами
Р' = Р + i Е№ - xVK;4xi -х^'- и7к;\х - ц\ г = 1
Если, как и прежде, в качестве Б-оценки взять моду апостериорного распределения, то из теоремы 2.3 получаем
^ = (КУ + пКУГЧкУц + пКУХ^ al^^.(2.5)
Из (2.5) следует, что
z=l
При 72 —> ОО.
Замечательным свойством байесовского подхода является возможность получения на основе апостериорного распределения не только точечных оценок параметров, но и доверительных интервалов для оцениваемых параметров. Действительно, например, для оценки (2.2) получаем доверительный интервал
«Б - <(рДов) -X- С «т < «в + <(рДов) -X-,(2.6)
гдег' = — + —12 '2гдег' = — + —12 '2^ (Рдов)[е-$2/2с/8 = ^.«2^ J2^ (Рдов)[е-$2/2с/8 = ^.«2^ J2
где
г' = — + —12 '2
где
г' = — + —12 '2
^ (Рдов)
[е-$2/2с/8 = ^.
«2^ J2
^ (Рдов)
[е-$2/2с/8 = ^.
«2^ J2
При отсутствии априорной информации вместо (2.6) получаем доверительный интервал, длина которого 2t (р ДОВ) сг / л/ri больше длины интервала (2.6), равной 2^(рдов)/т/. Таким образом, использование дополнительной априорной информации в рамках баейсовского подхода приводит к уменьшению длины доверительного интервала.
Если в качестве Б-оценки взять моду апостериорного распределения, то
^в = arg max {In р(Хь. . . , Хп | и) + In рапр(^)}.(2.7)
Пусть априорная информация о параметре и отсутствует. Тогда, согласно постулату Байеса, положим рапр(^) = const и Б-оценка (2.7) примет вид иБ = arg maxu Zn(X|, . . . , Xn; u)^ т. e. Б-оценка будет совпадать с ММП-оценкой, основанной на выборке (1.1).
Теоретические основы метода Байеса представлены в монографиях [26,33].
Минимаксный метод учета априорнойинформации
Часто априорная информация об искомом параметре и задается детерминированно в виде и Е Uai где Ua С Ет — априорное множество. Интуитивно ясно, что чем «уже» априорное множество Ua^ тем больше имеется априорной информации о параметре. При таком виде априорной информации иногда используют минимаксний методу согласно которому минимаксная оценка (ММ-оценка) ймм определяется равенством
^мм = arg min V\u\(2.8)
Uа
где V^ = maxuE(/a М R(u, и), R(u, и) = lV(||tZ(Xi,. . . , Хп) — М R(u, и) — функция риска.
Таким образом, минимаксный метод выбирает такую оценку, которая предохраняет от возможно большего риска при изменении и на априорном множестве Ua.
Справедливо неравенство
max min М R(u, и) ^ min max М R(u, и), u£Ua йu u£Ua
причем ММ-оценка существует, если последнее неравенство обращается в равенство.
Как и Б-оценки, ММ-оценки определены неоднозначно из-за возможности выбирать различные функции потерь W(t). Чаще всего берут квадратичную функцию потерь IV(t) = t2.
Иногда при определении ММ-оценок ограничивают класс возможных оценок U (например, выбирают класс линейных оценок). Тогда ММ-оценка определяется согласно равенству
ммм = arg min V ^и\(2.9)
iiEUOUa
Нахождение ММ-оценки для произвольного априорного множества Ua и большой размерности т — трудоемкая вычислительная задача. Если функция потерь квадратичная, то для некоторых частных видов априорного множества и закона распределения выборки (1.1) удается найти явный аналитический вид ММ-оценки.
Пусть р^х^ и) — m-мерное нормальное распределение с неизвестным вектором математического ожидания и и известной ковариационной матрицей а2К^. Пусть априорное множество Ua — m-мерный эллипсоид (с центром в uq и «радиуса» р, т. е. (и — и^)Т В(и — uq) ^ ^ р2, В — симметричная положительно определенная (ш х т)-матри- ца). Выберем квадратичную функцию потерь. Тогда ММ-оценка (2.8) дается равенством
UMM ^о + ^^Я' + Л^"1) KT^VXi-nnoY (2.10) СТ \рСТ 44'
где В' - модифицированная матрица В [79].
При п —> оо (или при а2 -^ 0) ймм ~ X, т. е. ММ-оценка сближается с ММП-оценкой, построенной по выборке (1.1), а «цена» априорной информации уменьшается.
Если р -л оо, то ММ-оценка (2.10) также сближается с ММП- оценкой йммп = X и тем самым «цена» априорной информации уменьшается. Если р ч 0. т. е. априорное множество становится все уже, стягиваясь к центру и^ то ймм —> тщ, а «цена» выборки (1.1) падает.
Теоретические основы ММ-оценивания представлены в монографии [79].
Обобщенный метод максимальногоправдоподобия учета априорнойдетерминированной информации
Можно предложить еще один подход учета априорной информации детерминированного характера и 6 Uai согласно которому оценка искомого параметра определяется равенством
Моммп = arg max L^Xi,Хп; u).(2.11)
u£Ua
Такой метод оценивания назовем обобщенным методом максимального правдоподобия (ОММП), а оценку (2.11) — оценкой обобщенного максимального правдоподобия (ОММП-оценка).
Часто вместо представления (2.11) ОММП-оценки удобно использовать эквивалентное представление
«оммп = arg min -in№,...,X„; w).(2.12)
Если функция — Zn(Xi,. . . , Xn: и) сильно выпукла по и Е Uai Ua — выпуклое множество, то ОММП-оценка существует и единственна.
В общем случае ОММП-оценка может быть найдена с помощью численных методов выпуклого программирования, например с помощью метода сопряженных градиентов, методов штрафных функций, метода градиентного спуска [18].
Для некоторых частных случаев ОММП-оценку (2.12) можно найти в явном аналитическом виде.
Предположим, что функция правдоподобия дифференцируема по щ а априорное множество Ua — m-мерный эллипсоид, т. е. (и — ио)Т В(и — Но) р2. Пусть
MMMn = arg min -i„(Xb...,Xn; u) е t/a.
ttEEm
Тогда мОМмп = %мп и априорное множество (из-за своей «обширности») не содержит дополнительной информации об искомом векторе и. Пусть пммп ^ Ua. Тогда, используя способ Лагранжа, получаем уравнение Эйлера, решением которого является ОММП-оценка
- gradu 1п(Хъ. . . , Х^ и) + аВ^и - и0) = 0,(2.13)
где а > 0 — множитель Лагранжа. Величина параметра а находится из равенства (и — uq)tВ(и — uq) = р2.
Пусть, например, рДж; и) — m-мерное нормальное распределение с неизвестным вектором математических ожиданий и и известной ковариационной матрицей а2К^ выборка (1.1) повторная. Тогда
In (^1 ? • • • ? Хп 5 и) =
=1п(2тг<т2) + 5 In \К,\ + -L - ufK"^ - и),
г=1
и уравнение (2.13) принимает вид
пК^и — К^1 У^ Xi + аа2В(и — ио) = О,
г=1
откуда
^ОММП = ^0 + ^2 (°^ + ^2 ^ Х) ^ 1 ( 52П^0) •(2-14)
ОММП-оценка (2.14) с точностью до значения множителя Лагранжа а > 0 совпадает с ММ-оценкой (2.10).
Из определения ОММП-оценок следует, что если априорная информация отсутствует (Ua = Ет^ то ОММП-оценка совпадает с ММП- оценкой. Ясно, что в общем случае ОММП-оценка совпадает с ММП- оценкой тогда и только тогда, когда йммп 6 Ua.
ММ-оценки и ОММП-оценки смещены, причем смещение производится в нужную сторону с приближением оценки к искомому точному значению параметра.
Например, смещения Att оценок (2.10) и (2.14) соответственно равны
Дм = ± Д В' + ^ к^ВЧио - М Р Р(Т
и
Агл = а^аВ + ^В(и0 — ит).
ст 5
Следовательно, величины смещений стремятся к нулю в трех случаях: 1° р ос, 2° п ос, 3° ст2 0.
Поскольку ММ-оценки и ОММП-оценки смещены, их точность можно оценить с помощью матрицы DQu) = М^и — Нгр^и — ит)т.
Для ММ-оценки (2.10)
О^мм) = (^В' + ^К-Л"1.(2.15)
X рa s 7
Для ОММП-оценки (2.14)
П(ЙОК^(2.16)
а 4
Из формул (2.15), (2.16) следует состоятельность в среднем квадратичном оценок (2.10), (2.14) при: 1° р —> 0, 2° п —> ос, 3° ст2 —> 0.
Оценки (2.10) и (2.14) линейны и для их вычисления необходимо обратить симметричные положительно определенные матрицы
(^в' + ^ КГ1) и (аВ + ^ КГ1)\рст /хсг /
соответственно, предварительно обратив симметричную положительно определенную матрицу К^. Одним из эффективных численных методов обращения симметричной положительно определенной матрицы А является метод квадратного корня (метод Холецкого), основанный на представлении А = ST S^ где S — верхняя треугольная матрица.
Пример 2.1. Для одномерного случая (m = 1) эллипсоид (и — uq)tВ(и — ио) ^ р2 представляет собой интервал \и — tzq| С d. Можно доказать, что оценки (2.10), (2.14) принимают вид
^ММ —^ММ —d2nd2 + о-2d2nd2 + о-2nd2nd2 + ст2nd2nd2 + ст2
^ММ —
^ММ —
d2nd2 + о-2
d2nd2 + о-2
nd2
nd2 + ст2
nd2
nd2 + ст2
Из последнего выражения для ОММП-оценки видно, что она совпадает с ММП-оценкой, если йммп 6 [гщ — d^u^ + cZ], и является ближайшей точкой интервала [mq — d, uq + d"\ к ММП-оценке, если йммп ^ [^о — d, uq + dY Это правило сохраняется и для общего случая выпуклой функции —Zn(Xi,. . . , Хп; и) и выпуклого множества Uai а именно: если м^у^ G Ua. то Кдммп = ^ммп’ если же ^ммп ^ Uai то ^оммп является ближайшей точкой априорного множества Ua к ММП- оценке вдоль однопараметрической кривой (2.14), 0 ^ а < ос.
Поэтому для выпуклой по и логарифмической функции правдоподобия —Zn(Xi, . . . , Х^ и) и выпуклого априорного множества Ua можно предложить следующий алгоритм нахождения ОММП-оценки: 1° найти ММП-оценку; 2° если йммп Е Uai то йоммп = йммп; если йммп ^ Uai то найти «проекцию» йоммп точки йммп на априорное множество Ua.
Обобщенный метод максимальногоправдоподобия учета априорной стохастическойинформации
Так же как и в предыдущем разделе, предлагаемый ниже метод учета априорной информации базируется на методе максимального правдоподобия.
Обозначим L(t^) = Ln(Xi^. . . , Хп; ^) и ^М = In L(u) функцию правдоподобия и логарифмическую функцию правдоподобия исходной выборки (1.1) соответственно.
Пусть наряду с исходной выборкой (1.1) задана априорная выборка
(2.17)
члены которой независимы от членов выборки (1.1).
Обозначим через La(u) = Ln(¥i, • • • ? ¥n^ м) и 1а(и) функцию правдоподобия и логарифмическую функцию правдоподобия априорной выборки (2.17), которые зависят от исходных параметров и.
Тогда совместная (обобщенная) функция правдоподобия Lo(u) и совместная логарифмическая функция правдоподобия 1о(и) совокупности членов выборок (1.1), (2.17) определяются с помощью равенств
Lo(u) = Ци) La(u).(2.18)
/оМ = /М + /аМ.(2.19)
Следовательно, имеем равенство
1оН = 1М + 1аМ,(2.20)
где /(^), la^i Л>(^) — информационные матрицы Фишера исходной выборки (1.1), априорной выборки (2.17) и совместной выборки (1.1), (2.17) соответственно. Из равенства (2.20) следует, что при совместном рассмотрении выборок (1.1) и (2.17) происходит суммирование информации об искомых переменных и^ имеющейся в исходной и априорной выборках.
Согласно обобщенному методу максимального правдоподобия (ОММП) при стохастическом виде априорной информации, задаваемой априорной выборкой (2.17), ОММП-оценка искомых параметров и определяется равенством
Моммп = arg шах Ьо^и\(2.21)
В частности, если совместная плотность вероятности членов априорной выборки (2.17) не зависит от искомых параметров и^ то в априорной выборке отсутствует информация о векторе и^ la^) = 0 — нулевая матрица и оценка (2.21) совпадает с ММП-оценкой (1.17), определяемой только по исходной выборке (1.1).
Если наряду с исходными параметрами и имеются дополнительные параметры и = (vi,. . . , vr)Tчисловые значения которых неизвестны, например некоторые характеристики законов распределения членов выборки (1.1), (2.17), то вместо ОММП-оценки (2.21) (только параметров и) необходимо рассматривать совместную ОММП-оценку всех параметров и, и:
(«оммп, У оммп) = arg max М«, «У(2.22)
Если на и и v не накладывается никаких априорных ограничений, то (2.21), (2.22) — задачи на безусловный экстремум. В частности, если обобщенные функции правдоподобия Ьо^и\ Lo^u^d) дифференцируемы, то ОММП-оценки (2.21), (2.22) могут быть найдены как решения обобщенных уравнений правдоподобия
grad„ Lo(u) = 0,(2.23)
grad„ Lo(u, v) + grad„ Lo(u, v) = 0,(2.24)
соответственно.
Если на и. v накладываются априорные ограничения (см. ниже), то решение экстремальных задач (2.21), (2.22) необходимо искать при выполнении этих ограничений. В этом случае имеем задачи на условный экстремум и необходимо использовать численные методы решения экстремальных задач на условный экстремум [18]. В частности, иногда некоторая часть параметров и (или и. v) по их содержательному смыслу неотрицательна. Тогда вместо задач на безусловный экстремум (2.21), (2.22) будем иметь задачи на условный экстремум:
йоммп = arg maxLo(tt),(2.25)
Ромми. »оммп) = arg max Lo(u, v),(2.26)
соответственно.
Рассмотрим важный частный случай, когда члены выборок (1.1), (2.17) распределены по нормальному закону и независимы, причем Xi ^ЛГ(и.а2КжУ Yj ^ЛГ(и.а2КаУ где Кж^ Ка — положительно определенные матрицы.
В этом случае ОММП-оценка (2.21) дается равенством
«оммп = (^ К;1 +4 к;х)-1(^к;хх+4к;1 у),(2.27)
аа /\стаа/
_ 1п_1 N
где X = —У^ Х^Y =— У^ Yj.Вчастности,еслиN=1, то оцен
ка (2.27) принимает вид
иОМмп=(^к;1 + А_к;1у1(^к;1х + ^к;1у\ (2.28) \сг(Та / \СГаа/
Сравнение (2.28) с (2.3) показывает их полную идентичность. Таким образом, предлагаемая в этом параграфе схема ОММП-оценивания позволяет в случае стохастического характера априорной информации избежать искусственно навязанной схемой Байеса трактовки вектора и как случайной величины и получить оптимальную оценку и без потери имеющейся информации об искомых параметрах.
Например, ОММП-оценка (2.27) несмещена и удовлетворяет неравенству Фишера-Крамера-Рао
= /'
где обобщенная информационная матрица Фишера Io = I + 1а. I = (п/ст2) Ку1 — информационная матрица Фишера параметров и для исходной выборки (1.1), Ia = (X/а2) Ку1 — информационная матрица Фишера параметров и для априорной выборки (2.17).
Часто в распоряжении исследователя имеется одновременно априорная информация об исходных параметрах и как детерминированного характера, задаваемая в виде принадлежности и 6 Rai так и стохасти-
ческого характера, задаваемая в виде априорной выборки (2.17). Тогда ОММП-оценка параметров и определяется равенством
иоммп = arg max L^uYtOaиоммп = arg max L^uYtOa(2.29)(2.29)
иоммп = arg max L^uYtOa
иоммп = arg max L^uYtOa
(2.29)
(2.29)
Для решения задачи (2.29) можно использовать численные методы решения задач на условный экстремум [18]. В частности, если — 1о(и) — выпуклая функция, a Ra — выпуклое множество, то задача (2.29) принадлежит к классу задач выпуклого программирования.
Оценка (2.29) обладает оптимальными свойствами и позволяет наиболее эффективно использовать информацию о параметрах и. «заложенную» в исходной выборке (1.1), априорной выборке (2.17) и в задании априорного множества Ra.
Методы учета априорной информации в рамках параметрической статистики представлены также в работах [42,43].
Глава 3
УСТОЙЧИВЫЕ МЕТОДЫ ОЦЕНИВАНИЯПАРАМЕТРА ПОЛОЖЕНИЯ
ММП-оценивание и связанные с ним методы оценивания с учетом априорной информации базируются на точном знании закона распределения выборки (1.1) и дают достаточно эффективные (в различных смыслах для различных методов) оценки параметров. Однако при решении практических задач идеализированная ситуация точного подчинения членов выборки гипотетическому распределению р(жх, . . . , жп: и) выполняется редко. Практически всегда наблюдается уклонение от гипотетического распределения и в этих случаях получаемые оценки уже не будут обладать оптимальными свойствами. Спрашивается: не будут ли получаемые оценки слишком далеки от истинных значений, если даже уклонение истинного закона распределения выборки (1.1) от гипотетического в определенном смысле мало? К сожалению, приходится констатировать, что для многих широко используемых стандартных гипотетических распределений даже малое уклонение истинного закона распределения выборки (1.1) от гипотетического может приводить к значительным уклонениям полученных оценок от истинных значений. Например, для нормального закона распределения, наиболее часто принимаемого в качестве гипотетического, наличие даже небольшой части членов выборки, значительно уклоняющихся от среднего значения (большие выбросы), приводит к большому искажению оценок и к катастрофическому падению их эффективности. Можно задать вопрос: а зачем брать гипотетическое распределение? Возьмем истинный закон распределения выборки (1.1) и, применяя, например, ММП-оценивание, получим эффективные оценки. Но в том и заключается трудность, что истинный закон распределения выборки (1.1) исследователю не известен. Известна, возможно, лишь какая-то неполная информация об истинном законе распределения. Например, при наличии больших выбросов часто известна доля членов выборки (1.1), принадлежащих выбросам, и известно, что сами выбросы располагаются симметрично относительно среднего значения. Иногда информация об истинном законе распределения может быть еще более скудной.
Математически задача оценивания в условиях неточного знания истинного закона распределения выборки (1.1) ставится следующим образом. Задается класс плотностей {р(жх, . . . , жп; п)^ которому принадлежит неизвестная истинная плотность выборки (1.1). Требуется в этом классе выбрать такую гипотетическую плотность ро(жх,. . ., жп; гл), чтобы получить гарантированную и одновременно наиболее близкую
к истинному значению параметра оценку. Гарантия оценки понимается в следующем смысле: точность оценки, полученной на основе выбранной гипотетической плотности, не меньше точности любой другой оценки вне зависимости от того, какова истинная плотность из класса {р(жх,. . . , жп; u)Y Плотность ро (ж 1, . . . , жп; и) называют устойчивой плотностью относительно класса {р(жх,. . . , жп; и)^ а саму оценку й — робастной.
Минимаксный метод Хьюбера
Рассмотрим случай, когда Х^ и — скаляры, выборка (1.1) повторная, рДж; и) = р^х — и^ p$(s) — четная функция. Таким образом, класс {р(жх, . . . , жп; и^ определяется классом {р(ж)}, где р(х — и) симметричны относительно искомого параметра и (параметра сдвига). Дополнительные условия, накладываемые на класс {р(ж)}, будут даны ниже.
Пусть в классе {р(ж)} выбрана гипотетическая плотность ро(ж). Тогда ММП-оценка определится равенством
й = и^Х^. . . , Х^ ро) = arg max l^Xx,. . . , Х^ и),(3.1)
где
^n(Xi,..., Хп; и) = ^^ In ро(А^ и).
г = 1
Обозначим р^х^ истинную плотность из класса {р(ж)}. В качестве меры точности оценки возьмем дисперсию оценки. Дисперсия оценки (3.1) D й зависит от выбранной гипотетической и истинной плотностей, Ро(ж) и рм(ж), и определяется равенством
Du = D(p0,pu) =
= | ... |(и(ж1,..., ж„; ро) - и)2рм(ж! - и)...р„(ж„ - u) dxi ... dxn.
Построим устойчивый метод оценивания параметра сдвига и на основе минимаксного подхода, согласно которому устойчивая (робастная) оценка (3.1) находится по такой устойчивой относительно класса {р(ж)} ПЛОТНОСТИ Ро(ж), для которой
Ро(ж) = arg min £>(р0),(3.2)
рое{р(ж)}
где D(p0) = тахрие{р(ж)} £>(р0,р„).
Из сказанного выше следует, что робастная оценка параметра сдвига является ММП-оценкой при такой устойчивой гипотетической плотности, которая минимизирует максимальное значение дисперсии оценки при любой возможной истинной плотности из класса {р(ж)}. Итак, выбор устойчивой плотности, согласно минимаксному подходу, приводит
4 А.В. Крянев, Г.В. Лукин
50 Устойчивые методы оценивания параметра полоаюения [Гл. 3 к минимальной потере точности получаемой оценки при реализации самой неблагоприятной истинной плотности из класса {р(ж)}.
Обозначим <р(ж) = (In ро(х)у. Робастная ММП-оценка (3.1) удовлетворяет уравнению У^ <р(Хг — й) = 0. г=1
В силу состоятельности оценки и для больших п и с учетом симметрии плотностей имеем
72,72,ТЪ
52 vYXi - и)» 52 ^Xt- ы)- (^ - ы) 52 ф\х1 - uY
г=1г=1г=1
Отсюда
и — ии — и^^Xi - и)г = 1^^(Xi - и)г = 1^^Xi - и)г = 1^^(Xi - и)г = 1^Y/^Xi - и)52 vYxi -^Y/^Xi - и)52 vYxi -”’iLv(Xi - и)| Ф(х — и)ри(х — и) dx”’iLv(Xi - и)| Ф(х — и)ри(х — и) dx
и — и
и — и
^^Xi - и)
г = 1
^^(Xi - и)
г = 1
^^Xi - и)
г = 1
^^(Xi - и)
г = 1
^Y/^Xi - и)
52 vYxi -
^Y/^Xi - и)
52 vYxi -
”’iLv(Xi - и)
| Ф(х — и)ри(х — и) dx
”’iLv(Xi - и)
| Ф(х — и)ри(х — и) dx
Поэтому с учетом четности ро(х) и нечетности ф(х) получаемПоэтому с учетом четности ро(х) и нечетности ф(х) получаемD(po, ри) =•••(«- м)2р„(Ж1 - и)... ри(хп - u) d$!D(po, ри) =•••(«- м)2р„(Ж1 - и)... ри(хп - u) d$!• • dxn• • dxn
Поэтому с учетом четности ро(х) и нечетности ф(х) получаем
Поэтому с учетом четности ро(х) и нечетности ф(х) получаем
D(po, ри) =•••(«- м)2р„(Ж1 - и)... ри(хп - u) d$!
D(po, ри) =•••(«- м)2р„(Ж1 - и)... ри(хп - u) d$!
• • dxn
• • dxn
и)dxi.. . dxnи)dxi.. . dxn2 п2 пА2 х — и^рн^х — и) dxjА2 х — и^рн^х — и) dxj
и)dxi.. . dxn
и)dxi.. . dxn
2 п
2 п
А2 х — и^рн^х — и) dxj
А2 х — и^рн^х — и) dxj
Итак,Итак,D(po,P«) - ^ jD(po,P«) - ^ j(^М) P^x^dxH C^^\pu^dx\ .\poV$V/ V J \poVxV/(^М) P^x^dxH C^^\pu^dx\ .\poV$V/ V J \poVxV/
Итак,
Итак,
D(po,P«) - ^ j
D(po,P«) - ^ j
(^М) P^x^dxH C^^\pu^dx\ .
\poV$V/ V J \poVxV/
(^М) P^x^dxH C^^\pu^dx\ .
\poV$V/ V J \poVxV/
РоУ)Ро(УРоУ)Ро(УРп(ж)р' (ж) ,v 7 , 7 ах. Следовательно, Ро(ж)Рп(ж)р' (ж) ,v 7 , 7 ах. Следовательно, Ро(ж)22' PoMpLM^VРо(«)/' PoMpLM^VРо(«)/Используя неравенство Коши-Буняковского, получаемИспользуя неравенство Коши-Буняковского, получаемроИрСИ йжроИрСИ йж' (р'о^У' (р'о^У2222ПоэтомуПоэтому-1 = 1nil '-1 = 1nil 'гдегде/1 = М/1 = Мх 2(91п Ри(Хг - и) \х 2(91п Ри(Хг - и) \диди— информация Фишера о параметре сдвига и для каждого члена выборки (1.1).С другой стороны, в силу асимптотической эффективности ММП- оценок— информация Фишера о параметре сдвига и для каждого члена выборки (1.1).С другой стороны, в силу асимптотической эффективности ММП- оценокпри больших п, т. е. при ро(х) = рм(ж), достигается минимальное значение D(po). Поэтому исходная минимаксная задача сводится к экстремальной задаче тахр(ж)Е{р(ж)} D(p^p) = D(py, pyY которая эквивалентна экстремальной задачепри больших п, т. е. при ро(х) = рм(ж), достигается минимальное значение D(po). Поэтому исходная минимаксная задача сводится к экстремальной задаче тахр(ж)Е{р(ж)} D(p^p) = D(py, pyY которая эквивалентна экстремальной задачеmin р(ж)е{р(ж)} ,min р(ж)е{р(ж)} ,22(3.3)(3.3)
РоУ)
Ро(У
РоУ)
Ро(У
Рп(ж)р' (ж) ,
v 7 , 7 ах. Следовательно, Ро(ж)
Рп(ж)р' (ж) ,
v 7 , 7 ах. Следовательно, Ро(ж)
2
2
' PoMpLM^V
Ро(«)/
' PoMpLM^V
Ро(«)/
Используя неравенство Коши-Буняковского, получаем
Используя неравенство Коши-Буняковского, получаем
роИрСИ йж
роИрСИ йж
' (р'о^У
' (р'о^У
2
2
2
2
Поэтому
Поэтому
-1 = 1
nil '
-1 = 1
nil '
где
где
/1 = М
/1 = М
х 2
(91п Ри(Хг - и) \
х 2
(91п Ри(Хг - и) \
ди
ди
— информация Фишера о параметре сдвига и для каждого члена выборки (1.1).
С другой стороны, в силу асимптотической эффективности ММП- оценок
— информация Фишера о параметре сдвига и для каждого члена выборки (1.1).
С другой стороны, в силу асимптотической эффективности ММП- оценок
при больших п, т. е. при ро(х) = рм(ж), достигается минимальное значение D(po). Поэтому исходная минимаксная задача сводится к экстремальной задаче тахр(ж)Е{р(ж)} D(p^p) = D(py, pyY которая эквивалентна экстремальной задаче
при больших п, т. е. при ро(х) = рм(ж), достигается минимальное значение D(po). Поэтому исходная минимаксная задача сводится к экстремальной задаче тахр(ж)Е{р(ж)} D(p^p) = D(py, pyY которая эквивалентна экстремальной задаче
min р(ж)е{р(ж)} ,
min р(ж)е{р(ж)} ,
2
2
(3.3)
(3.3)
Здесь через ру(х) обозначена устойчивая (робастная) плотность. Для нахождения устойчивой плотности как решения экстремальной задачи (3.3) необходимо указать класс {р(ж)}.
При решении многих прикладных задач удобным классом {р(ж)}, адекватно описывающим реальную ситуацию, является класс Н. образованный смесью Н = {р(ж): р(ж) = (1 — e)g(x) + eh(x)Y гДе ^(ж) —
заданная (реперная) плотность, s 6 [0,1] — заданное число (доля засорения), /г(ж) — произвольная неизвестная плотность. Предполагается, как и прежде, что g^x\ h(x) — четные функции.
Теорема 3.1 (Хьюбер). Пусть — In g(x) — дважды дифференцируемая выпуклая функция. Тогда в классе Н существует устойчивая плотность
X < Жо,X < Жо,(1 - г)^(ж0) ехр {—^|ж - ж0|},
X < Жо,
X < Жо,
Ру (4 = <Ру (4 = <(1 - г)g(ж),(1 - г)g(ж),Жо С X < Ж1,Жо С X < Ж1,(3.4)(3.4)
Ру (4 = <
Ру (4 = <
(1 - г)g(ж),
(1 - г)g(ж),
Жо С X < Ж1,
Жо С X < Ж1,
(3.4)
(3.4)
Ж > Ж1,Ж > Ж1,Ц - г)^(ж1) ехр {—^|ж - Ж1|},
Ж > Ж1,
Ж > Ж1,
где ж0; Ж1 — границы интервала, на котором монотонная функция g'(ж)/g(x) ограничена по модулю константой К, определяемой из условия нормировки плотности
1 = (1 - 41 = (1 - 4Ж1g^ dx +ж0Ж1g^ dx +ж0g(®o) +g(®l)Кg(®o) +g(®l)К(4 - 4-(4 - 4-
1 = (1 - 4
1 = (1 - 4
Ж1
g^ dx +
ж0
Ж1
g^ dx +
ж0
g(®o) +g(®l)
К
g(®o) +g(®l)
К
(4 - 4-
(4 - 4-
Доказательство теоремы Хьюбера основано на решении неклассической вариационной задачи
minр^ЕНminр^ЕНp(x)dx.
minр^ЕН
minр^ЕН
Рассмотрим наиболее часто используемый на практике случай, когда реперный закон распределения нормальный, т. е. ^(ж) = = (2тгсг2)-1/2 е-ж V Имеем: g'(ж)/g(x) = —ж/ст2, откуда |ж| К а2 и жо = -Ка" = — Ка, Ж1 = К а2 = Кст, К = Кст,
41 ~ 4
ехр <
ж < —Ка,
V2tt а
Ру(ж)= <
(1-4
ехр <
,2 Л
f _ Ж
|ж| С Ка, (3.5)
V^TT (7
12(7 J
(1-4
< V2tt ст
ехр <
, ж > К а,
где К находится из равенства
рк 1V 2 (1^1)рк 1V 2 (1^1)je-^/^s + le"^/2. Оje-^/^s + le"^/2. О
рк 1
V 2 (1^1)
рк 1
V 2 (1^1)
je-^/^s + le"^/2. О
je-^/^s + le"^/2. О
Параметр Хьюбера К однозначно определен по доле засорения s, причем K(s) ос при е —> +0, К^ —> 0 при е —У 1 — 0, К^ — монотонно убывающая функция. Значения функции К^ табулированы. Например, для е = 0,01; 0,05; 0,1; 0,25; 0,5 значения параметра К равны
1,945; 1,399; 1,14; 0,766; 0,436 соответственно (данные взяты из работы [83]).
Используя теперь устойчивую относительно класса Н гипотетическую плотность р,у^х\ найдем робастную оценку (3.1).
Имеем
и) = f} In рУ№ - u) = n In + П±±2Ь к2 - г=1У2ТГСГ2
а ге/+а «61-2,7 ге/о
где множества индексов /+, /_, /р определены равенствами
/+ = {г : Xi — и > Ка}^ /_ = {г : Xi — и < — Ка^
70 = {г : |Kj - w| < Ker}, n+, n_ — количество индексов г, принадлежащих множествам /+, /_ соответственно. Поэтому уравнение правдоподобия д1п/ди = 0 имеет вид п^Кст — П-Ка + ^ (^г — п) = 0. Последнее равенство перепи- iElo шем в виде
и = — [ У^ Xi + (п+ + п_)п + Ксг(п^ — п_)],(3.6)
где
70 = {г : |Х, - u| С Ка^ /+ = {г : Xi - и > Ка^
/_ = {г : Xi — и < — Ка^
тг+, п_ — количество индексов г, принадлежащих множествам /+, 1_ соответственно.
Для решения нелинейного уравнения (3.6) удобно использовать итерационный процесс
^+! = Д 52 Xi + ^з + n-i^j + Кст^+з - «-j)],(3.7)
i G loj
где
/oj = {г : |%i — ^j \ ^ Kd^ I_^j = {г : Xi — Uj > Ker},
I_j = {г : Xi — Uj < — Ker},
u^j^ n_j — количество индексов г, принадлежащих множествам /+j-, I_j соответственно. В качестве нулевого приближения по можно брать 1 п
среднюю арифметическую up = — У^ Х^.
Итерационный процесс (3.7) легко программируется и быстро сходится за конечное число шагов. Практически сходимость обеспечивается за 1-10 итераций при объеме выборки до 1000 элементов и проценте засорения до 20% (s = 0,2).
Если доля засорения стремится к 1 и тем самым К стремится к нулю, оценка Хьюбера (3.6) стремится к медиане выборки (1.1). Если засорение стремится к нулю и тем самым К неограниченно увеличивается, 1 п оценка Хьюбера (3.6) стремится к средней арифметической — У^ Xj.
г=1
При решении прикладных задач измерения являются неравноточными. В этих случаях члены Xi выборки (1.1) имеют различные дисперсии а^. Причиной же засорения (наличия больших выбросов) является ошибочное завышение точности (занижение значений дисперсий) для ряда измерений. Причем номера членов выборок с заниженными дисперсиями неизвестны. Минимаксный метод Хьюбера позволяет снизить вредное влияние измерений с ошибочными дисперсиями и указать эти измерения.
В описанной ситуации для робастной оценки (3.1) логарифмическая функция правдоподобия дается равенством
где ^(ж) — устойчивая плотностьгде ^(ж) — устойчивая плотность(3.5) с сг = 1. Поэтому(3.5) с сг = 1. Поэтому
где ^(ж) — устойчивая плотность
где ^(ж) — устойчивая плотность
(3.5) с сг = 1. Поэтому
(3.5) с сг = 1. Поэтому
ихъ...,хп- n) = f>г=1ихъ...,хп- n) = f>г=1(1 - g) + ^+ + п- ^2 _ к Хг-и +(1 - g) + ^+ + п- ^2 _ к Хг-и ++ К £гЕ/-+ К £гЕ/-X U(Т гX U(Т г(Xi - uf(Xi - uf
ихъ...,хп- n) = f>
г=1
ихъ...,хп- n) = f>
г=1
(1 - g) + ^+ + п- ^2 _ к Хг-и +
(1 - g) + ^+ + п- ^2 _ к Хг-и +
+ К £
гЕ/-
+ К £
гЕ/-
X U
(Т г
X U
(Т г
(Xi - uf
(Xi - uf
где
/+ = {г : Xi - и > Ка^/+ = {г : Xi - и > Ка^/ = {г : Xi — и < — Кст^/ = {г : Xi — и < — Кст^
/+ = {г : Xi - и > Ка^
/+ = {г : Xi - и > Ка^
/ = {г : Xi — и < — Кст^
/ = {г : Xi — и < — Кст^
и вместо (3.7) получаем итерационный процесс
11nj+i =nj+i =KCTi У Uj2KCTi У Uj2— X С i + Uj— X С i + Uj22
1
1
nj+i =
nj+i =
KCTi У Uj
2
KCTi У Uj
2
— X С i + Uj
— X С i + Uj
2
2
(3.8)
где
Кст^,
I—j — {^ • X iUj <К ст i^.
В качестве нулевого приближения можно брать средневзвешенную П у / П .
оценку «о = У ( У Тг г=1 ^г=1 ^
Нахождение устойчивой минимаксной оценки Хьюбера относительно класса Н предполагает знание доли засорения е. Часто доля засорения неизвестна. Тогда можно рекомендовать схему устойчивого оценивания параметра сдвига с одновременным подбором подходящего значения доли засорения. Согласно этой схеме подбирается такое значение е^ при котором достигается наилучшее выполнение равенства е = (п+ + п_)/п. Практика численной обработки экспериментальных данных показала, что выбор значения К = 1,8 дает вполне удовлетворительные результаты при изменении доли засорения в промежутке [0,01; 0,2].
Рис. 3.1
На рис. 3.1 представлены результаты, иллюстрирующие применение итерационного процесса (3.7) на выборке из 100 элементов с коэффициентом засорения е = 0.5. В качестве реперного закона взят нормальный 7V(0,l), засорение осуществлено добавлением равномерно распределенных на интервале [—10,10] величин. Горизонтальная пунктирная линия соответствует нулевому приближению uq? сплошная линия — найденной в результате вычислений оценке. Символами (+, ★) помечены значения с % Е /+ и % Е I- соответственно.
Робастные М-оценки
Существуют методы устойчивого оценивания, отличные от минимаксного подхода Хьюбера. Одним из эффективных методов борьбы с большими выбросами и получения устойчивой оценки является оце-
нивание параметра сдвига с помощью усеченной средней
у п — 2т .v ’у п — 2т .v ’(3.9)(3.9)
у п — 2т .v ’
у п — 2т .v ’
(3.9)
(3.9)
где X(i) ^ Х(2) С • • С ^(п) — упорядоченные по возрастанию члены выборки (1.1), т < [п/2]. Из (3.9) следует, что усеченная средняя получена отбрасыванием т самых левых и т самых правых членов выборки (1.1) и усреднением п — 2т оставшихся. Для получения усеченной средней необходимо задать число т. Если известна доля засорения s, то можно взять т = [еп/2].
Модификацией усеченной средней является оценка Винзора
(3.10)(3.10)
(3.10)
(3.10)
Из (3.10) следует, что в отличие от усеченной средней в оценке Винзора 2т крайних членов выборки не отбрасываются, а т левых крайних проецируются в точку Х(т+1), т правых крайних проецируются в точку Х^_ту
Оценка Винзора (3.10) подобна минимаксной оценке Хьюбера (сравните (3.10) с (3.6)). Отличие состоит в том, что проецирование самых левых и правых членов выборки в оценке Хьюбера производится по отношению к самой оценке, а в оценке Винзора проецирование производится до нахождения оценки и априори известно (при заданном ш). При увеличении т «степень робастности» усеченной средней и оценки Винзора увеличивается.
Усеченная средняя и оценка Винзора при т = [п/2] совпадают с медианой выборки (1.1).
Обобщением усеченной средней и оценки Винзора на случай неравноточных измерений являются робастные оценки
(3.11)(3.11)(3.12)(3.12)
(3.11)
(3.11)
(3.12)
(3.12)
где (Х(1) - и)/<7(1) < (Х(2) - и)/<Т(2) < ... < (Х^) - и)/<Т(„) — упорядоченная по возрастанию последовательность чисел {(Х^ — u^fa^ г = 1, . . . , п}.
Средневзвешенная оценка Винзора (3.12) подобна минимаксной оценке из (3.8). Отличие состоит в том, что в оценке (3.12) число 2т проецируемых точек и сами точки проекции фиксируются.
Оценки (3.11), (3.12) нелинейны и могут быть найдены с помощью итерационных процессов:
В качестве нулевого приближения можно взять средневзвешенную
П у , П . . -1
оценку «о = У ~4 (У • г=1 ^г=1 ^
Широкий класс робастных оценок можно построить с помощью следующего подхода. Обозначим
In p(Xt; и) = р ( ——-) + bi,X г /
где bi не зависят от п. Тогда ММП-оценка минимизирует сумму
У^ р f——— Y В частности, для минимаксной робастной оценки Хью.1 X <7i /
z=l
бера из (3.8) имеем
Гз2/2,|^| < К,
p(s) =
[K|s|-K2/2, |s| > К.
Будем выбирать такие функции p(s), которые позволят снизить влияние больших выбросов и тем самым определят робастную оценку. Функция Хьюбера р^ обладает этим свойством, поскольку за пределами промежутка |s| ^ К квадратичная зависимость заменена на более слабую — линейную.
Пусть задана четная выпуклая положительная функция p(s), р(0) = 0. М-оценкой называется значение и. которое минимизирует I\/ Xi и \
функционал 2 v Р I) . х 04/
z=l
^М^М= Arg min ^^= Arg min ^^(3.13)(3.13)
^М
^М
= Arg min ^^
= Arg min ^^
(3.13)
(3.13)
М-оценка однозначно определяется функцией p(s\
Чтобы М-оценка была робастной по отношению к большим выбросам, если реперный закон распределения нормальный, необходим более медленный рост функции p(s) по сравнению с квадратичной функцией, по крайней мере для больших |s|, и (желательно) квадратичная зависимость для малых |s|.
Пример 3.1. М-оценки, порожденные функцией р^ = |s|p, где р ^ 1, называются Lp-оценками. Если р Е [1,2), то £р-оценки будут робастными, причем «степень робастности» повышается при уменьшении р вплоть до 1. Lp-оценка при р = 1 совпадает с медианой выборки (1.1) (в случае равноточных измерений).
Пример 3.2. Робастная оценка, порожденная функцией
p(s) =p(s) =а 1 — cos - , s iva.
p(s) =
p(s) =
\а),
2а,|s| > тга,
называется оценкой Андрюса. Значение а рекомендуется выбирать так, чтобы точка перегиба р(а) равнялась 3 (согласно правилу «трех сигм»). При таком способе выбора а = 6 / тг « 1,91. Для малых |s| р^ ~ s2. При уменьшении а «степень робастности» оценки Андрюса увеличивается.
Пример 3.3. Робастная оценка, порожденная функцией
*) = ^ [1- (1 +A|S|)e-4«l] ,
А > О, называется оценкой Рамсея. Для малых |s| p(s) ~ s2; a p(s) —> —> 1/А2 при |s| —> ос. Параметр А выберем так, чтобы точка перегиба функции p(s) равнялась 3. Тогда А = 1/3. При увеличении А «степень робастности» оценки Рамсея увеличивается.
Если функция p(s) отлична от квадратичной, то М-оценка нелинейна. Для нахождения М-оценок существует несколько эффективных численных итерационных алгоритмов.
Запишем минимизируемый функционал правой части (3.12) в виде
М)2И/Й где Wt =1 р
№ -U) V (7г
Если веса W{ фиксированы, тог?= ^ X^Wi • I У/ W^ I • Определим г=1У = 1'
итерационный процесс
n/ n\'-J/ V. _ ^.
Mj+1 = у XiWij • I у Wy) , где Wy = ——2 Р ( * Uj
В качестве нулевого приближения можно взять Wio = 1/<т2, т. е. Ug — средневзвешенная. Этот итерационный процесс называют итеративным методом наименъшиж квадратов.
Если функция p(s) дифференцируема, то можно определить еще один численный итерационный метод нахождения М-оценок. М-оценка является решением уравнения
которое с учетом четности p(s) можно записать в виде
Е№ - п)Ж = о, где Ж = ~V Р (^^\ .
(Тг(Хг-и) У CTi /
Определим итерационный процесс
%+1 = £ х^у . £, где Wij =р'
^Х^ /<Ji\Xi-Uj\ ^ Ог
В качестве нулевого приближения можно взять
Этот итерационный процесс называют методом вариационно-взвешенных квадратических приближений. Для £р-оценок (p(s) = |s|p) оба метода совпадают.
Рассмотрим теперь еще один класс плотностей, отличных от класса Хьюбера Н. Допустим, что исследователю известно о принадлежности истинной плотности ро(ж) классу симметричных плотностей, сосредо- d
точенных в основном на отрезке [—(/,(/], т. е. j р(х) dx ^ р. где р Е (0,1) -d
задана (класс KPY С помощью введения класса Кр можно, например, учитывать априорную информацию о степени разброса измеряемых значений относительно среднего значения и.
Теорема 3.2. Устойчивая относительно класса Кр плотность задается равенством
Ру^ = <Ру^ = <а(1 + а)а(1 + а)d ’d ’|ж| < с/,|ж| < с/,а^СО82бехр{-2а(т-1)}’ |ж|>сг’а^СО82бехр{-2а(т-1)}’ |ж|>сг’(3.14)(3.14)
Ру^ = <
Ру^ = <
а
(1 + а)
а
(1 + а)
d ’
d ’
|ж| < с/,
|ж| < с/,
а^СО82бехр{-2а(т-1)}’ |ж|>сг’
а^СО82бехр{-2а(т-1)}’ |ж|>сг’
(3.14)
(3.14)
где а b находятся из системы
2 L
COS Оз ..з 'К
Р =a=btgb, 0<6<-.
Доказательство теоремы 3.2 сводится к решению экстремальной задачи (3.3), где {р(ж)} = Кр.
При уменьшении d и увеличении р «степень робастности» оценки (3.1), основанной на устойчивой плотности (3.14), увеличивается.
Робастные методы оценивания параметра положения представлены в работах [42,69,81,83,88].
Глава 4
МЕТОДЫ НЕПАРАМЕТРИЧЕСКОЙСТАТИСТИКИ
Если класс, к которому принадлежит искомое распределение, неизвестен (с точностью до численных значений конечного числа параметров), то для восстановления распределения используют непараметрические методы.
Отметим, что задача восстановления плотности вероятностей р^х^ по повторной выборке (1.1) без учета дополнительной априорной информации о законе распределения является некорректно поставленной (смысл некорректности будет разъяснен ниже).
Восстановление функции распределения
Достаточно просто по повторной выборке (1.1) дать оценку функции распределения F(x) случайной величины £ (в дальнейшем, если не сделано специальных оговорок, предполагается, что £ — скаляр).
В качестве оценки F(x) обычно берут эмпирическую функцию распределения
(4.1) z=l
где ^(^) = ^q’ ^ > q’ — единичная функция.
Теорема 4.1 (Гливенко-Кантелли).
Р { sup\F(x) - Fn(x)\n^oo 0} = 1.
Таким образом, согласно теореме Гливенко-Кантелли, эмпирическая функция распределения является состоятельной оценкой искомой функции распределения, причем сходимость Fn(x) к F(x) равномерна по ж.
Покажем, что Fn(x) — несмещенная оценка F(x\ Действительно,
11 п °9
MF„(x) = - у Мт?(ж - Х4) = - у j т?(ж - s)p^s) ds = г = 1г=1 —оо
п 00
= I Z I Ms)ds =
—оо
Докажем состоятельность в среднем квадратичном оценки Fn(x\ Действительно,
пх 2 1 П п
-Е^-^)) - ~2 Е Е м»?(ж - ^)»?(ж - х5) =
Пг=17П i=l,=l
= А Ем??2(ж - х0 + Ап 1=1п= А Ем??2(ж - х0 + Ап 1=1пЕ Мт?(ж - Х^ Т](ж - Xj\ i^j, ij = ^Е Мт?(ж - Х^ Т](ж - Xj\ i^j, ij = ^
= А Ем??2(ж - х0 + А
п 1=1п
= А Ем??2(ж - х0 + А
п 1=1п
Е Мт?(ж - Х^ Т](ж - Xj\ i^j, ij = ^
Е Мт?(ж - Х^ Т](ж - Xj\ i^j, ij = ^
Имеем
е ^ м ^(ж _ ^j = е е м ^(ж _ х^ = п 1=1п 1=1
= ^2 Е J Ф'~ ^UWs =-Нж')-? О
Х^-Х^Х^-Х^при п ^ оо. Далее,
Х^-Х^
Х^-Х^
Е Мт](х- п
г^З. г,з = 1
= —2V Мт/(ж — Х^ Мт)^ — Xj) =
п(п — 1)п(п — 1)Г2(ж)^2(ж)Г2(ж)^2(ж)гфз^ г,з = 1
п(п — 1)
п(п — 1)
Г2(ж)^2(ж)
Г2(ж)^2(ж)
52 ( ]- 8Ш§)ds
i^iM,j=l -оо'
при п -^ ос. Поэтому дисперсия D Fn(x) = MF2(ж) — F^^x^ О при тг ^ оо.
Теорему Гливенко-Кантелли уточняет неравенство Колмогорова- Смирнова:
Р {sup ^(ж) — /^(ж)! > s} < 2exp {—2s2n},
справедливое для любого закона распределения при достаточно большом п.
Обозначим Кп(п) функцию распределения случайной величины Un = V^ тахж |^(ж) — ^п(ж)|. Функция Кп(и) не зависит от закона распределения F(x) и выборки (1.1), а определяется только объемом выборки 71. Функции Кп(и) для различных значений п и и табулированы [14]. Используя таблицы Кн^и\ можно находить доверительные полосы для ^(ж): ^(ж) — ^(ж)! ^ ^(PaobW^ Для ж ^ (—ос, ос),
где рдов = Кп(ЦрДОВ)). Существует
lim Kn(n) = К(п) = У^ (—1/ехр (—2/2п2)
(Колмогоров). Функция К (и) также табулирована [14]. Поэтому при большом п (практически, если п > 100) для нахождения п(рдов) можно пользоваться равенством рдов = К(п(рдов)).
Эмпирическая функция распределения Fn(x) является кусочно постоянной. Иногда производят сглаживание Fn(x) с помощью подходящей монотонно возрастающей функции (см. гл. 10). При использовании сглаживания Fn(x) необходимо следить, чтобы оно не приводило к выходу за пределы доверительной полосы.
Восстановление плотности распределенияметодом гистограмм
Восстановление плотности вероятностей рДж) по повторной выборке (1.1) в рамках непараметрического подхода представляет гораздо большие трудности по сравнению с восстановлением функции распределения F(x). Действительно, поскольку р^(ж) = dF(x) / dx, то формально, получив оценку F^x\ можно определить оценку р^х^ = = dF(x) / dx. К сожалению, задача дифференцирования принадлежит
к классу некорректно поставленных задач, поскольку сколь угодно малые изменения в F(x) могут привести к большим изменениям в р^х\ Поэтому любой устойчивый способ оценивания р^х^ должен быть ре- гуляризирующим алгоритмом для задачи дифференцирования (конечно, с учетом того факта, что р^х^ — неотрицательная нормированная функция).
TV.ки (1.1), попавших в интервал Аж^-, У^ rij = п^ Частоты — являютсяj=iTV.ки (1.1), попавших в интервал Аж^-, У^ rij = п^ Частоты — являютсяj=iИсторически первым способом оценивания плотности является метод гистограмм. Область изменения значений случайной величины разбивается на N интервалов Аж^- (мы сохраняем за интервалом и его длиной одно обозначение). Обозначим rij количество членов выбор-
TV.
ки (1.1), попавших в интервал Аж^-, У^ rij = п^ Частоты — являютсяj=i
TV.
ки (1.1), попавших в интервал Аж^-, У^ rij = п^ Частоты — являютсяj=i
оценками вероятности pj попадания значений £ в интервал Аж^-, т. е.
Pj = Р^ж^ ^х. Поэтому величины —— являются оценками сред-
JТЬ£А.ЭС j
него значения плотности р^ (ж) на интервале Аж^-, т. е. ^— j р^ (ж) dx.
Итак, за оценку плотности принимается
рг(ж) =рг(ж) =2424х € Аж^-, j = 1, . . . , N. (4.2)х € Аж^-, j = 1, . . . , N. (4.2)
рг(ж) =
рг(ж) =
24
24
х € Аж^-, j = 1, . . . , N. (4.2)
х € Аж^-, j = 1, . . . , N. (4.2)
Функция рг(ж) неотрицательна, кусочно постоянна и нормирована, так как
Основной трудностью при построении гистограммы является выбор интервалов разбиения Аж^-. Рекомендуется интервалы Аж^- выбирать так, чтобы в каждый из них попадало одинаковое количество членов выборки (5-10, если п порядка 100). При увеличении п количество членов выборки в каждом интервале необходимо увеличивать. Если обозначить Ажтах длину наибольшего интервала, то Ажтах играет роль параметра регуляризации при оценивании плотности по гистограмме. При п —> оо Ажтах должен уменьшаться согласованно с ростом п.
XX(.Pi - TljlTlfPi(.Pi - TljlTlfPiДля построения доверительного интервала оценки (4.2) составим статистику
X
X
(.Pi - TljlTlf
Pi
(.Pi - TljlTlf
Pi
(4.3)
закон распределения которой при п —> оо стремится к распределению X^n-x (теорема 5.1).
Статистику (4.3) можно представить в эквивалентном виде
j=ij=inAXjnAXj- ^_)2(^“)- ^_)2(^“)
j=i
j=i
nAXj
nAXj
- ^_)2(^“)
- ^_)2(^“)
Поэтому доверительная полоса для оценки (4.2) имеет вид
rij n&Xjrij n&Xjt N (Рдов)Пt N (Рдов)П
rij n&Xj
rij n&Xj
t N (Рдов)
П
t N (Рдов)
П
где
t N (Рдов)
Рдов= J p^^dt.
о
Существуют стандартные программы построения гистограмм.
Восстановление плотности распределенияметодом Розенблатта—Парзена
Дифференцируя эмпирическую функцию распределения, получаем оценку
Роб(ж) = ^ 5Д(ж - xt^
где 5 (ж) — функция Дирака. Эта оценка плотности неприемлема, поскольку является обобщенной функцией. Модифицируем оценку роб, представив ее в виде классической функции за счет «размазывания» обобщенных функций 5(ж — ХД.
Пусть {Дп(ж)} — последовательность таких симметричных плотностей, что Дп(ж) —У д(ж) при п -Л оо. Определим оценку плотности равенством
ЯЖ) = -- XiY»=1ЯЖ) = -- XiY»=1(4-4)(4-4)
ЯЖ) = -- XiY
»=1
ЯЖ) = -- XiY
»=1
(4-4)
(4-4)
Теорема 4.2. Оценка (4.4) состоятельна в среднем квадратичном в каждой точке ж непрерывности рДж\ если*.
1° | Дп(ж — s) рДз) ds —> Р^х^ при п —> оо;
2° — шахж Дп(ж) —> 0 при поо.
Доказательство. Имеем
при п —> оо. Используя независимость случайных величин, образующих повторную выборку (1.1), получаем
Мр2(ж) = ^ у М^п(ж - Х^ф^х - Xj) =
оо/оох 2
= ~ | ^«(^ - s)pe(s) с?« + ^—( | ф^х - s^p^dsj
Но
— f ^(ж — 8)рДз) ds < — max Дп(ж) f Дп(ж — 8)рДз) ds —> О при п -^ ос, а
при пч х. Следовательно, Мр2(Д —> Р^(х) при пчх в каждой точке непрерывности рДж\ Но тогда Вр(ж) = Мр2(ж) — М2р(ж) О при пчх в каждой точке непрерывности р^ж\ Теорема доказана.
Можно построить класс плотностей {^п(ж)}, удовлетворяющих условиям теоремы 4.2, по следующей схеме. Пусть ^п(^) — произвольная непрерывная ограниченная плотность и последовательность положительных чисел {/гп} удовлетворяет условиям hn —> 0, h^ п —> ос при п Ч х. Тогда последовательность функций
удовлетворяет условиям теоремы 4.2. Если
е-ж2/^е-ж2/^
е-ж2/^
е-ж2/^
то последовательность
Фп^ =Фп^ =1с-х2/(2^),Лтг hn1с-х2/(2^),Лтг hn
Фп^ =
Фп^ =
1с-х2/(2^),
Лтг hn
1с-х2/(2^),
Лтг hn
В методе Розенблатта-Парзена число hn играет роль параметра регуляризации. Конструктивные способы выбора подходящего значения hH при конечном объеме выборки могут быть предложены только на основании дополнительной информации об искомой плотности.
На рис. 4.1 представлен пример восстановления плотности распределения с помощью метода Розенблатта-Парзена по выборке из 100 значений. Для примера использовано двухмодальное распределение из смеси нормальных распределений ^(—2,1) и ^(2,2). Сплошная линия со «ступеньками» соответствует эмпирической функции распределения. Пунктирной линией отмечены восстановленная плотность вероятностей и интеграл от нее. Сплошной линией отмечены аналитические плотность и функция распределения вероятностей.
Метод Розенблатта-Парзена изложен в работах [16, 25, 57,106,108].
5 А.В. Крянев, Г.В. Лукин
Восстановление плотности распределенияпроекционными методами
Проекционные методы основаны на разложении искомой плотности в ряд по ортогональной системе функций относительно фиксированной реперной плотности.
Пусть известно, что искомая плотность р^х^ достаточно близка к некоторой известной плотности р^х^ которую будем называть реперной. Предположим для определенности, что промежуток изменения возможных значений £ — вся числовая ось.
Обозначим через {^^(ж)} систему полиномов, нормированных на (—ос, ос) с весом ро^х\ т. е.
^(ж)^(ж)р0(ж) dx = 5ij,
причем qo(x) = 1, Qk(x) — полином степени к. Такая система полиномов определена однозначно и ее можно найти с помощью стандартной процедуры ортогонализации Гильберта-Шмидта.
Обозначим
к
Ы^) = Ул^У^
j=0
и представим искомую плотность в виде
(4-5)(4-5)р$(ж) = р0(ж) У2 Cfeqfe(xyк=0
(4-5)
(4-5)
Имеем
Со = 1,Со = 1,С к =С к =^(ж)р^(ж) dx.^(ж)р^(ж) dx.
Со = 1,
Со = 1,
С к =
С к =
^(ж)р^(ж) dx.
^(ж)р^(ж) dx.
Поэтому
где aj — начальный момент J-ro порядка случайной величины £.
1™.1™.Если начальные моменты а^ заменить их оценками а^ (например,
1™.
1™.
и в (4.5) ограничиться ко-и в (4.5) ограничиться ко-оценками метода моментов а^
и в (4.5) ограничиться ко-
и в (4.5) ограничиться ко-
нечным числом слагаемых, то получаем оценку плотности
р(ж) = Ро(ж) 57 Ckqk(x),(4.6)
А:=0 к
где С к — akjOij.
j=0
В проекционных методах число членов разложения т играет роль параметра регуляризации. Если случайная величина £ имеет моменты любых порядков, то принципиально возможно неограниченное увеличение т^ которое должно осуществляться согласованно с ростом объема выборки п. При практическом применении оценки (4.6) стараются ограничиться небольшим количествам членов разложения. Ясно, что в этом случае оценка (4.6) будет давать хорошую точность, если только реперная плотность ро(х) удачно «угадана» и близка к искомой плотности.
Часто проекционную оценку удобно представить через оценки центральных моментов. Тогда вместо случайной величины £ рассматривают нормированную случайную величину £о = (£ — a^fcr^ и проекционная оценка имеет вид
Р\ж) =,(4.7)
где ро(у) = Ро(у) 52 СокЧк^У Сок = 52 akjPj^ Pj — нормированный к=03=0
центральный момент J-ro порядка, Д1 = 0, ц^ = 1, Coo = 1? Coi = ^ю, Со2 = ^20 + ^22-
Пусть, например, в качестве реперной плотности взят нормальный закон распределения, тогда
Ро(у) = "7= е"у2/2, qk(y) = -^= Нк(у),
где Нк(у) — полином Чебышева-Эрмита, и проекционная оценка принимает вид
[■ + Ё й& <4-8>
где С3 = ц\ С4 = ц4 - 3, С5 = pF - 10/23, С6 = /26 - 15/24 + 30.
Напомним, что ц^ = Р-’к!^^ ^к — центральный момент случайной величины £, и если £ нормально распределена, то ц^к = (2 А? ~ 1)-> /^2& + 1 = 0.
Оценку (4.8) принято называть оценкой Грама-Шарлье.
Задача 4.1. Пусть промежуток изменения случайной величины £ — полуось ж ^ 0 и в качестве реперного закона распределения взят экс5*
поненциальный закон ро(ж) = аеГах. а > 0. Показать, что {^^(ж)} — нормированная система полиномов Чебышева-Лагерра £“(ж). Найти оценку Грама-Шарлье для этого случая.
Проекционные оценки можно рассмотреть для случая, когда орто- нормированная система разложения отлична от системы полиномов. Действительно, пусть {А (ж)} — произвольная система линейно-независимых функций и задана реперная плотность p^xY Ортонормируем систему {//Дж)} с весом р^ж^ (например, используя стандартную схему ортогонализации Гильберта-Шмидта). Полученную ортонормирован- ную систему функций обозначим {(р/Дж)}. Имеем
j <рДж)<рДж)р0(ж) dx = Sij.
Искомую плотность р^х^ представим в виде
p^=p0^YiCkVk^'(4.9)
fe=0
где Ск = j <pk(x)p^x)dx.
Введем случайные величины Yk = ^k^Y Имеем
Mrfc= j фк^р^х^ dx = Ск.
Поэтому по выборке (1.1) можно дать оценки коэффициентов Ск:
-1 "
Ск = — 52 ^кк^гУ
Ограничиваясь в разложении (4.9) конечным числом членов и заменяя неизвестные точные значения Ск на их оценки Ск. получаем проекционную оценку
р(ж) = Ро(ж) У) CkVk^Y(4.10)
&=0
Проекционная оценка (4.10) обладает большей гибкостью по сравнению с оценкой (4.6), поскольку дает возможность выбирать подходящую систему разложения. При удачном выборе реперной плотности и системы ^к(ж)} можно достичь хорошей точности оценки (4.10) даже при небольшом числе членов разложения.
Если в (4.10) положить ро(х) = const, то получаем оценку Ченцова
р(ж) = 52 Ck^kV^Y(4.11)
к=А
где {9^. (ж)} — ортонормированная система, Ск = — Е ^(*4
г=1
Иногда удобно брать разложения вида (4.10) или (4.11) по системе функций {(/^(ж)}, не обладающих свойством ортогональности. Возьмем, например, в представлении (4.11) в качестве (/^(ж) плотности распределения. Тогда плотность (4.11) представляет собой модель смеси
с неизвестными весами Ск Е [0,1], ^ С^ = 1. Оценки С к весов Ск к=1
можно получить с помощью обобщенного метода максимального правдоподобия с учетом вышеуказанных ограничений на веса.
Проекционные методы представлены в работах [16,57, 85,86].
Восстановление плотности распределениярегуляризованным методом гистограмм
Искомая плотность связана с функцией распределения соотношением F(x) = | P^(s) ds^ которое запишем в виде
j р(х — s)p%(s) ds = ^(ж).(4-12)
При заданной функции F(x) (4.12) — интегральное уравнение 1-го рода относительно неизвестной плотности, т. е. задача восстановления плотности по функции распределения — некорректно поставленная задача. Но F(x) также неизвестна и по выборке (1.1) можно лишь дать оценку F(x)^ взяв, например, в качестве оценки эмпирическую функцию распределения Fn(x).
Итак, задача восстановления плотности по выборке сводится к задаче решения интегрального уравнения (4.12) в условиях, когда точная правая часть этого уравнения неизвестна и заменена оценкой Fn(x).
Рассмотрим дискретный аналог уравнения (4.12), полученный с помощью сетки {ж7}, j = 1,. . . , N + 1, Axj = #j+i — ху.
®j + 1
j p^s) ds = F(xj+1) - F(xj).(4.13)
При замене неизвестной F(x) на Fn(x) имеем
AFnj = F^xj+1) - Fn^ =
где rij — число членов выборки, попавших в интервал \х^ ^j+i]. Элементы Kwtj ковариационной матрицы Kw случайного вектора
_ / д гд г \Т к — А^г ~ U^Fi)_ AFi&Fj
^ — (Ал-Г ni, . . . , ZXr nN) f^wii —, F-wij —,
nJп
i,j =AFj = F(xj+1) - F(xj).
Поскольку F(x) неизвестна, матрицу Kw заменим ее оценкой Kw^ элементы которой вычисляются по формулам
При п —У оо вектор w асимптотически нормален. Это следует из интегральной теоремы Муавра-Лапласа, так как nj — дискретные случайные величины, распределенные по биномиальному закону. Если Tij/n ^ 0 при п —> оо, то справедлива асимптотическая формула
К™ = diag f 51,...,+ 0 („)),
у п nJ
где элементы матрицы о (п) стремятся к нулю при п —У оо.
Пусть априорная информация об искомой плотности имеет детерминированный характер: р^х^ € G, где G — некоторое множество плотностей задаваемого класса (множество G может задаваться совокупностью равенств и неравенств с вхождением в них р^х)).
Определим ОММП-оценку плотности
Nп 1
р(ж) = arg min ( р(х) dx-) —.(4-14)
p^gg j=1 \ Jn / nj
Если априорная информация об искомой плотности отсутствует, то ОММП-оценка (4.14) совпадает с оценкой плотности по методу гистограмм.
Если G — выпуклое множество пространства непрерывных функций, то оценка (4.14) существует и единственна и может быть найдена с помощью методов выпуклого программирования, в частности, можно использовать метод сопряженных градиентов или методы штрафных функций.
Иногда множество G априори не задается. Тогда G можно выбирать в виде
{G : р(ж) = 52 oWfeML
к=1
где {^^(ж)} — система базисных функций. В качестве базисных функций можно брать ортогональную систему (аналогично методу Ченцова). Число членов разложения т должно быть согласовано с объемом выборки и может быть найдено с помощью способа невязки [54, 71] или с помощью метода упорядоченной минимизации риска [6,22].
На рис. 4.2 представлен пример восстановления плотности распределения с учетом априорной информации. В качестве системы базисных
функций были использованы ортогональные полиномы Чебышева- Эрмита. Искомая плотность и эмпирическая функция распределения вероятностей представлены сплошной линией. Восстановленные плотность и функция распределения вероятностей обозначены пунктиром.
Методы непараметрической статистики представлены также в работах [66, 82].
Метод корневой оценки плотностираспределения
В работе [13] был предложен новый метод оценки плотности, который связан с проекционными методами и носит название метода корневой оценки плотности. Суть корневого метода состоит в том, что вместо разложения искомой плотности предлагается разлагать по орто- нормированной системе так называемую пси-функцию ^(ж)> связанную с искомой плотностью р(ж) равенством
(4-15)(4-15)р(ж) = |^(ж)|2.
(4-15)
(4-15)
В квантовой механике функция ^(ж) играет фундаментальную роль, называется координатной пси-функцией и является решением стационарного уравнения Шредингера.
Переход от разложения р(ж) к разложению ^(ж) позволяет при применении метода максимального правдоподобия получить эффективную вычислительную схему оценки искомых параметров разложения.
Действительно, пусть
^(ж) =у>^(ж),(4.16)
г=1
где {(рДж)} — ортонормированная система, {сД — коэффициенты разложения, подлежащие оценке.
В дальнейшем предполагается, что функции <рДж), ^(ж) и коэффициенты С{ действительны. Из условия нормировки j р(ж) dx = 1 следует равенство
=(4-17)
г=1
Следовательно, необходимо оценить т — 1 независимых коэффициентов. Для их оценки используем метод максимального правдоподобия.
Если выборка (1.1) повторная, то
/п(с) = In L„(c) = у In I у у <Мхк) <Pj(Xk) Ci Cj j.
/с = 1Д=1 7 = 1'
Для нахождения максимального значения логарифмической функции правдоподобия /п(с) с учетом ограничения (4.17) сформируем функцию Лагранжа:
Цс) = /п(с) + а(1-ЕД.(4.18)
г=1
Приравнивая к нулю частные производные dL/dc^ получаем систему уравнений
(4.W)
/с=1 3 = 1
Умножая обе части последнего равенства на с^ и суммируя по г, получаем А = п. Следовательно, для нахождения ММП-оценок коэффициентов ci, . . . , сп необходимо решить нелинейную систему уравнений
Ci = ЕCjtpAXfc^ , i = l,...,m.(4.20)
k=lJ = 1
Для решения системы (4.20) в [13] предложен итерационный процесс
С('+1) = а с^ +(£ с^ф^у1,(4.21)
k=A1 = 1
где 0 < а < 1 подбирается так, чтобы скорость сходимости итерационного процесса была наибольшей (4.21).
Поскольку из равенства (4.19) следует также равенство
Е
т (1Фэкхк^\
\пЬ р№))с^
3=1к=1
1 У' Уг(,Хк)фэ(Хк) ; м ф^ ф^} = Г ф^ Фз^ ™ ЬЗ Р(Х^Р(О J Р(Ж)
то полученные оценки являются состоятельными.
В работе [13] приведены и другие свойства корневых оценок плотности, в частности выбор оптимального числа слагаемых т в представлении (4.16).
Как и в методе Грама-Шарлье, в качестве базисной системы функций ф^х^ можно взять систему функций Чебышева-Эрмита
<Рг(ж) —1 Hi^e ^^^ г = 0,1,...,
у 2® г!
где //Дж) — полином Чебышева-Эрмита г-го порядка.
Глава 5
ПРОВЕРКА ГИПОТЕЗ О ЗАКОНЕРАСПРЕДЕЛЕНИЯ
Восстановление закона распределения по выборке (1.1) в большинстве случаев основано на некоторых гипотезах. Например, в рамках параметрического подхода априори принимается гипотеза о принадлежности плотности распределения классу плотностей, определенных с точностью до конечного числа параметров. В рамках параметрического и непараметрического подходов могут использоваться дополнительные априорные гипотезы (априорная информация) о законе распределения. Но гипотезы могут быть ошибочны. Поэтому после принятия той или иной априорной гипотезы и восстановления закона распределения необходимо проверить выполнение этой гипотезы, т. е. проверить, насколько хорошо выборка (1.1) согласуется с восстановленным законом распределения. В частности, при применении параметрического подхода оценки параметров во многом зависят от принятого гипотетического класса плотностей. И поэтому проверка соответствия оцененной плотности этому классу, с точки зрения согласования выборки (1.1) с оцененным законом распределения, является гарантией правильности самих оценок параметров. Если же применяется непараметрический подход, который априори может не «навязывать» класс плотностей, то после получения оценки плотности часто возникает задача о проверке гипотез принадлежности оцененной плотности тому или иному классу плотностей.
Проверка гипотезы о законе распределенияв рамках непараметрической статистики
Для проверки гипотезы о законе распределения можно использовать либо восстановленную функцию распределения (обычно эмпирическую функцию распределения Fn(x)Y либо восстановленную плотность распределения р(ж).
При использовании эмпирической функции распределения Fn(x) часто применяют критерий согласия Колмогорова и критерий ш2.
Критерий согласия Колмогорова использует рассмотренную ранее в разделе (4.1) случайную величину
Vn = max\F(x) - Fn(x)\,(5.1)
где F(x) — тестируемая функция распределения.
Если гипотеза Н о соответствии тестируемой функции распределения истинной функции распределения верна, то Vn —У 0 при п —У ос, в противном случае Vn —У V* > 0.
На практике величину (5.1) удобно рассчитывать по формуле
% — A_v.e)Tb х. IЬIt >
где Х(!) ^ Х(2) С • • • С ^(п) — ранжированная последовательность членов выборки (1.1).
Для заданных уровня значимости (обычно используют стандартные значения р = 0,8; 0,9; 0,95; 0,99) гипотеза Н отвергается, если Vn > Укрит(^р), где VKpHT(n,p) — критическое значение величины (5.1), зависящее от объема выборки и заданного уровня значимости. Числовые значения Укрит(^р) можно найти в [14].
При применении критерия ш2 используется статистика
^=7 (Г(Ж)-Г„(Ж))2^(Ж).^=7 (Г(Ж)-Г„(Ж))2^(Ж).(5-2)(5-2)
^=7 (Г(Ж)-Г„(Ж))2^(Ж).
^=7 (Г(Ж)-Г„(Ж))2^(Ж).
(5-2)
(5-2)
Если Fn(x) — эмпирическая функция распределения, построенная по выборке (1.1), то для расчета ш^ можно использовать формулу
(5.3)(5.3)
(5.3)
(5.3)
где, как и прежде, Х^ — ранжированная последовательность членов выборки (1.1).
При выполнении гипотезы Н о равенстве тестируемой функции распределения истинной функции распределения ш^ —>- 0 при п —У ос.
Для заданных уровня значимости и объема выборки гипотеза Н отвергается, если ш^ > ^крит(п, р), где ^крит(п, р) — критическое значение величины (5.3), зависящее от объема выборки и уровня значимости. Числовые значения ^крит(п,р) можно найти в [14].
Для проверки гипотезы Н о соответствии тестируемой плотности распределения р(ж) выборке (1.1) часто используют критерий %2 (хи- квадрат) Пирсона.
Пусть область изменения значений случайной величины £ разбита на N интервалов [ж^-, ж^+1), j = 1, . . . , N. Обозначим rij — число членов выборки (1.1), попавших в интервал [ж^ж^+Д, pj = j р(ж) dx — вероятность попадания в интервал [ж^-, ж7+1).
Определим статистику
N2
2- = "Е^(т-й) ■<5-4>
Теорема 5.1 (Пирсон). Пусть'. 1° выборка (1.1) повторная^ N
2° У^ pj = 1. Тогда статистика Zn из (5.4) при п —> оо имеет
X2 -распределение с N — 1 степенями свободы.
Для проверки гипотезы Н о соответствии тестируемой плотности распределения р(ж) выборке (1.1) зададим рдов и по таблице ^(Рдов)
Х2-распределения найдем такое ^(рдов), что j Р^2(z) dz = рдов.
о
Если Zn < ^(рдов), то считают, что гипотеза Н подтверждается 100 рдов-процентным уровнем доверия. Если же Zn > ^(рдов), то считают, что гипотеза Н о соответствии плотности распределения р(ж) выборке (1.1) не подтверждается.
Проверка гипотезы о законе распределенияв рамках параметрической статистики
Проверка гипотез о законе распределения и согласования выборки (1.1) с оцененным законом в рамках параметрической статистики также производится с помощью различных критериев согласия. Наиболее часто используют критерий согласия х2 Фишера. Пусть, как и выше, область изменения значений случайной величины £ разбита на N интервалов Аж^-, j = 1, . . . , N. Обозначим nj — число членов
Жэ + 1
выборки (1.1), попавших в интервал Аж^-, pj = j р(ж; и) dx — ве
роятности попадания в интервал Аж^-, вычисленные по гипотетической оцененной плотности р(х; и\ Определим статистику
N2
Теорема 5.2 (Фишер). Пусть оценка и п-мерного параметра и является асимптотически эффективной и асимптотически нормальной (напримерй = иММП). Тогда статистика ZH при п —> оо имеет X2-распределение с N — т — 1 степенями свободы.
Используя теорему Фишера, можно проверить соответствие гипотезы о принадлежности искомой плотности классу р(х; и) выборки (1.1).
Действительно, зададим рдов и по таблице ^-распределения найдем такое ^(рдов)? что
^(Рдов)
PxVmJ^dz = P^.о
Если Zn < ^(рдов)? то считают, что гипотеза о принадлежности плотности классу р(ж; и) согласуется с выборкой (1.1). Если же Zn ^ ^(рДОв)? то считают, что гипотеза о принадлежности плотности классу р(ж; и) не согласуется с выборкой (1.1) и имеет место значимое отклонение оцененной гипотетической плотности от выборки (1.1).
Критерий %2 применяется также для проверки гипотезы о совпадении законов распределения для серии выборок. Пусть вместо одной выборки (1.1) заданы / повторных выборок
Xku...,Xknk, k = l,...J,(5.6)
i
где nk — объем k-й выборки, п = ^ nk- Пусть вводится гипотеза k=i
о принадлежности плотности р^ (ж) классу р(ж; и). Обозначим и оценку параметра и^ сделанную по всей совокупности выборок (5.6):
Pj = | р(ж; и) dx^
nkj — число членов выборки (5.6) (с фиксированным к). попавших в интервал Аж^-. Введем статистику
(5.7)
& ^РЛпк Ч
Аналогично теореме 5.2 справедливо следующее утверждение.
Теорема 5.3. Пусть оценки и являются асимптотически эффективными и асимптотически нормальными. Тогда при пк —> ос, к = 1, . . . , /, закон распределения статистики zin стремится к X2-распределению с l(N — 1) — т степенями свободы.
Применим теорему 5.3 для проверки гипотезы о совпадении закона распределения для каждой из / выборок (5.6). По заданной рдов найдем такое Я(рдов), что
^(Рдов)
/ Px^n-^-J^W = Рдов-о
Если Z[n < Z^pдов), то гипотеза о совпадении законов распределения для серии выборок (5.6) (гипотеза об однородности выборок) принима-
ется. Если Z[n ^ Z^pдов), то гипотеза об однородности выборок отвергается.
Если гипотеза об однородности выборок (5.6) проверяется по отношению к фиксированной плотности р(ж), то вместо статистики (5.7) вводится статистика
(5-8)(5-8)
(5-8)
(5-8)
где pj = | р(ж) dx.
Закон распределения статистики (5.8) при п/. —> ос, k = 1,...,/, стремится к ^-распределению с l(N — /) степенями свободы. Поэтому критическая граница ^(рдов) проверки гипотезы однородности выборок (5.6) определяется из равенства
2 (Рдов)
J Px^N_r)lZW = Рдев-
О
Проверка гипотез о законе распределения представлена в работах [28,33,34,38,40].
Глава 6
ЧИСЛЕННЫЕ МЕТОДЫ СТАТИСТИЧЕСКОГОМОДЕЛИРОВАНИЯ
Под статистическим моделированием в узком смысле (в самой математической статистике) обычно понимают способы моделирования случайных величин с помощью специально разработанных «датчиков» случайных величин и использования полученных с их помощью выборок для апробирования тех или иных статистических методов и численных алгоритмов, базирующихся на этих методах. Под статистическим моделированием в широком смысле понимается решение различных задач с применением методов математической статистики и моделирования случайных величин. В частности, методы Монте-Карло являются численными методами решения различных задач, и прежде всего задач математической физики, при помощи моделирования случайных величин [70].
Способы моделирования случайных величин
При решении задач методами статистического моделирования необходимо уметь моделировать реализации случайных величин с различными законами распределения. Оказывается, что достаточно уметь моделировать одну реперную случайную величину, а реализации случайных величин с другими законами распределения получать с помощью некоторых преобразований над реализациями значений реперной случайной величины. Вообще говоря, в качестве реперного можно взять различные распределения, но в настоящее время общепринято в качестве реперной брать равномерно распределенную на отрезке [0,1] случайную величину 7. Действительно, пусть задана произвольная случайная величина £ с плотностью р(ж) и функцией распределения
F(x) = | p(s) ds.
Теорема 6.1. Выполнение равенства
F^) = 7(6-1)
необходимо и достаточно для того, чтобы F(x) была функцией распределения случайной величины £.
Доказательство. Пусть F(x) — функция распределения случайной величины £. Тогда случайная величина 7, определенная равен-
80 Численные методы, статистического моделирования [Гл. 6 ством (6.1), распределена равномерно на промежутке [0,1]. Действительно, функция распределения F^(y) случайной величины 7 определится равенством
Р^у) = РЬ<У^Р^(С<УУ
Если у < 0, то P{F(£) < у^ = 0. Если у > 1, то P{F(£) < у^ = 1. Если 0 < у < 1, то Р {Г(О < у^ = Р{£ < F-1(y^ = F^F-1^ = у.
Итак,
ГО, у < 0,
F^y) = ) у^ 0 у 1,
U, у > 1,
т. е. 7 распределена равномерно на [0,1].
Пусть 7 распределена равномерно на [0,1] и выполнено равенство (6.1), где F(x) — функция распределения некоторой случайной величины. Покажем, что ^(ж) = F(x\ Действительно, £ = /^-*(7). Поэтому F^x) = Р {£ < ж} = P{F-1(7) < ж} = Р {7 < ^(ж)} = = F^F(x)) = ^(ж), поскольку F(x) Е [0,1]. Теорема доказана.
Из теоремы 6.1 следует, что повторная выборка
71,(6.2)
равномерно распределенной на [0,1] случайной величины порождает повторную выборку (1.1) случайной величины £, где Х^ = F^ (7Д (мы ограничиваемся случаем, когда F^1 существует).
Пример 6.1. Пусть £ равномерно распределена на отрезке [а, 6]. Имеем
Ft(x) = у—-, а < ж < Ь.b — а
Поэтому Xi = а + (b — a^i.
Пример 6.2. Пусть £ распределена по экспоненциальному закону. Имеем: F^x^ = 1 — сЛж, ж ^ 0. Поэтому 1 — e-XXi = 7^, откуда
Поскольку случайная величина 1 — 7г также равномерно распределена на [0, 1], то повторную выборку (1.1) можно получить и по формуле
Xi = у 1ПА 7г
Задача 6.1. Используя формулу (6.1), представить выборку (1.1) для нормально распределенной случайной величины £ через выборку (6.2).
Для многих распределений использование формулы (6.1) для построения выборки (1.1) с помощью выборки (6.2) неудобно и связа-
но с достаточно большими вычислительными затратами. Ниже для некоторых стандартных широко используемых распределений будут даны другие более удобные и эффективные способы построения выборки (1.1) с помощью выборки (6.2).
Итак, для получения выборки (1.1) необходимо иметь эффективные способы получения выборки (6.2).
Существует несколько способов получения выборки (6.2) с помощью компьютера. Наиболее эффективным и надежным из них является способ псевдослучайных чисел, основанный на последовательном получении членов выборки (6.2) с использованием какой-либо формулы. В этом случае числа 7^ из (6.2) называют псевдослучайными.
Применяют несколько алгоритмов получения псевдослучайных чисел. Большая часть из них основана на формуле
7»+i = R^i^(6.3)
где R(x) — достаточно быстро осциллирующая функция на промежутке [0,1] со значениями на этом же промежутке.
Например, в методе вычетов Лемера R(x) = D^gx\ где D(x) — дробная часть числа ж, g > О — достаточно большое число, т. е. последовательность псевдослучайных чисел (6.2) с помощью метода вычетов получается по рекуррентной формуле
7г + 1 = D^).(6.4)
Если в (6.4) 7о = т^(М^ где mo, М, g — целые взаимно простые числа, то все 7^ из (6.4) представимы в виде 7^ = m^jM^ где т^х и М взаимно просты и т^ равно остатку, полученному при делении g mi на М. Например, удовлетворительная последовательность псевдослучайных чисел получается при mo = 1, М = 242, g = 517. Заметим, что случайные числа 7г+1, 7г, связанные формулой (6.4), зависимы с коэффициентом корреляции, равным 1 / g. Ясно, что при достаточно большом g их можно считать практически некоррелируемыми. Более подробную информацию о псевдослучайных числах и методах их тестирования можно найти в [70].
Вернемся к методам построения выборки (1.1) по выборке (6.2). Кроме метода построения, основанного на формуле (6.1), на практике часто используют метод Неймана. Пусть значения случайной величины £ принадлежат конечному отрезку а ^ х ^ b и р^х^ ^ С. Обозначим 7^\ 7^) независимые равномерно распределенные на [0,1] случайные величины. Тогда случайные величины £^х^ = а + 7^^ (6 — а), ^(2) = С^2) независимы и равномерно распределены на отрезках [а, 6], [0,(7] соответственно, и поэтому их совместная плотность р(х^у) = = (Ь — а)-1С-1, а С ж С М С У С С.
Теорема 6.2 (Нейман). Случайная величина £ = ^х\ если ^(2) < р^1)), имеет плотность вероятностей р(х).
6 А.В. Крянев, Г.В. Лукин
Доказательство. Имеем
= Р К < 4 = Р {^) < Z I ^ < pC£W)} =
Числитель последнего выражения равен вероятности того, что случайная точка (^1\ ^2^) попадает ниже кривой у = р(ж) и одновременно левее вертикальной прямой ж = z. Поэтому
= рж j "(b^ay = ^^V^
Знаменатель равен вероятности попадания случайной точки (^х\ ^2^) ниже кривой у = р(х) и поэтому
b
р к(2) < р(€(1))} = [ dx [1 dy =1.
J J yb а)С?kj yb a)
a 0
Итак,
[ j c^J Ц /= W dx’
t. e. p^x^ — плотность вероятностей случайной величины £. Теорема доказана.
Для получения одной реализации случайной величины £ по методу Неймана требуются по крайней мере две независимые реализации случайной величины 7, причем, если случайная точка (^х\ ^2^) попадает выше кривой у = р^х\ то реализации £ не будет получено. Поэтому для снижения числа пар (£^\£^2^), для которых не происходит реализаций £, необходимо брать С равным наименьшему возможному значению С = шахж р(х\
Для получения выборки (1.1) для некоторых стандартных законов распределения используют специальные приемы, учитывающие специфику рассматриваемых распределений.
Пусть £ — нормально распределенная случайная величина. Обозначим £о = (£ — М£)/<Т£ нормированную случайную величину. Пусть
3 = 13 = 1
— нормированная сумма N независимых случайных величин, равномерно распределенных на [0,1]. Согласно центральной предельной тео-
реме Линдеберга-Леви закон распределения ^^ при N —> ос стремится к ЛДО,!).
Поэтому при достаточно большом N закон распределения £^ = = е^ + ме будет близок к Л/ДМ^,^!). Следовательно, при достаточном большом N одну реализацию случайной величины £ можно подсчитывать по N независимым реализациям 7 согласно формуле
/— N
X^M^ + aJ^^-1).(6.5)
V3 = 1
На практике ограничиваются N = 12 и тогда формула (6.5) принимает вид
12
х^^^+ме-е^.(6-6)
3 = 1
Рассмотрим случайную величину
Cn = Д In (71 • --7^+1),
где 71,... , 7tv+i — независимые случайные величины, равномерно распределенные на [0,1]. Докажем, что
ж>0’
т. е. £,n подчиняется 7-распределению. Действительно, для N = 0 утверждение доказано ранее. Предположим, что утверждение справедливо для N. Тогда
€n+1 = Д In (71 • • • 7N+2) = €n + Со-
Поскольку £N и £о независимы,
PHn+Л^ J P$N^ - s)p5o(s) dsPHn+Л^ J P$N^ - s)p5o(s) dsxN+2N'.xN+2N'.A^1TV!A^1TV!— s)N ds =— s)N ds =<x-s)Ne"x^-s'lXe-Xsd8 =<x-s)Ne"x^-s'lXe-Xsd8 =AN+2(^ + l)!AN+2(^ + l)!^TV+l^-Аж^TV+l^-Аж
PHn+Л^ J P$N^ - s)p5o(s) ds
PHn+Л^ J P$N^ - s)p5o(s) ds
xN+2
N'.
xN+2
N'.
A^1
TV!
A^1
TV!
— s)N ds =
— s)N ds =
<x-s)Ne"x^-s'lXe-Xsd8 =
<x-s)Ne"x^-s'lXe-Xsd8 =
AN+2(^ + l)!
AN+2(^ + l)!
^TV+l^-Аж
^TV+l^-Аж
Следовательно, если £ подчиняется 7-распределению с плотностью вероятностей р^х^ = ^ xNв-Хжх > 0, то по N + 1 независимым реализациям 7 находим одну реализацию £ согласно формуле Х^ = = -д In (71 - ■ •7^+l)•
Рассмотрим теперь m-мерную нормально распределенную случайную величину с вектором математического ожидания а =
= (di,. . . ат)Т и ковариационной матрицей К^. Представим К^ = = Q QT ^ где Q — невырожденная (т х т)-матрица. Матрица Q определена неоднозначно. Одну из таких матриц можно найти методом квадратного корня (тогда Q будет треугольной). Введем случайную величину т] = Q-1(£ — а). Векторная случайная величина ту распределена нормально. Имеем: М ту = Q~ ' (М £ — а) = 0, ковариационная матрица Кп = Q-1K^Q-1Y = Q* Q QT(QT)-1 = / (единичная матрица). Следовательно, ту = (ту1,. . . , т]т)т ^ где Tjj, j = 1,. . . , m — независимые нормально распределенные величины с законом распределения ^(0,1) и одна реализация У^ случайной величины ту состоит из m независимых реализаций скалярной случайной величины с законом ^(0,1).
Из вышесказанного следует, что реализация Х^ случайной величины £ может быть получена по формуле
Xi = a^QYi.(6.7)
Применение метода статистическогомоделирования для решения некоторыхприкладных задач
Ранее уже отмечалось, что метод статистического моделирования применяется как для решения «внутренних» задач самой математической статистики и обработки экспериментальных данных, так и для решения прикладных задач вне математической статистики. В частности, после создания алгоритма обработки экспериментальных данных можно «отработать» этот алгоритм еще до поступления самих экспериментальных данных путем их замены «псевдоэкспериментальными данными», полученными с помощью моделирования случайных компонент. Конечно, на этапе отработки алгоритма и формирования псев- доэкспериментальных данных необходимо учитывать всю имеющуюся у исследователя информацию о возможной области изменения будущих реальных экспериментальных данных.
При решении прикладных задач методом статистического моделирования, когда эти задачи не несут в себе элемента случайности, его вносят искусственно по следующей схеме. Обозначим через и решение задачи (и может быть скаляром, вектором, функцией, вектор-функ- цией и т. д. в зависимости от конкретной задачи). Подберем такую случайную величину £, что М£ = и. Тогда, осуществив достаточно большое число реализаций величины £ и получив выборку ее значений Xi, . . . , Хп, получают оценку и^ например взяв в качестве и среднеа- _ 1 п рифметическую и = — Xj.
Основная трудность состоит в подборе такой случайной величины £, что М £ = и. Конечно, подбор £ неоднозначен и, если имеется возможность выбора, то следует отбирать случайную величину £ с наименьшим разбросом относительно среднего значения и и учитывать (часто в первую очередь) вычислительные затраты на реализацию каждого
значения Х^ величины £. В конечном итоге выбор £ диктуется объемом вычислительных затрат на получение оценки и с заданной точностью. Рассмотрим несколько приемов вычисления определенных интегралов с помощью метода статистического моделирования.
Пусть требуется вычислить интеграл
J =J =/(ж) dx,/(ж) dx,(6-8)(6-8)
J =
J =
/(ж) dx,
/(ж) dx,
(6-8)
(6-8)
GG
G
G
G
где ж — m-мерный вектор. Введем m-векторную случайную величину ту с плотностью р(х) > 0, х € G, и скалярную случайную величину £ = = f(p)/p(p)- Имеем
ме = [ ^-рыа$ = j.
J р(ж)
Поэтому получаем оценку интеграла
(6-9)(6-9)7= 1 "V Z№)П 2-, р^’z=l
(6-9)
(6-9)
где Х^ г = 1, ... 7п — повторная выборка значений случайной величины р. В дальнейшем предполагается, что интеграл (6.8) сходится абсолютно.
Оценка (6.9) несмещена и состоятельна (по вероятности) в силу закона больших чисел (теорема Хинчина). Оценка (6.9) определена для любой плотности р(х) > 0, х € G, j р(ж) dx = 1.
G
Точность оценки (6.9) определяется ее дисперсией. Имеем: D J =
= —D £. Таким образом, следует выбирать £ с наименьшей дисперсией, 72
или, что то же самое, с наименьшим М£2. Имеем
М£2 = f £vip^dx = Г 11М dx.| PV ’р(ж)
Следовательно, выбор наилучшей оценки (6.9) сводится к выбору такой
р(х) > 0, х € G, для которой интеграл —dx принимает наимень- G Р Ж
шее значение. Используя неравенство Коши-Буняковского, имеем
2dx2dx(Vp^^dx(Vp^^dx
2
dx
2
dx
(Vp^^dx
(Vp^^dx
Положим
р(ж) =^(ж)| .(6.10)
] |/(ж)|ск
G
Имеем
М^2 = f ^ dx = f dx f |/(ж)| dx = ( f |/(ж)| dx\ .р(^ yfw\ уп /
Поэтому выбор р(х) согласно (6.10) обеспечивает наименьшее значение дисперсии оценки (6.9). К сожалению, определение плотности согласно (6.10) требует знания нормировочной константы | |/(ж)| (/ж, G
которая так же, как исходный интеграл (6.8), неизвестна. Несмотря на эту принципиальную трудность определения оптимальной плотности, формула (6.10) подсказывает, какую р(х) следует выбирать, а именно: р(х) должна «повторять» глобальное изменение |/(ж)| в области G. Пусть функция /а(ж) достаточно хорошо аппроксимирует глобальное изменение /(ж) и интеграл | |/а(ж)| dx достаточно легко подсчитыва-
G
ется. Тогда плотность
р(ж) = |Л(ж)| • (j |Л(ж)| dx^
G
обеспечивает близость оценки (6.9) к оптимальной оценке с р(ж) из (6.10).
Существуют другие приемы уменьшения дисперсии оценки (6.9). Все эти приемы основаны на использовании дополнительной информации об искомом интеграле или подынтегральной функции /(ж). Пусть, например, функция /о(ж) близка к /(ж) в £2-метрике, т. е.
Г (/(ж)-/о(ж))2
J р(ж)
где е мало, и интеграл J /о(ж) d^ = Jo известен. Введем скалярную
G
случайную величину
£ — Jo +£ — Jo +fW - foMpWfW - foMpW
£ — Jo +
£ — Jo +
fW - foMpW
fW - foMpW
и оценку
/№М№)р№)/№М№)р№)(6.П)(6.П)
/№М№)р№)
/№М№)р№)
(6.П)
(6.П)
Имеем
М£ = J,
dc = d (f^-^A = [№kMd$ _ (J_ Jo)2 e2.
Поэтому для дисперсии оценки справедливо неравенство D J е2/п. Такой способ учета дополнительной информации с получением оценки (6.11) называется методом выделения главной части.
Подчеркнем, что применение методов Монте-Карло дает значительное преимущество по сравнению с классическими детерминированными методами вычисления интегралов при увеличении размерности т области G (при увеличении кратности интеграла (6.8)).
Рассмотрим теперь решение линейных интегральных уравнений вида
Ф^ = j К^х^ х^ф^х^ dx' + /(ж)(6.12)
G
методами Монте-Карло.
Введем линейный интегральный оператор
Кф(х) = j К (ж, ж') ф (ж') dxf.
G
Обозначим К3 ф результат j-кратного применения оператора К к функции у? (ж) и
(Л = j
G
— скалярное произведение функций /(ж) и ф^х\ Таким образом, (/, К3 ф) — скалярное произведение функции /(ж) и функции К3 ф^ полученной в результате j-кратного применения оператора К к функции ф(х\ Например,
К2ф(х) = j К(ж, ж') j К^х х'^ф^х"^ dx" dx' = j К2(ж, х'^ф^х'^ dx
GGG
где
КДж, ж') = j К^ х")К{х"xf) dx"G
— дважды итерированное ядро. Для произвольного j имеем
К3ф^ = j Kj(x^ х')ф(х') dx'
G
гдегде
где
где
Kj(x,xf) = j Kj_i(x^ х^К^х", х') dx" G
— итерированные ядра.
Выберем в G такие плотность р(х) > 0 и условную плотность р^х | ж') > 0, что j р(ж) dx = j р^х | ж') dx = 1.
GG
Условную плотность р^х | ж') называют плотностью вероятностей перехода из точки х' в точку ж и часто обозначают р(х' -М ж).
Определим в G случайную траекторию
Тк — {ж0 > жх > . . . > х^^7
где жо — реализация случайной величины £о с плотностью р(х), Xj — реализация случайной величины ^ с плотностью p(xj | ж^-Д, j =
Введем совокупность скалярных статистик
К(жо,Ж1) К(Ж1,Ж2)К(ж^-1, Xj)
p(xi | Жо) р(ж2 | Ж1) ‘ ’ ‘ p^Xj | Ж7-Д ’
определенных для j = 1, . . . , к. Если положить wq = 1, то Wj = = Wj-1 • K^Xj-vX^fp^Xj I Xj-Ch j =
^(жД р(жо)^(жД р(жо)Определим совокупность скалярных случайных величин dj =
^(жД р(жо)
^(жД р(жо)
= wj= wjf(xj). Покажем, что М^7- = (у?, К3 f). Действительно,
= wj
= wj
м ^j = м 4^4pXj
PV®») P\®i I ®o) p($j | Xj-i) J
j <^(s0) ds j . . . j K(s0, зД.GG Gj <^(s0) ds j . . . j K(s0, зД.GG G. . K^Sj-x^ Sj)f(sj) dsi . . . dsj. . K^Sj-x^ Sj)f(sj) dsi . . . dsj
j <^(s0) ds j . . . j K(s0, зД.
GG G
j <^(s0) ds j . . . j K(s0, зД.
GG G
. . K^Sj-x^ Sj)f(sj) dsi . . . dsj
. . K^Sj-x^ Sj)f(sj) dsi . . . dsj
= j (p(s0)K3 f(s0) ds = ^ф, К3 f).
G
Таким образом, реализовав n случайных траекторий
Тк = (Т/м, • • •, Ткп),
получаем оценки Uj скалярных произведений Uj = (у?, К3 f) согласно формулам
=(в-13)
где dji^ % = 1, . . . , п — реализации случайной величины dj на г-й траектории Tj^.
С помощью оценок (6.13) скалярных произведений (у?, К3 f) можно получить оценки значений функции К3 /(жо). Действительно, пусть
Ф^х^ = 5(х — x^Y Тогда (5(х — x^Y Ю/(ж)) = Ю/(жо). Возьмем в качестве р(х) = б^х — жо), т. е. все траектории Т^ «стартуют» из фиксированной точки жо и ^7о = ^jf^jY Имеем: М^^о = ^fJ f^oY
Теперь все готово для построения приближенного решения интегрального уравнения (6.12). Действительно, если спектральный радиус линейного интегрального оператора К из (6.12) меньше 1, то единственное решение ф^ уравнения (6.12) представимо в виде ряда Неймана:
ф^ = /(ж) + Kf(x) + K2f(x) + ... (6.14)
Ограничимся в (6.14) конечным числом слагаемых. Тогда в фиксированной точке ж = жо
ф(х0) to /(ж0) + Крх0) + ... + Kkf(x0) (6.15)
и приближенные значения слагаемых KJf(xoY 3 = 17• • • 7&7 правой части (6.15) могут быть оценены по формулам (6.13), где i3j^ г = 1,. . . , п, — реализации случайной величины i)j на г-й траектории Tji с фиксированной точкой «старта» ж = жо для всех траекторий.
Если уравнение (6.12) описывает стационарное распределение ф(х) частиц, мигрирующих в объеме G, а К^х^ xf) — индикатриса рассеяния частиц и /(ж) — функция распределения независимых источников частиц, то 1Р/(жо) определяет «долю» в стационарном распределении j раз рассеянных частиц. Координаты траектории Т^ в этом случае являются координатами точек изменения направления движения частиц за счет последовательных актов их рассеяния.
Глава 7
МЕТОД НАИМЕНЬШИХ КВАДРАТОВДЛЯ ЛИНЕЙНЫХ МОДЕЛЕЙ
С НЕОПРЕДЕЛЕННЫМИ ДАННЫМИ
Метод наименьших квадратов (МНК) — один из наиболее широко используемых методов при решении многих задач восстановления регрессионных зависимостей. Впервые МНК был использован Лежандром в 1806 г. для решения задач небесной механики на основе экспериментальных данных астрономических наблюдений. В 1809 г. Гаусс изложил статистическую интерпретацию МНК и тем самым дал начало широкому применению статистических методов при решении задач восстановления регрессионных зависимостей.
В дальнейшем (кроме гл. 10) в монографии будут рассматриваться задачи линейного регрессионного анализа.
Пусть и = (161, • • • 7 ит^Т — m-мерный вектор искомых параметров, / = (/1,. . . , fn)T — 72-мерный вектор, полученный из эксперимента и тем самым отличающийся от неизвестного точного вектора fT на вектор случайных погрешностей г = (si,. . . ,еп)т, т. е. / = fT + е. Известно, что искомый вектор и связан с вектором fT соотношением
Лгб = /Т,(7.1)
где А — заданная (72 х тттфматрица. Заметим, что в § 9.5 будет рассмотрен случай, когда элементы матрицы А также имеют случайный характер.
Систему (7.1) запишем в виде
Ап = / - е.(7.2)
Задача нахождения приближенных значений и^ «удовлетворяющих» системе (7.2), и будет основной задачей линейного регрессионного анализа.
Подчеркнем, что значения вектора случайных погрешностей е неизвестны, известен лишь закон распределения случайного вектора е или даже не сам закон, а только некоторые его характеристики.
Примеры линейных моделейс неопределенными данными
Прежде чем переходить к изложению МНК в рамках классической схемы, приведем примеры прикладных задач, сводящихся к задачам линейного регрессионного анализа.
Пример 7.1. Пусть между двумя физическими величинами ж, у
существует функциональная зависимость вида у = 52 ^.v'^.j (ж); гДе j=i
у>1(ж),. . . , фт^х^ — известные функции, ni, . . . , ит — параметры, значения которых неизвестны. Предположим, что производится серия фиксаций ж^, г = 1,. . . , п, переменной ж и при ж = ж^ проводятся измерения т/^, г = 1,. . . , п, переменной у. причем измерения yi, содержат случайные погрешности е^. Таким образом, имеем систему равенств
У» - е» =г = 1,...,п.(7.3)
3 = 1
Введем векторы
/ = (yi, • • • ,Уп)Т, е = (еь ■ • ■ ,еп)Т, и = (ui,..., um)T
и (п х т)-матрицу A, А^ = kp^x^Y г = 1, . . . ^п, j = 1, . . . , m. Тогда система равенств (7.3) запишется в эквивалентном виде (7.2).
Пример 7.2. Пусть между величинами у и Ж1,. . . , хт существует
функциональная зависимость вида у = 52 ujxj- гДе (^ь • • • ? ит)Т — 3 = 1
параметры, значения которых неизвестны. Для восстановления значений параметров и^ j = l,...,m, фиксируются значения ж^, г = 1, . . . , п, переменных х^ j = 1,. . . , m, и при Xj = ж^, j = 1, . . . , т, производятся измерения у^ г = 1,...,п, переменной у. причем измерения у^ содержат случайные погрешности е^.
Таким образом, имеем систему равенств
Уг - ^i = 52 ujxj^ г = 1,. . . , п.(7.4)
з=1
Если обозначить / = (?/], . . . , уп)Т, £ = (^1 ? • • • ^п)Т? ^ = = (ui,. . . , nm)T, А — (п х т)-матрица с элементами A^j = ж7^, то система (7.4) запишется в эквивалентном виде (7.2).
Пример 7.3. Рассмотрим интегральное уравнение первого рода
ь
К(х^ s)u(s) ds = fT(xy(7.5)
где ядро К (ж, s) задано, п(ж) — неизвестная искомая функция, а вместо fT(x) известна ее реализация /(ж), измеряемая с погрешностью, т.е. /(ж) = /т(ж) + е(ж), е(ж) — случайная функция погрешностей.
К интегральному уравнению первого рода (7.5) сводятся многие задачи идентификации изучаемого объекта по измерениям косвенной
92 Метод наименьших квадратов для линейных моделей [Гл. 7 информации об этом объекте. В приложениях К(ж,б) часто играет роль так называемой аппаратной функции.
Введем сетку а ^ хх < х^ < • • • < хп ^ b и будем рассматривать равенство (7.5) только в узлах х = x^i = 1, . . . ^т. Проведем дискретизацию интегрального уравнения (7.5), заменяя интеграл в левой части (7.5) интегральной суммой
Е K^i’ Sj)«jU(Sj) = Mxi\
где aj зависят от выбранной интегральной формулы. Например, применяя формулу трапеций, имеем aj = As^- = s^+i — Sj.
Поэтому дискретный аналог интегрального уравнения (7.5) имеет вид
52 К^г. Sj)aju(sj) = f(xi) - E^Xi), г = 1, . . . , п. (7.6)
Обозначим
/ = (/(ж1),..., /(ж„))т, е = (е(ж1),..., е(ж„))т,
и = (u(si),..., u(sm))T,
А — (п х т)-матрица с элементами A^j = К(ж^ sj)aj-
Тогда система (7.6) запишется в эквивалентном виде (7.2).
Пример 7.4. В приложениях часто приходится рассматривать системы интегральных равенств вида
ь
Ki(s)u(s) ds = aiTl z = l,...,n,(7-7)
где K^s^ — известные функции, и^ — искомая функция, aiT — числа.
К системе интегральных равенств вида (7.7) сводятся, например, многие задачи спектрометрии и вычислительной томографии.
Из эксперимента известны не точные значения aiT^ а их приближенные значения а^ т. е. а^ = aiT + е^ где Ei — случайные погрешности.
Проведем дискретизацию системы интегральных равенств (7.7). Вместо системы (7.7) получим ее дискретный аналог
52 ^(Sj^j^Sj) = СЦ — £^ Z = 1, . . . , П,(7-8)
J = 1
где известные коэффициенты aj зависят от выбранной интегральной формулы.
Если обозначить / = (cti,..., ап)Т, £ = (si, . . . , £п)т, А — (п х т)-матрица с элементами A^j = Ki(sj)aj, то систему (7.8) можно записать в эквивалентном виде (7.2).
Замечание 7.1. При дискретизации интегрального уравнения (7.5) и системы интегральных равенств (7.7) всегда необходимо соблюдать выполнение неравенства п ^ т.
Классическая схема МНК
Рассмотрим основное уравнение (7.2) линейного регрессионного анализа. В рамках классической схемы МНК вводятся следующие предположения.
Отсутствует какая-либо априорная информация о векторе искомых параметров и, т. е. априори предполагается, что и € Rm\
Векторы ей/ случайные;
Отсутствуют систематические смещения в /, т. е. Ms = О — нулевой вектор;
Ковариационная матрица вектора е дается равенством К£ = = сг2!^ где 1п — единичная матрица порядка п, т. е. компоненты Ei попарно не коррелируют и имеют одинаковую дисперсию ст2 (ст2 может быть неизвестной);
Матрица А — детерминированная и полного ранга, т. е. rank А = = т.
Введем функционал
Q^ = \\< = \\f-A<,(7.9)
\1/2
>2 s* I — евклидова норма.
г=1
Согласно МНК за оценку искомого вектора и принимается вектор, который минимизирует сумму квадратов отклонений:
Ымнк = arg minQ(u).(7.10)
Найдем явный вид МНК-оценки. Имеем
Q^ ^у-АиЛ- Аи) = ||/||2 - 2(/, Аи) + (Аи, Аи) =
= II/II2 - 2(и, АТЛ + ^АтАи, и),
где Ат — транспонированная к А матрица.
Поскольку на и априори не накладывается никаких ограничений, МНК-оценка является корнем уравнения grad^ Q(n) = 0. Имеем
gradu Q(u) = — 2АТ f + 2АТ Au.
Поэтому получаем равенство ЛтЛпмнк = Ат f. Так как А — матрица полного ранга, то симметричная (т х т)-матрица Ат А — положительно определена. Следовательно,
«МНК = (Л^Л)"^/.(7.11)
Очевидно, что при и = пмнк Функционал Q(n) имеет единственный (глобальный) минимум, поскольку QW = 2АТ А — положительно ди определенная матрица.
Как и любая оценка, МНК-оценка пмнк — (векторная) случайная величина. Из (7.11) следует, что пмнк — линейная оценка относительно вектора экспериментальных измерений /. Исследуем некоторые свойства МНК-оценки (7.11). Имеем: MwMHK = М (ATA)~1ATf = = (АтА)-1 АТМ У = (АтА)-1АтАи = п, т. е. МНК-оценка не смещена.
Найдем ковариационную матрицу Ки МНК-оценки пмнк. Имеем: Ки = BKfBT, где В = (Ат А)-1 АД Кр — ковариационная матрица вектора измерений /. Но Кр = К£ = а21п, Вт = А(АТА)-1. Поэтому Ки = (Ат А)-1 Ат ст21пА(Ат А)-1. Итак,
Ки = ^^Д)”1.(7.12)
Из (7.12), в частности, следует, что К^ стремится к нулевой матрице при ст2 —>- 0, т. е. МНК-оценка (7.11) сходится в среднем квадратичном к истинному значению вектора и искомых параметров при неограниченном увеличении точности измерения каждой компоненты вектора /.
Заметим, что сама МНК-оценка (7.11) не зависит от дисперсии ст2 и тем самым определяется однозначно и при неизвестной ст2. В то же время ковариационная матрица МНК-оценки (7.11), определяющая точность этой оценки, пропорциональна ст2.
Итак, МНК-оценка (7.11) линейна и несмещена. Но существует бесконечно много линейных несмещенных оценок и искомого вектора и (все они имеют вид й = Rf, где R — детерминированная (п х т)- матрица). Спрашивается, какое место среди всех линейных несмещенных оценок занимает МНК-оценка (7.11)?
Теорема 7.1 (Гаусса-Маркова). Пусть выполнены предположения 1-5 классической схемы МНК. Тогда МНК-оценка (7.11) эффективна в классе всех линейных несмешанных оценок. )
Доказательство. Рассмотрим любую линейную несмещенную оценку й = Rf. Имеем
М й = и = /?М У = RAu.
Поэтому RA = 1т. Обозначим L = R — (АТА)-1 АТ. Имеем
LA = RA - ^Ат АД1АТА = Im - /т = О
— нулевая матрица. Далее, для ковариационной матрицы К^ оценки й получаем
Кй = RKfRT = RCT2InRT = ct2RRt = cr2[L + (АТАДТАТ^ x
х [L + (АтАутАтУ = a2\L + (АтАутАт^ [LT + А(АТА)~^ =
= cr2[LLT + LA(AT Ay1 + (L A(AT Ау^У + (ЛТЛ)-1] =
= a2\(ATAy^LLTY
Поскольку симметричная (m x ш)-матрица L LT неотрицательна, то ^ATAy1 + LLT ^ {ATA)~1 откуда K^ ^ K^. Теорема доказана.
Из теоремы Гаусса-Маркова, в частности, следует, что дисперсия любой компоненты МНК-оценки (7.11) не превосходит дисперсию этой компоненты любой другой линейной несмещенной оценки, т. е. МНК- оценка совместно эффективна в классе линейных несмещенных оценок. Итак, МНК-оценка (7.11) является эффективной в классе линейных несмещенных оценок и по совокупности параметров ni, . . . , ит, и по каждому параметру и^ j = 1, . . . , m, в отдельности.
Иногда необходимо получить оценку не самого вектора п, а вектора и = Си, где С — заданная детерминированная (& х т)-матрица. Справедливо следующее обобщение теоремы Гаусса-Маркова: при выполнении условий классической схемы МНК-оценка ^Мнк = ^^мнк эффективна в классе всех линейных несмещенных оценок.
Подчеркнем, что в этом разделе всюду идет речь о классе линейных несмещенных оценок, использующих лишь информацию об измерениях компонент /1, . . . , /п вектора / из (7.2).
Часто дисперсия ст2 погрешностей измерений У неизвестна. Оказывается, что в этом случае можно получить оценки не только искомого вектора п, но и дополнительного неизвестного параметра ст2. Обозначим /мнк = ^4пмнк, е = / — /мнк. Компоненты eb . . . , еп вектора е называют невязками, а сам вектор е — вектором невязок.
Введем положительную статистику
Теорема 7.2. Статистика s2 — несмешанная оценка дисперсии а2.
Доказательство. Имеем
е = Аи + е — Лимнк = Аи + £ — А^АТ Ay1 АТ f =
= Аи + е — А(АТ А)-1 Ат (Аи + s) =
= Аи + Е - Аи - А(АтАУ1Ате = (/п - А(АтАугАту = Се,
где С = 1п — А(АТА)-1 Ат. Поскольку
С2 = Уп ~ АуУАу^У2 = U- 2А(АТАУТАТ +
+ А(АТАУ1АТА(АТАУ1АТ = 1п - А(АтАутАт = С,
то С — проекционная матрица. Кроме того, С — симметричная матрица. Далее,
М||е||2 = Мете = МетСтСе = МетСе = М f^ f^ C^EiEj = г=1j=l
= ст2 у^ Сц = (J2 tv С = а2(п — tr(A(ATA)-x АТ)) = сг2(п — ш), г=1
так как tr (А(АТА)-1 Ат) = tr ((АтА)-1 АтА) = tr Im = m.
Итак, М s2 = а2. Теорема доказана.
Если ст2 неизвестна, то в качестве несмещенной оценки ковариационной матрицы МНК-оценки (7.11) можно взять матрицу К^ = = з\Ат А)-1.
Заметим, что корреляционная матрица сог(п) МНК-оценки (7.11) не зависит от ст2 и полностью определяется матрицей А.
Рассмотрим вопрос о состоятельности МНК-оценки (7.11) при п —> —> ос, т. е. при неограниченном увеличении числа уравнений системы (7.2). В задачах регрессии увеличению п соответствует увеличение числа измерений функции у. Ясно, что не всякое неограниченное увеличение числа уравнений системы (7.2) будет приводить к неограниченному увеличению точности МНК-оценки (7.11). Например, если в задаче восстановления функциональной зависимости у = ni + и^х неограниченное увеличение п происходит только за счет неограниченного увеличения числа измерений yi при одном фиксированном значении Xi = жо, то МНК-оценка (7.11) не будет состоятельной.
Поскольку при увеличении п изменяется матрица А (добавляются новые строки), то вместо одной системы (7.2) рассматривается последовательность систем вида
Апи = fn - £п,(7.14)
где Ап — последовательность матриц с неограниченно увеличивающимся числом строк п.
Для того чтобы последовательность МНК-оценок
ип = (Л^Л)"1^/»(7.15)
обладала свойством состоятельности, необходимо наложить определенные ограничения на последовательность матриц Ап исходной системы (7.14).
В дальнейшем предполагается, что для модели (7.14) выполнены все пять предположений классической схемы МНК.
Напомним, что состоятельность в среднем квадратичном последовательности несмещенных оценок ип эквивалентна стремлению к нулевой матрице последовательности ковариационных матриц Кп оценок ип. Поэтому состоятельность в среднем квадратичном последовательности МНК-оценок (7.15) при п —У ос эквивалентна соотношению (А^А^,)-1 —> 0 — нулевая матрица при п —> ос.
Теорема 7.3 (Эйкер). Для того чтобы последовательность МНК- оценок (7.15) была состоятельной в среднем квадратичном, необходимо и достаточно выполнение соотношения Х^ДА^ Ап) —у +ос при п оо. Здесь Хт\ДА^Ап) — минимальное собственное значение симметричной положительно определенной матрицы А^ Ап.
Доказательство. Пусть йп сходится в среднем квадратичном к и, т. е. (А^ Ап)-1 —>- 0 при п —>- ос. Из последнего соотношения следует, что все собственные значения последовательности матриц (А^ АД-1 стремятся к нулю, в частности Ат,ах(А1£Дп) 1 о. Но тогда Ат1п(Д^Д„) = = ЦАтахИ^Лп)-1 н- ОО. Пусть теперь Amin(A^Д„) -^ оо. Тогда Атах(Л^Лп)"1 = 1/А„ нп(^п^п) —> 0 при п —>- ос. Следовательно, все собственные значения последовательности матриц (А^Ап) стремятся к нулю, что эквивалентно стремлению к нулевой матрице последовательности матриц (А^ Ап)-1. Теорема доказана.
Условие Эйкера,
Aminin Аг) -> +ОО При П ОО,(7-16)
являющееся необходимым и достаточным для состоятельности в среднем квадратичном, в общем случае довольно трудно проверить. Поэтому было предложено несколько более легко проверяемых условий, достаточных для состоятельности в среднем квадратичном последовательности МНК-оценок (7.15).
Теорема 7.4. Пусть существуют такие последовательность положительных чисел ап —> 0 и положительно определенная симметричная (т х т)-матрица R что Нгщ^^ апА^Ап = R. Тогда последовательность МНК-оценок (7.15) состоятельна в среднем квадратичном.
Доказательство. Имеем: Кп = (А^АД-1 = ап(апА^ Ап)-1. Но (а^А^АД —> R-1 при п —> ос. Поэтому Кп —у 0. Теорема доказана.
Пример 7.5. Рассмотрим задачу восстановления функциональной зависимости у = их, где и — неизвестный параметр, х — независимая переменная. Пусть измерения производятся в точках х^ = г Аж, г = 1, . . . , п, где Аж — расстояние между двумя соседними точками фиксации Xi. Имеем: Ап = Аж(1,2, . .., п)Т — матрица-столбец, А^ = Аж(1, 2,. . . , н) — матрица-строка, А^Ап = (Аж)2 ^ г2 = г=1
= (Аж)2н(н + 1)(2н + 1)/6 — положительное число. Имеем: Д^А(п^(Аж)2/3 при п —ос. Поэтому условие теоремы 7.4
выполнено, и, следовательно, последовательность МНК-оценок йп =
= 6(н(н + 1)(2н + 1)Аж)-1 У^ iyi сходится в среднем квадратичном г=]
к точному значению параметра и. Конечно, в данном примере состоятельность в среднем квадратичном легко проверяется непосредственно,
7 А.В. Крянев, Г.В. Лукин
так кактак как
так как
так как
при П —> (X).при П —> (X).п(п + 1)(2п + 1)(Дж)2п(п + 1)(2п + 1)(Дж)26<72
при П —> (X).
при П —> (X).
п(п + 1)(2п + 1)(Дж)2
п(п + 1)(2п + 1)(Дж)2
Приведем еще один достаточный критерий состоятельности в среднем квадратичном последовательности МНК-оценок (7.15).
Определим матрицы сопряженности Rn равенством
Матрица сопряженности Rn симметрична и положительно определена, причем на ее главной диагонали стоят единицы, а элемент (Rn)ij — косинус угла между двумя векторами — г-м и j-м столбцами матрицы Ап.
Теорема 7.5. Пусть
1° (A^An)jj = У^ аТ —> (X) при п —У оо для любого j = 1,. . . , m; z=l
2° Пш^г^оо Rn = R. где R — симметричная положительно определенная (т х т) -матрица.
Тогда последовательность МНК-оценок (7.15) состоятельна в среднем квадратичном.
Доказательство. Введем диагональные (ш х т)-матрицы
D„ = diag (ДаТмЙ •D„ = diag (ДаТмЙ •
D„ = diag (ДаТмЙ •
D„ = diag (ДаТмЙ •
Имеем: RH = D^A^AnD^, откуда А^Ап = DnRnDn. Поскольку \R\ ф 0, то Amin(Я) > 8 > 0. Поэтому существует такое но, что для всех п ^ по выполнены неравенства Amin(^n) ^ 8. Имеем: Amin(^n^n) = = Xm-m(DnRnDn) > А^iin (T^n) Amin №) ^ 6 min (A^A^jj —> ос при n —> oo. Итак, выполнено условие Эйкера (7.16). Теорема доказана.
Пример 7.6. Рассмотрим задачу восстановления функциональной зависимости у = их + и^х^ где их^ и^ — неизвестные искомые параметры, х — независимая переменная. Пусть измерения производятся в точках х г = г Аж, г = 1, . . . , п, где Аж — расстояние между двумя соседними точками фиксации ж^. Имеем
"<" + 1>д1\2п(п + 1)(2п + 1) ^дж)2^"<" + 1>д1\2п(п + 1)(2п + 1) ^дж)2^/ 1 Дж \/ п
"<" + 1>д1\
2
п(п + 1)(2п + 1) ^дж)2^
"<" + 1>д1\
2
п(п + 1)(2п + 1) ^дж)2^
2Дж .т . _
Vf пдт/
Здесь Ап — (п х 2)-матрица, А^Ап — симметричная положительно определенная (2 х 2)-матрица. Матрицы сопряженности даются равен-
ствами
RRV|\21 ,V|\21 ,при П —У ОС.при П —У ОС.
R
R
V|\
2
1 ,
V|\
2
1 ,
при П —У ОС.
при П —У ОС.
Следовательно, условия теоремы 7.5 выполнены.
Выше была доказана несмещенность оценки (7.13) неизвестной дисперсии ст. Рассмотрим теперь состоятельность оценки (7.13) при П —У ОС.
Теорема 7.6. Если выполнены предположения классической схемы МНК, то оценка (7.13) состоятельна по вероятности при п —> ос без дополнительных условий.
Доказательство. При доказательстве теоремы 7.2 было установлено равенство е = Се, где С = 1п — Ап(А^ Ап)-1 А^ — проекционная симметричная матрица. Поэтому
=еТ е = -J— етСтСе = -^—£тСе =
п — mп — mп — m
n — mn — m
n — m
n — m
В силу закона больших чисел^ е2 —У 0 по вероятности при п —>- г=1
—> ос. Покажем, что £Т АД АТ. АД-1 AT. £ —> 0 в среднем квад-
п - m
ратичном при п —>- ос. Действительно, поскольку матрица (А^ Ап)-1 симметрична и положительно определена, то существует такая невырожденная (т х т)-матрица Рп, что (А^Ап)-1 = РпР^. Следовательно, А^Ап = (Р^Д1 PnV откуда получаем равенство Р^А^АпРп = = /т, где 1т — единичная матрица порядка т. Обозначим гп = = (п — т)-1^2 Р^ А^е. Имеем
1Ы|2 = ^ = —-—еТАпРпР^А^е = —-—гтАп(А'^АТ1) ^^е.п — mп — m х
Следовательно, достаточно доказать соотношение гп —У 0 в среднем квадратичном при п —У ос. Имеем: Мгп = 0 — нулевой вектор. Для ковариационной матрицы Кт вектора гп получаем соотношения
12
Kr = М (r„r^) = ——М (Р^ А^егтАпРп) =Р^ А^АпРп =
п — m v it it/ п _ m it it
Следовательно, КТ стремится к нулевой матрице при п —> ос, т. е. гп —У 0 в среднем квадратичном при п —У ос. Теорема доказана.
Последовательность МНК-оценок (7.15) при выполнении некоторых условий обладает еще одним замечательным свойством асимптотической нормальности.
Прежде чем переходить к выявлению этого свойства у последовательности МНК-оценок (7.15), напомним определение асимптотической нормальности для произвольной последовательности случайных векторов vn размерности т.
Обозначим М vn = ап , Vn — ковариационная матрица вектора vn. Предполагается, что матрицы Vn положительно определенные. Тогда существуют такие положительно определенные симметричные матрицы Vn Х^2, что Vn Т^Уп Х^2 = V”1. Введем последовательность нормированных векторов и^ = Vn ^(^п — ап\ Имеем: Mv^ = 0 нулевой вектор.
Для ковариационной матрицы V^ вектора и^ получаем равенства V» = Г-1/2ГпГ"1/2 = Г„"1/2Гп1/2Г„1/2Г-1/2 = 1т. Итак, ковариационная матрица нормированного вектора является единичной матрицей.
Говорят, что последовательность случайных векторов ип асимптотически нормальна, если закон распределения нормированных векторов и^ стремится к нормальному Л7(0, /т) при п —У ос.
Проведем нормировку последовательности МНК-оценок (7.15). Имеем
U° = 1 (Л^Лп)1/2(и„ - u) = 1 (Л^ЛД^^Л^ЛЛ^Л^/ - и) =
= (^п^п)1/2((Л^’Лп)-1ЛЛЛ„и + £) - и) =
= 1(л^лп)"1/2л^ = вп£,
где Вп = — (Л^ЛП)-1^2Л^ — (т х н)-матрица. Обозначим bnji, j = 1, . . . , т, г = 1, . . . , п, — элементы матрицы Вп.
Теорема 7.7. Пусть дополнительно к предположениям классической схемы МНК случайные величины е^, г = 1, . . . ,п независимы и их моменты третьего порядка равномерно ограничены. Тогда для асимптотической нормальности последовательности МНК-оценок (7.15) достаточно выполнения соотношения
bnji -> 0(7.17)
при п —У ос для всех j = 1, . . . т, г = 1, . . . , п.
Справедливость теоремы 7.7 следует из центральной предельной теоремы Ляпунова.
Теорема 7.8. Пусть выполнены условия теорем 7.4, 7.7 и апа^ —>- 0 при н —>- ос для всех г = 1, . . . , n, j = 1, . . . , т. Тогда
последовательность МНК-оцено^ (7.15) асимптотически нормальна и справедливо соотношение (ип — и) ~ Л7(0, сг2Н-1) при п ос.
Доказательство. Имеем
В„ = 1 (Д^Дп)-1/^^ = 1 (апД^Дп)-1/2^Д^.
Но (апА^Ап) х/2 —> R х/2, ДсД А^ —> 0 при п —> ос. Поэтому выполнено соотношение (7.17) теоремы 7.7. Далее, ковариационная матрица вектора (йп — и) дается равенством
Кй = ^- а2(А^Ап) 1 = <т2(апД£Дп)
Поэтому К^ —у ст2 ПгЛ при п —>- ос. Теорема доказана.
Заметим, что соотношение (7.17) означает неограниченное уменьшение доли каждого отдельного измерения при неограниченном увеличении числа измерений.
Наличие свойства асимптотической нормальности последовательности МНК-оценок (7.15) позволяет утверждать, что при достаточно большом п закон распределения МНК-оценки (7.11) близок к нормальному Л7(?1, ст2 (Ат А)-1). Последнее позволяет, например, строить приближенные доверительные интервалы для каждой компоненты вектора и с тем большей точностью, чем больше п. Действительно, при достаточно большом п можно утверждать, что с вероятностью рдов истинное значение Uj принадлежит интервалу
^jMHK ^(Рдов)^^1^jMHK ^(Рдов)^^1< Uj< Uj^ ^jMHK +at^^ATA^j,^ ^jMHK +at^^ATA^j,
^jMHK ^(Рдов)^^1
^jMHK ^(Рдов)^^1
< Uj
< Uj
^ ^jMHK +at^^ATA^j,
^ ^jMHK +at^^ATA^j,
где
е s^2 dsе s^2 ds Рдов? Рдов?j = 1, . . . , т.j = 1, . . . , т.
е s^2 ds
е s^2 ds
Рдов?
Рдов?
j = 1, . . . , т.
j = 1, . . . , т.
1м— ехр (2тг)п/2сгп1м— ехр (2тг)п/2сгпДо сих пор предполагалось, что закон случайных величин е^ г = 1,. . . ,п, произволен. Предположим теперь, что случайные величины Ei распределены по нормальному закону. Тогда с учетом предположений классической схемы МНК совместная плотность вероятностей р£ (ж) совокупности случайных величин е определяется равенством
1
м— ехр (2тг)п/2сгп
1
м— ехр (2тг)п/2сгп
ре(ж) =
Равенство (7.2) дает реализацию случайной величины е = / — Аи^ и, следовательно, функция правдоподобия имеет вид
ц^ =ц^ =1То ехР(2тг) ' а1То ехР(2тг) ' а(f-A<(f-A^2<т2(f-A<(f-A^2<т2
ц^ =
ц^ =
1
То ехР
(2тг) ' а
1
То ехР
(2тг) ' а
(f-A<(f-A^2<т2
(f-A<(f-A^2<т2
ММП-оценка искомого вектора и определяется равенством пммп = = arg maxu L(u)^ которое в нашем случае эквивалентно равенству «ММП = ar§ min« НЛм - /II2-
Итак, если в рамках классической схемы МНК погрешности распределены по нормальному закону, то МНК-оценка (7.11) совпадает с ММП-оценкой. Поскольку случайная реализация / подчиняется нормальному закону МДТ <гНн\ а МНК-оценка — линейная комбинация компонент вектора /, то МНК-оценка (7.11) также подчиняется нормальному закону ЛГ(и, а2(АТ А)-1).
Замечательным дополнительным свойством МНК-оценки в случае нормального закона распределения погрешностей является ее эффективность в классе всех несмещенных оценок.
Теорема 7.9. Пусть е ~ АДО, о-21п). Тогда МНК-оценка (7.11) является эффективной в классе всех несмегценных (линейных и нелинейных) оценок.
Доказательство. Для любой несмещенной оценки пп справедливо неравенство Фишера-Крамера-Рао
ки > г\
где
/ = M((grad„ln L(u))(grad„ In L(u))T)
— информационная матрица Фишера. Имеем
In L(u) = — ^ In (2тг) — п In сг — ^^ In \\Аи — /||2.
Поэтому
gradu In L(u) = АТ(f — Au) = AT e.
стCT
Отсюда
(grad„ In L(u^T = ДТА,CT
следовательно,
(gradu In L(n))(gradu In L(u))T = ^ AT eet A.
CT
Поэтому
/ = M (^ AT££T A) = ^ ДТМ (££t)A = ^ AT A,
CTCTCT
откуда
Г^а\АтАу\
т. e. в неравенстве Фишера-Крамера-Рао для МНК-оценки (7.11) достигается равенство. Теорема доказана.
Часто регрессионную модель (7.1) используют для подсчета значе
ния линейной комбинации у = У^ ^.ЛЧ = аТui гДе а — заданный век- j=i
тор. Эту задачу называют прогнозом для у. Например, при восстановлении функциональной зависимости необходимо знать значения функции не только в точках фиксации независимой переменной Ж1, . . . , хп. где производятся экспериментальные измерения функции, но и при других значениях независимой переменной. Прогноз по формуле
Шнк = «тймнк(М8)
будем называть МНК- прогноз ом.
Теорема 7.10. МНК-прогноз (7.18) несмещен и эффективен в классе всех линейных несмещенных прогнозов.
Доказательство. Имеем
Мумнк = МатиМнк = атМимнк = Ли = у,
т. е. МНК-прогноз несмещен. Любой линейный несмещенный прогноз у имеет форму у = атщ где й — линейная несмещенная оценка щ т. е. й = Rf и RA = Im. Обозначим L = R — (АтЛ)-1 Ат. При доказательстве теоремы 7.1 было показано, что LA = 0. Имеем
^(Умнк) = <т2ат(ДтД)-1а,
<?^ = aTRKfRTa = a2aTRRTa = ^aT<L + ДТД)"1ДТ) х
х UT + Д(ДТД)-1)а = ст^ат^АтД)-1 + LLT)a =
= а1 ат ^Ат А^-1 а + а^атLLTа ^ сг2(умнк).
Последнее неравенство следует из неотрицательности симметричной матрицы LLT. Теорема доказана.
Если в предположениях классической схемы вектор погрешностей е распределен нормально, то МНК-прогноз (7.18) распределен по одномерному нормальному закону М(у^ сДат(АтЛ)-1 а) и является эффективным в классе всех несмещенных прогнозов (линейных и нелинейных).
Обобщения классической схемы МНК
В настоящем параграфе будут рассмотрены обобщения классической схемы МНК, связанные с отказом от выполнения тех или иных предположений классической схемы.
Начнем обобщения с отказа от предположения 4 классической схемы, вместо которого вводится следующее предположение: ковариационная матрица вектора е дается равенством К£ = o"2Q, где fl — положительно определенная (п х п)-матрица (о-2 может быть неиз-
104 Метод наименьших квадратов для линейных моделей [Гл. 7 вестной). Таким образом, теперь возможно наличие корреляционных связей между компонентами случайного вектора е.
Поскольку матрица fl симметрична и положительно определена, существует такая невырожденная матрица S, что fl = SST. Введем обозначения р = S~\f\ £ = S-1s, В = S-1A. Тогда регрессионная модель (7.2) эквивалентна системе
Ви = р-^(7.19)
Имеем
M^MS-^^ о,
К^ = S^K^f = ^S-WT = сг2 S-1 S ST (ST)-1 = d2In.
Таким образом, регрессионная модель (7.19) удовлетворяет всем предположениям классической схемы МНК. Следовательно, МНК- оценка искомого вектора и определяется равенством
ймнк = arg min Q<u\(7.20)
где Q^ = \\Ви - у>||2.
Преобразуем функционал Q(u). Имеем
Q(u) = (Ви - рТ(Ви -р = (S^Au - S^f^^S^Au - S"1 Л =
= (Au - ЛЧЗ-ТЗ-ЧАи -П- {Au - ПТ{88тГЧАи -Л =
= (Au - Л'Л^ЧАи - Л-
Итак, МНК-оценка (7.20) определяется равенством
Ымнк = arg min (Au - ЛТ^1~1(Аи - f).(7.21)
Имеем
«мнк = (B^^B^ = ((S-1 Ар S"1 АГ1 (S-1 Af 8"Л =
= (Ат (S-1)T S-1 А)-1 Ат (S-1)T 8-Л = (ATn^ApiATn.-1/.
Следовательно
«МНК = (АТ^А^АТ^-Л.(7.22)
Оценку (7.22) принято называть взвешенной МНК-оцен^ой Гаусса- Маркова.
Взвешенная МНК-оценка (7.22) несмещена. Действительно,
МЙмнк = (^TQ-MT)-MTQ-V = (ATfL-1A)-1ATfL-1AH = н.
Найдем ковариационную матрицу оценки (7.22). Имеем
ки = (ЛТ^-1Л)-1ЛТ^-1К/((ЛТ^-1Л)-1ЛТ^-1)Т =
= (тЧАТ^А^АТ^-^^А^^А)-1 = ^(A^-U)-1.
Здесь использована симметричность матриц (АТП ХА) 1 и Q 1 Итак,
Ки = <т2(ЛтП"1Л)-1.Ки = <т2(ЛтП"1Л)-1.(7.23)(7.23)
Ки = <т2(ЛтП"1Л)-1.
Ки = <т2(ЛтП"1Л)-1.
(7.23)
(7.23)
Теорема 7.11. При сделанных выше предположениях обобщенная МНК-оценка эффективна в классе линейных несмещенных сценок.
Схема доказательства теоремы 7.3 аналогична схеме доказательства теоремы 7.2.
Рассмотрим последовательность взвешенных МНК-оценок
Пп = (^п^п^п) ^n^nVn
для регрессионной модели Апи = fn — £п^ К£ = сг2Пп.
Теорема 7.12. Пусть выполнено условие Эйкера (7.16) и Amax(^n) С Л где г не зависит от п. Тогда последовательность взвешенных МНК-оценок йп состоятельна в среднем квадратичном.
Доказательство. Достаточно доказать, что Amin(v4^Q”1 Ап) —>- ос при п —> ос. Имеем
А1 > X . (Дт Д И •>
^тах ^тг /
~ Ат}п(Дп Дп) ос
при н —> ос. Теорема доказана.
Пусть теперь дополнительно к вышеуказанным предположениям вектор погрешностей е распределен по нормальному закону АДО, o"2Q). Тогда взвешенная МНК-оценка (7.22) будет ММП-оценкой. Действительно, функция правдоподобия для этого случая имеет вид
ЦгЛ = exp
'(Зтг)-/2^2^!1/2 Р I(2а2)J '
Следовательно,
«ммп = ar§ max Mu) = arg min (/ - Аи^ПЩ/ - Au) = uMHK-
Более того, сама взвешенная МНК-оценка будет распределена по нормальному закону ЛДщ сД(АтQ-1 А)-1).
Часто ст2 неизвестна. Из формулы (7.22) следует, что взвешенная МНК-оценка не зависит от о-2, но ковариационная матрица взвешенной МНК-оценки, определяющая точность этой оценки, пропорциональна ст2 (см. формулу (7.23)). Если о-2 неизвестна, то ее можно оценить по формуле
^2 _ (АнМНк ~ f)T^ ДАммнк — /)/у 24)
п — m'v '
Оценка (7.24) несмещена и состоятельна по вероятности при п —У ос.
При решении практических задач иногда ковариационная матрица fl погрешностей неизвестна и тогда вместо оптимальной взвешенной МНК-оценки (7.22) применяют МНК-оценку (7.11). Ясно, что в этом случае эффективность оценивания снижается. Спрашивается, сохраняются ли тем не менее такие свойства оценки, как несмещенность и состоятельность?
Имеем: Мпмнк = М (АТА)-1 Ат f = (АтА)-1 АТМ / = и^ т. е. оценка остается несмещенной без всяких дополнительных условий.
Предположим, что выполнены условия теоремы 7.12. Имеем
Кй = (А^А^А^К^А^А^ =
= <72(Л^Лп)-1Л^пЛп(Л^п)-1.
Поэтому
Атах(Кй) < <72Атах(Пп)Атах((Д^Дп)-1Д^Дп(Д^Дп)"1) =
2
= ^Amax((4^„)-1)Amax(Q„) <0
Amin)
при п —> ос. Следовательно, при вышеуказанных условиях МНК- оценка (7.11) состоятельна в среднем квадратичном даже при наличии корреляций между компонентами вектора погрешностей.
При решении многих задач кроме регрессионной модели (7.2) исследователь располагает дополнительной информацией о векторе и искомых параметров. В гл. 9 будут подробно рассмотрены методы учета дополнительной априорной информации, и особенно в условиях, когда в исходной регрессионной модели (7.2) «заложено» недостаточно информации о параметрах. Здесь же предположим, что дополнительная информация задана в виде системы равенств
Ви = 6,(7.25)
где В — заданная (к х т)-матрица ранга к. b — заданный вектор размерности к^ к < т.
Требуется на основе регрессионной модели (7.2) получить оценку й^ удовлетворяющую системе уравнений (7.25).
Пусть выполняются предположения классической схемы МНК.
Определим обобщенную МНК-оценку йОБ соотношением
woe = arg min ||Ди -/||2(7.26)
при условии (7.25).
Найдем оценку йОБ и выясним ее свойства.
Теорема 7.13. Оценка иОБ (7.26) единственна^ несмещена и дается равенством
иов = имнк + (АТ А) 1ВТС(Ь — Вимнк), (7.27)
где имнк — МНК-оцешш (7.11), С = (В(АТ А)-1 Вт)-1. Для ковариационной матрицы оценки и ОБ справедливо равенство
Кй = <т2 (А^А)”1 От ~ ВТСВкАТАуУ (7.28)
Доказательство. Для решения экстремальной задачи (7.26) с ограничениями (7.25) применим метод множителей Лагранжа. Введем функционал Лагранжа Q(u) = \\Аи — /||2 + аТ (Ви — Ь)^ где а — вектор множителей Лагранжа размерности к.
Имеем: Q(u) = (Аи — /, Аи — /) + ат (Ви — 6),
gradu Q(u) = 2АТ Аи - 2АТ f + Вт а = 0,(7.29)
откуда и = (АтА)-1 (Ат f — ^ Вта). Подставляя последнее выражение в (7.25), найдем вектор а = 2(В(АТЛ)-1 Вт)-1(Вймнк — ^)- Если теперь в уравнении (7.29) заменить а последним выражением, то получаем оценку (7.27).
Далее,
М ^ов = М ^мнк Т М (Л^Л) 1 ВтС(Ь — ^^мнк) = ^ +
+ (Ат А)-1 Вт С (Ь - Ви) = и,
Ky = LKu L^иммнк ’
где L — Im — (Ат А^-1 Вт С В. Следовательно,
Кй = <т2(/„ - (АтАу^СВ^А1,AVUm - ВТСВ^АТА^ =
= <т2((АтА)-1 - (АтА)"1 ВтСВ(АТА)-1)(/т - ВтСВ^АТАу^ =
= y^AVUm ~ втСВ(АТАру2 =
= <т2(АтАГЧ1т - ВтСВртАрг\ Теорема доказана.
Из доказательства теоремы 7.13 следует, что
Р = Im - ВтСвртАУ1
— проекционная матрица, и тем самым все ее собственные значения равны либо 1, либо 0. Можно показать, что Р — вырожденная матрица, т. е. по крайней мере одно ее собственное значение равно нулю.
Из формулы (7.28) следует, что
Кй = аЧАтА)-1 - аЧАтА)-1ВтСВ(АтА)-1 <
108 Метод наименьших квадратов для линейных моделей [Гл. 7 поскольку матрица (АТ А)-1 ВТ С В(АТ А)-1 симметрична и неотрицательна.
Итак, обобщенная МНК-оценка (7.27) эффективней МНК-оценки (7.11). Последнее связано с тем, что оценка (7.27) использует дополнительную информацию об искомых параметрах, даваемую системой (7.25).
Можно показать, что обобщенная МНК-оценка (7.27) эффективна в классе всех линейных несмещенных оценок, удовлетворяющих системе (7.25).
Если ранг матрицы В равен m (к = т\ то оценка (7.27) совпадает с единственным решением системы (7.25), а К^ = 0 — нулевая матрица. Действительно, имеем
С = (B(ATAV1BTV1 = (ВтГЧаТа)В"\
«об = «мнк + (ДТЛ)-1ВГ(ВГ)-1(ДГД)В-1(Ь - Вммнк) =
—«мнк+ В 1^—«мнк —В гЬ,
Кй = аЧАтАГЧ1т ~ ВТ(ВТ)-\АТА)В~1В(АТА)-1) =
= a\ATAy\lm - Im) = 0.
Итак, если к = ш, то система (7.25) содержит полную информацию об искомых параметрах, однозначно и точно (без погрешностей) их определяя, а регрессионная модель (7.2) становится ненужной.
В заключение этого параграфа сделаем несколько замечаний относительно численной реализации МИК.
Для нахождения МНК-оценок и ковариационных матриц, определяющих точность этих оценок, необходимо обратить матрицы:
— для МНК-оценки (7.11) — Ат А;
— для взвешенной МНК-оценки (7.22) — Q, Ат П-1 Ат;
— для обобщенной МНК-оценки (7.27) — Ат А^ В(А ГА) А Вг.
Матрицы Ат А, АтQ-1 Ат — размерности (m х m^ fl — размерности (п х п), В(АтА)-1 Вт — размерности (к х к).
Поскольку все матрицы Ат А^ Q, АТП-1А^ В(А ГА) А В1 симметричны и положительно определены, то для их обращения рекомендуется применять эффективный метод квадратного корня, созданный как раз для обращения симметричных матриц. В математическом обеспечении современных компьютеров имеются стандартные программы обращения симметричных матриц методом квадратного корня.
Большие вычислительные трудности возникают, когда матрица Ат А плохо обусловлена (в этом случае и матрица АТП-1 А будет также плохо обусловлена). Плохая обусловленность матрицы АтА означает, что регрессионная модель (7.1) содержит недостаточно информации об искомых параметрах и. В этих случаях необходимо использовать дополнительную априорную информацию о векторе и и применять
методы оценивания, позволяющие «соединять» всю информацию о векторе и. Подробно такие методы будут рассмотрены в гл. 9.
Метод наименьших квадратов и его применения представлены в работах [2,6,15,27,64,65,68].
Прогнозирование с помощью линейныхрегрессионных моделей
При решении прежде всего экономических задач, в частности задач прогнозирования в финансовой области, можно использовать многофакторную регрессионную модель вида
Y = и0 + ^ UjXj + s,(7.30)
j=i
где Xi^...^Xm — наблюдаемые случайные величины (факторы); е — помеха, носящая хаотический характер, причем Ms = 0; uq, ui^ . . . , um — параметры, подлежащие оценке; Y — искомая величина (отклик системы).
Модель (7.30) может быть использована для прогнозирования искомой величины Y для будущих моментов времени, если значения факторов для настоящего момента to известны.
В этом случае необходимо реализовать два этапа. На первом из них на основе «исторических» данных оценивают значения параметров гщ, ui,... , ит (этап «обучения» модели (7.30)). На втором этапе используют равенство (7.30) для прогноза искомой величины Y при оцененных значениях гщ, tzi,. . . , ит и известных «текущих» значениях факторов Xi,. . . , Хт.
Замечание 7.2. Если исследуемый с помощью модели (7.30) процесс имеет нестационарный характер, то приходится периодически «переобучать» модель (7.30), переоценивая параметры tt^ и^ . . . , ит на основе последних новых «исторических» данных.
Для получения оптимальных оценок параметров гщ, tzi,. . . , ит на этапах «обучения» и «переобучения» модели (7.30) применим МНК.
Запишем модель (7.30) в виде двух равенств:
МУ = ио + £ ujMX^(7.31)
з=1
Y»=yUjX^e,(7.32)
3 = 1
где У0 = У — М У, Xj = Xj — М Xj — центрированные величины.
Формулу для определения ui,. . . , ит получаем из (7.32), миними
зируя дисперсию <т2(е) = М(У° — ^ uj ^j)2 по ui,. . . , 'U-m*
и = к;1 cov(y,X),(7.33)
где и = (ui . . . , ит)Т. Кж — положительно определенная ковариационная (ш х т)-матрица факторов Xi,...,Xm; cov (У, X) = = (cov (У, Xi),..., cov (У, Хт^т — вектор, компоненты которого cov (У, Xj) = М (У°Х^) — ковариации величины У и факторов Х^ j = 1, ... ,771.
На практике на этапах «обучения» или «переобучения» модели (7.30) следует использовать формулу (7.33) с заменой Кж и cov (У, X) их оценками, полученными на основе «исторических» данных.
Если база «исторических» данных, используемых для «обучения», состоит из реализованных значений
Yi, Xij, j = l,...,m, г = 1,...,п,(7.34)
то оценки элементов матрицы Кж и вектора cov (У, X) определяются равенствами
ОЦн = ^ Ё(х- - Wu - xt\ -1Ё ^r,г=1г=1
(У, Хг) = f Щ - Y^Xir -Хт^ У = 1 Ё Yi- г=1г=1
Таким образом, окончательные оценки параметров uq, Ui ^. . . , umi полученные на этапе «обучения» модели (7.30), определяются равенствами
UQ = У — £ Uj Xj, и = (u!,...,um)T = К;1 cov (Y,X),(7.35)
где cov (У, X) = (cov (У, Xi),. . . , cov (У, Хт^т.
После этапа «обучения» модели (7.30), определяемого формулами (7.35), модель (7.30) можно использовать для прогнозирования искомой величины У согласно равенству
ХПрог — ^0 Т ^ ^з ^з
где Xi, . . . , Хт — значения наблюдаемых факторов на текущий момент времени.
Глава 8
РОБАСТНЫЕ МЕТОДЫ ДЛЯ ЛИНЕЙНЫХМОДЕЛЕЙ С НЕОПРЕДЕЛЕННЫМИ
ДАННЫМИ
Ранее уже отмечалось, что МНК-оценки являются эффективными в классе всех несмещенных оценок, если погрешности измерений компонент вектора / распределены по нормальному закону. Однако на практике часто нормальность закона распределения погрешностей будет нарушаться. Некоторые нарушения нормальности закона распределения могут приводить к значительной потере эффективности МНК-оценки и ее отклонению от истинных значений искомых параметров. Подчеркнем, что истинный закон распределения погрешностей измерений остается неизвестным.
Особенно большая потеря эффективности МНК-оценок происходит при наличии даже небольшой доли больших выбросов. На практике большим выбросам соответствуют те измерения /^ реальная погрешность которых значительно превосходит приписываемую им дисперсию ст^ причем ни реальная величина таких погрешностей, ни их номера г не известны.
При наличии больших выбросов необходимо применять робастные методы оценивания [83], позволяющие значительно снизить вредное влияние больших выбросов на оценку и получить приемлемую итоговую оценку искомых параметров.
Робастные М-оценки параметров линейныхмоделей
Существует несколько робастных методов оценивания [69,81,83, 88]. На их основе можно сконструировать различные робастные методы восстановления. Один из методов робастного восстановления основан на замене квадратичной нормы в экстремальных задачах (7.10), (7.21) на Lp-норму.
Вместо экстремальной задачи (7.10) рассмотрим экстремальную задачу
Ыроб = arg min У^ |(Ди)< -/i|p,(8.1)
г=1
где (Лп)г — г-я компонента вектора Аи^ 1 ^ р < 2.
При уменьшении р вплоть до 1 робастность оценки (8.1) увеличивается. Поскольку при р > 1 функционал правой части (8.1) сильно выпуклый, то существует единственная робастная оценка (8.1).
При р ^ 2 оценка (8.1) нелинейна, а ее фактическое вычисление значительно сложнее, чем вычисление МНК-оценки (7.11). Ниже будут даны конкретные алгоритмы вычисления нелинейных робастных оценок, в том числе и оценки (8.1).
Пусть выполняются все предположения классической схемы МНК, за исключением предположения Kf = a2In, которое заменено на Kj = = diag(o-2,... ,у2).
Тогда взвешенная МНК-оценка будет определяться равенством
«МНК = arg тшУ'((Ли)( - ft)2^.(8.2)
" »=i
При наличии больших выбросов некоторые измерения /^ будут иметь большие значения дисперсий, чем соответствующие им дисперсии ст2, причем ни номера г больших выбросов, ни истинные значения дисперсий сг2(/Д не известны.
Введем М-класс робастных оценок, определяемых равенством
Проб = arg пип > pl ,(8.3)
и\ ai /
г=1
где р(х) — выпуклая четная положительная функция, р(0) = 0.
Для того чтобы оценка (8.3) обладала робастностью по отношению к большим выбросам и не «портила» измерения, не являющиеся большими выбросами, функция р(х) должна быть близкой к х2 при малых значениях |ж| и менее возрастающей по сравнению с х2 при больших значениях |ж|.
В качестве конкретных функций р(ж), порождающих конкретные робастные оценки (8.3), можно брать, например, функции Андрюса, Рамсея, Хьюбера [69,81,83,88]. Заметим, что Lp-оценка (8.1) является М-оценкой с р(х) = |ж|р. Поскольку для любой робастной М-оценки функция р(х) будет отлична от ж2, любая робастная М-оценка нелинейна.
В силу сильной выпуклости функции р(х) робастная М-оценка (8.3) существует и единственна.
Рассмотрим более подробно робастную оценку Хьюбера, которая является М-оценкой с
fж2/2,|ж| < К,
р(хА = <„
[ —К2/2 + К\х\, \х\ > К,
где К — параметр Хьюбера [83].
Часто робастная оценка Хьюбера при наличии больших выбросов предпочтительней других робастных оценок, так как она является
минимаксной оценкой в классе плотностей, образуемом моделью смеси [83].
Множество индексов I = {г : г = 1, . . . , п} разобьем на три подмножества:
^0 = {« • |/г(^^роб)» |^^г}?
/_ = {г : Л - (Лпроб)г < -Ка^(8.4)
^+ — {^ • /г (^^роб)/ > Ко"^.
Очевидно, что / = /q U /_ U /+•
Уравнение gradu ^ ^((^^роб)» — fi^/^i) = 0 для определения ро- г=1
бастной оценки Хьюбера имеет вид
£ ^ ((Д«роб)г - Л) + £= о, j = 1,... ,т.
., СУ а., СУ i,СУ i,
гЕ10гЕ1_г£1+
Последние уравнения перепишем в эквивалентном виде
E
C^ij (( Л ^ А / A I X Kcy^CLij 4" a^j ^AUpO^i C^ij {AUpO^i
2" Ц^^робЯ— Ji)"Г / v2
., СУаСта
гЕ10гЕ1_г
X Ko"i,at3 4" С^г.7 (^4^роб)г ^О (^^роб)2 q
Отсюда получаем
£ Ч (лмро6)< = г=1
= £ ^ Л + £ ^ [№об)г - К а А + £ Ч [(Д£роб), + Ко^
j = 1, . . . , m. Из последней системы следует, что йроб определяется равенством
«роб = (ATWAVATWf,(8.5)
где W = diag (1/ст^,... , l/c^), f = (fx,fn)T; f{ = ft, если г € /0; fi = (Дироб)г - Koi, если г € /_; /< = (Лироб)г + Kot, если г е /+•
Численные методы нахождения робастныхоценок параметров линейных моделей
Нахождение робастной оценки (8.3) связано с минимизацией функционала У^ p((Au)i — fi)/cyi)^ которую можно осуществить любыми стандартными итерационными методами решения экстремальных задач без ограничений, например градиентными методами или методом 8 А.В. Крянев, Г.В. Лукин
Ньютона. Однако учитывая специфику экстремальной задачи (8.3), можно предложить новые эффективные численные алгоритмы нахождения робастной оценки (8.3).
Предположим, что р(ж) дифференцируема. Тогда для нахождения
оценки (8.3) имеем уравнение gradu У^ p^Au^i — fi)/o"i) = 0, которое г=1
эквивалентно системе нелинейных уравнений
j =(8.6)
2~^\сг г) о г
г=1
Систему (8.6) с учетом четности р(ж) запишем в эквивалентном виде
^Wt^Au^i - f^atj = О, j =(8.7)
г=1
w. =.(8.8)
Если бы «веса» Wi были известны, то решение системы (8.7) давалось бы равенством
и = ^АТ W Ауг АТ Wf,(8.9)
где IV = diag(W1,...,Wn).
На основе (8.8), (8.9) предлагается итерационный метод нахождения робастной оценки (8.3):
= diag(W-4\--.H/|Z) = '^д^* ~ ^/^ ,
|(ЛИ6))^-Л|^(8.Ю)
M(z+i) = ^wWA^ATw^J.
В качестве первого приближения рекомендуется брать средневзвешенную МНК-оценку и^ = (ATW^A)-1 ATW^f где ГЕ^0^ = = diag (l/o-J,..., V0"»)-
Итерационный метод (8.10) нахождения робастной оценки (8.3) называется итеративным МНК.
Можно предложить еще один вариант итерационного метода нахождения робастной оценки (8.3).
Экстремальную задачу (8.3) запишем в эквивалентном виде
Ыроб = arg пйпУ^ ^((Ли)^ -/J2,(8.11)
г=1
где
~ = p((Au)t- fO/ai1),,,
«a^ - /а2v7
Если бы «веса» Wi были известны, то решение экстремальной задачи (8.11) давалось бы равенством
и = VATWAyxATWf,(8.13)
где W = diag(lEi,. . . , WH\
На основе (8.12), (8.13) предлагается еще один итерационный метод нахождения робастной оценки (8.3):
ь - J(A„W), _/a,■ (814)
M(Z+1) = (ATWWAVATWWf.
В качестве первого приближения рекомендуется брать средневзвешенную МНК-оценку и^ = ^ATW^A)-1 ATW^f где ИД°) = = diag(l/<7^,..., 1/сг2).
Итерационный метод (8.14) нахождения робастной оценки (8.3) называется методом вариационно-взвешенных квадратических приближений.
Если р(х) = |ж|р, 1 ^ р < 2, т.е. рассматривается робастная Lp-оценка, то итеративный МНК (8.10) и метод вариационновзвешенных квадратических приближений (8.14) эквивалентны.
Сходимость итераций (8.10), (8.14) для случая р(х) = |ж|р, 1 ^ р < < 2, доказана В. И. Мудровым и В. Л. Кушко. В общем случае при решении конкретных задач метод вариационно-взвешенных квадратических приближений часто дает очень быструю сходимость — иногда достаточно 1-2 итераций для достижения приемлемой точности.
Форма записи системы (8.5), определяющей робастную оценку Хью- бера, подсказывает следующий итерационный процесс (ИП):
u(z+1) = (4ATWA)"1ATWfw,(8.15)
где
...,= если е
fi^ = (Аи^Зг + Ka,, если г €
J^ = (Au^t — Ка^, если г € 1^',
^° = {г : \(Аг^ - Л| < Ка^, 1^ = {г : Л - (АиУ^ < -К^,
4° = {г : fi~ (Аи<% > Кст^.
В качестве первого приближения рекомендуется брать средневзвешенную МНК-оценку.
Имеется принципиальное преимущество ИП (8.15) по сравнению с ИП (8.10) и (8.14). Действительно, на каждом шаге ИП (8.10), (8.14)
приходится пересчитывать матрицы (Дт1у(<)Д)"1ДтИ/(/), в том числе обращая матрицу ATW^ А. В ИП (8.15) формирование матрицы ^ATWA^-1ATW производится только один раз, а затем эта матрица «обслуживает» все итерации. На каждом шаге процесса (8.15) производится только перерасчет вектора /^\ что требует значительно меньших вычислительных затрат по сравнению с перерасчетом матрицы ^ATW^Ay4TW^.
Итерационный процесс (8.15) легко программируется и сходится за конечное число итераций. Практика применения ИП (8.15) показала его высокую эффективность. Для достижения приемлемой точности требуется, как правило, 1-10 итераций. Рекомендации по выбору величин параметра К остаются такими же, как и в § 3.1.
Заметим, что ИП (8.15) позволяет автоматически выявлять большие выбросы, для этого в компьютерной программе достаточно предусмотреть фиксацию тех номеров г, для которых измерения /^ попадают в множества /
Рис. 8.1Рис. 8.1На рис. 8.1 представлены результаты применения численных методов нахождения параметров линейных моделей. Сплошные линии соответствуют линейной регрессии по МНК и доверительному интервалу с уровнем доверия 95 %. Пунктиром показаны робастная линейная регрессия и доверительный интервал с уровнем доверия 95 %. Символами (+, ★) помечены значения с г Е /+ и г Е 1_.
Рис. 8.1
Рис. 8.1
Робастные методы для линейных моделей представлены также в работах [7-9,69,84,88].
Глава 9
УЧЕТ АПРИОРНОЙ ИНФОРМАЦИИВ ЛИНЕЙНЫХ МОДЕЛЯХ
С НЕОПРЕДЕЛЕННЫМИ ДАННЫМИ
В настоящей главе будут рассмотрены классические и сравнительно новые методы учета дополнительной априорной информации об искомом векторе и. Эти методы позволяют получать приемлемые оценки вектора и даже в тех условиях, когда в исходной регрессионной модели (7.2) «заложено» недостаточно информации о векторе и.
Выше были рассмотрены только несмещенные (или, по крайней мере, асимптотически несмещенные) оценки искомого вектора и и дополнительных неизвестных параметров, если таковые имеются. Это и естественно, поскольку, если относительно и нет никакой другой информации, кроме «заложенной» в регрессионной модели (7.2), то смещенное оценивание не позволяет определить погрешность оценки. Действительно, вектор погрешности оценки 6 = и — ит можно представить в виде 5 = 6(й, ит^ + т^и\ где 6(й, ?zT) = Ми — ит — вектор смещения, 77 (77) = й — М й — вектор статистической погрешности оценки й. Вектор смещения зависит от искомого вектора ит. Вектор же статистической погрешности оценки от искомого вектора не зависит, он определяется лишь выбранной оценкой. Если нет никакой априорной информации об искомом векторе, то нельзя оценить вектор смещения Ь^й^ итУ
Если регрессионная модель (7.2) принадлежит к классу некорректно поставленных задач, то информационная матрица Фишера либо вырождена, либо плохо обусловлена, и поэтому даже оптимальная МНК- оценка либо не существует, либо дает слишком большое значение погрешности оценки. Поскольку любая другая несмещенная оценка будет давать еще большие значения погрешности оценки, то при решении некорректных задач восстановления в классе несмещенных оценок не существует «хороших» — все несмещенные оценки «плохие».
Подчеркнем еще раз, что речь идет о несмещенных оценках, использующих информацию об искомом векторе, «заложенную» только в регрессионной модели (7.2).
Итак, при решении некорректных задач восстановления необходимо искать разумные оценки (тем более «хорошие» оценки) в классе оценок, использующих дополнительную априорную информацию об искомом векторе и, помимо «заложенной» в регрессионной модели (7.2). Подчеркнем, что некорректность задачи восстановления, основанной на регрессионной модели (7.2), эквивалентна вырожденности или пло-
хой обусловленности информационной матрицы Фишера. Последнее означает, что в модели (7.2) «заложено» недостаточно информации об искомом векторе, и поэтому принципиально нельзя получить разумные оценки решения, оставаясь только в рамках модели (7.2).
Следовательно, отличие корректной задачи восстановления от некорректной заключается в том, что для корректной задачи существуют приемлемые оценки искомого вектора без привлечения априорной информации, для некорректной же задачи невозможно получение приемлемых оценок искомого вектора без привлечения априорной информации.
Априорная информация об искомом векторе и может быть двух видов — статистической и детерминированной. В зависимости от вида априорной информации используют два классических метода решения некорректных задач восстановления. Если в распоряжении исследователя имеется априорная информация об искомом векторе статистического характера, то можно использовать метод Байеса. Если же априорная информация об искомом векторе имеет детерминированный характер, то можно использовать минимаксный метод.
Подчеркнем, что любой метод оценивания искомого вектора и^ основанный на использовании дополнительной априорной информации, можно применять и при решении корректных задач восстановления. Но если при решении корректных задач такие методы (в частности, метод Байеса и минимаксный метод) позволяют лишь улучшать качество оценок (на основе использования дополнительной априорной информации) и можно получать приемлемые оценки и без привлечения этих методов, то при решении некорректных задач без использования методов, позволяющих учесть априорную информацию об искомом векторе (в частности, методов Байеса и минимаксного), принципиально невозможно получение приемлемых оценок искомого вектора.
Метод Байеса в рамках линейных моделей
Метод Байеса основан на трактовке искомого вектора и как случайного вектора, для которого априорная информация задается в виде априорной плотности вероятностей р(и\ Тогда апостериорная плотность вероятностей р(и | /) подсчитывается по формуле Байеса
рИП = (9.1)
P^Plf I ^du
где рУ | п) — плотность вероятностей случайного вектора / регрессионной модели (7.2).
В качестве байесовской оценки (Б-оценки) искомого вектора берут подходящую характеристику апостериорного распределения (при той реализации вектора /, которая зафиксирована в регрессионной модели (7.2)). Наиболее часто в качестве Б-оценки выбирают: среднее апо-
стериорное значение, т.е. Мп, где и — случайный вектор с плотностью р^и | /); медиану случайного вектора п; наиболее вероятное значение, т. е. моду случайного вектора и.
Подчеркнем, что при применении байесовского подхода необходимо задание двух законов: распределения вектора / (совпадающего с точностью до математического ожидания с законом распределения вектора случайных погрешностей измерений s) и априорного. Если законы неизвестны, то приходится вводить гипотезы, согласно которым постулируются законы распределения / и априорный. Конечно, в этом случае правильность полученных оценок во многом зависит от правильности «угадывания» законов распределения.
Предположим, что законы распределения вектора / и априорный нормальные, т. е.
PU I М) = z2 чп/21п|о|1/2 еХР { " A U "Х(/ - ДМ)},
(2тг) 7 ст * V дст)
v 7(2тг)т/2<|Ка|1/2 I 2а2 VV
где по, o^Kq — центр и ковариационная матрица априорного распределения.
Для рассматриваемого случая, когда законы распределения вектора / и априорный нормальные, все три вышеуказанных варианта Б-оценок искомого вектора и совпадают и определяются формулой
«б = (^4r^+ А К-1)"1(4^’7 + А К^иоУ (9.2) \ сгста /\ стста
В частности, если по = 0, то
мБ = (Ад^М + А A?1) 1At9."1J.(9.3)
\(Тста /
Если по ф иТ. то Б-оценка смещена. Действительно,
МмБ = ДТ^"1Д + А+=
=(Л^^-^ + Л^а1) Л КУ Ч^О - «г) / UT,
<Та / Та
если по + ит-
Таким образом, смещение Б-оценки дается равенством
6(мБ,6(мБ,U ) = AfA + А К"1)U ) = AfA + А К"1)-1к;\м0 - иту-1к;\м0 - иту
6(мБ,
6(мБ,
U ) = AfA + А К"1)
U ) = AfA + А К"1)
-1
к;\м0 - иту
-1
к;\м0 - иту
Чем лучше «угадан» вектор по, тем меньше величина смещения.
Подсчитаем ковариационную матрицу Б-оценки (9.2). Имеем
иБиБ^л^-'л + ^к:1) Адг^шгЫх^л^-'л + ^к:1) Адг^шгЫх
иБ
иБ
^л^-'л + ^к:1) Адг^шгЫх
^л^-'л + ^к:1) Адг^шгЫх
-Ад^п-^ + А.кД = A (^лЧгЫ + АК-Л 1
СТСТа )СТ ХСТст/
X А^^АX А^^А-Ад^^д + ^к-1) =-Ад^^д + ^к-1) =
X А^^А
X А^^А
-Ад^^д + ^к-1) =
-Ад^^д + ^к-1) =
А ат9.-1а + А к™1) (А ат^"1а + А к-1 - А к™1
х (А д7^-1 д + А. к™1) = (А д7^-1 д + А. к;1 У ^"СТ а /\ ^”СТ а
- A (A а^^а + А к-1)к;1 (A atsi-1at + А к;т) .
СТа У <7^а /У <7а /
Но симметричная матрица
А(А д7^-^ + А. кА 1 кА-^ ATsr1A + ^ кА 1
^а СТСТа /V СТСТа /
положительно определена. Поэтому
кй < А-А'1’^^ + ^ к; А 1 < ^(д^^-М)-1 = кй .
иБ у 0.2а у\/uMHK
Итак, ковариационная матрица Б-оценки меньше ковариационной матрицы взвешенной МНК-оценки, и тем самым статистическая погрешность Б-оценки меньше статистической погрешности взвешенной МНК-оценки. Последнее связано с тем, что Б-оценка, кроме информации, «заложенной» в регрессионной модели (7.2), использует дополнительную информацию об искомом векторе и^ задаваемую в виде априорного распределения р(п), а взвешенная МНК-оценка использует информацию, «заложенную» только в регрессионной модели (7.2).
Б-оценка (9.2) всегда существует, вне зависимости от того, корректна или некорректна задача восстановления (7.2). Действительно, матрица ATQ.-1A Н2 Ка^ положительно определена вне зависимости стСта
от обусловленности матрицы Фишера -^ АТП-1А за счет слагаемого А К”1.
Теоретические основы метода Байеса представлены в работах [26,33].
В настоящее время метод Байеса широко применяется при решении некорректных задач, в том числе некорректных задач обработки экспериментальных данных и задач восстановления [7, 22, 30, 31,47, 55, 74].
Минимаксный метод учета детерминированной априорной информации
Рассмотрим теперь второй классический метод учета дополнительной априорной информации — минимаксной метод.
Минимаксный метод используют тогда, когда априорная информация об искомом векторе и задается в детерминированной форме.
Пусть априорная информация задана соотношением и Е Ra. где Ra — некоторое множество пространства Rm.
Рассмотрим класс {й} линейных оценок искомого вектора й = = S/ + и* , где S — детерминированная (т х п)-матрица, и* — m-мерный вектор, причем S, и* пока произвольны.
Введем функционал
J(n) = max М ||п — п||2.(9.4)
Заметим, что функционал J(u) определяется, в частности, выбранной нормой; взяв в (9.4) конкретную норму, получаем один из вариантов минимаксного метода. Чаще всего в (9.4) берут евклидову норму.
Согласно минимаксному методу в качестве оценки и^ определяемой матрицей S и вектором и* берут такой вектор, который минимизирует функционал (9.4), т. е. минимаксная оценка (ММ-оценка) определяется равенством
МММ = arg min Дй).(9.5)
uE{u}
Если априорная информация отсутствует, т. е. Ra = Rm и в (9.4) взята евклидова норма, то ММ-оценка (9.5) совпадает с МНК-оценкой.
Минимаксный метод дает наилучшую оценку при наихудшем возможном расположении искомого вектора и в априорном множестве Ra.
Нахождение ММ-оценки для конкретных множеств Ra — трудоемкая вычислительная задача. В предположении, что норма в (9.4) евклидова, для двух частных видов множества Ra можно найти явный вид ММ-оценки.
Пусть Ra — m-мерный эллипсоид с центром в гщ и «радиуса» р:
Ra —{и - (и - M0)TB(u - Uo) < р2},(9.6)
где В — симметричная положительно определенная матрица.
Тогда ММ-оценка дается равенством
МММ = «о + А (Л Л'ЧгМ + ^ вТЧ^Ч/ - Лио), (9.7)
ар /
где модифицированная матрица В' такова, что имм принадлежит границе множества Ra.
В частности, если и^ = 0, то
МММ = (Д^^Л + ^ В') АТ£Г^.(9.8)
Пусть теперь Ra — m-мерный параллелепипед с центром в hq;
Ra = {и I (и — ^0? ^/е)2 ^L к = 1,. . . , т^ (9.9)
где {^/е} — ортонормированный базис пространства Rm {А^} — заданные положительные числа,
Обозначим
B = [/diag(l/A^... Л/А^/Л
где U = (y?i, . . . , ^т) — ортогональная матрица, &-й столбец которой образован т компонентами вектора р^. Матрица В симметрична и положительно определена, причем {1/Л^}, {у^}, к = 1, . . . , m — совокупность собственных значений и соответствующих им собственных векторов матрицы В.
Для параллелепипеда (9.9) ММ-оценка дается равенством
^мм = ^о Н—^Т^ 1А-\-BfA АтО. х(/ — Auq^ (9.10) ст \ст/
где В' - модифицированная матрица В [79].
В частности, если и^ = 0, то
^мм = (ATQ-XA + ст^В^А1^”^.(9.11)
В приложениях априорное множество Ra часто задается в виде совокупности неравенств:
сц С Ui < Ь^ г = 1,. . . , ш,(9.12)
где а^ bi — заданные числа.
Совокупность неравенств (9.12) определяет параллелепипед (9.9), для которого
Uq — ~ (g-i + 61, . . . , €Lm + bm^ ,
D( ii А
В = 4diag 77*' * ’ 77’
\ (61 - ai) (6m - am) )
u-lm, ==A^ = ^bk-ak)2.
Если множество Ra ограничено и выпукло, то ММ-оценка существует и единственна для любой регрессионной модели (7.2), в том числе, когда задача восстановления некорректна.
ММ-оценки смещены, причем смещение не всегда приближает оценку к точному вектору иТ. Чем «уже» априорное множество R^ тем ближе ММ-оценка к ит. Например, ММ-оценки (9.7), (9.10) стремятся к ит в среднем квадратичном, если радиус эллипсоида р ^ 0 (для оценки (9.7)) или шах А^ —> 0 (для оценки (9.10)). Наоборот, если р (X) (для оценки (9.7)) или min А^ ос (для оценки (9.10)), то ММ-оценки (9.7), (9.10) стремятся в среднем квадратичном к МНК- оценке (7.22).
Если А — матрица неполного ранга (rank А < т), т. е. задача восстановления (7.2) некорректна, то при ст2 ^ 0 ММ-оценки сходятся в среднем квадратичном к одному из решений системы Аи = фт.
Поскольку ММ-оценки смещены, точность ММ-оценки можно определить с помощью симметричной неотрицательной (т х т)-матри- цы D (ймм) = М (ймм — ит)(имм — ит)т, в частности, г-й элемент главной диагонали матрицы D (ймм) равен М (^Мм — пгУ^ гДе ^мм? Ui — г-е компоненты векторов ймм и ит соответственно. Следовательно, SpD (ммм) = У^ М (1^мм — ^г)2 — среднеквадратическая ошибка г=1
ММ-оценки.
Для ММ-оценок (9.7), (9.10)
\сгр )
D(uMm)= (^АТ^А + В'У1ха/
соответственно.
Поскольку матрицы В' в обеих ММ-оценках (9.7), (9.10) положительно определены, то справедливо неравенство D (ймм) < ^ймнк и для оценки (9.7), и для оценки (9.10), где ^ймнк = <т2(АтП-1 А)-1 — ковариационная матрица МНК-оценки (7.22).
Итак, ММ-оценки (9.7), (9.10) эффективней МНК-оценки (7.22). Это и неудивительно, так как ММ-оценки используют дополнительную информацию об искомом векторе ит.
Для фактического нахождения ММ-оценок (9.7), (9.10) необходимо обратить симметричные положительно определенные (ш х т)-матри- цы [ АТП-1 А + В'),А7^1 А + В'А соответственно. Для
усгр J \а/
обращения этих матриц рекомендуется пользоваться методом квадратного корня.
ММ-оценки (9.8), (9.11) эквивалентны смещенным ридж-оценкам, широко используемым, согласно публикациям в иностранной периодике, при решении некорректных задач восстановления. К сожалению, приходится констатировать, что в публикациях по ридж-оцениванию введение стабилизатора (эквивалентного положительно определенным
симметричным матрицам В' в ММ-оценках (9.7), (9.10)) никак не связывается с использованием априорной информации об искомом векторе и^ а производится формально с единственной целью — выйти из класса несмещенных оценок [27].
Заметим также, что если в ММ-оценках (9.8), (9.11) положить Q = /п, то формально получаем приближенное решение согласно вариационному методу регуляризации А. Н. Тихонова (с квадратичным стабилизатором) [71].
Минимаксный метод решения некорректно поставленных задач представлен в [79].
Обобщенный метод максимальногоправдоподобия учета априорной стохастическойинформации в рамках линейных моделей
В предыдущем параграфе уже отмечалось, что невозможно получить приемлемые оценки искомого вектора и некорректной задачи восстановления без учета дополнительной априорной информации о векторе и. причем априорная информация может задаваться в двух формах — статистической или детерминированной.
В настоящем параграфе используется схема учета априорной информации, отличная от традиционных: байесовской — в случае статистического характера априорной информации, и минимаксной — в случае детерминированного характера априорной информации. Предлагаемая схема базируется на классическом методе максимального правдоподобия (ММП) Фишера.
Рассмотрим сначала классическую схему применения ММП для нахождения ММП-оценки искомого вектора и регрессионной модели (7.2).
Пусть, как и прежде, р£(ж) — плотность вероятностей вектора погрешности е. Введем функцию правдоподобия L(u) = p£(f — Аи\ где / — известная реализация из (7.2).
Согласно ММП за оценку искомого вектора и принимается вектор ^ммт максимизирующий функцию правдоподобия:
^ммп = arg max Ци\(9.13)
Часто вместо L^u^ удобно максимизировать логарифмическую функцию правдоподобия In L^u). Ясно, что решения экстремальных задач (9.13) и и = arg maxu In L(u) совпадают, поскольку функция In щ v > 0, — монотонно возрастающая и выпуклая.
Введем информационную (ш х т)-матрицу Фишера М
Mid = —М v у, г^з = 1, . . . .гп.
UUiOUj
Матрица Фишера представима также в виде
М = М (gradu In L(u))(gradu In L(u))T.
Поскольку M gradu In L(u) = 0, то M — ковариационная матрица случайного вектора gradu In L(tt). Таким образом, матрица Фишера симметрична и неотрицательна.
Если информационная матрица Фишера положительно определена, то ММП-оценка существует. Более того, если плотность р£(ж) принадлежит к экспоненциальному классу [33], то ММП-оценка единственна и является единственным решением системы уравнений правдоподобия
gradu In L(u) = 0.(9.14)
Напомним, что ММП-оценки обладают оптимальными свойствами среди всех асимптотически несмещенных оценок. Оптимальность ММП-оценок означает их асимптотическую эффективность, т. е. приближение при увеличении объема выборки п к нижней границе точности несмещенных оценок, определяемой неравенством Фишера- Крамера-Рао
Кй > М"\(9.15)
где К^ — ковариационная матрица любой несмещенной оценки искомого вектора иТ^ построенной на основе регрессионной модели (7.2).
Более того, выше было показано, что для нормальных законов распределения погрешностей е, когда
М*) = z9 ^„ю,!^ еХР(2тг) ' ст И 'М*) = z9 ^„ю,!^ еХР(2тг) ' ст И 'хтQ хж
М*) = z9 ^„ю,!^ еХР(2тг) ' ст И '
М*) = z9 ^„ю,!^ еХР(2тг) ' ст И '
2<т2] ’
МНК-оценка (7.22) совпадает с ММП-оценкой, М = -^ATfl-1A, ст
и ММП-оценка является эффективной, т. е. для оценки (7.22) неравенство Фишера-Крамера-Рао (9.15) обращается в равенство.
Если задача восстановления (7.2) некорректна, то информационная матрица Фишера плохо обусловлена или вырождена. Последнее означает, что в регрессионной модели (7.2) «заложено» недостаточно информации об искомом векторе ит. Из неравенства Фишера-Крамера- Рао (9.15) следует, что в этом случае нельзя получить приемлемые оценки искомого вектора, используя только информацию, «заложенную» в (7.2).
Итак, в условиях некорректности задачи восстановления (7.2) для получения приемлемых оценок искомого вектора необходима дополнительная априорная информация об искомом векторе, причем «объем» дополнительной информации должен быть таков, что при ее присоединении к информации Фишера, определяемой только по модели (7.2), суммарной информации должно быть достаточно для получения приемлемой оценки искомого вектора.
Рассмотрим случай статистического характера априорной информации. Пусть задана случайная величина £, независимая от случайной
величины е из (7.2), плотность вероятностей которой параметрически зависит от искомого вектора и. Пусть далее известна выборка
Y^.-.^Yn(9.16)
значений случайной величины £. Обозначим p(yi^ . . . , yN; и) совместную плотность вероятностей случайных величин Yi, . . . , Y^. В частности, если выборка (9.16) повторная, то
N
р(уъ... ,yN; и) = П р^ур, и),г=1
где р(р^ и) — плотность вероятностей случайной величины £.
Выборку Y = (Yi,. . . , YnV и функцию La(tt) = р(У1,. . . , Удг; гл) назовем априорной выборкой и априорной функцией правдоподобия соответственно.
Совместная плотность вероятности совокупности случайных величин е, У1, . . . , Yn равна р£(ж)р(рх, . . . , yN*D и). Функцию
Мм) = рЕи - Au^Yi,YN; и)
назовем обобщенной функцией правдоподобия.
Имеем
Ци) = Ци)ЬаН(9.17)
где L(u) — функция правдоподобия регрессионной модели (7.2), La(tt) — априорная функция правдоподобия.
Из (9.17) следует, что логарифмическая обобщенная функция правдоподобия равна сумме логарифмических функций правдоподобия модели (7.2) и априорной выборки,
In L0(u) = In L(u) + In La(u\(9.18)
Введем априорную и обобщенную информационные (m х т)-мат- рицы Фишера Ма, Mq,
(Ма^ = —м(Mo)v = -М
О U i О U jО U i О U j
г, з = 1, . . . , т.
Из (9.18) следует формула
Мо = М + Ма,(9.19)
где М — информационная матрица Фишера регрессионной модели (7.2).
Обобщенная информационная матрица Фишера М^ суммирует информацию об искомом векторе иТ^ «заложенную» в исходной регрессионной модели (7.2), и априорную информацию.
Введем обобщенный метод максимального правдоподобия (ОММП), согласно которому за оценку искомого вектора ит при-
нимается вектор ^оммт максимизирующий обобщенную функцию правдоподобия:
^оммп = arg max L0(u).(9.20)
Очевидно, что решения экстремальных задач (9.20) и и = = arg maxu In L0(u) совпадают.
ОММП-оценка является решением системы обобщенных уравнений правдоподобия,
(9-21)(9-21)gradu In Ци) + gradu In La(u) = 0.
(9-21)
(9-21)
При решении практических задач часто неизвестными являются не только компоненты вектора щ но и некоторые характеристики законов распределения случайных величин е и £. Тогда согласно ОММП вместо (9.20) необходимо решать экстремальную задачу
(9.22)(9.22)(^оммп, аоммп) — arS max L0(u, а),
(9.22)
(9.22)
где а = (qi, . . . , а/)т — вектор совокупности дополнительных неизвестных параметров, Lq(^cO = L^u^ а) + Ьа^и^а\ а вместо информационных (ш х т)-матриц Mq, М^ Ма необходимо рассматривать расширенные информационные ((ш + /) х (ш + /))-матрицы Mq, М, Ма. определяемые равенствами
(M0)id = —М(M0)id = —Мd2 In L0(ud а)d2 In L0(ud а)dvidvjdvidvjWa = -МWa = -Мd2 In L^ a)d2 In L^ a)dvidvjdvidvj
(M0)id = —М
(M0)id = —М
d2 In L0(ud а)
d2 In L0(ud а)
dvidvj
dvidvj
Wa = -М
Wa = -М
d2 In L^ a)
d2 In L^ a)
dvidvj
dvidvj
Wa)tj = -MWa)tj = -Md2 In La(u, a)dvidvjd2 In La(u, a)dvidvjг, j = 1, . . . , m + /,г, j = 1, . . . , m + /,
Wa)tj = -M
Wa)tj = -M
d2 In La(u, a)dvidvj
d2 In La(u, a)dvidvj
г, j = 1, . . . , m + /,
г, j = 1, . . . , m + /,
v = (ui,..., um, ai,... , а/)т = (ri,... , vm+l)T.
Рассмотрим несколько наиболее важных при решении практических задач частных случаев ОММП-оценок.
Пусть е ~ ^(0, <т2П), каждый член У^ априорной выборки (9.16) распределен по нормальному закону ¥^ ~ N\u, a^Ki^ К^ — положительно определенные матрицы. Тогда
L(tt) =ехр {(/ — Аи)ТП 1(/ — Лгб)|, V (27г)п/2<7п|П|1/2 I1
LaM = П ехР (—
(2тг)т/2<тгт|^|1/2 lг 7 г V г
м = \ат^а, ма = ^\кт\аа
Имеем
N
М^^АТ^А + ^^КТ1.(9.23)
г=1
Из формулы (9.23) видно, что обобщенная информационная матрица равна сумме информационной матрицы исходной регрессионной модели (7.2) и априорных информационных матриц, соответствующих каждому члену априорной выборки.
Даже если исходная задача восстановления (7.2) некорректно поставлена и тем самым информационная матрица М плохо обусловлена или вырождена, обобщенная информационная матрица М^ суммирующая априорную информацию об искомом векторе иТ и информацию, «заложенную» в регрессионной модели (7.2), является обратимой, причем ее обусловленность улучшается либо при уменьшении каждого из а^ либо при увеличении объема априорной выборки N.
Для рассматриваемого случая решение системы обобщенных уравнений правдоподобия (9.21) существует, единственно и дается формулой
N-1
^ОММП = A ^l ' А +""2 ^г 1) х
°"г=1
N
х^АТП-^ + ^^К^уУ (9.24) г=1
В частности, если Y^ М\и, а^Ка\ то
йоммп = (Л At^a + 4 к;9 Д 4 Атсг^ + 4 к;152 vA.
4 стсга /\ о-аа/
г (9.25)
Наконец, если N = 1, т. е. априорная выборка состоит из одной реализации, и^ то
^оммп =АТГГТА И—2 КаАА(^ АТГГТ f И—2
х <таа / \ааа
(9.26)
Сравнение ОММП-оценки (9.26) и Б-оценки (9.2) показывает их полную внешнюю идентичность, хотя смысл входящих в них характеристик сг^ Ка. uq различен. Таким образом, для частного случая, когда имеется лишь одна реализация априорной случайной величины, а законы распределения случайных величин е, £ и априорного (в рамках байесовского подхода) нормальны, ОММП-оценка (9.26) формально совпадает с Б-оценкой (9.2). Формальное совпадение ОММП- и Б-оце- нок при одной реализации априорной случайной величины имеет место и для законов распределения, отличных от нормального, если в качестве Б-оценки берется мода апостериорного распределения.
Иногда известна не одна реализация / правой части регрессионной модели (7.2), а несколько ее реализаций Д, . . . , /г. Пусть, например, fj ~N"Ut, rfjKfjl Тогда
и ОММП-оценка дается равенством
^оммп = (52 к^а + 52 О х
3 — 1 Иг=1^
ЧЕ^^^ + Е^Г^). (9.27) 3=1 fjг=1^
ОММП-оценку (9.27) можно записать в эквивалентном виде
«оммп= ^кЧА + К^у^АТкЧЗ + К;1^,(9.28)
где Кт = I V" “г- ^7? )— ковариационная матрица ММП-оценки
/ вектора / по реализациям /1, . . . , /г,
/= Ч2АК«Т'ТАК>А- К‘ = ^7КЧ"з=1Гз3 = 1 Ь1=1 *
— ковариационная матрица ММП-оценки йа искомого вектора ит по реализации априорной выборки Ух,..., Yn^
Эквивалентность оценок (9.27), (9.28) означает, что процедуру вычисления ОММП-оценки (9.27) можно разбить на два этапа: на первом этапе по реализациям /1, . . . fr находится ММП-оценка / и ее ковариационная матрица К^ а по реализациям априорной выборки (9.16) находится ММП-оценка иа и ее ковариационная матрица Ка; на втором этапе по формуле (9.28) окончательно находится ОММП-оценка искомого вектора и.
9 А.В. Крянев, Г.В. Лукин
, г, и Yi, г, и YiВ частности, если fj ~ МДгр^а2^), j = 1,. М(иТ^ сг^КД, то оценка (9.27) принимает вид
, г, и Yi
, г, и Yi
^оммп= АТП 1Лн—2 Ка 1) х
X (Л Ат^"г £ fj + Л к;1 £ уЛ . (9.29)
J = 1г=1
Все вышеприведенные ОММП-оценки (9.24)-(9.29) несмещены. Заметим, что несмещенность этих оценок предполагает усреднение не только по реализациям /, но и по реализациям априорной случайной величины £. Если, например, усреднение производится только по реализациям / при фиксированном числе реализаций £, то ОММП-оценки, вообще говоря, смещены.
Ковариационные матрицы ОММП-оценок (9.24)-(9.29) даются, соответственно, формулами
к2= (^Лт(2"1Л+4^а1)
Кй= (^Л^^Л+^К"1)
Кд = (Ат К^1 А + К”1)-1, Ки^(^АтИ~1А + ^К~1) .
Все вышеприведенные ОММП-оценки состоятельны в среднем квадратичном. Рассмотрим, например, ОММП-оценку (9.29).
Теорема 9.1. Пусть п —> ос. Тогда ОММП-оцетаа (9.29) сходится в среднем квадратичном к иТ при любом числе г реализаций f.
Доказательство. Представим ОММП-оценку (9.29) в виде ^оммп = ^т "I" ^1^/ + ^Art, где
Ri = (^дтп-1д + N_ к-Л 2_атп-1 \сг(Та уо-
R.2= (^AYr1^ К;Л ^К~\\а
^f = f-fr, ^U = U-UT,U=^^Yi-
j=lz=l
Имеем
к?=— Кй = ^Ка, МД/ = О, МДи = О.
Из независимости случайных векторов А/, ^и следует
^%ммп = ^i^A/^Г + RzR^uR^ = RyKjRy + R^K^R^.
Для пары симметричных матриц
J-AYrAAY А_К;\ СТ(Та
из которых первая неотрицательна, а вторая положительно определена, существует такая невырожденная матрица [/, что
Ut\at^AU = diag(Ai,..., А;, 0,..., 0), UT\ K;XU = /т,
где Ai,. . . , А/ > 0 — сингулярные числа матрицыAT£l-1 А^ I — ранг
ст
матрицы А^ I ^ т.
Имеем
U^RtK^rI(^Y1 = rU"1^ АТ^А + 4- к;1)-1 х
СТ(У а
х ^jTYxUT\ AT9.-1AUU-\^ А^^А + 4 ка 1Y4uT')"1 = СТсг(Та
= rYUT^ A^-iAU + NUT^ K^UY1 x
xUT^ ATS1-1AUYUT^ AT?T1AU + NUT^ K^UY1 = (7(7aa
= r(diag (N + rAi,. . . , A + rA/, N^. . . ^ TV))-1 x
x diag (Ai,..., А/, 0,..., 0) x
x (diag (N + rAi,..., TV + rA/, N^. . . , TV))-1 =
= diag (-———-2 ,. . . , -—^—-2,0,. . . , 0). ^VTV + rA!)2’’ (N^rXtf 11 7
Следовательно, R^K^R^ стремится к нулевой матрице при TV ос для любого т.
Аналогично получаем равенство
= diag= diagN(N + rXifN(N + rXifN 1 (^ + rA;)2 ’77’N 1 (^ + rA;)2 ’77’
= diag
= diag
N
(N + rXif
N
(N + rXif
N 1 (^ + rA;)2 ’77’
N 1 (^ + rA;)2 ’77’
и* = L/diag (0,0,1,..., IIL/A-Iи* = L/diag (0,0,1,..., IIL/A-IXXх diag (0,. . . , 0,1,. . . , 1)[/ 1х diag (0,. . . , 0,1,. . . , 1)[/ 1= 0.= 0.
и* = L/diag (0,0,1,..., IIL/A-I
и* = L/diag (0,0,1,..., IIL/A-I
X
X
х diag (0,. . . , 0,1,. . . , 1)[/ 1
х diag (0,. . . , 0,1,. . . , 1)[/ 1
= 0.
= 0.
Следовательно, R^K^R^ стремится к нулевой матрице при N —> оо для любого г. Итак, А"-оммп стремится к нулевой матрице при А —У оо для любого г. Теорема доказана.
Теорема 9.2. Пусть г -^ оо. Тогда ОММП-оцетаа (9.29) сходится в среднем квадратичном к одному из решений системы Au = fT. В частности^ если А — матрица полного ранга^ то ОММП-оцетаа сходится к иТ.
Доказательство. Если одновременно с r —> оо и N —> оо, то ОММП- оценка (9.29) сходится к ит в силу теоремы 9.1. Поэтому достаточно рассмотреть случай ограниченного N. Не умаляя общности, можно считать N фиксированным. Рассмотрим представление ^иоммп = = RiK^RT + RsK^RT из предыдущей теоремы. Из доказательства теоремы 9.1 следует, что R^K^R^ стремится к нулевой матрице не только при N —> оо, но и при г —> оо, a R^K^R^ не стремится к нулевой матрице при г ^ оо. Последнее означает, что случайный вектор R^^u не сходится к детерминированному вектору при ограниченном N и г —> оо. Обозначим /Хи = [/Дщ где U введена при доказательстве теоремы 9.1. Имеем
U^R^u ^и^Д А^'А + 4 ^а т) 4 K^U^ = \ ^^а/ ^а
= diag* * * 717 • • • 71 /Хи.
6 \ А + rAi А + г А/ 7 /
Следовательно, R^/Xu сходится в среднем квадратичном при г Ч х к случайному вектору
N
г=1
В частности, если А — матрица полного ранга (/ = т\ то и* = 0. Имеем
иД АтО.-Аи* = иД ^Tfi-^[/diag (0,..., 0,1,..., 1) tZ-1 х
СТст
Поэтому АТП-1 Аи* = 0. Но из последнего равенства следует Аи* = 0. Действительно, представим fl в виде Q1/2^1/2, где fiV2 симметрична и положительно определена. Имеем
О = ^^Аи*, и*) = (ЛтП-1/2П"1/2Ли*, и*) =
= ^-1/2Au*,fL-1/2Au*) = |Д-1/2Ли*||2.
Следовательно, Аи* = 0. Теорема доказана.
Теоремы 9.1, 9.2 гарантируют состоятельность ОММП-оценки при неограниченном возрастании числа реализаций либо /, либо априорной случайной величины. Неограниченной точности ОММП-оценок можно добиться не только путем неограниченного роста объема выборок, но и при ст2 0 либо при ст2 —> 0.
Теорема 9.3. Пусть о2 0. Тогда ОММП-оцен^а (9.29) сходится в среднем квадратичном к иТ.
Задача 9.1. Доказать теорему 9.3, используя схему доказательства теоремы 9.1.
Теорема 9.4. Пусть а2 -^ 0. Тогда ОММП-оцен^а (9.29) сходится в среднем квадратичном к одному из решений системы Аи = = fT. В частности, если А — матрица полного ранга, то ОММП- оценка (9.29) сходится к иТ.
Задача 9.2. Доказать теорему 9.4, используя схему доказательства теоремы 9.2.
Аналогично доказывается состоятельность других вышеприведенных ОММП-оценок.
Вернемся к ОММП-оценке (9.20) для общего случая. Обозначим
p(z; и) = р[ p£(xj)p(yi, . . . , yN; и) совместную плотность случайных 3=1
величин Xi = /1 — Аи,. . . , Xr = fr — Аи и случайных величин, образующих априорную выборку (9.16).
Введем обобщенные условия Фишера-Крамера-Рао:
1° и Е R, где R либо все пространство Rm, либо множество, для которого определена p(z; и);
и} ,.п
2 —-, к = 1,. . . , т, существуют для любого и Е R1,
OUk
3° fl и^ I d,% k = 1, . . . ,т, существуют и конечны для любого J I OUk I
и Е R;
4° все элементы ^M^iji Е 3 = 1, • • • , тп, обобщенной информационной матрицы существуют, конечны, а сама матрица М^, положительно определена для любого и Е R.
Рассмотрим любую несмещенную оценку й, построенную на основе реализации /1,. . . , /г правой части регрессионной модели (7.2) и априорной выборки (9.16).
Теорема 9.5. Пусть выполнены обобщенные условия Фишера- Крамера-Рао и интегралы ЦиДг) ^^^ и^ | дг ограничены для любого и Е R и всех г. з = 1, . . . , т. Тогда для ковариационной матрицы К^ оценки й выполнено обобщенное неравенство Фишера-Крамера-Рао
кй > Мо1.(9.30)
Обобщенное неравенство Фишера-Крамера-Рао определяет верхнюю границу точности любой несмещенной оценки, построенной на основе реализаций /1,. . . , fT регрессионной модели (7.2) и априорной выборки (9.16). Заметим, что если информационная матрица М регрессионной модели (7.2) вырождена, то верхняя граница точности для оценок, построенных только на основе реализаций /1,. . ., /г, теряет смысл (не существует). Чтобы в этом случае была возможность получать приемлемые оценки искомого вектора щ необходимо к реализациям /1, . . . , fT исходной регрессионной модели (7.2) присоединить такую априорную выборку (9.16), чтобы обобщенная информационная матрица Mq стала положительно определенной.
Теорема 9.5 остается в силе, даже если обе информационные матрицы ММа вырождены (последнее означает, что и в исходной регрессионной модели (7.2), и в априорной выборке (9.16) в отдельности «заложено» недостаточно информации об искомом векторе и), аих сумма, т. е. обобщенная информационная матрица М^ положительно определена (последнее означает, что суммарной информации, «заложенной» в регрессионной модели (7.2) плюс в априорной выборке (9.16), уже достаточно для получения оценки с ограниченной ковариационной матрицей).
Из теоремы 9.5 следует, что наилучшими по точности несмещенными оценками вектора щ полученными на основе реализаций /1,. . . , fT регрессионной модели (7.2) и априорной выборки (9.16), являются те, для которых обобщенное неравенство Фишера-Крамера-Рао (9.30) обращается в равенство. Такие оценки назовем обобщенными совместно эффективными.
Все приведенные выше ОММП-оценки (9.24)-(9.29) — обобщенные совместно эффективные. Действительно, например, в условиях, когда была получена ОММП-оценка (9.27),
гN
М^^Л^А, Ма = ^^К7\(9.31)
,=1i=l ai
т. e.
м« = 1.ДаТкЙа + Т,^j = l ^i=l г
Но для ОММП-оценки (9.27)
и поэтому К^ = М”.
Напомним, что ОММП-оценки (9.24)-(9.29) были получены, когда законы распределения /1,. . . , /г и членов априорной выборки (9.16) нормальные. Следовательно, в условиях, когда законы распределения реализаций /1, . . . , /г и членов априорной выборки (9.16) нормальные, ОММП-оценки являются наилучшими по точности оценками среди всех несмещенных оценок вектора и вне зависимости от числа реализаций г и N.
Если законы распределений /1,. . . , /г и членов априорной выборки (9.16) отличны от нормального, то можно доказать, что при выполнении условий, аналогичных обобщенным условиям Фишера-Крамера- Рао, ОММП-оценки являются асимптотически обобщенно совместно эффективными.
ОММП, в отличие от байесовского подхода, позволяет довольно просто получать оптимальные оценки не только вектора и, но и неизвестных характеристик законов распределения случайных величин /1, . . . , /г и членов априорной выборки (9.16).
Например, при решении практических задач часто неизвестны уровни шума а и а^.
Пусть для определенности выполнены условия, при которых получена ОММП-оценка (9.29), но ст2 и ст2 неизвестны. Тогда, согласно ОММП, необходимо решить экстремальную задачу (9.22), где а = = (ст2, сг^Т. Решение экстремальной задачи (9.22) для рассматриваемого случая единственно и дается формулами
\ —1 / р /у\
—ATfl-1A + — К”1) (-AT^l^f-V—KetiaVаДаД ) \аДаД)
2 — ™ 52 М^оммп - ЛНп-1,2 — ™ 52 М^оммп - ЛНп-1,1 N1 Nгп j=1гп j=1
2 — ™ 52 М^оммп - ЛНп-1,
2 — ™ 52 М^оммп - ЛНп-1,
1 N
1 N
гп j=1
гп j=1
где
N2m^2 М^оммп - ЛНп-i
а =^.(9.32)
Т^П У^ ЦгбОММП — Уг 11^-1г = 1
Параметр а по аналогии с вариационным методом регуляризации А. Н. Тихонова можно назвать параметром регуляризации. Формула (9.32) определяет оптимальное значение параметра регуляризации.
Заметим, что в рамках байесовского подхода при неизвестных параметрах законов распределения эти параметры должны рассматриваться как случайные величины и необходимо задавать априорную плотность вероятности этих случайных величин. В частности, определение подходящего значения параметра регуляризации в рамках байесовского подхода невозможно, если не задавать априорное распределение возможных значений этого параметра.
ОММП-оценки, обладая всеми преимуществами Б-оценок, и, кроме того, имея вышеуказанные дополнительные преимущества, не имеют недостатков байесовского подхода. Действительно, основой байесовского подхода является трактовка искомого вектора и как случайной величины. Конечно, любая оценка искомого вектора и, полученная при применении любого статистического подхода, является случайной величиной, но элемент случайности должен относиться именно к оценкам искомого вектора, а не к самим векторам, являющимся детерминированными величинами. Тот факт, что оценки детерминированных величин оказываются величинами случайными, просто отражает ту объективную реальность, что мы не располагаем достоверной информацией об искомом векторе, а решаем задачу восстановления в условиях наличия случайных погрешностей в задаваемых входных величинах. При применении же байесовского подхода мы всегда относим элемент случайности не только к оценкам искомого детерминированного вектора и, но и к самому вектору и, толкуя его как случайную величину. Искусственно навязанная байесовским подходом трактовка искомых детерминированных величин как величин случайных и является причиной критики в адрес байесовского подхода. ОММП, в отличие от байесовского подхода, позволяет учитывать априорную информацию статистического характера об искомом векторе и, не требуя его трактовки как случайной величины.
Заметим, что в рамках ОММП возможен учет априорной информации экспертного характера об искомом векторе, когда на основе опыта исследователя (опыта решения предыдущих аналогичных задач или иных соображений экспертного характера) задается возможное случайное априорное экспертное расположение искомого вектора. В рамках байесовского подхода экспертное расположение искомого вектора задается априорной плотностью вероятности самого искомого вектора. В рамках же ОММП экспертное расположение искомого вектора за-
дается выборкой значений априорной случайной величины, в которую искомый детерминированный вектор входит как детерминированный параметр, значение которого неизвестно. Возможность учета априорной экспертной вероятностной оценки искомого вектора в рамках ОММП без трактовки искомого детерминированного вектора как вектора случайного позволяет более компактно, ясно и полностью, по сравнению с байесовским подходом, учесть априорные оценки различных экспертов, трактуя априорную оценку каждого эксперта как один член априорной выборки (9.16).
Вернемся к ОММП-оценке (9.25). При решении практических задач матрицы fl и Ка часто неизвестны. Тогда вместо оптимальной оценки (9.25) естественно рассмотреть оценку
u = (2_ атА+ 4 s) ^^А^+^ВиЛ,(9.33)
\ сгсга /V сгсга /
где В — симметричная положительно определенная матрица, вообще говоря отличная от К”1.
Оценка (9.33) несмещена. Ясно, что оценка (9.33) не является оптимальной. Сохраняется ли тем не менее состоятельность оценки (9.33)?
Ранее уже отмечалась состоятельность вышеприведенных ОММП- оценок при четырех вариантах предельных переходов: г —> ос; 7V —> ос; ст2 0; ст2 0.
Оказывается, что при любом выборе положительно определенной матрицы В состоятельность оценки (9.33) сохраняется для любого из четырех вариантов предельного перехода.
Теорема 9.6. Оценка (9.33) сходится в среднем квадратичном; к иТ либо при N —> ос, либо при ст2 ^ 0; к одному из решений системы Au = fT либо при г —> ос, либо при а2 0. В частности если А — матрица полного ранга, то оценка (9.33) сходится в среднем квадратичном к иТ и при г -^ ос, и при а2 -^ 0.
Задача 9.3. Используя схемы доказательств теорем 9.1, 9.2, докажите теорему 9.6.
Обобщенный метод максимальногоправдоподобия учета априорнойдетерминированной информации в рамкахлинейных моделей
Рассмотрим теперь ОММП-оценки, использующие априорную информацию детерминированного характера.
Пусть априорная информация задана в виде и Е Ra, где Ra — заданное априорное множество пространства Rm.
Согласно ОММП за оценку искомого вектора и берется вектор ^оммш максимизирующий функцию правдоподобия L(u) при ограни-
чении и Е Нои т. е.
(9.34)(9.34)Ыоммп = arg max Ци\
(9.34)
(9.34)
U ^ Ra
Если L(u) — сильно выпуклая функция, Ra — выпуклое множество, то ОММП-оценка (9.34) существует и единственна. Численно ОММП- оценки для общего случая можно находить методами нелинейного программирования, применяя, в частности, градиентные методы или методы штрафных функций.
Рассмотрим важный для практики частный случай, когда можно в явном аналитическом виде найти ОММП-оценку (9.34).
Пусть закон распределений реализаций /1,.. . , /г правой части регрессионной модели (7.2) нормальный — fj ~ Af(фТа^Кjj^ а сами реализации независимы. Тогда ОММП-оценка (9.34) является решением экстремальной задачи
Ыоммп = arg min Y У (fj - Аи)т KT^ fj - Ли). (9.35) llERa О"
Пусть Ra — эллипсоид (9.6). Тогда ОММП-оценка (9.35) существует, единственна и дается равенством
«оммп = ( У 4- АТК^А + а* bV1 (V 4" АтK^fj + а*Ви0\
(9.36)
где множитель Лагранжа а* > 0 находится из равенства
Н^оммп — ^о||в = Р2-(9.37)
Если все реализации /1, . . . , fT независимы и одинаково распределены по закону N\fTl сг^Г^ то ОММП-оценка (9.36) принимает вид
иОммп = (4 АтЯ-1А + а*в\ 1(yAT^-1f + a*Bu0], (9.38) \(7/\(7/
гДе f = f Y Zr
В частности, если имеется только одна реализация /, то
иОммп = (Л^Ч + а* В}-1 (Ат £h-1 f + a* Buof (9.39)
где а* > 0 находится из равенства (9.37).
АТК”^А + а*в\ В(и0 - ит\АТК”^А + а*в\ В(и0 - ит\ОММП-оценки (9.36)-(9.39), вообще говоря, смещены, т. е. М йоммп = ит — Дщ где смещение /Хи для оценок (9.36)-(9.39) имеет, соответственно, величину
АТК”^А + а*в\ В(и0 - ит\
АТК”^А + а*в\ В(и0 - ит\
/Хи=а* ^2
3 = 1
Аи=а*(^ АТ£Г1А +а*В^ 1 В(и0 - uT),
Ди=а*(^ ATQ“14 + a*B^ 1 B(u0 - uT).
Рассмотрим, например, семейство оценок (9.39) с а* = а > 0. При а = 0
= %мп = (^^^ Х^4) 1 Ат П 1 /.
При а —> ос
U —> Uq.
Если мммп ^ Rai то ОММП-оценка (9.39) вычисляется по формуле (9.39) при условии ||иоммп - и0|1в = Р2- Если “ммп € Да, то ОММП-оценка (9.39) совпадает с мммп (в (9.39) а* = 0).
Поэтому для вычисления ОММП-оценки (9.39) целесообразно применить следующий алгоритм.
Если при малых значениях а > 0
(ЛТ^“М + аВу1^^1 f + аВи0) ^ R»,
то находим такое значение а*, при котором
(Ат^-1Д + сАву^А^-у + а*ВиУ eRa\ Ra,
и полагаем
«оммп = (Ат^-гА + а*ВуЧАт^"У + а* Виоу
Если при а = 0 йммп существует и принадлежит Ra^ то полагаем ^оммп = %мп-
Заметим, что для случая мммп ^ ^« имеем а* = 0 и поэтому Дм = 0, т. е. смещение отсутствует. Итак, если мммп € Ra. то дополнительная априорная информация и € Ra «не срабатывает», если же мммп не существует или не удовлетворяет по точности (матрица А^^А вырождена или плохо обусловлена) или мммп ^ Ra^ то %ммп «подтягивает» ММП-оценку до границы априорного множества Ra.
ОММП-оценки (9.36)-(9.39) обладают свойством состоятельности. Например, оценка (9.38) сходится в среднем квадратичном к одному из решений системы Au = fT либо при ст2 —> 0, либо при г -^ ос. В частности, если А — матрица полного ранга, то оценка (9.38) сходится к ит. Если р —> 0, то ОММП-оценки (9.36)-(9.39) сходятся в среднем квадратичном к ит. Если р -^ ос, то ОММП-оценка (9.39) сходится к ММП-оценке (7.22) (вернее, существует такое р^. что йОммп = ^ммп’ если р > р0)-
Задача 9.4. Докажите перечисленные выше варианты сходимости ОММП-оценки (9.38).
Задача 9.5. Сходятся ли ОММП-оценки (9.38) при р -^ ос, если А — матрица неполного ранга?
Заметим, что при uq = 0 и fl = 1т ОММП-оценка (9.39) формально совпадает с приближенным решением, полученным с помощью метода регуляризации А. Н. Тихонова или других методов решения некорректно поставленных задач [35,46,49, 51-54, 58, 59, 71-74,109].
Обобщенный метод максимального правдоподобия представлен в публикациях [9, 59,91].
Регуляризованный метод наименьшихквадратов
До сих пор предполагалось, что в регрессионной модели (7.2) матрица А детерминированная, т. е. задана без случайных погрешностей. В настоящем параграфе рассматривается регрессионная модель (7.2) в условиях наличия погрешностей при задании элементов матрицы А. При решении практических задач такая ситуация возникает часто. Например, если регрессионная модель (7.2) порождена задачей восстановления функциональной зависимости, то наличие случайных погрешностей в задании элементов матрицы А эквивалентно наличию случайных погрешностей при фиксации х^ значений независимой переменной х.
Введем расширенную (п х (т + 1))-матрицу В = (Ат, — /т) и векторы хТ = (ит, 1) размерности m + 1. В пространстве Ят+1 векторов и Е Rm^\ ит = (мт,?/), у — число, множество векторов х образует гиперплоскость Пт размерности т.
Систему (7.1) запишем в эквивалентном виде
(6^,ж) = 0, г = 1,...,п,(9.40)
где bj — г-я строка матрицы В.
При фиксированном х Е Пт множество векторов Sm = {v: v Е Е Rm^\ (^эс) = 0} образует подпространство размерности т. Для произвольного и Е RTn^x имеет место ортогональное разложение и = = ^s + 1)N, где Ds Е Sm, VN-LSm.
Имеем
где р^и^ Sm) — расстояние между и и Sm.
Обозначим Jt(^) сумму квадратов расстояний между Ь^ и Sm^ г = 1,. . . , п.
Имеем
где |6Д^)| — расстояние между 6^ и Sm вдоль прямой, параллельной оси Оу (на рис. 9.1 показан случай для т = 2).
Используя равенство ^(Ь^ ж)2 = \\Аи — /т||2, получаем
г=1
Jt^) =Jt^) =\\Ah-Jt£.1Ы12 + 1 '\\Ah-Jt£.1Ы12 + 1 '
Jt^) =
Jt^) =
\\Ah-Jt£.1Ы12 + 1 '
\\Ah-Jt£.1Ы12 + 1 '
Пусть теперь вместо точной правой части fT и точной матрицы А^ известны их случайные реализации / и А.
Рис. 9.1Рис. 9.1
Рис. 9.1
Рис. 9.1
Рассмотрим функционал
"ы^/Г (9Л1)
||м|| +1
Напомним, что согласно МНК в рамках классической схемы требуется найти вектор п, минимизирующий функционал невязки \\Au-f\f.
Из вышесказанного следует, что нахождение МНК-оценки эквивалентно нахождению вектора х € Пт, который определит такое подпространство Sm (x-LSm^ сумма расстояний до которого вдоль оси Оу от точек 6^, г = 1, . . . , п, будет минимальной.
Введем метод ортогональных проекций (МОП) [41], согласно которому требуется найти вектор п, минимизирующий функционал ортогональных проекций (9.41).
Из вышесказанного следует, что нахождение и согласно МОП эквивалентно нахождению вектора х € Пт, который определит такое подпространство Sm ^xA_Sm\ сумма расстояний до которого от точек Ъ^ г = 1, . . . , п (сумма квадратов длин перпендикуляров, опущенных из точек bг на Sm), будет минимальной.
Заметим, что подпространства Sm, определяемые МНК и МОП, в общем случае различны (и тем самым будут различны МНК-оценка и МОП-оценка вектора и). Эти подпространства будут совпадать, когда система Аи = / непротиворечива, т. е. существует ее точное решение.
В этом частном случае все точки Ь^ принадлежат общему подпространству Sm, определяемому и МНК, и МОП.
Найдем вектор и, минимизирующий функционал ортогональных проекций (9.41). Подсчет градиента функционала (9.41) дает формулу
11^ -/II21Ы12 + 111^ -/II21Ы12 + 1ииgrad„ J(u) =2 (Дт Аи _ ATj
11^ -/II21Ы12 + 1
11^ -/II21Ы12 + 1
и
и
1Ы1 +i\
Следовательно, МОП-оценка ймоп является решением нелинейного уравнения
АТАи-а*и = ATf,(9.42)
где а* = min„ J(u) = J(uMOn).
Нелинейность уравнения (9.42) обусловлена зависимостью параметра а* > 0 от искомой МОП-оценки.
Можно оценить снизу значение а*. Действительно,
а* = min J(uA = жЕПт
П zх 9П „х 9тт > Э тт > INI1Ы1П zх 9П „х 9тт > Э тт > INI1Ы1min1Ы1=1min1Ы1=1У^у)2-У^у)2-
П zх 9П „х 9
тт > Э тт > INI1Ы1
П zх 9П „х 9
тт > Э тт > INI1Ы1
min1Ы1=1
min1Ы1=1
У^у)2-
У^у)2-
Уравнение Эйлера для последней экстремальной задачи с ограничением имеет вид
BTBv = Av,(9.43)
где А — множитель Лагранжа.
Уравнение (9.43) — задача на собственные значения симметричной неотрицательной (т + 1) х (т + 1)-матрицы ВТВ. Пусть А* ^ О — наименьшее собственное значение, а и* (11^*11 = 1) — соответствующий ему собственный вектор матрицы ВтВ. Поскольку
^(Ь^и)2 = (ВТ Bv,v),
г=1
ТО
min X^(bi,uV= min (ВтBv,v) = А*.
IH=i
Следовательно, доказано неравенство а* ^ А*.
Если система Аи = / совместна, то все 6^ € Sm (оба подпространства Sm, определяемые МНК и МОП, совпадают). Следовательно, а* = А* = 0, уравнения, определяющие МНК-оценку и МОП-оценку, совпадают.
Предположим теперь, что элементы a^j матрицы А и элементы ft вектора / — независимые нормально распределенные случайные величины а^ ~ Л/ЦАт^,^, fi ^^(fтi, О/), г = 1,..., п, j = 1,..., m.
Обозначим /н = — /, пн = — и, Jth = ~ /т, Вн = (Л, -/н),
Втн = (Ат, —/тн)-
Все элементы b^ij нормализованной расширенной п х (m + 1)- матрицы Вн — независимые нормально распределенные случайные величины с одинаковой дисперсией ст^. Функция правдоподобия относительно всей совокупности случайных величин 6hzj> i = ^^ • • • ^ п^ j = = 1,. . . , т, имеет вид
ЦВТН) = (2тг^)-»(™+1)/2ехр { - А Е Е (ЬНц - bTHijA,
° г=1 3 = 1
где Ьтшз — неизвестные элементы нормализованной расширенной матрицы Втн-
Согласно ММП для нахождения ММП-оценок элементов Ьтшз не" обходимо максимизировать £(В^н), что эквивалентно минимизации функционала
n m + 1п
ДВТН) = Е Е (^НУ - bTHijf = Е Н^Ж - 6тнг||2,г=1 3 = 1г=1
где b^ b^Hi — i-e строки матриц Вн и В^н соответственно.
Согласно вышесказанному, векторы Ьтш принадлежат подпространству Вит? ортогональному искомому нормализованному вектору жн = (пю !)• Следовательно, функционал J(Bth) является функционалом ортогональных проекций для нормализованной системы Аин = = /н. Итак, для нормализованной системы ММП эквивалентен МОП при выполнении вышеуказанных условий относительно случайных погрешностей. Уравнение (9.42) для нормализованной системы относительно ММП-оценки пн искомого нормализованного вектора пн имеет вид
Ат Айн — сАйн = Ат fn, где а* = min
Н ' ’Рн||2 + 1
Возвращаясь к исходным векторам, получаем
АтАиМоп ~ а*ймоп = Ат f, где а* = Д min '^ 2 ^ 2. (9.44)
Из последнего равенства, в частности, следует, что а* -+ 0 при сг^ -+ -+ 0, т. е. МОП-оценка стремится к МНК-оценке при неограниченном уменьшении уровня погрешностей в элементах матрицы А.
МОП позволяет найти не только оценку искомого вектора п, но и переоценить неизвестные значения матрицы Ат и вектора /т. Действительно, МОП-оценки Ьтш неизвестных векторов Ьтш принадлежат одному подпространству 5нт> ортогональному вектору х^ = (п^,1), а сами Ьтш равны проекциям векторов Ьш на подпространство 8нт-
Следовательно, Ьтт = &ш — (бнг, жн)жн/||жн||2, г = 1,. . . , п. Последние равенства запишем в эквивалентном виде
^Тг — аг —^Тг — аг —(йг , ^н) /нг1Ы|2 + 1(йг , ^н) /нг1Ы|2 + 1Пн,Пн,/тНг — /ж +/тНг — /ж +((1г , Пн) fmРн||2 + 1((1г , Пн) fmРн||2 + 1(9.45)(9.45)
^Тг — аг —
^Тг — аг —
(йг , ^н) /нг1Ы|2 + 1
(йг , ^н) /нг1Ы|2 + 1
Пн,
Пн,
/тНг — /ж +
/тНг — /ж +
((1г , Пн) fm
Рн||2 + 1
((1г , Пн) fm
Рн||2 + 1
(9.45)
(9.45)
г = 1, . . . , п,
где а^ — г-я строка матрицы А, /нг — ^-й элемент нормализованного вектора /н.
Векторно-матричная форма системы равенств (9.45) относительно исходных векторов и, / имеет вид
^4моп^4мопЛ I 2 Р(^МОп)^МОП2и2 .2 ’<7а||НмОп|| + CFfЛ I 2 Р(^МОп)^МОП2и2 .2 ’<7а||НмОп|| + CFf/моп — / ^у/моп — / ^угде р(^моп) — / ^^моп*где р(^моп) — / ^^моп*р(^моп)212 .2 ’<7а||пмоп|| -V CFf (9.46)р(^моп)212 .2 ’<7а||пмоп|| -V CFf (9.46)Заметим, что МОП-оценки Ат и fT сходятся в среднем квадратичном к Ат и /мнк = Атпмнк соответственно при о-2 —>- 0.Если о-2 неизвестна, то, используя ММП, можно получить оценку ст2. Действительно,Заметим, что МОП-оценки Ат и fT сходятся в среднем квадратичном к Ат и /мнк = Атпмнк соответственно при о-2 —>- 0.Если о-2 неизвестна, то, используя ММП, можно получить оценку ст2. Действительно,
^4моп
^4моп
Л I 2 Р(^МОп)^МОП
2и2 .2 ’
<7а||НмОп|| + CFf
Л I 2 Р(^МОп)^МОП
2и2 .2 ’
<7а||НмОп|| + CFf
/моп — / ^у
/моп — / ^у
где р(^моп) — / ^^моп*
где р(^моп) — / ^^моп*
р(^моп)
212 .2 ’
<7а||пмоп|| -V CFf (9.46)
р(^моп)
212 .2 ’
<7а||пмоп|| -V CFf (9.46)
Заметим, что МОП-оценки Ат и fT сходятся в среднем квадратичном к Ат и /мнк = Атпмнк соответственно при о-2 —>- 0.
Если о-2 неизвестна, то, используя ММП, можно получить оценку ст2. Действительно,
Заметим, что МОП-оценки Ат и fT сходятся в среднем квадратичном к Ат и /мнк = Атпмнк соответственно при о-2 —>- 0.
Если о-2 неизвестна, то, используя ММП, можно получить оценку ст2. Действительно,
п т + 1
+ * £ £- $„у)2 = 0.
dcra2<7° S ^1
Отсюда ||имоп||2ст2 = (n(m + I))"1|| ЛиМоп - /||2 - О'2-
Последнее равенство можно записать в виде
1И^моп — /||2 — М2 Н^моп ||2 = ^2,(9.47)
где р2 = ?2 n(m + 1), д2 = ст2 n^m + 1).
Пусть теперь задана априорная информация об искомом векторе и вида ||и|| ^ К, где К — положительная константа.
Введем регуляризованный метод ортогональных проекций (РМОП), согласно которому за оценку искомого вектора и принимается вектор
-•11^ "/II2
= arg пип.(9.48)
||«К7< <то||м|| + G;
Вектор и7 является решением нелинейного уравнения Эйлера
гдегдеАт Аи^ + 7u7 = Ат f,(9.49)
где
где
«(^ + Уд||и7||2) _ <Тд||Ли7 - /||2О'/о-2||м7||2 + <72 ’
а > 0 — множитель Лагранжа.
Из (9.49) следует, что при ст2 —> О параметр регуляризации может принимать как положительные, так и отрицательные значения в зависимости от соотношения между ст2 и сг2. Значение параметра 7 определяется согласно равенству (9.47), записанному относительно п7:
№-f\\2-^\\u42 = 62.№-f\\2-^\\u42 = 62.(9.50)(9.50)
№-f\\2-^\\u42 = 62.
№-f\\2-^\\u42 = 62.
(9.50)
(9.50)
Формулы (9.46), (9.49), (9.50), определяющие РМОП-оценки искомых А fT. иТ, полностью соответствуют аналогичным формулам регуляризованного метода наименьших квадратов (РМНК) А. Н. Тихонова.
Из формул (9.49), (9.50) следует, что при сг2 = 0 РМОП-оценка искомого вектора и определяется системой уравнений Ат Ай + ай = = Ат /, где параметр регуляризации а > 0 определяется из равенства ||Ай — /||2 = д2. Таким образом, при отсутствии погрешностей в элементах матрицы А РМОП-оценки искомого вектора и совпадают с приближенным решением, даваемым вариационным методом регуляризации А. Н. Тихонова с выбором значения параметра регуляризации согласно способу невязки.
В заключение параграфа отметим, что МОП аналогичен методу ортогональной регрессии, используемому для восстановления функциональных зависимостей [27,38].
10 А.В. Крянев, Г.В. Лукин
Глава 10
МЕТОД НАИМЕНЬШИХ КВАДРАТОВДЛЯ НЕЛИНЕЙНЫХ МОДЕЛЕЙС НЕОПРЕДЕЛЕННЫМИ ДАННЫМИ
До сих пор рассматривались задачи восстановления, в которых основное уравнение (7.2) является линейным относительно искомого вектора п. Однако для многих прикладных задач основное регрессионное уравнение может быть нелинейным относительно и.
Пусть, например, рассматривается задача восстановления функциональной зависимости, теоретическая модель которой имеет вид у = ф^х; и), где функция у?(ж; п) нелинейно зависит от компонент Uj искомого вектора и = (гн,. . . , ит)т. Предполагается, что при х = х^ г = 1, . . . , п, производится экспериментальное измерение у г со случайной погрешностью s^. Тогда справедливы равенства у; = ^(ж*; n) + s^, которые можно записать в виде
A^Vf-г-(Ю.1)
Для рассматриваемой задачи А(п) = (^(жх; п), . . . , ф(хп; ^))т, / = (Уь • • •, У^т, е = (ei, • • •, SnY•
Нелинейную вектор-функцию А (и) можно рассматривать как нелинейный оператор, действующий из пространства Rm в пространство Rn.
К нелинейной задаче восстановления (10.1) сводятся также: многомерные регрессионные задачи, теоретические модели которых имеют вид у = ф^х^ . . . ^х^ и\ где жх, . . . , Xk — регрессоры (независимые переменные), а функция ф нелинейно зависит от компонент искомого вектора п; дискретизированные аналоги нелинейных интегральных уравнений, включая нелинейные интегральные уравнения первого рода.
МНК-оценки параметров нелинейныхмоделей и их свойства
Пусть компоненты Ei вектора погрешностей е имеют одинаковую дисперсию ст2 и попарно не коррелируют.
Определим МНК-оценку искомого вектора п нелинейной регрессионной модели (10.1) равенством
«мнк = arg min ||Л(и) -/||2,(10.2)
uERm
где Q(n) = ||А(п) — /||2 = ^(АДн) — fi)2, А^и) — компоненты г=1
вектор-функции А(н).
QWО —2QWО —2Если г распределен по нормальному закону е ^ Af\O, ст2Iп), то МНК-оценка (10.2) является одновременно ММП-оценкой. Действительно, в этом случае функция правдоподобия дается равенством
QWО —2
QWО —2
L(n) = (27пт2) п/2 exp
и поэтому максимизация L(n) эквивалентна минимизации Q(u\
Встречаются прикладные задачи, в которых между компонентами вектора погрешностей е имеются корреляционные связи и известна корреляционная матрица К£ = сг2П (а2 может быть неизвестной). Тогда МНК-оценку определим равенством
«мнк = arg min (Д(и) - /)т^-1(Л(и) - р. (10.3)
Если £ распределен по нормальному закону, т. е. е ~ Д/ДО, cr2Q), то МНК-оценка (10.3) является одновременно ММП-оценкой.
Задача 10.1. Докажите последнее утверждение.
В отличие от линейной задачи восстановления, нахождение МНК- оценки для нелинейных задач восстановления является намного более трудоемким процессом, поскольку уравнение gradu Q(n) = 0, определяющее МНК-оценку для нелинейных задач восстановления, является нелинейным.
Более того, для нелинейных задач восстановления функционал Q(n) может иметь несколько локальных минимумов или вообще не иметь ни одного. Таким образом, для нелинейных задач восстановления существование и единственность МНК-оценки приобретает существенное и первостепенное значение как с точки зрения качественного анализа, так и с точки зрения вычисления самой МНК-оценки (если она существует).
Рассмотрим последовательность МНК-оценок йп нелинейной регрессионной модели (10.1) при п —> ос.
Теорема 10.1. Пусть'.
1° компоненты вектора погрешностей е независимы и одинаково распределены',
2° ||А(п1) — А(по)||2/п равномерно относительно П1,П2 € R сходится к ф^их, ио), где R — ограниченное мнозюество',
3° ф^нх, по) = 0 тогда и только тогда, когда их = uq',
4° А (и) непрерывен по и Е R.
Тогда последовательность МНК-оценок йп сходится по вероятности к иТ при п —У оо.
Доказательство. Имеем
^1№) - /II2 = 1 №Т - А^, е) + 1|Н2 + Д А(и) - АЫГ ILILILIL
Далее,
М — (А(иТ) — Л(п), s) = 0,
°"2 (- (А^т) - А(и),е^ = ^ ||Д(ит) - Д(и)||2 ^ О \п/ п
при п —У ос. Поэтому (А(ит) — AQuy s)/п сходится в среднем квадратичном к нулю. Так как е^ г = 1,. . . , п, распределены одинаково, то ||s||2/n сходится по вероятности к ст2 при п —> ос. Итак, ||Л(п) — /||2/п сходится по вероятности к ст2 + уДп, пт) равномерно по и € R.
Из определения МНК-оценки имеем
1||Д(«Д-/||2<1||Д(Мт)-/||2 = ^^ TtTt
Переходя в последнем неравенстве к пределу при п —У ос, получаем ст2 + ф^и\ ит} ^ ст2, где и* = lim^^oo nn. Из последнего неравенства имеем и* = ит. Теорема доказана.
Условие 2° теоремы 10.1 является аналогом сильной регулярности матриц Ап последовательности линейных регрессионных задач (7.14). Действительно, для линейной задачи
1||Д(Ы1) - Л(м0)II2 = 1||Дп(г<1 - u0)||2 = (ui - и0)т-А^ДП(Ы1 - Ко).
Таким образом, выполнение условия 2° эквивалентно существованию предела А^А^/п —у L при п —> ос, где L — положительно определенная матрица. Отметим, что неограниченность последовательности норм ||Л(п) — Л(по)|| для любых п,по при п —У ос является необходимым условием состоятельности последовательности МНК-оценок й^ при условии независимости и одинаковой распределенности компонент вектора погрешностей е.
Пусть равномерно относительно и Е R существует предел
lim -pTpn = L,n^oc Tl
где Рп — матрица первых производных, элементы которой
(Pn)ij =г = 1,..., n, j =
и L(uT) — положительно определенная матрица. Тогда при выполнении некоторых дополнительных условий к условиям теоремы 10.1 последовательность un МНК-оценок будет асимптотически нормальной, а именно: закон распределения последовательности ^п (ип — ит) будет стремиться к ^(0, ст2L-1(uT)) при п —> ос.
Следовательно, при достаточно большом п с хорошим приближением можно полагать, что un ~ М(ит^ о"2(Р^
Последнее, в частности, позволяет после нахождения МНК-оценки ймнк строить приближенные доверительные интервалы для компонент urj, j = 1,. . . , m, искомого вектора wp:
^mhkj — ^(Рдов)^^^^ (^мнк) ^(^мнк))^^)!^
С ^Тj ^ ^MHKj + ДРдов)^^ (ммнк)^(ммнк))д' )7
(Рдов)
1 f С 2. Рдов
где рдов — доверительная вероятность, в ' as = .
V 2тг32
о
Если ст2 неизвестна, то в качестве состоятельной оценки можно взять статистику s2 = ||Л(пмнк) — /II2/п•
Заметим, что МНК-оценки нелинейной регрессионной модели (10.1), как правило, смещены. Ясно, что для состоятельных МНК- оценок смещение стремится к нулю при п —У ос.
Численные методы нахождения МНК-оценокпараметров нелинейных моделей
Вычисление МНК-оценки (10.2) можно осуществить, используя общие методы минимизации знакоопределенных функционалов, например градиентные методы или классический метод Ньютона. Однако для решения экстремальной задачи (10.2), учитывая специальный вид минимизируемого функционала Q(n), можно сконструировать специальные эффективные вычислительные алгоритмы. Одним из таких специальных вычислительных методов является метод Нъютона- Гаусса.
Предположим, что функции А^и) непрерывно дифференцируемы. Пусть задано приближение и^ искомого вектора и. Для нахождения следующего приближения п^^1) применим следующую схему.
Представим приближенно
Л(и) = Л^^) + Дь(ы — м^), (10.4) где Р^ — (п х т)-матрица первых производных компонент вектор- функции Л(п), вычисленных для значения и = и^к\ т. е.
(pk)ij = —at”’ г = 1,...,п, j = l,...,m.
Формула (10.4) определяет линеаризацию вектор-функции Л (и) в окрестности точки и = и^к\ Заменяя в (10.1) Л (и) согласно (10.4), получаем вместо нелинейной задачи (10.1) линейную задачу восстановления:
Рк5и = 6f -Е, (10.5) где Su = и — и^ — искомый вектор, Sf = f — А(и^\
МНК-оценка <^мнк линейной регрессионной модели (10.5) дается равенством
<^мнк = ^Pk Pk^Pk 5f.(10.6)
Положим u^+1^ = и^ + 5umhk- Из (10.6) получаем
м(/=+1) =+ ^ртркГ1рту _(10.7)
Формула (10.7) определяет итерационный процесс (ИП) Ньютона- Гаусса. Таким образом, последующее приближение ИП Ньютона- Гаусса является МНК-оценкой искомого вектора и для линеаризованной в окрестности предыдущего приближения исходной нелинейной регрессионной модели.
Задача 10.2. Пусть ковариационная матрица компонент вектора погрешностей е определяется равенством К£ = сг2П, где Q — положительно определенная матрица. Покажите, что ИП Ньютона-Гаусса для этого случая принимает вид
M(fc+D =+ ^рт^р^рт^-^f _ AQu^Y).
Для сходимости ИП (10.7) к стационарной точке, обращающей в нуль gradu Q(n), достаточно, чтобы матрицы Р^ Рк были хорошо обусловлены, а нелинейная зависимость А (и) «не очень сильной». Конечно, сходимость последовательности и^ к стационарной точке может иметь место и для случаев «сильной» нелинейности А^и\
На каждом шаге ИП (10.7) необходимо обращение симметричной положительно определенной (ш х т)-матрицы Р^ Рк- При практической реализации ИП (10.7) матрицу Р£ Рк оставляют «замороженной» для обслуживания нескольких итераций, а только затем производят ее перерасчет. Это позволяет в ряде случаев значительно сократить общее количество вычислений для получения окончательной оценки.
Еще одной упрощенной схемой ИП (10.7) является ИП градиентного метода:
У^1) = UW + рТу _ А^У),(10.8)
не требующий обращения матрицы Рк Рк-
Часто вместо ИП (10.7) и (10.8) используют, соответственно, ИП
м(*+1) = UW + а^ртрк)-1рт^ _ А^^у,(10.9)
и^+Р = uw + акР^и - А^у,(10.10)
где оптимальное значение ускоряющего множителя а к можно выбирать из условия
ак = arg min Q(u^ +
^k^^pTp^-lpT^-A^W^
для (10.9) и и^ = Р^ U — А(и^)) для (10.10).
Для ИП (10.9) и (10.10) в качестве подходящих значений oik можно брать соответственно
„ _(«W, (Pk PbP^kU - ^(tzw)))
k W^Pk^P^f-A^W ’
^(f-A^W -
Часто основной вычислительной трудностью для реализации ИП Ньютона-Гаусса (10.7) является плохая обусловленность матрицы Р^ Рк ПРИ некоторых значениях и^к\ Левенбергом была предложена модификация ИП (10.7), свободная от этого недостатка. ИП Левенберга определяется равенством
м(/=+1) = Mw + ^рТрк + ак1ту^рТ^ _ А(гЯУ), (10.11) где параметр регуляризации а к > 0 выбирается так, чтобы (ш х ту матрица Р^ Рк "V ак!т была хорошо обусловлена.
Используется и другая регуляризованная модификация ИП (10.7):
+ (рТРк + «кВк^рТ(f - A(uW^, (10.12)
где В к — симметричные положительно определенные (т х ту матрицы. В частности, Марквардт предложил в качестве В^ выбирать диагональные матрицы Вк = &ag((P£ Рк)п,... ,(Р£ Pfe)mTO), где (Рк Pk)jj — диагональные элементы матрицы Рк Рк-
Еще одной существенной вычислительной трудностью реализации вышеприведенных ИП является выбор начального вектора и^\ Ясно, что если вектор п^1) выбран неудачно, на большом расстоянии от искомой экстремальной точки функционала Q^u\ то значительно увеличивается количество итераций, необходимых для получения приемлемого конечного результата. Общих конструктивных рекомендаций выбора п^1) не существует. Для некоторых частных видов нелинейного оператора А (и) такие рекомендации можно дать. Пусть, например, существует такой нелинейный оператор В: Rn —>- R1, что В(А(иу = = Си, где С — (/ х т)-матрица.
Тогда из равенства А (и) = / следует равенство Си = Bf. Если оператор В найден, то в качестве и^ можно взять МНК-оценку линейной регрессионной модели Си = ср, и^ = (СТС)-1СТср, где ср = B(J).
Пример 10.1. Рассмотрим задачу восстановления функциональной зависимости вида
У = П а^(Ж)-")(ж),
к=\
где а^(х) > 0, b^(x) — вектор-функции размерности т. Имеем
1
In у = ^ kbkkxY м) 1п ак(ж) = (и, е(ж)),
,т, £j(xi) — j-я компонента,т, £j(xi) — j-я компонентагде исходная регрессионная модель линейна по и. Следовательно, можно взять
,т, £j(xi) — j-я компонента
,т, £j(xi) — j-я компонента
где Cij = е^х^, г = 1,..., n, j = 1,. вектора е(ж,), у? = (In yi,..., In уп)Т.
Методы и алгоритмы нелинейного оценивания представлены в работах [11,27,56,101].
Глава 11
МЕТОДЫ ВЫДЕЛЕНИЯДЕТЕРМИНИРОВАННЫХ И ХАОТИЧЕСКИХКОМПОНЕНТ ВРЕМЕННЫХ РЯДОВ
При решении многих практических задач, связанных с математической обработкой неопределенных данных, например задач математической экономики, часто возникает необходимость сглаживания совокупности точек (t^, yk\ к = 1, . . . ,п, фиксирующих функциональную зависимость у = y(t\
Операция сглаживания по существу эквивалентна выделению детерминированных и хаотических компонент из экспериментальной функциональной зависимости, задаваемой совокупностью точек (tk, УкУ к = 1,...,п.
Одним из эффективных методов выделения детерминированной компоненты из экспериментальной функциональной зависимости является представление функциональной зависимости по базисной системе линейно независимых функций {^(£): j = 1, . . . , m}
У = у№= У>тД) + е^),(11Л)
где e(t) — хаотическая компонента, ni, . . . , ит — коэффициенты разложения, подлежащие оценке на основе известной совокупности точек (^/г 1 У к)'
В настоящей и следующей главах мы будем трактовать хаотическую компоненту как случайный шум [37,63]. Однако существует другой подход, в рамках которого хаотическая компонента трактуется как детерминированный динамический хаос [60,89].
Метод сглаживающих ортогональныхполиномов
Часто в качестве базисной системы функций в (11.1) берут нормальную систему полиномов. Напомним, что система полиномов {y?j(t), j = = 1, . . . , m} называется нормальной, если в ней присутствуют все полиномы степени 0,1,. . . , m — 1. Не умаляя общности, можно считать, что ^з^ — полином степени j — 1.
Наиболее простой нормальной системой полиномов является система полиномов <Pj(t) = Р-1. Однако если т ^ 7, то при <Pj(t) = Р-1 возникают принципиальные трудности вычисления оптимальных оценок коэффициентов Uj по совокупности точек (^,7/^), к = 1, . . . ,п.
Действительно, МНК-оценка вектора и = (ui, . . . , ит)Т линейной модели
Ук = 52 ^з^з^к) + ФкУ к = 1,. . . ,п,(11.2)
имеет вид (см. § 7.3)
и = (ATQ_1A)_1ATQ-1/,(11.3)
где / = ^рх^ . . . , уп)Т, Aij = ^ Х — элементы матрицы A, Q — ковариационная матрица случайных величин е(^), г = 1, . . . , п.
Поэтому элементы матрицы Ат А имеют вид
1АТА^ = Ё 4+j'"2.
к=\
Предположим, не умаляя общности, что t Е [0,1] и tkvx — t^ = 1/п и Q> = а21п. Тогда
(АтА)^=пУ —« п I tl+^~2 dt =, г, j = 1,. . . , m.
V )гзп Jг + j-T’
Следовательно, матрица АтА при достаточно большом п близка к известной матрице Гильберта Нт (с точностью до множителя п). Но при увеличении порядка т обусловленность матрицы Гильберта катастрофически ухудшается, что и указывает на неустойчивость МНК- оценки (11.3) параметров линейной модели (11.2).
Одним из наиболее эффективных способов избежать неустойчивости при оценке параметров линейной регрессионной модели, порожденной представлением искомой функциональной зависимости системой полиномов, является использование в качестве базисных полиномов нормальной системы полиномов, ортогональных на множестве точек {t/Д, к = 1, . . . , п.
Если в модели (11.2) Q = diag (сг^, . . . , сг^) и система базисных функций {^Д^)}, j = 1,...,п, ортонормирована на множестве точек ^t^ с весами {1/<т^}, к = 1,. . . , п, то ATQ-1A — единичная матрица и МНК-оценка (11.3) имеет вид
Uj = У" А ^зЦ^Ук, з = 1,...,т.(11.4)
1
Устойчивость оценок (11.4) очевидна.
Для любого множества точек {t/Д и весов {1/<т^}, к = 1, . . . , п, можно построить нормальную ортонормированную систему полиномов любого порядка т.
Для построения ортонормированной системы полиномов можно использовать устойчивую схему Форсайта [68], согласно которой полино-
мы системы рассчитываются по рекуррентным формулам
п zк=1п zк=1-ai)2V1/2-ai)2V1/2сткстк
п z
к=1
п z
к=1
-ai)2V1/2
-ai)2V1/2
стк
стк
, . /А 1 \"1/2к=1 к, . /А 1 \"1/2к=1 к^i(A) = (t- a^Ci,^i(A) = (t- a^Ci,
, . /А 1 \"1/2
к=1 к
, . /А 1 \"1/2
к=1 к
^i(A) = (t- a^Ci,
^i(A) = (t- a^Ci,
Е
^кЧ^к) k _^^г(^)^г-1(^)/ц -x
2’Щ + l — / v 2’(11'5)
/c=l kк = 1к
miW = (a - a^^t) - b^i^i-i^ty
/^?+l(^)\X/2Z X~ Z X .
Ci^x = I 2)’ mi(c = ct+imiW>
к=\
После формирования ортонормированной нормальной системы полиномов по формулам (11.5) рассчитываем МНК-оценки параметров и = (гД,. . . , ит)Т по формулам (11.4).
Сглаженная детерминированная компонента yAeT(t) исходного временного ряда \t^ у^}, k = \, . . . ,п, определяется равенством
1/дет(^) = 5^ uj4)jW.(11.6)
В частности, значения детерминированной компоненты в точках t^ даются равенствами Удет^к) = 52 ^э^А^кЬ & = 1, . . . , п.
Степень сглаживания зависит от числа членов разложения тп: чем меньше ш, тем больше степень сглаживания.
Подходящее значение тп можно находить, используя различные критерии, основанные на анализе остатков (хаотическая компонента)
2/хаот(А/г) = Ук ?/дет(А/г), к = 1, . . . , ТЬ.(11.7)
Для выбора подходящего значения m можно использовать, например, показатель Херста [76,80]. Известно, что показатель Херста для белого шума (хаотической компоненты) равен 0,5. Поэтому для выделения детерминированной компоненты подбирается такое значение ш, при котором показатель Херста хаотического временного ряда (11.7) наиболее близок к 0,5. Существуют другие критерии выбора подходящего значения тп.
При решении практических задач, связанных с выделением детерминированных компонент временных случайных рядов, в них часто присутствует компонента, соответствующая большим выбросам. В этом случае применение схем выделения детерминированной компоненты, основанных на представлении
Рк — 2/дет(^&) "Ь Рхаот^к^ •>(11.8)
неправомерно и ведет к значительному искажению т/дет(^/е)-
При наличии больших выбросов вместо (11.8) необходимо использовать представление
Рк — 2/дет(^&) "Ь 2/выб(^/г) "Ь Рхаот^к^ •>(11.9)
где Рвыб^к) — компонента временного ряда, соответствующая большим выбросам.
Для выделения из временного ряда всех трех компонент представления (11.9) необходимо применять робастные схемы.
Решение практических задач, связанных с нахождением представления (11.9), показало высокую эффективность робастной схемы (8.5) и основанного на ней итерационного процесса (8.15).
Для исследуемой здесь задачи выделения трех компонент в представлении (11.9) схема (8.5) принимает вид
Upo6j = X Л фАНУУк, j =(11.10)
k=i
где
fpk.
если к 6 /о,
Ук = <
У, И-роб3 Ч^з^к^ “И K&ki 3 = 1
если к Е
(11.11)
У H-poGj^Pj^k^ ^^кч
если к Е
1_.
J=1
Здесь
/0 = \ к : \Рк У^ ^po6j"Фз (^к) | К(Ткз=1
^+ —• У кУ ^po6j (^&)К СТ к
3 = 1
= к : р^ УУ и-робзФз^-к^ < К<Тк 3 = 1
К — параметр Хьюбера.
Следовательно, итерационный процесс (8.15) для численного нахождения оценок (11.10), (11.11) принимает вид
(ОУк =(ОУк =Ук,52 ^PvAtk) + к<тк, i=iт52 и, ^j(^) - к о к, J=1Ук,52 ^PvAtk) + к<тк, i=iт52 и, ^j(^) - к о к, J=1еслиеслиеслиеслиеслиесликкккккЕЕЕЕЕЕг(01-4- 1г(01-4- 1(11.12)(11.12)
(О
Ук =
(О
Ук =
Ук,
52 ^PvAtk) + к<тк, i=i
т
52 и, ^j(^) - к о к, J=1
Ук,
52 ^PvAtk) + к<тк, i=i
т
52 и, ^j(^) - к о к, J=1
если
если
если
если
если
если
к
к
к
к
к
к
Е
Е
Е
Е
Е
Е
г(0
1-4- 1
г(0
1-4- 1
(11.12)
(11.12)
-Г’ = Ек=1-Г’ = Ек=12 ^З^к^Ук \2 ^З^к^Ук \j = 1, . . . , т.j = 1, . . . , т.
-Г’ = Е
к=1
-Г’ = Е
к=1
2 ^З^к^Ук \
2 ^З^к^Ук \
j = 1, . . . , т.
j = 1, . . . , т.
где
к :к :
к :
к :
^Фз^ > A'cr/.j,
^- = (fe : yk - 52 ^vAt^ < -Kстф
В качестве начального приближения и^\ j = 1, . . . , m, итерационного процесса (11.12) можно брать неробастные оценки (11.4), т. е.
MJO) = 52 ^2 ¥>з^к)Ук, j =(11.13)
Предложенный итерационный процесс настолько прост и эффективен, что его можно реализовать на персональных компьютерах даже для задач с размерностью т, достигающей нескольких сотен (при восстановлении функциональных зависимостей и выделении детерминированных компонент число т редко превышает 20-30).
После нахождения робастных оценок npo6j три компоненты представления (11.9) находятся согласно равенствам
'0,есликЕIodУвыб^к") —У кИдет^Зк^ КсткчесликЕ.Ук ~ Удет^к) + К(Тк,есликЕ1_'0,есликЕIodУвыб^к") —У кИдет^Зк^ КсткчесликЕ.Ук ~ Удет^к) + К(Тк,есликЕ1_Удет^к^) — ^^ ^poGj^j^kVJ = 1Удет^к^) — ^^ ^poGj^j^kVJ = 1Ухаот^к^) — Ук Удет^к^) Увыб^к} •> к — 1, . . . , Т1.Ухаот^к^) — Ук Удет^к^) Увыб^к} •> к — 1, . . . , Т1.(11-14)(11-14)
'0,
если
к
Е
Iod
Увыб^к") —
У кИдет^Зк^ Ксткч
если
к
Е
.Ук ~ Удет^к) + К(Тк,
если
к
Е
1_
'0,
если
к
Е
Iod
Увыб^к") —
У кИдет^Зк^ Ксткч
если
к
Е
.Ук ~ Удет^к) + К(Тк,
если
к
Е
1_
Удет^к^) — ^^ ^poGj^j^kV
J = 1
Удет^к^) — ^^ ^poGj^j^kV
J = 1
Ухаот^к^) — Ук Удет^к^) Увыб^к} •> к — 1, . . . , Т1.
Ухаот^к^) — Ук Удет^к^) Увыб^к} •> к — 1, . . . , Т1.
(11-14)
(11-14)
На рис. 11.1 представлены результаты использования сглаживающих (сплошная линия) и робастных сглаживающих (пунктирная линия) ортогональных полиномов для т = 7, 15. В качестве временного ряда использованы последние 50 значений индекса РТС за 2002 год.
Пример демонстрирует влияние максимальной степени полиномов т на результат сглаживания. При увеличении т сглаживающий график приближается к исходному.
Метод сглаживающих робастных полиномов можно использовать для конструирования алгоритмов, позволяющих оптимальным образом объединять экспериментальные данные при восстановлении функциональных зависимостей [21].
Метод сглаживающих линейных сплайнов
Проведение операции сглаживания, как правило, априори предполагает, что рассматривается задача восстановления функциональной зависимости у = y(t) с непрерывным изменением аргумента t, т. е. восстановленная функциональная зависимость должна позволять подсчитывать значения функции y(t) для всех значений аргумента t.
Однако часто при рассмотрении временных рядов только дискретная совокупность «экспериментальных» точек ^tk^ykY к = 1,...,п, соответствует реально существующей зависимости, а остальные значения аргумента t и соответствующие им значения у не имеют никакого смысла в рамках рассматриваемой задачи сглаживания.
При рассмотрении такого рода задач по существу речь идет о сглаживании только совокупности «экспериментальных» точек ^1к^Ук\ к = 1, . . . .п. и исследователя совершенно не интересуют промежуточные значения аргумента t. принадлежащие открытым интервалам ]^,^/=+1[, к = 1,..., п - 1.
Представленные ниже сглаживающие линейные сплайны дают возможность наиболее экономно и в то же время эффективно произво-
дить операцию сглаживания дискретной совокупности точек (1к^Ук\ к = 1, . . . .п. по сравнению, например, со сглаживающими кубическими сплайнами. Действительно, линейные сглаживающие сплайны имеют наиболее простую структуру для значений t Е ]£&, £&ч-1 [, А; = 1,. . . , п — 1, а именно линейную зависимость от t^ что и дает возможность сконструировать более простые и эффективные алгоритмы их численного восстановления, в том числе восстановления робастных линейных сглаживающих сплайнов, по сравнению, например, с кубическими сглаживающими сплайнами (см. § 11.4).
Напомним, что интерполяционным сплайном первой степени (линейным интерполяционным сплайном) называется кусочно линейная функция S(A), проходящая через заданные точки (£&, ?/&), А: = 1, . . . , п, ^1 < ^2 < • • • < tn-
Введем класс функций Wi, заданных на промежутке [fi, t^Y таких, что:
S(t) непрерывна на [fi, tnY
S(tk) = ук, к = 1,.. . ^п, где у к ~ заданные числа;
S(t) непрерывно дифференцируема на каждом Д/еД/е+Д, к = 1, . . . , п — 1;
в точках t = tk^ к = 2, . . . , п — 1, S'(t) может иметь разрывы первого рода.
Обозначим hk = tk-vx — t^ к = 1,. . . , п — 1.
Лемма 11.1. Среди всех функций f(t)E Wx линейный интерполяционный сплайн S(t) и только он минимизирует функционал
лп=YfWdt- (11Л5)
Доказательство. Пусть /(f) — произвольная функция из класса Wx- Имеем: J(S — /) = J(f) — J(S) + Q, где
Q = 2| S^S^t)- f(t))dt.
Получаем следующую цепочку равенств:
n-l^1 k=X Jn-l^1 k=X JS'«S'W-f^dt =S'«S'W-f^dt =
n-l^1 k=X J
n-l^1 k=X J
S'«S'W-f^dt =
S'«S'W-f^dt =
УА+1 - Ук (Ук+1 - У к hk V hkУА+1 - Ук (Ук+1 - У к hk V hk
УА+1 - Ук (Ук+1 - У к hk V hk
УА+1 - Ук (Ук+1 - У к hk V hk
т) dt =
\(гУк4-х — Ук)2 Ук^х — Ук/J n
Следовательно, J(S) = J(f) — J^S — /). Но J(S — /) > 0, поэтому линейный интерполяционный сплайн S(t) доставляет минимум функционалу (11.15).
Предположим, что /*(£) — еще одна функция из класса Wi^ минимизирующая функционал (11.15). Имеем: J(f* — S) = 0, т. е.
| и'*№ - S'^dt = 0, & = 1,...,п-1. t k
Поскольку / *(t) и S'(t) непрерывны на [^,^+1], из последнего равенства получаем: / *(£) = S'(t) на любом промежутке t 6 [t/^t/e+i]- Следовательно, f*(t) = S(t) + С^ для t Е [t^ fa?+i]• Ho f*(tk) = S(^), откуда Ck = 0. Лемма доказана.
Рассмотрим экстремальную задачу
FW = arg min JQ(/(t)) =
n2
= arg min | E ^ Д^ + ° ^Ч^УД, (11.16)
где a > 0 — фиксировано.
Лемма 11.2. Минимум функционала Ja(f(t)) достигается на линейном интерполяционном сплайне.
Доказательство. Зафиксировав значения /*(^), k = 1, . . . , п, проведем через точки Qt^ /*(^)) линейный интерполяционный сплайн 8Д1). В силу леммы 11.1 имеем неравенство
^ п^ тг
titi
Следовательно, Ja(Sa(t)) ^ J«U*№Y поскольку
Лемма доказана.
Пусть Sa(t) — линейный сглаживающий сплайн, минимизирующий функционал JaUY Обозначим S^ = 8Д1^\ к = 1, . . . , n, S = = (Si,. . . , Sn)T. Имеем
712п —1
J«(Sa(t^ = Ja(S) = Е № 2 +а^Гк №+1 - Sk^-к=1 акк=1 к
ОтсюдаОтсюда1 M,2 7У1 M,2 7У^-^ + ^-(ST-S^ = 0,<71/11^-^ + ^-(ST-S^ = 0,<71/111 М,2 д8"к1 М,2 д8"кSk ~ УкCTkSk ~ УкCTk(Sk — Sk-i) + — (Sk — Sfe+i) = 0, h-k-1Mb(Sk — Sk-i) + — (Sk — Sfe+i) = 0, h-k-1Mbк = 2,. . . , п — 1,к = 2,. . . , п — 1,12128Jt ~ds,8Jt ~ds,^п Уп^п Уп22^(Sn - s, hn-i^(Sn - s, hn-i
Отсюда
Отсюда
1 M,
2 7У
1 M,
2 7У
^-^ + ^-(ST-S^ = 0,
<71/11
^-^ + ^-(ST-S^ = 0,
<71/11
1 М,2 д8"к
1 М,2 д8"к
Sk ~ Ук
CTk
Sk ~ Ук
CTk
(Sk — Sk-i) + — (Sk — Sfe+i) = 0, h-k-1Mb
(Sk — Sk-i) + — (Sk — Sfe+i) = 0, h-k-1Mb
к = 2,. . . , п — 1,
к = 2,. . . , п — 1,
1
2
1
2
8Jt ~ds,
8Jt ~ds,
^п Уп
^п Уп
2
2
^(Sn - s, hn-i
^(Sn - s, hn-i
Следовательно, для определения искомого вектора S получаем систему
AS = F, где симметричная трехдиагональная (n задаются равенствамиAS = F, где симметричная трехдиагональная (n задаются равенствамип)-матрицап)-матрицаАА(11.17) и вектор F(11.17) и вектор FА =А =<7?/11<7?/11hihi1<721<72hi0101hi0101О ОО О±L 0 /12±L 0 /12ООООООООООООООООо оо оООаhn—iаhn—i2^12^1F =F =/W0!w°2/W0!w°2
AS = F, где симметричная трехдиагональная (n задаются равенствами
AS = F, где симметричная трехдиагональная (n задаются равенствами
п)-матрица
п)-матрица
А
А
(11.17) и вектор F
(11.17) и вектор F
А =
А =
<7?/11
<7?/11
hi
hi
1
<72
1
<72
hi
0101
hi
0101
О О
О О
±L 0 /12
±L 0 /12
О
О
О
О
О
О
О
О
О
О
О
О
О
О
О
О
о о
о о
О
О
аhn—i
аhn—i
2^1
2^1
F =
F =
/W0!
w°2
/W0!
w°2
\Уп/(Уп/
МатрицаМатрицас диагональным пре-с диагональным пре-A — положительно определенная
Матрица
Матрица
с диагональным пре-
с диагональным пре-
обладанием. Следовательно, существует единственное решение S системы (11.17), которое, в частности, можно найти с помощью метода прогонки [36].
Построим теперь линейный сглаживающий сплайн с закреплением крайних точек, т. е. предполагается выполнение условий S^tx^ = ух^ Sa(tn) = Уп. где уТ и уп фиксированы.
Определим линейный сглаживающий сплайн как решение условной экстремальной задачи
min J^S^Y S^ = ух,min J^S^Y S^ = ух,^(^п) Уп ?^(^п) Уп ?(11.18)(11.18)
min J^S^Y S^ = ух,
min J^S^Y S^ = ух,
^(^п) Уп ?
^(^п) Уп ?
(11.18)
(11.18)
где
22ja(s(t^ = V ^—^^ja(s(t^ = V ^—^^аа
2
2
ja(s(t^ = V ^—^^
ja(s(t^ = V ^—^^
а
а
11 А.В. Крянев, Г.В. Лукин
Обозначим So = (S2, . . . , Sn~i)T. Имеем
п —12 п — 1
ja(s^ = £ f^^L + « Е /Г ^Sk+1 - Sk^-
k=2 akk=l k
Отсюда
k = 3,...,n-2,
1 9Ja(S0)
2 dSn^
^n—1 Уп —1
.2
T(Sn-i - Sn_2) + (Sn_i - y^ = 0.
^n —2^n-1
Следовательно, для определения вектора So получаем систему
AqSq — Fq,
(11.19)
где симметричная трехдиагональная (п — 2) х (п — 2)-матрица До и вектор Fo задаются равенствами
До —
2 ~~
<Т2 а
h2
а
^2
а
^2
0
а Из
0
0
0
0
— + — + (7 з/^2
а
Из
—ot 1
аа
V0
0
0 . .
hn-2 (Гп-1
Н1
hn—2hn—1)
2’2 ’ •
<т2 АМ <Т3
Уп-2 2 ^77-2
До — положительно определенная матрица с диагональным преобладанием. Следовательно, существует единственное решение системы (11.19), которое, в частности, можно найти с помощью метода прогонки.
Значение линейного сглаживающего сплайна S^F) в этом случае определяется равенствами
^«(^i) = Уъ Sa^t^ = S^, k = 2,..., п 1, So,(tn) = уп.
Робастные линейные сглаживающие сплайны
Для построения линейных робастных сглаживающих сплайнов применим схему получения робастных М-оценок.
Рассмотрим робастный функционал
(11.20)(11.20)JJ^ = V pC^^lX^a f(S'(t))2dt,\ ак / Jк — 1£ ^
(11.20)
(11.20)
где p(t) — четная дифференцируемая функция, неубывающая для t > > 0, причем р(0) = 0, p(t) и t2 для малых \t\.
Аналогично лемме 11.2 доказывается, что функция, доставляющая минимум функционалу (11.20) в классе кусочно непрерывных функций, есть линейный сплайн Sa(t).
Обозначим Sa(tk) = Sk^ S = (Si,..., Sn)T Ja(S) = Jcx^cxV^Y
Возьмем в качестве р^ функцию Хьюбера
2K\t\ - К2,
Введем три множества индексов:
lo(5) = ^к : \ук - 5*| < Кст*}, I+(S) =: yk-Sk> Кст^,(11.21)
/-(5) = {к : ук - Sk < -K<jky
Каждый индекс к = 1, . . . , т входит в одно и только в одно из множеств /q(S), /_(5), /+(£).
Имеем
dJa(S) S1 1/1 OL /~
=°’
2 Obkcrk ак-iПк
к = 2,... ,п-1,(11.22)
2 dSnгдеУ к =2 dSnгдеУ к =Jcx^S^ Sn уп <Х , q q \ п — 2г Т1 W^ —— U,
2 dSn
где
У к =
2 dSn
где
У к =
Ук^если к Е 1о(8^
Sk + Как^ если к Е I+{S)^ Sk — Kaki если к Е I_(S).
Следовательно, для определения искомого вектора S получаем систему
AS = F.(11.23)
где матрица А определена равенством (11.17), а
^ = (У1/о"1,...,Уп/сг2)т.
Система (11.23) нелинейна, поскольку компоненты вектора F зависят от искомого решения S.
Для решения системы (11.23) используем эффективный итерационный процесс
A"SkU^ = Fw,(11.24)
где
.2 ’ 1.2 ’ 1\ TУП \\ TУП \Ук =Ук =Ук,s^Ук,s^+ Как,+ Как,- Как,- Как,еслиеслиеслиеслиеслиесликкккккЕЕЕЕЕЕТТ
.2 ’ 1
.2 ’ 1
\ T
УП \
\ T
УП \
Ук =
Ук =
Ук,
s^
Ук,
s^
+ Как,
+ Как,
- Как,
- Как,
если
если
если
если
если
если
к
к
к
к
к
к
Е
Е
Е
Е
Е
Е
Т
Т
а множества Iq(JS^Y /+(S^), I_(S^) определены равенствами (11.21).~~
В качестве начального F^ рекомендуется брать F^ = F = = (yi/cr2, , ,
Аналогично строится итерационная процедура нахождения линейного робастного сглаживающего сплайна с фиксацией крайних точек ^«(^l) = УХ-) ^а(^п) = Уть-
^оЗ?+“^оЗ?+“—0 1—0 1(11.25)(11.25)
^оЗ?+“
^оЗ?+“
—0 1
—0 1
(11.25)
(11.25)
где
_ /q(0q(0 \т
D0 — W2 ’ • ' • ’ Dn-1/ ’
^ о^ о/ (0=o^+\ (T2/ (0=o^+\ (T2Ol’Ol’^3^3У 71-22У 71-22(0Уп-1 , a2ггп-1(0Уп-1 , a2ггп-1
^ о
^ о
/ (0
=o^+
\ (T2
/ (0
=o^+
\ (T2
Ol’
Ol’
^3
^3
У 71-2
2
У 71-2
2
(0
Уп-1 , a
2
ггп-1
(0
Уп-1 , a
2
ггп-1
У к,У к,^ “ Sk + K(Jk^^ “ Sk + K(Jk^ДП -Как,ДП -Как,если к Е Iq^S^Yесли к Е I^^S^Yесли к Е I- (Sq^Yесли к Е Iq^S^Yесли к Е I^^S^Yесли к Е I- (Sq^Yк = 2, . . . , п — 1.к = 2, . . . , п — 1.
У к,
У к,
^ “ Sk + K(Jk^
^ “ Sk + K(Jk^
ДП -Как,
ДП -Как,
если к Е Iq^S^Yесли к Е I^^S^Yесли к Е I- (Sq^Y
если к Е Iq^S^Yесли к Е I^^S^Yесли к Е I- (Sq^Y
к = 2, . . . , п — 1.
к = 2, . . . , п — 1.
Отметим, что робастные М-оценки, полученные с помощью функции Хьюбера, предполагают симметрию больших выбросов относительно сглаженной робастной кривой. В условиях нарушения симметрии,
когда, например, количество больших выбросов мало, вместо функции Хьюбера можно использовать функцию Тьюки [81, 88]
pW = {pW = {t2, |t| < R,t2, |t| < R,R2, |t| > R.R2, |t| > R.(11.26)(11.26)
pW = {
pW = {
t2, |t| < R,
t2, |t| < R,
R2, |t| > R.
R2, |t| > R.
(11.26)
(11.26)
Введем два множества индексов:
/0(S) = ^к : \ук - Sk\ < Her ку IR(S) = ^k : \yk - Sk\ > Н(тк^
(11.27)
и функционал Ja(S) вида (11.20), где p(t) определена равенством (11.26). Каждый индекс к = 1,...,п принадлежит одному
и только одному из множеств /o(S), Ir(S\
Для производных венств (11.22), гдеДля производных венств (11.22), гдеask 1ask 11, . . . , п,1, . . . , п,имеем систему ра-имеем систему ра-еслиеслиеслиеслик е USY к Е IR(S\к е USY к Е IR(S\к = 2,...,п-1.(11.28)к = 2,...,п-1.(11.28)
Для производных венств (11.22), где
Для производных венств (11.22), где
ask 1
ask 1
1, . . . , п,
1, . . . , п,
имеем систему ра-
имеем систему ра-
если
если
если
если
к е USY к Е IR(S\
к е USY к Е IR(S\
к = 2,...,п-1.(11.28)
к = 2,...,п-1.(11.28)
Следовательно, для определения вектора S получаем систему (11.23), где компоненты вектора F = ^у^ . . . ^уУт даются равенствами (11.28).
Для решения системы (11.23), (11.28) используем эффективный итерационный процесс
FWFW(О (У1 U2(О (У1 U2где
FW
FW
(О (У1 U2
(О (У1 U2
Уп* \т (О = [ук, если к € I0(SW), "п 'к(Sk, если к € /д(5^'*),
а множества Iq^S ), Ir^S ) определены равенствами (11.27).
Аналогично строится итерационная процедура нахождения робастного линейного сглаживающего сплайна с нейтрализацией больших выбросов в условиях нарушения симметрии и с фиксацией крайних точек Sa(ti) = уь S^ty = т/п:
где
"с^) (aW с(0 \Т
^ о^ о/ (0\ <т2/ (0\ <т2а;-у^/^1 сг3а;-у^/^1 сг37/(0Уп-27/(0Уп-22^71-22^71-2(0сг hn-i(0сг hn-iТТ
^ о
^ о
/ (0
\ <т2
/ (0
\ <т2
а;-у^
/^1 сг3
а;-у^
/^1 сг3
7/(0
Уп-2
7/(0
Уп-2
2^71-2
2^71-2
(0
сг hn-i
(0
сг hn-i
Т
Т
(ОУк =(ОУк =Ук, s^Ук, s^если к Е Iq(S^\если к Е Ir(S^),если к Е Iq(S^\если к Е Ir(S^),к = 2, . . . , п — 1,к = 2, . . . , п — 1,
(О
Ук =
(О
Ук =
Ук, s^
Ук, s^
если к Е Iq(S^\если к Е Ir(S^),
если к Е Iq(S^\если к Е Ir(S^),
к = 2, . . . , п — 1,
к = 2, . . . , п — 1,
а множества /o(S), Ir(S) определены равенствами (11.27).
Рис. 11.2Рис. 11.2
Рис. 11.2
Рис. 11.2
На рис. 11.2 представлены результаты использования методов сглаживания с помощью линейного (сплошная линия) и робастного линейного (пунктирная линия) сплайнов. В качестве временного ряда использованы последние 50 значений индекса РТС за 2002 год. Символами (★, +) отмечены значения с г Е /+ и г Е I- соответственно. На нижнем графике показаны величины корректировок значений исходного временного ряда в результате применения итерационного процесса (11.24).
Приведем один из примеров использования робастных линейных сглаживающих сплайнов при решении задачи оперативного управления портфелем инвестиций на рынке облигаций.
Пусть на рассматриваемую дату все выпуски облигаций пронумерованы индексом к = 1, . . . , п. Обозначим через Р^. к = 1, . . . , п, цену к-ro выпуска (в процентах от номинальной стоимости), имеющего на рассматриваемую дату срок до погашения т^ дней. Тогда совокупность точек (т^ Pk), к = 1, . . . , п. описывает состояние рынка облигаций на рассматриваемую дату.
Согласно определению сглаженная совокупность точек (т^ РСглк), к = 1,. . . , п, образует текущее равновесное состояние рынка облигаций. Здесь Рсглк — сглаженное значение цены к-го выпуска на текущую дату.
Выпуски, для которых Р^ > Рсглк (Рк < Рсглк) называются переоцененными (недооцененными) рынком.
Динамическое управление портфелем выпусков облигаций состоит в перевложении средств из переоцененных выпусков облигаций в недооцененные. Аналогично может решаться задача формирования портфеля акций [44,87].
Метод сглаживающих кубических сплайнов
В настоящем параграфе рассматривается задача восстановления функциональной зависимости, когда независимая переменная не обязательно является временем.
Пусть между двумя величинами х и у существует неизвестная исследователю функциональная зависимость у = /(ж). Для восстановления этой зависимости производятся экспериментальные измерения у^, в точках ж^, г = 1, . . . , п. Задача осложняется тем, что измерения у^, производятся с ошибками ^, имеющими случайный характер, т. е. у^ = = Угт + &? гДе Пгт — неизвестное точное значение у = /(ж) в точке ж = ж^.
Задача восстановления функциональной зависимости состоит в получении оценки у = /(ж), причем не только в узлах измерения ж = ж^, но и между ними. Более того, часто наряду с восстановлением самой функции /(ж) требуется найти оценку ее производной /Дж).
Задача восстановления функциональной зависимости с непрерывным изменением аргумента является одной из основных задач математической обработки и интерпретации результатов экспериментов.
В настоящее время одним из эффективных способов восстановления функциональной зависимости с непрерывным изменением аргумента по экспериментальным данным является применение кубических сплайн-аппроксимаций, в том числе применение кубических сглаживающих сплайнов при наличии ошибок в измерениях у^.
Сглаживающие кубические сплайны тесно связаны с интерполяционными кубическими сплайнами. Поэтому предварительно дадим краткое введение в теорию кубических интерполяционных сплайнов.
В дальнейшем, не умаляя общности, предполагаем, что узлы {ж^, г = 1, . . . , п}, упорядочены, т. е.
а = Ж1 < Ж2 < . . . < хп = Ь. (11.29)
Функция S^x) называется кубическим сплайном с узлами (11.29), если: 1° на каждом интервале [ж^, ж^+1] 5п(ж) — кубический полином, т. е.
ЗДж) = аг + бДж - ж^ + с^ж - ж^2 + d^x - х^, (11.30)
2° 5п(ж) — дважды непрерывно дифференцируема на [а, 6].
Кубический сплайн называется интерполяционном^ если
Sn(Xi) = Уг^ г = 1,...,п. (11.31)
Из (11.30) следует, что ^ = а^, г = 1,. . . , п — 1.
Для построения кубического интерполяционного сплайна необходимо знать 4(п — 1) коэффициентов {а^ b^c^di, г = 1, . . . , п — 1}. Из условий непрерывности 5п(ж), 5^ (ж), S”(x) во всех внутренних узлах Жг,г = 2,...,п — 1, получаем 3(п — 2) равенств. Кроме того, имеем п равенств интерполяции (11.31). Итого получаем 4п — 6 равенств с вхождением в них неизвестных коэффициентов. Недостающие два
равенства задают дополнительно в крайних узлах #i, хп и называют краевыми условиями. Обычно используют следующие типы краевых условий:
1° S^(a?i) = mi, ^(жп) = т2;
2° 5"(ж1) = mi, 5"(ж„) = т2;
3° 5"'(ж1) = mi, 5"'(ж2) = т2;
4° 5^)(ж1) = 5^)(жп), fc = 0, 1.
Часто используют краевое условие 2° с mi = т^ = 0.
Ниже приводится удобный и компактный алгоритм построения интерполяционного кубического сплайна 5п(ж), в котором сначала находится вектор значений вторых производных в узлах (11.29) Mi = = 8'^(х^, ^ = 1, • • • , w, а затем восстанавливаются коэффициенты 6^ &i, di, г = 1, . . . , п — 1, по формулам
b yw^ _ h Mi+y + ^Mi Ci = ^, di = Mi+1 - Mi, (11.32) г hiг 6’ г 2 ’ г 6hi ' v
где hi = ж^+i — Xi, i = 1, . . . ,п.
Для нахождения неизвестных значений Mi, г = 1, . . . , п, используем условия непрерывности первой производной сплайна во внутренних узлах $i, г = 2, . . . , п — 1, с учетом условий интерполяции (11.31). Получаем п — 2 равенства:
^-i м + hi-1 + hi^= №+1 - гц _ гц - №! (п 33)
636hihi-i
г = 2, . . . , п — 1.
Два недостающих уравнения получаем из краевых условий, которые относительно Mi, г = 1, . . . , п, имеют вид
uiMiU-2M-2 = Di, с\МпХ ^ с2Мп = D2,(11.34)
где ^1,^2^1,172, Dy, D2 в зависимости от типа краевых условий даются следующими равенствами:
для краевых условий типа 1° Ui = /ii/З, и^ = hi/6, vi = hn_i/§, ^2 = hn_T/3, Di = (y2 - yi)/hi - mT, D2 = (yn-i - Un)/hn-i + m2;
для краевых условий типа 2° Ui = 1, и^ = 0, г?! = 0, v2 = 1, Di = = mi, D2 = m2;
для краевых условий типа 3° Ui = 1, и^ = — 1, ^i = — 1, г21, Di = -mihi, D2 = m2hn_i.
Совокупность n равенств (11.33), (11.34) — квадратная система и линейных алгебраических неоднородных уравнений с п неизвестными Mi, г = 1, . . . , п.
Систему (11.33), (11.34) относительно искомого n-мерного вектора М = (Mi, . . . , Мп)Т запишем в векторно-матричной форме:
AM = Hy^f,(11.35)
где у = (yi,..., уп)т — n-мерный вектор, / = (/i, 0,..., 0, /п)т имеет только две ненулевые компоненты /1 и fn, зависящие от типа краевых
условий. Для краевых условий типа 1° /i = -mi, /п = -пъ. для остальных краевых условий /1 = D^ fn = D^. Матрица А представима в виде
А =А =^2/^2/
А =
А =
^2/
^2/
где
Ло —Ло —/ /м /м + Д2 /^2 Q67376 77 ' ’Q/^2/^2 + ^3 ^3Т 3 Т"/ /м /м + Д2 /^2 Q67376 77 ' ’Q/^2/^2 + ^3 ^3Т 3 Т"у о о о 0 ..у о о о 0 ..о о 0ОООhn—2 hn—2 Ч- hn—i hn—i636/о о 0ОООhn—2 hn—2 Ч- hn—i hn—i636/
Ло —
Ло —
/ /м /м + Д2 /^2 Q
67376 77 ' ’
Q/^2/^2 + ^3 ^3
Т 3 Т"
/ /м /м + Д2 /^2 Q
67376 77 ' ’
Q/^2/^2 + ^3 ^3
Т 3 Т"
у о о о 0 ..
у о о о 0 ..
о о 0
ООО
hn—2 hn—2 Ч- hn—i hn—i
636/
о о 0
ООО
hn—2 hn—2 Ч- hn—i hn—i
636/
— ((n — 2) x п)-матрица, Ai = (Д1, г^ 0, . . . , 0) — матрица-строка, Л2 = (0,0,. . . , 0, vi, г2) — матрица-строка.
Матрица Н представима в виде
где
О ... ООО
000
0000 • • +0000 • • +1
0000 • • +
0000 • • +
— ((п — 2) х п)-матрица, Н^ Н^ — матрицы-строки, элементы которых зависят от типа краевых условий. Для краевых условий типа 1° Я1 = (—0, . . . , 0), Я2 = (0, . . . , 0, ———, — ———), для остальных /и hihn_i hn_i
типов краевых условий Н^ Н^ — нулевые матрицы.
Поскольку матрица А трехдиагональная, система (11.35) эффективно решается методом прогонки, требующим только ^ 16п арифметических операций. Устойчивость метода прогонки обеспечена в силу выполнения неравенства (h^-i + h^)/3 > /^-1/6 +/г^/6, которое означает, что А — матрица с диагональным преобладанием. В частности, диагональное преобладание обеспечивает невырожденность матрицы А и тем самым единственность решения системы (11.35). Итак, кубический интерполяционный сплайн единственен.
Для вычисления значений кубического интерполяционного сплайна Sn(x) и его производной S^M в точках, не совпадающих с узла-
ми (11.29), наиболее компактной является схема Горнера:
t = x-Xi. (11.36)t = x-Xi. (11.36)$п(®) — Уг “Ь ^(^г “Ь ^^г “Ь ^^г))? 5^(ж) = bi + t(2ci + ^tdiY
t = x-Xi. (11.36)
t = x-Xi. (11.36)
Для подсчета 5п(ж) и S^x) по формулам (11.36) необходимо предварительно подсчитать {6^, с^ d^ г = 1, . . . , n — 1} по формулам (11.32).
Если число вычисляемых значений кубического интерполяционного сплайна меньше l.ln, то целесообразно вместо формул (11.36) использовать формулы
= У г + t= У г + tУгУ1 ~ УгhiУгУ1 ~ Угhi(жг+1 ~ ж + h^Mi + (t + h^M^x
= У г + t
= У г + t
УгУ1 ~ Угhi
УгУ1 ~ Угhi
6
yw-Уг , z, ,(^i+i -x + hi)Mi + t(t + hi)Mi+1
+ (<+=- ZIH)5+
(11.37)(11.37)।™ x^t-V hi^Mi^x — Mi
(11.37)
(11.37)
+ t\X Ж^х)
Ж^ ^ X ^ Xi-^-X •
Интерполяционные кубические сплайны обладают следующим свойством сходимости. Обозначим hmax = max^ hi. Пусть /(ж) имеет на отрезке [а, 6] непрерывные производные до 3-го порядка включительно. Тогда S^ ^ равномерно по ж 6 [а, Ь\ стремится к /^Дж), к = 0,1, 2, при hmax —¥ 0. Более того, имеют место неравенства
sup \pk4xVS^4^\^Ckh5-^ к = 0,1,2,(11.38)
жЕ[а,6]
где С к не зависят от узлов (11.29), а определяются только свойствами /(ж) и ее первых трех производных на промежутке [а, 6].
Замечательным качеством интерполяционных кубических сплайнов является их экстремальное свойство. Рассмотрим квадратичный функционал ь
J(^) = |(^"(ж))2^ж.(11.39)
Поставим задачу на минимум функционала (11.39) на классе дважды непрерывно дифференцируемых на [а, 6] функций, удовлетворяющих условиям интерполяции 99(жД = ^, г = 1, . . . , ш, и одному из краевых условий 1°-4°. Обозначим класс таких интерполяционных функ-
ций через V^k^Y к = 1,2, 3,4, в зависимости от выполнения краевых условий К°.
Теорема 11.1. Sn^ = arg min^)^^) J(y>), где Sn(x) — интерполяционный кубический сплайнудовлетворяющий краевым условиям К °.
В частности, интерполяционный кубический сплайн S^xY УДовле~ творяющий нулевым краевым условиям 2° (mi = т^ = 0), доставляет минимум функционалу J(^) в классе дважды непрерывно дифференцируемых интерполяционных функций.
Функционал (11.39) определяет меру кривизны функции ip^x) на [а, 6]. Поэтому экстремальное свойство интерполяционных кубических сплайнов означает, что они имеют минимальное значение меры кривизны среди всех дважды непрерывно дифференцируемых интерполяционных функций.
Рассмотрим механическую задачу об изгибании тонкого упругого стержня, который должен проходить через точки у^ г = 1, . . . , п, с шарнирным закреплением в этих точках.
Тогда функционал (11.39) будет пропорционален упругой энергии стержня, имеющего форму <^(ж), а экстремальное свойство интерполяционного кубического сплайна S^x) означает, что стержень примет форму Sn(x) (предполагается, что на краях х = а, х = b стержень закреплен в соответствии с выбранными краевыми условиями).
Интерполяционные сплайны применяют только в том случае, когда ошибки в измерении у^ малы, а расстояние между соседними узлами х^ достаточно большое. В противном случае интерполяционный сплайн, проходя через точку у^ будет реагировать даже на сравнительно небольшие ошибки в измерении у^ и в нем будут присутствовать высокочастотные колебания, имеющие случайный характер. Присутствие высокочастотных ложных флуктуаций доставляет особые неприятности в случае необходимости дифференцирования сплайна.
Поэтому при наличии ошибок в измерениях yi, для восстановления функциональных зависимостей вместо интерполяционных сплайнов применяют сглаживающие сплайны, во многом свободные от вышеуказанных недостатков интерполяционных сплайнов.
Пусть случайные величины ^ (ошибки в измерении yiYi = 1, . . . , п, независимы и М£ = о, щ = а^. Существует несколько приемов введения сглаживающих кубических сплайнов. Один из приемов описан ниже.
Рассмотрим функционал
Ja^ = V^yi" ^^^ + а [(^"(ж))2 dx, (11.40) г=1 a
где a > 0 — параметр сглаживания.
Поставим задачу на минимум функционала (11.40) в классе Wk дважды непрерывно дифференцируемых функций, удовлетворяющих условиям К°. Подчеркнем, что в отличие от экстремальной задачи на
минимум функционала (11.39) не требуется выполнения интерполяционных равенств Дх^) = УгД = V • • • п-
Теорема 11.2. Решением задачи на минимум функционала (11.40) в классе Wk является кубический сплайн, удовлетворяющий краевым условиям К°.
Доказательство. Пусть функция (рДх) Е Wk доставляет минимум функционалу (11.40). Обозначим у* = р>ДхД г = 1, . . . , п, и построим интерполяционный кубический сплайн 8Дх\ удовлетворяющий интерполяционным условиям S* (ж^) = У* Д = ^ ^ • • • ^ ^^ краевым усло- bь
виям К°. Из теоремы 11.1 следует, что |(5*(ж))2с/ж < |((/?*"(ж))2(/ж.
Ноаа
Ё= Ё - s^yy.
. х1 СГ А
г=1 гг=1 г
Поэтому Ja(S*) ^ Ja^Y Поскольку функционал (11.40) в классе функций Wk сильно выпуклый, то решение задачи на минимум функционала (11.40) единственно. Следовательно, 8*(х) = фДхУ Теорема доказана.
В дальнейшем 8Дх) будем называть сглаживающим кубическим сплайном и обозначать 8пДхУ
На первый взгляд задача нахождения сглаживающего сплайна кажется более сложной, чем для интерполяционного сплайна, поскольку априори отсутствует информация о координатах 8нДх^ - Но эта задача решается с использованием экстремального свойства сглаживающих кубических сплайнов, зафиксированного в теореме 11.2.
Решение задачи на минимум функционала (11.40) приводит к следующему замечательному результату относительно искомого сглаживающего сплайна 8пДх) [32].
Теорема 11.3. Кубический сплайн 8нДх^ является сглаживающим тогда и только тогда, когда выполнена система равенств
Sna^Xi) + CtCiZi = Уг, i = 1, • • • , п,(11-41)
где Zi = 5^" (a), Zi = S'^Xi + 0) - S'^Xi - 0), г = 1, 2, - - ■, ™ - 1, z. = ВДУ
Система равенств (11.41) дает возможность построить эффективный численный алгоритм нахождения сглаживающего кубического сплайна. Обозначим
Z = (Zi,..., Z„)T, у = (yi,... ,у„)т,
8» = (S«i,..., Sa^T, М = (Мъ..., М^Т, где Sai = S^a^iY Mt = S"a(xi), г = 1,..., n. Введем матрицу К^ = = diag(o-2,... ,0-2).
Тогда систему уравнений (11.41) можно записать в векторноматричной форме:
Sa^aK^Z = у.(11.42)
Векторы 8аи Z можно выразить через вектор М. Действительно, для кубических сплайнов справедливы равенства
5"'(^ + 0) =, г = 1,..., n — 1,
5"'(жг - 0) = Mi Г Mi-1, i = 2,..., n,
из которых следует представление
М2 - MjMw - Mi Mi- Mi-! .
Zi =, Zi = —=4-, г = 2,..., n — 1,
111ИгHi-1
Mn — 1 Mn
— Г•
Hn — 1
Тогда систему предыдущих равенств можно записать в векторноматричной форме:
Z = НТМ,(11.43)
где матрица Н определена в формуле (11.35).
Из системы (11.35), справедливой для любого кубического сплайна, для сплайна 5па(ж) следует соотношение
HSa = АМ - /.(11.44)
Подействуем на обе части системы (11.42) матрицей Н и выразим Z и HSa через М согласно равенствам (11.43) и (11.44). Получаем систему линейных алгебраических уравнений относительно неизвестного вектора М;
(А + аНК^Нт)М = Ну + /.(11.45)
Поскольку матрица А трехдиагональна, а матрица НК^НТ пяти- диагональна, матрица А + аНК ^Нт пятидиагональна.
Для всех типов 1°-4° краевых условий матрицы А и Н К^НТ положительно определены. Поэтому матрица А + аНК ^Нт положительно определена для любого а ^ 0.
Итак, система (11.45) для любого а ^ 0 имеет единственное решение.
Поскольку матрица А + аНК^Нт пятидиагональна, система (11.45) эффективно решается методом обобщенной прогонки, требующим для своей реализации ~ ЗОп арифметических операций [36].
После решения системы (11.45) значения сглаживающего кубического сплайна 5па(ж) в узлах х^ можно подсчитать по формуле
Если требуется вычислить значения Sfna(x) и Sna(x) в произвольных точках х € [а, 6], то можно воспользоваться формулами Горнера (11.36) с заменой в этих формулах у^ на Sna(xi\ г = 1, . . . , п.
До сих пор предполагалось, что параметр сглаживания фиксирован. Если а —> 0, то сглаживающий сплайн Sna(x) стремится к интерполяционному сплайну Sn(x) с условиями интерполяции Sna(xP) = уу г = 1,. . . , п. Поэтому при малых значениях а > 0 у сглаживающего сплайна могут появиться случайные высокочастотные флуктуации из- за ошибок в измерениях у^ г = 1, . . . ,п. Напротив, если а —¥ +оо, то сглаживающий сплайн стремится к линейной функции, для которой у?" (ж) = 0. Поэтому при больших а происходит слишком большое сглаживание экспериментальных точек (ж^, ург = 1, . . . , п. Ясно, что подходящее значение параметра сглаживания должно быть согласовано с уровнем ошибок в измерениях у^ г = 1, . . . ,п. В частности, если уровень ошибок стремится к нулю, то а должен также стремиться к нулю согласованно с уровнем ошибок.
11П11ПЧаще всего для выбора подходящего значения параметра сглаживания используют способ невязки. Введем функционал /п(сД =
11
П
11
П
называемый невязкой. Тогда, согласно спо
собу невязки [54], выбирают такое значение «о? Для которого
(11.47)(11.47)^п(^о) — Pi
(11.47)
(11.47)
где Р рекомендуется брать из промежутка [0,8; 1].
Фактическое нахождение подходящего значения «о согласно способу невязки сводится к последовательному нахождению 5па(ж) для различных а и выбору из них такого 5пао(ж), для которого наиболее точно выполняется равенство (11.47).
В частности, если все измерения равноточны, т. е. <т? = <т2, г = = 1, . . . , п, то среднеарифметическая
92 = ^Е(/(^)-уХ2,
г=1
где /(жД — значения искомой функции в узлах, является состоятельной оценкой ст2 (если бы ст2 была неизвестной) и при достаточно большом п 52 близка к ст2. Если предположить, что 5па(жД достаточно близки к /(ж), и в 52 заменить /(жД на 5па(жД, то
~_ у»)2-
г=1
Приравняв 52 известной ст2, получаем равенство для определения подходящего значения а:
г=1
Существуют другие методы определения подходящего значения параметра сглаживания, в том числе для случая, когда дисперсия ошибок ст2 неизвестна [22].
Пусть ст2 неизвестна. Тогда для определения подходящего значения «о используют способ перекрестной значимости, согласно которому
«о = arg mjnM||j/ - Sa||,
где усреднение производится по различным измерениям значений искомой функции в узлах ж^, г = 1, . . . , п.
Поскольку обычно исследователю известна лишь одна реализация измерений у. то функционал М\\у — S^H заменяют на
и(а) = 52(Ук - бДач))2,(11.49)
к=1
где Sk(x) — сглаживающий кубический сплайн, построенный по п — 1 измерению уг, . . . , yk_i,yk^i, ... ,уп в узлах xi < х2 < ... < xk-i < < Хк-\-Л_ < . . . < хп. к — 1, . . . , П.
За подходящее значение параметра сглаживания берут то, которое минимизирует функционал перекрестной значимости (11.49). Численная реализация способа перекрестной значимости требует построения семейства сглаживающих кубических сплайнов ^Sk^x\ к = 1,. . . , п} для различных значений а.
В заключение параграфа приведем схему восстановления функциональной зависимости с помощью робастных сглаживающих кубических сплайнов.
Вместо функционала (11.40) рассмотрим робастный сглаживающий функционал
(^"(ж))2^,(11.50)
где p(s) — функция Хьюбера.
Следующая теорема доказывается аналогично теореме 11.2.
Теорема 11.4. Решением задачи на минимум функционала (11.50) в классе wk является кубический сплайн 5**(ж), удовлетворяющий краевым условиям К °.
В дальнейшем 5**(ж) называется робастным сглаживающим кубическим сплайном и обозначается 5роб(ж).
Обозначим 5Роб = (5роб(ж1),..., 5роб(жп))т, М = (Mi,..., Мп)Т, М{ = S"o6($i).
Можно показать, что вектор Spo6 связан с М соотношением
а вектор вторых производных находится из системы нелинейных уравнений
(А + а Н К^НТ)М = Ну' + /,(11.52)
где матрицы А. НК^ и векторы у. / такие же, как и в (11.45), а вектор у* = (з/п • • • ^VnV определяется равенствами
Уг,Уг,У г — < *^роб(жг) 4“ КсЦУ г — < *^роб(жг) 4“ КсЦi^poG^z)К (7^i^poG^z)К (7^если z Е Д если гЕД, если г € L,если z Е Д если гЕД, если г € L,
Уг,
Уг,
У г — < *^роб(жг) 4“ КсЦ
У г — < *^роб(жг) 4“ КсЦ
i^poG^z)К (7^
i^poG^z)К (7^
если z Е Д если гЕД, если г € L,
если z Е Д если гЕД, если г € L,
Д — {^ : \Уг *^роб(жг)| С КсГ^^
I + = {^ • Уг *^роб(жг) > ^^г}? I— = {^ • Уг *^роб(жг) < К СТ^.
Для решения системы нелинейных уравнений (11.52) можно использовать нижеследующий итерационный процесс:
(А + аНК^Н^М1^ = Ну^ + /,(11.53)
где
У г,< S^ + К at,^П - Kat,У г,< S^ + К at,^П - Kat,■ г- до если г G 7g , если г € ,• ДО если г € ,■ г- до если г G 7g , если г € ,• ДО если г € ,
У г,
< S^ + К at,^П - Kat,
У г,
< S^ + К at,^П - Kat,
■ г- до если г G 7g , если г € ,
• ДО если г € ,
■ г- до если г G 7g , если г € ,
• ДО если г € ,
SW = (s<°, • • •, sW)T = y«-D - а К^нтм^\
4° = {г : Уг - 4° > Ка^ !- = Ь ■ Ш " S^ < -К^}.
В качестве начального приближения S^ можно взять сглаживающий кубический сплайн, задаваемый равенствами (11.45), (11.46).
Итерационный процесс (11.53) сходится за конечное число шагов к решению системы (11.51), (11.52).
Заметим, что итерационный процесс (11.53) обладает высокой вычислительной эффективностью, в частности из-за того, что на каждом шаге процесса решается система (11.53) с одной и той же пятидиагональной матрицей А + аНК^НУ, что дает возможность, обратив ее однажды, «обслуживать» все дальнейшие итерации.
На рис. 11.3 представлены результаты использования кубического сглаживающего (сплошная линия) и робастного кубического сглаживающего (пунктирная линия) сплайнов. Символами (★, +) отмечены значения с г 6 Д и z G /_. На нижнем графике показаны величины корректировок значений исходного временного ряда в результате применения итерационного процесса минимизации робастного сглаживающего функционала (11.50).
Рис. 11.3Рис. 11.3
Рис. 11.3
Рис. 11.3
Робастные сглаживающие кубические сплайны были успешно использованы для решения ряда некорректных задач при обработке данных физических экспериментов [7,8].
11.5. Метод вейвлетов
В последние годы для исследования неопределенных данных был разработан новый инструмент — вейвлет-преобразование.
Ниже дано краткое введение в теорию вейвлет-преобразования и его применения при обработке неопределенных данных.
Термин «wavelet» был впервые введен в 1909 г. Альфредом Хааром (Alfred Haar). В дальнейшем, особенно в последние 15 лет, вейвлет-анализ развивался в нескольких направлениях усилиями многих ученых (Jean Morlet, Y. Meyer, Stephane Mallat, Ingrid Daubechies) [95,99,102104,107].
В определенной степени вейвлет-преобразование является обобщением преобразования Фурье.
Напомним, что любая функция /(f) из класса L^—7г,тг) может быть представлена в виде ряда Фурье:
(11.54)(11.54)
(11.54)
(11.54)
где ск = f f^e lkt dt.
Функции ^(t) = e%kt образуют ортогональный базис пространства Т2(—тг, тг) и построены с помощью масштабного преобразования базисной функции ^Ю = e%t •
Для всех /(t) Е L^—oo, оо) верно j |/(t)|2 dt < ос и справедливо разложение в интеграл Фурье:
/(t) = j е^Мj ptK^dt.
В то же время, поскольку егк1 -^ 0 при t -Л оо, егк1 не может быть
счетным базисом в пространстве L^—оо, оо).
Поставим задачу о сохранении представления типа (11.54) для
(11.55)(11.55)fW = У Ck^kW, Ck = ^ | /(t^fc^dt,
(11.55)
(11.55)
где ^(t) образуют ортогональный базис пространства L2(—оо, оо).
Оказывается, можно построить ортогональный базис в L^—оо, оо) на основе одной базисной функции ^Ю? которая и называется (базисным) вейвлетом, но с помощью двух операций: масштабного преобразования и параллельного сдвига, например ^nkW = 2n/2^(2n£ — k).
Для того чтобы ^(f) ^ L^—оо, оо) была базисным вейвлетом, необходимо выполнение двух условий:
1° ^(t) = 0 за пределами некоторого конечного промежутка либо ^(t) —> О при t оо;
2° J i^W^-
Кроме того, поскольку ^(2) ^ L^—оо, оо), то должно выполняться неравенство j |^(t)|2 dt < оо.
Иногда требуют равенства нулю всех моментов до определенного порядка, т. е. j tki))(t) dt = 0, k = 1, . . . ,m.
Ниже даны примеры базисных вейвлетов, используемых в вейвлет- анализе.
Пример 11.1 (Вейвлет Хаара).
Ч,W) = < -1, .0,Ч,W) = < -1, .0,0 < t < 0,5, 0,5 <t < 1, ^[0,1].0 < t < 0,5, 0,5 <t < 1, ^[0,1].(11.56)(11.56)
Ч,
W) = < -1, .0,
Ч,
W) = < -1, .0,
0 < t < 0,5, 0,5 <t < 1, ^[0,1].
0 < t < 0,5, 0,5 <t < 1, ^[0,1].
(11.56)
(11.56)
Базисный вейвлет Хаара имеет конечный носитель t Е [0,1].
Функции ^nk^t) = 2n/2^(2nt — k), n^k = 0, ±1, ±2, . . ., образуют ортонормированный базис пространства L2(—оо,оо).
Определим семейство функций
MA = £ y^W^-kY3 = -^MA = £ y^W^-kY3 = -^(11.57)(11.57)
MA = £ y^W^-kY
3 = -^
MA = £ y^W^-kY
3 = -^
(11.57)
(11.57)
п = 0,1,2,..., /г = 0,1,..., 2П — 1.
Можно показать, что фпк(1) — периодические функции с периодом Т = 1. Их называют периодическими вейвлетами Хаара.
Периодические вейвлеты (11.57) образуют ортогональный базис пространства £2(0,!).
Пример 11.2 (Французская шляпа — FHAT-wavelet).
(11.58)(11.58)t е [—1, —1/3), t е [-1/3,1/3], t е (1/3,1], ^[-1,1].
(11.58)
(11.58)
Этот базисный вейвлет имеет конечный носитель t Е [—1,1].
Нижеследующие базисные вейвлеты, в отличие от предыдущих, непрерывны на всей числовой оси.
Пример 11.3. Семейство базисных вейвлетов ^(t; т) определяется равенством
^(t; т) = (—^)т^р^т = 1’2, • • •(11.59)
Вейвлет ^(t; 1) называют волновым вейвлетом (wave-wavelet), вейвлет ф^ф 2) — мексиканской шляпой.
Базисные вейвлеты семейства ^(Д т) имеют бесконечный носитель t Е (—оо, ос), но очень быстро стремятся к нулю при t —У ос.
Пример 11.4 (Вейвлеты Добеши — Daubechies wavelets). Базисные вейвлеты ^(2) вейвлетов Добеши непрерывно дифференцируемы, но, в отличие от базисных вейвлетов семейства ^(Д m), имеют конечный носитель.
Семейство базисных вейвлетов Добеши принято снабжать символом Daub А\ N = 2, 3, . . . Наиболее часто используется вейвлет Daub4 четвертого порядка. Для ^оаиь4 справедливо равенство J ^Daub^) ^ =
= 0 и его носитель t Е [0, 3].
Базисные вейвлеты ^DaubTv(^) могут быть получены из равенства
^DaubN(<) = V2 £ (-1)кС1-к(^)Ф(^,2А-А:),(11.60)
где Ci(N) — коэффициенты, зависящие от порядка N базисного вейвлета Добеши; для каждого N число СДЛД, отличных от нуля, конечно. Например, для базисного вейвлета ^Daub4 (t)
а остальные Ci равны нулю.
Функция Ф(А, t) называется сканирующей для базисного вейвлета ^Daub4 и определяется как предел
Ф(ДГД) = lim Фп(А^Д),(11.61)
где Фо(Л^, t) = у(х) — у^х — 1), ту(ж) — функция Хевисайда, ФП(Л^, t) = = V2 £ CkW^N^t-kY
Все функции Ф(А\ t), N = 2, 3, . . ., непрерывны и имеют носитель t € [0,3]. Из равенства (11.60) следует, что базисные вейвлеты ^Daubw также непрерывны и имеют носитель t Е [0,3].
Аналогично (11.57) определим семейство функций
ФпкЦМ = £ t^lbaubNW + f)-^z11R9x
j = — oo^11.02 )
n = 0,l,2,..., ^ = 0,l,...,2n-x.
Можно показать, что ^nk(N^ t) — периодические функции с периодом Т = 1. Периодические вейвлеты Добеши (11.62) образуют орто- нормированный базис пространства £2(0,!). Для любой f^ Е £2(0,!) справедливо разложение
ос 2"-1_
= со + £ £ апкЖ№ t),(11.63)
n=0 k=0
где
ii
Co = I fW dt, ank(N) = j J^t^nk^N, 0 dt. 00
С вейвлетами Добеши тесно связаны еще два класса вейвлетов: кофлеты (coiflets) и симлеты (symlets), которые так же, как и вейвлеты Добеши, имеют конечный носитель. Например, базисные кофлеты порядка N. сконструированные Добеши и Кофманом (R. Coifman), имеют 2п моментов, равных нулю, и носитель t Е [—N,2N — 1]. Так же как и вейвлеты Добеши, базисные вейвлеты семейства кофлетов могут быть представлены в виде разложения (11.60) через сканирующую функцию (разную для разных кофлетов) с конечным числом отличных от нуля коэффициентов Ci.
Пусть базисный вейвлет ^(2) удовлетворяет условию нормировки | ^(t)!2 dt = 1. Покажем, что все вейвлеты семейства
^пк^) = 2п/2^(2”< - к), п, к = 0, ±1,...,
также нормированы. Действительно,
ОООООО
| ^№^ = 2" | ^2^nt- k)dt = J ip^dt'= 1,
— oo—oo—оо
где tf = 2nt — к^ dt = 2~ndtf. Таким образом, для всех вышеперечисленных семейств вейвлетов ^nk(t\ п, к = 0, ±1, . . ., выполнено условие ортонормированности
J 'ФпкО^'Ф'п'к' (^) ^ — ^пп' ^кк* ч
где 5пп, — символ Кронекера.
Одной из наиболее значительных прикладных областей вейвлетов является сжатие информации, содержащейся в сигналах. Дело в том, что полезный сигнал, подлежащий сжатию, представляет, как правило, суперпозицию локальных образований солитонного типа, а образования такого рода с высокой точностью (в отличие от разложений по синусам и косинусам) могут быть представлены в виде разложения по ортонормированной системе вейвлетов с небольшим числом отличных от нуля коэффициентов.
Другое направление применения вейвлетов связано со сглаживанием хаотических временных процессов, т. е. выделением детерминированных и хаотических компонент.
Более подробную информацию о свойствах вейвлетов, вейвлет-ана- лизе и его применении можно найти в [102,104].
Глава 12
МЕТОДЫ ПРОГНОЗИРОВАНИЯХАОТИЧЕСКИХ ВРЕМЕННЫХ РЯДОВ
Прогнозирование временных процессов — одно из основных направлений исследований во многих прикладных областях и в науке в целом. Особую значимость прогнозирование имеет при исследовании экономических процессов, в частности процессов в финансовой области. Уметь прогнозировать с приемлемой точностью развитие исследуемого временного экономического процесса — базовая предпосылка для успешного управления процессом и реализации максимальной эффективности работы управляемой экономической системы.
К настоящему времени разработано много методов и основанных на них алгоритмов прогнозирования временных процессов [1,4,5,37, 50,60,61,75,98]. Ниже рассмотрены сравнительно новые методы прогнозирования, два из которых используют априорную информацию экспертного характера, а третий основан на выделении так называемых главных компонент исследуемого временного ряда.
Методы прогнозирования с использованиемаприорной информации и ортогональных
полиномов
При прогнозировании временных рядов часто в распоряжении исследователей имеется априорная информация о значениях временного ряда в будущие моменты времени, для которых и производится прогноз. Ясно, что при решении практических задач априорная информация в абсолютном большинстве случаев носит неопределенный характер. В таких ситуациях задача прогнозирования состоит в оптимальном учете априорной информации при ее «объединении» в процессе прогнозирования с информацией, содержащейся в уже реализованной части временного ряда.
Ниже предполагается, что априорная информация задана в виде априорных экспертных оценок значений временного ряда
(12-1) для будущих временных дат
и задаются уровни погрешности этих оценок в виде числовых значений дисперсий:
(12.2)
Предполагается также, что в распоряжении исследователя имеется реализованная часть исследуемого временного ряда для прошедших временных дат t_N^ t-N+h . . . ^t_y и настоящей даты tp.
Для осуществления прогноза значений временного ряда на будущие даты ti,^---,^ объединяющего информацию в реализованной части временного ряда и экспертную информацию, в этом параграфе мы используем схему выделенной детерминированной компоненты с помощью разложения временного ряда по базисной системе полиномов, ортогональных на множестве значений аргумента
• • До Дь • • • Дl (12.2) с весами
шк = 1/<т^ к =—N,—N + 1,... ,0,1,..., L- (12.3)
Согласно результатам, представленным в §11.1, детерминированная компонента временного ряда дается равенством
Удет^к) = у и, Vj(tk), к = -N,-N + 1,... , 0,1,2,... , L,
tij = Е wkVj(tk')yk,(12.5)
k = — N
У-n^ У-n+i, • • • -Уо — значения реализованной части исследуемого временного ряда, у^. . . , yL — экспертные оценки (12.1).
Окончательно прогнозные оценки ynpor(tk) значений временного ряда на будущие даты Д Д2, • • • Д^ даются равенствами
Упрог^к^) — Удет^к)-) к — 1, . . . , L(12.6) где 7/Дет(^) определяются из равенств (12.4).
Замечание 12.1. Точность прогноза (12.6) во многом определяется точностью экспертных оценок (12.1), задаваемой дисперсиями (12.2). В частности, при сг^ —> 0, Упрог^к^ ~> Ук^ к = 1, . . . , L и информация в реализованной части временного ряда становится ненужной.
Замечание 12.2. Если экспертные оценки (12.1) отсутствуют, то по умолчанию будем полагать
У1 = У2,... ,УЬ = Уо-(12.7)
В этом случае достаточно надежный прогноз можно получить лишь для небольшого числа временных шагов вперед (в предположении выполнения равенства h^ =— t^ = const).
Замечание 12.3. Если дисперсии cr^ND сД д^, . . . , сгд априори неизвестны, то положим a_N == . . . = erg = ст , где о предва
рительно определяется из равенства
10
^2 = ^ Е кУк-Ы\(12.8)
k=-N
где у* = 52 ujV'j(tkY k = -N,-N + 1,...,О, j=1 о
(12.9)(12.9)^ = 52 v'j(tk)yk,k=-N
(12.9)
(12.9)
а {^^(^)} — система полиномов, ортогональных на множестве значений аргумента t-w^ t-w+i, . . . , to с весом, равным единице.
Замечание 12.4. вании равенств (12.7) Р^о.Замечание 12.4. вании равенств (12.7) Р^о.При отсутствии экспертных оценок и использо- можно положить сг^ = <Tq(1 + Рк\ к = 1, . . . , L,
Замечание 12.4. вании равенств (12.7) Р^о.
Замечание 12.4. вании равенств (12.7) Р^о.
Замечание 12.5. Все используемые в представленной выше схеме прогнозирования параметры (m, N^ L) следует определять на этапе обучения схемы прогнозирования с использованием реализованной части исследуемого временного ряда. Критерием отбора подходящих значений параметров в процессе обучения прогнозируемой схемы должно являться качество прогноза, например сумма квадратов невязок между прогнозируемыми и реализованными значениями исследуемого временного ряда.
Если в реализованной части y~N, . . . , уо временного ряда имеются большие выбросы, то вместо предложенной выше схемы выделения детерминированной компоненты должна применяться робастная схема.
В этом случае, согласно 11.1, детерминированная компонента временного ряда дается равенством
УдеМ) = £ npo6j^(^), к = -N,— N + 1,. . . , 0,1,. . . , L, (12.10) j=i
L
npo6j = 52 wk^j(tk)yk, 1 = 1,...^(12-11)
k=-N
где
52 ^po6j ф3 (^) "1" ^^кч3 = ^52 ^po6j ф3 (^) "1" ^^кч3 = ^гУк^если к 6 /о,
52 ^po6j ф3 (^) "1" ^^кч
3 = ^
52 ^po6j ф3 (^) "1" ^^кч
3 = ^
если к 6 /+,
если к Е /_,
/о — ^к : \ук 5 > ^po6j’Фз'^к)|кСо-к^•)
з=^
^+ — {.к . ук 5 ^po6j’Фз ^к) > ^^к^-) 3 = ^
1_ — ^к . ук 5 ^po6j’Фз’^к)кС(Ук\-
3 = ^
Нелинейная робастная оценка (12.11) может быть найдена с помощью итерационной процедуры (11.12), (11.13).
Окончательные прогнозные оценки pnpor(tk) значений временного ряда даются равенствами (12.6), где Рдет^к) определяются из равенства (12.10).
Методы прогнозирования с использованиемаприорной информации и линейных сплайнов
Так же как и в предыдущем параграфе, предполагается, что априорная информация задана в виде экспертных оценок (12.1) и погрешностей этих оценок (12.2).
В этом параграфе для выделения детерминированной компоненты мы используем разложение по системе линейных сплайнов, основанной на минимизации сглаживающего функционала
LL — 1
52 wk(Vk - У^^)2 + а 52 ,д (у(^+1) - у(^))2>(12.12)
k=—Nk=-N к
где Wk определяются равенством (12.3), hk = tk^i — tki ct > 0 — параметр сглаживания.
(12.13)(12.13)Тем самым, согласно § 11.2, вектор детерминированной компоненты Удет = (^/дет(^-^)? • • • ^дет(^))Т определяется из системы линейных алгебраических уравнений
(12.13)
(12.13)
равенствами
W-A^+i
+
а
+
a h-N
. 0
. 0
0
a
0
0
0
0
\
А =
✓1а
' W-N + , iL-N-H а
h-N+x
1 0
h-N+x OL
h-N^-y
0
h-N+x
0
0
a
a
. 0
Hl-i
w
L
+ у Kl-i
/
AY — F
1 дет — 1 ?
где симметричная трехдиагональная матрица А и вектор
F даются
F = (y-NW-N, Уь^ь^ •
Поскольку А — матрица с диагональным преобладанием, то для любых наборов исходных неопределенных данных (11.1)-(11.3) существует единственное решение Удет системы (12.13).
Окончательно прогнозные значения даются последними L компонентами вектора Удет-
Для предлагаемой в этом параграфе схемы остаются справедливыми все замечания предыдущего параграфа с заменой в замечании 12.5 параметров (m, N, L) на параметры (q, N, L\
Если в реализованной части у_ы, • • • , У о временного ряда присутствуют большие выбросы, то для выделения детерминированной компоненты временного ряда y~N^ У-N-vh • • • ^У(ьУъ • • • -Уl вместо сглаживающих линейных сплайнов должны использоваться робастные линейные сглаживающие сплайны.
Согласно § 11.3 в этом случае вместо сглаживающего функционала (12.12) используем робастный сглаживающий функционал
LL — 1
52 P(V^(yk - У^кУ) + а 52 Л (у(^+1) - у(^))2,(12.14)
где р^ — четная дифференцируемая функция, р(0) = 0, р^ ~ s2 для малых |s|, p(s)/s2 0 при s ос.
Если в качестве p(s) взять функцию Хьюбера, то детерминированная компонента Удет = (?/дет(^_уу), . . . , УдетОЬьУ)Т временного ряда У-n^ • • • ^Уь^ определяемая как вектор, минимизирующий робастный сглаживающий функционал (12.14), является решением системы нелинейных уравнений
ЛУдет = 7<(12.15)
где
'Ук,'Ук,F' = (w-Ny'-N, • • •, h'l'u'l?^F' = (w-Ny'-N, • • •, h'l'u'l?^Ук= { Удет + Как,Ук= { Удет + Как,кУдет Kd^^кУдет Kd^^если к 6 /о, если к 6 /+, если к Е /_,если к 6 /о, если к 6 /+, если к Е /_,
'Ук,
'Ук,
F' = (w-Ny'-N, • • •, h'l'u'l?^
F' = (w-Ny'-N, • • •, h'l'u'l?^
Ук= { Удет + Как,
Ук= { Удет + Как,
кУдет Kd^^
кУдет Kd^^
если к 6 /о, если к 6 /+, если к Е /_,
если к 6 /о, если к 6 /+, если к Е /_,
Л) — ^к. \ук 2/Дет(^/с)| ^ R^k^i /_|_ — ^к. у^ Удет^к) > R^k^ I— —
= ^к; у^ Удет^к^ < K^kV
Для фактического нахождения Удет можно использовать итерационную процедуру, изложенную в §11.3.
Если в качестве p(s) взять функцию Тьюки
P^\R\ |s| > Я,
то Удет как решение задачи на минимум функционала (12.14) является решением системы нелинейных уравнений (12.15), где
У к =У к =( У кесли к Е /о,\Удет^к)? если к Е Ir,( У кесли к Е /о,\Удет^к)? если к Е Ir,(12.16)(12.16)
У к =
У к =
( У кесли к Е /о,
\Удет^к)? если к Е Ir,
( У кесли к Е /о,
\Удет^к)? если к Е Ir,
(12.16)
(12.16)
/о = {^ : \ук - 2/дет(^)| < R(TkV Ir = {к : \ук - 7/дет(^)| > R(TkY
Для фактического нахождения Удет как решения нелинейной системы (12.16) можно использовать описанную в § 11.3 итерационную процедуру, сходящуюся к искомому решению за конечное число шагов.
Как и прежде, прогнозные значения для дат t^ . . . ^tL определяются равенствами
2/прог(^/с) — 'Удет^к^2/прог(^/с) — 'Удет^к^k = l,...,L.k = l,...,L.
2/прог(^/с) — 'Удет^к^
2/прог(^/с) — 'Удет^к^
k = l,...,L.
k = l,...,L.
Методы прогнозирования с использованиемсингулярно-спектрального анализа
Методы исследования временных рядов, основанные на сингулярноспектральном анализе (Singular-Spectrum Analysis — SSA), были развиты в основном на протяжении последних 16 лет [24,92-94,97,98, 100,110], хотя основы этого метода были заложены в более ранних работах [12,39]. В настоящее время SSA успешно используется для выявления скрытых периодичностей и выделения детерминированных компонент, включая сглаживание исследуемых временных рядов. В последние годы разрабатываются алгоритмы прогнозирования временных рядов, использующих SSA [24,98].
Пусть задан исходный временной ряд
(12.17)
Зададим два целых числа М и L, называемых шириной окна и числом шагов соответственно, и сформируем (L х Л4)-матрицу пошагового движения:
/ У1У2. ■ .Ум \
У = У2Уз• ■ •УМ+1 .(12.18)
\Уь Уь+1 • • • Уь+м-1)
Рассмотрим задачу на собственные значения симметричной неотрицательной (М х Л4)-матрицы Ут У:
УТУ^ = И-(12.19)
Собственные значения матрицы УТУ называются сингулярными числами матрицы У (что и дало название SSA).
Произведем ранжирование сингулярных чисел в порядке убывания:
Р-1 > Р2 > • • • ^ Ум > °,(12.20)
обозначив через ф, = ^ji,..., ч^м)Т> .7 = Г • • • ; М, соответствующую им ортонормированную систему собственных векторов.
Сформируем ортогональную матрицу fl = (^>i, . . . , ^м) и определим (Lx Л4)-матрицу главных компонент V равенством
V = У^ =(12.21)
где V^ j = 1,. . . , М1 суть L-мерные векторы, называемые главными компонентами.
Из равенств (12.21) следует соотношение
м
У = V 12т = ^(12.22)
представляющее собой разложение исходного временного ряда по главным компонентам V^ j = 1,. . . , М.
Числовые значения сингулярных чисел ptj определяют уровень «информационного вклада» компоненты Vj во временной ряд, причем компонентам с большим индексом j соответствуют изменения временного ряда большей частоты.
Поэтому для осуществления операции сглаживания необходимо отбросить несколько последних по индексу главных компонент, соответствующих шумовой хаотической компоненте, оставив первые т из них, V1,.. . , Ут1 и вместо (12.22) использовать равенство
V^.(12.23)
Сглаженные детерминированные значения 2/дет(^) исходного временного ряда получаются путем усреднения значений элементов на побочных диагоналях матрицы У' = {т/^}, г = 1, . . . , L, j = = 1, . . . , М: 2/дет(Ч) = Ут 2/дет(^2) = (Х/12 + ^21)/^’2/дет(^з) =
= (Х/13 + 2/22 + 2/31)/3? 1 1
Одна из возможных схем прогнозирования с помощью SSA основана на рассмотрении системы линейных алгебраических уравнений
Е Ж^1г = У„-М+2> (12.24)
Е ^г —= Уп^
г=1
где ^ч — г-я компонента вектора ^-, у г — члены исходного или сглаженного рядов (12.17).
В системе (12.24) т неизвестных Ж1, . . . , хт и М — 1 уравнение.
Если система (12.24) совместна, то прогнозируемое значение yHvv может быть представлено в виде
2/п+1 — ^ Жг'Фмгч(12.25)
г=1
где Ж1, . . . , хт — решение системы (12.24).
Пусть исходный временной ряд (12.17) порожден однородным конечно-разностным уравнением порядка т с постоянными коэффици-
ентами:
УтА-г “И ^XUm-Vi — X + • • • + ^mVi = О, Z = 1,2, . . .(12.26)
Тогда при М ^ т + 1 система (12.24) совместна и имеет единственное решение.
В этом случае можно продолжить прогноз на последующие временные даты, используя систему
(12.27) т (к}
52 ж\ Фм-хл = Уп^
1=1 и прогноз
yn+k+i^E^^Mi, к = 1,2,...(12.28)
г = 1
Для к = 0 система (12.27) и прогноз (12.28) соответствуют (12.24) и (12.25).
Системы (12.27) совместны или несовместны одновременно для всех А; = 0,1, 2,. . .
Системы (12.27) несовместны (при М > т) тогда и только тогда, когда исходный ряд не порожден уравнением типа (12.26).
Систему (12.24) запишем в векторно-матричном виде:
AX = F-e,(12.29)
где F = (т/п_м+2, ...,уп)Т — вектор правых частей уравнений системы (12.24), е — вектор «погрешностей» по отношению к неизвестному вектору F*, для которого система А X = F* совместна. х)
В условиях несовместности системы (12.24) определим вектор X* как МНК-оценку вектора X линейной регрессионной модели (12.29).
Имеем
X* = (ATA)-1ATF,(12.30)
где X* = (ж?,... ,ж^)т.
Прогнозируемое значение уп-\-1 определяется равенством
у:+1 = Е<^.(12.31)
1=1
Определим вектор Y* = (у*_м+2,..., у*, y*+i)T, где у*+1 дается равенством (12.31), (у*_м+2,..., у*)т = Л X*.
') Если система (12.24) совместна, то £ = 0.
Вместо рекуррентных систем (12.27) рассмотрим рекуррентные системы т
г~(12.32)
^^Чм-^ = Уп+кЛ = ^ЛЛ,--- г = 1
Все системы (12.32) совместны и каждая из них имеет единственное решение Х^* = (ж^*,. . . , х^*)Т•
Определим прогноз для последующих временных дат равенством
у;+к+1 = 1Ык^мг, к = 1,2,...(12.33)
г=1
При реализации схем прогнозирования, определяемых формулами (12.25), (12.28), (12.31), (12.33), требуется задание ширины окна М, числа шагов L и числа выделяемых главных компонент т. Число т определяется размерностью (рангом) исследуемого временного ряда и может быть определено из анализа соотношений между числовыми значениями сингулярных чисел pij. Ширина окна М должна быть несколько больше числа т. И, наконец, число L должно быть больше М (иногда в несколько раз).
Оптимальные значения параметров (m, М^ L) могут быть найдены, например, исходя из минимизации длины вектора невязок реализованных и прогнозных значений исследуемого временного ряда на отрезке временного ряда, соответствующего этапу обучения прогнозной модели.
В другой возможной схеме прогнозирования с помощью SSA рассматривается совместная система (12.24), где pi = Идет^г)-
Заметим, что конечно-разностное уравнение (12.26) можно записать в виде
Yi = n0 + m^UjX5i,(12.34)
где У, — Pm-Vi /Ут-Vi — l ? Xji — Hm-Vi^-j-l /Ут-Vi — l ? ^0 —^1 ? ^j —^4 + 1 •
Если рассматривается хаотический временной ряд, детерминированная компонента которого удовлетворяет уравнению (12.26), то для исходного временного ряда можно рассмотреть линейную регрессионную модель
УтА-г 4“ ^12/т + г —1 4“ • • • 4“ Clmpi 4“ £{ — 0, которая в обозначениях уравнения (12.34) запишется в виде
Yi = п0+£ и5Х5^Ег, г = 1,2,...(12.35)
4=1
Система равенств (12.35) полностью соответствует многофакторной линейной регрессионной модели (7.30) и тем самым между SSA и линейным регрессионным анализом существует очевидная взаимосвязь.
Рисунок (12.1) демонстрирует применение метода сингулярно-спектрального анализа для прогнозирования ряда. Для примера использован полином 4-й степени (сплошная линия). Символом (★) обозначены значения, использованные при обучении, а символом (О) — спрогнозированные значения.
Глава 13
ПЛАНИРОВАНИЕ ОПТИМАЛЬНЫХИЗМЕРЕНИЙ ПРИ ВОССТАНОВЛЕНИИФУНКЦИОНАЛЬНЫХ ЗАВИСИМОСТЕЙ
В предыдущих главах оценка искомого вектора и проводилась на основе уже полученных измерений («исторических» данных). Но, как показали вышеприведенные исследования, точность оценки во многом зависит не только от количества измерений, но и от их расположения.
Пусть, например, рассматривается задача восстановления функциональной зависимости
у = Е
3 = 1
где ip^x), j = 1,. . . , m, — заданная система функций, и пусть выполнены предположения классической схемы МНК, но с наличием корреляций между компонентами вектора случайных погрешностей, так что К£ = а^П. Тогда, как мы знаем, оптимальной в классе всех несмещенных линейных оценок является взвешенная МНК-оценка (7.22), где (п х т)-матрица А определяется равенством
АТ = Ыж1), 9?(ж2), . . ■ ,
Ф^х^ = ^i^XiY . . . , фт^жг^Т — вектор размерности ш, а качество оценки определяется ее ковариационной матрицей, даваемой равенством К^ = cr\AT CL-1 А)-1. Поскольку матрица А зависит от координат х^ г = 1,. . . ,п, фиксации независимой переменной ж, то К^ также зависит от ж^, 1 = 1,. . . ,п. Таким образом, в зависимости от того, при каких значениях ж^, г = 1,. . . , п, проведены измерения, будем получать различные по точности МНК-оценки. Из вышесказанного естественным образом возникает следующая задача. Пусть исследователь имеет возможность разместить ж*, г = 1,. . . , п, по своему усмотрению. Спрашивается, как разместить ж^, чтобы получить наилучшую по точности (в том или ином смысле, который уточняется ниже) МНК- оценку? Сформулированная здесь задача и составляет основу теории планирования оптимальных экспериментов. Аналогичные задачи оптимизации экспериментов можно поставить при восстановлении линейной регрессии
У? изжз^ 3 = 1
где жх,. . . , хт — регрессоры, и для других линейных и нелинейных задач восстановления.
Постановка задач планирования оптимальных измерений
В главе 13 мы ограничимся решением задач планирования оптимальных экспериментов при восстановлении функциональных зависимостей вида
у = У ^X®) =
3 = 1
Пусть К£ = diag (сг^ . . . , ст2). Обозначим Wt = 1/сг^ г = 1,. . . , п. Тогда К”1 = diag (Wi,. . . , Wn). Числа Wt называют весами. Для рассматриваемого случая МНК-оценку (7.22) можно представить в виде
пмнк = ^ Х^
где
М = АтК^А = у Wi(p(xi)(pT(х4) = у м^ г=1г=1
Y = АТК~^ = у WiyiV^i)
г=1
— вектор размерности т. В принятых обозначениях ковариационная матрица МНК-оценки определяется равенством К^ = М-1.
Напомним, что наилучшей линейной несмещенной оценкой функции у = <рт (х) и является МНК-оценка ^мнк = У^М^мнк с наименьшей дисперсией ст2(^мнк) = (рт(х)М-1(р(х) = d(x). Функцию д/d(x) называют коридором ошибок.
Часто в одной точке х = х^ проводится несколько независимых измерений уц^ - - > yiri функции у. каждое с дисперсией ст2. Тогда всю совокупность измерений у^ k = 1, . . . , т^ можно заменить одним
=Vik
Тг k=l
с весом Wi = Tifa^.
В большинстве прикладных задач дисперсия ст2 измерения у^ зависит от местоположения фиксации х = х^. Поскольку при решении задач планирования оптимальных экспериментов при восстановлении функциональных зависимостей значения х^ априори неизвестны, а выбираются в процессе решения самой задачи оптимизации, необходимо знать значения дисперсии ст2 (ж) погрешностей измерений функции для любых значений независимой переменной х из промежутка его доступного измерения. Функцию А(ж) = 1/сг2(ж) назовем функцией эффективности измерений. Если ст2 (ж) задана с точностью до неизвестной константы сг^ т. е. сг2(ж) = ctqS2^), то функцию А(ж) = 1/52(ж) назовем функцией относительной эффективности измерений.
13 А.В. Крянев, Г.В. Лукин
Очевидно, что йМнк = ^ X^ гДе
м = 52 ^Чд^Чд^Чд, v = 52 ЧжйуМж»\ г=1г=1
Статистика
S0 = и _ т ^^ ^^iHlJi — (жг)пМНк) является несмещенной и состоятельной оценкой неизвестной сг^.
Пусть измерения проводятся при значениях жх,. . . , жп, причем теперь в точке $г проводится г^ измерений. Тогда ^ г^ = Л^ — общее г=1 количество измерений.
Совокупность величин {жх,....хп: гх,. . . , гп} называют планом (эксперимента) и обозначают символом £(N) или 8.
Совокупность величин {жх,...,жп; р\.. . . .Рп^ где р^ = rt/N, ^Pi = I? называют нормированным планом (эксперимента) и обозна- г=1 чают символом e(N).
Совокупность точек жх, . . . , хп называется спектром плана эксперимента.
Поскольку информационная матрица М зависит от плана эксперимента 8 (или s), в дальнейшем часто будем использовать явную запись этой зависимости М = М(8) (или М(е)).
Имеем: М(е) = N ^ Рг^х^ф^г^Ч^ ^жг)- В дальнейшем матрицу г=1
М-\ обратную информационной, будем обозначать Т>(8) (или П(е)).
Два плана
называют одинаковими тогда и только тогда, когда ni = П2 = п и
т(1) _ ™(2)„(1) _ „(2)•1
Ж(г)-Ж(г)’Г(г)-Г(г)’ гП,
) / (1) // (1)(2) / (2) // (2)
где ж^ < Ж(2) < . . . < х^ и ж^ < Ж(2) < . . . < х^ — ранжированные
(!)(!)(2)(2)тэ
совокупности ж^ ,. . . , Жп , жх 7 • • • ? хп соответственно. В противном
случае планы £х и ^2 называют различными.
В дальнейшем, как правило, будут рассматриваться различные планы, для которых выполнены равенства
«1 = п2 = п, 52 4Х) — 52 Г1^ = N-
Аналогично вводится понятие различия двух нормированных планов.
Различные планы можно сравнивать друг с другом с точки зрения качества МНК-оценок искомого вектора и. получаемых на основе каждого из этих планов. Поскольку в основу определения качества (точности) оценок могут быть положены различные критерии (в зависимости от поставленных приоритетных целей), то на практике используют различные критерии сравнения планов экспериментов.
Перечислим наиболее часто используемые критерии сравнения планов экспериментов.
Говорят, что план £i предпочтительней (лучше) по выбранному критерию сравнения плана £2, и записывают этот факт £i ^ £2, если:
|Р(£1)| < |^(^2)| — первый критерий сравнения;
SpD(£i) < SpP(^2) — второй критерий сравнения;
niax7=1<m Djj(£i) < maxy=1 ;...<m— третий критерий срав
нения;
шахжЕХ (/(ж; £i) < шахжЕХ (/(ж; £2) — четвертый критерий сравнения;
j (/(ж; £1) dx < j (/(ж; £2) dx — пятый критерий сравнения.
Здесь (/(ж; £) — дисперсия сг2(^мнк(ж)), вычисленная при реализации плана £.
В четвертом и пятом критериях сравнения множество X задается априори и может быть частью всей области изменениям при выборе фиксаций Хг или вообще не совпадать с этой областью. В последнем случае говорят, что рассматривается задача экстраполяции.
В общем случае план £1 может быть предпочтительней плана £2 в смысле одного или нескольких критериев, а по остальным критериям £2 предпочтительней £1.
Пример 13.1. Пусть восстанавливается функциональная зависимость у = их + и^х + и^х2 и имеются два плана эксперимента £1 = = {-1,0; 4, 4, 4}, £2 = {-1,0; 3, 6, 3}. Имеем
/ 20 —2\020’12 у—2 04 // 20 —2\020’12 у—2 04 // 3 о -3\У№) = Л 0 3/2 0 L12 \-309/2/
/ 20 —2\
020’
12 у—2 04 /
/ 20 —2\
020’
12 у—2 04 /
IP^)! = 6,75 • 12"3, |P(f2)| = 8 • 12"3, SpP(fi) = 3/4, SpP(f2) = 2/3.
Следовательно, £i >- f2 по первому критерию, но f2 >- £1 по второму критерию.
При реализации плана эксперимента £ производятся затраты т(£) на его проведение. Положительный функционал затрат т(£) может иметь различный физический смысл в зависимости от условий проведения эксперимента. Например, если необходимо провести эксперимент в короткие сроки, не считаясь с материальными затратами на его проведение, в качестве т(£) необходимо взять суммарное время тв(£) на проведение всех измерений, соответствующих плану эксперимента £.
Наоборот, если более важны материальные затраты, а время проведения эксперимента не играет существенной роли, то в качестве т(£) необходимо взять суммарные материальные затраты тм(£) на проведение всех измерений, соответствующих плану 8. Часто необходимо найти компромисс между временем проведения эксперимента и материальными затратами на его проведение. Тогда в качестве т(£) берут сумму квтв(8) + кмтм(8^ где постоянные множители кв, км > О определяют степень этого компромисса.
Одной из основных задач планирования оптимальных экспериментов является задача выбора компромисса между затратами на проведение эксперимента и погрешностью получаемой МНК-оценки искомого вектора и.
Погрешность оценки будем определять положительным функционалом L[P(£)]. В соответствии с вышеприведенными критериями сравнения планов обычно используют один из нижеследующих пяти видов функционала погрешности оценки:
ЦТ^ = \W)\, ZW)] = SpP(£),
L[D(£)] = . max Vj^S),j=L..,m
L[D(8)] = maxd(x; 8) = таху)Т(ж)Ру)(ж),
xEXxEX
= j d^x- 8^dx.
Поставим две основные задачи планирования оптимальных экспериментов.
Задача А. Пусть затраты лимитированы. Требуется при выполнении условия лимита затрат найти план эксперимента, минимизирующий функционал погрешности МНК-оценки искомого вектора и.
Математически задача А эквивалентна нахождению оптимального плана £*, являющегося решением экстремальной задачи с ограничением
= arg ^min^ L\D(£^,(13.1)
где Т задано.
Задача Б. Пусть задана необходимая точность МНК-оценки искомого вектора и. Требуется при выполнении условия достижения необходимой точности оценки найти план эксперимента, минимизирующий затраты на проведение эксперимента.
Математически задача Б эквивалентна нахождению плана £*, являющегося решением экстремальной задачи с ограничением
= arg min t(8Y(13.2)
цт^^кьо
где Lq задано.
Функционал затрат часто представим в виде т(£) = У^ с^г^, где г=1
Ci > 0 — стоимость одного измерения в точке х^. В частности, если стоимость измерений не зависит от ж^, то с^ = с, г = 1, . . . , п, и т(^) = = cN.
Экстремальные задачи с ограничением (13.1), (13.2) эквивалентны экстремальной задаче без ограничения
8* = arg min R^8\(13.3)
где R(8) = т(£) + kbL\D^8^\ называется функционалом потере kL > 0 — множитель Лагранжа.
Для задачи А величина kL находится из равенства т(£*) = Т. Для задачи Б величина kL находится из равенства L[D(£)] = Lq.
Если N фиксировано и т(£) = cN, то т(£) не зависит от 8. Поэтому для данного случая задача (13.1) эквивалентна задаче без ограничения
8* = arg min L[D(£)].(13.4)
План 8* из (13.4) называется П-оптимальным, если L\D^8^\ = = |D(£)|; А-оптимальным, если Ь\П^8^\ = SpD(£); минимаксным в пространстве параметров, если L[P(f)] = таху=ц...<т минимаксным на множестве X, если L[D(£)] = тахжЕХ d^x*, 8)', Q-оптимальным на множестве X, если L[D(£)] = j d(x; 8) dx.
Заметим, что поскольку |М(£)| = 1/|D(£)|, то D* — оптимальный план 8* — можно определить равенством 8* = arg max \М(£)|.
Пример 13.2. Пусть у = их + и^х, х Е [—1; 1], N = 3, А(ж) = const, Ж1 С ^2 С ^з- Имеем
м^=цм^=ц3Хх + Х2 + Хз
м^=ц
м^=ц
Хх + Х2 + Хз Хх + ^2 + Хз
Щ(£)| = Ж1 + $2 + «з - | («1 + ж2 + Жз)2.
Существует два D-оптимальных плана 8^ 8^ максимизирующих |М(^)| при ограничениях — 1 х^ 1, г = 1,2,3, 8х = { — 1,1; 2,1} и 8$ = {-1,1; 1,2}.
Если априори задана приемлемая погрешность оценки Lq, a N не фиксируется, то решение задачи (13.4) состоит в нахождении такого N*
и оптимальных планов £*(7V*), 8*(N* + 1), при которых выполнены неравенства L[P(£*(7V*))] > Lg L\T>(8* (N* + 1))]. Тогда эксперимент проводится по плану 8*(N* + 1).
Наиболее полные результаты по оптимальному планированию экспериментов удается получить в том случае, когда N настолько велико, что можно считать функционал потерь функцией непрерывного параметра N.
Непрерывным нормированным планом £ называется совокупность величин {жх, . . . , х^ ръ. . . ,рп^ где О С Pi < 1, ^ Pi = 1- г=1
Если N ^ п, то e(N) = s, поэтому
М(8) = N ^ piX^x^cp^Xi)^(xi) « NM(8).
г=1
Следовательно,
^) - М"1^ « 1Р(£).
Имеем:
Г |Р(5)| « ^ |Р(е)|;
2° SpD(5) « ^8рОД;
3 maXj—1 ^,^т Hjj(£) ~ — maXj—^jj(^)?
4° шахжЕХ d^x; 8) ~ ^ шахжЕх d^x^ s);
5° j (/(ж; £) dx и -^ j (/(ж; s) dx.
Таким образом, для случая т(£) = cN, N ^ п функционал потерь R(8) имеет вид
R^«Nc+^L\D(<(13.5)
где Р = т для критерия L[P(s)] = |P(s)| и /3 = 1 для остальных четырех критериев.
Поскольку L[P(s)] не зависит от N^ решение экстремальной задачи (13.3), когда R(8) дается равенством (13.5), можно разбить на два этапа: на первом этапе находится оптимальный непрерывный нормированный план е* = arg mine L[P(s)] = {ж^, . . . , ж*; р^ р^; на втором этапе при фиксированном е = е* находится N*^ при котором достигается минимум Nc + kLN~@L[P(s*)], из соответствующего условия находится kL и полагается 8* = {ж^, . . . , ж*; г^ ... ^r^Y где г* = [р*Л^*] — округление до ближайшего целого.
Очевидно, N* = [(/^A^c^LjP^*)])1/^1)] — округление до ближайшего целого.
.2. Методы решения задач планированияоптимальных измерений
В дальнейшем рассматриваются только непрерывные нормированные планы е. Заметим, что информационная матрица М^ вырождена, если спектр плана е содержит менее т точек. Поэтому количество точек п спектра любого разумного плана е должно состоять не менее чем из т точек.
Естественно конструировать планы с наименьшим числом точек спектра.
Теорема 13.1 (Де Ла Гарза). Для любого плана е с числом точек спектра п ^ т всегда найдется такой план £ с числом точек спектра т + 1, что М(е) = М^е\
Из теоремы 13.1 следует, в частности, что оптимальные планы е* можно искать в классе планов е с числом точек спектра, равным т + 1. Ниже будет показано, что для определенного класса задач число точек спектра планов, среди которых существуют оптимальные, можно понизить до т — минимально возможного.
Непрерывный нормированный план е называется невырожденным^ если матрица плана М^ невырожденная.
Теорема 13.2. Пусть е = {жх,. . . , жп; pi^ . . . , рД — невырожденный план. Тогда 1° ^ PiX^x^d^x^ s) = m; 2° шахжЕХ X(x)d(x^ s) i=l
> m. где X — вся область изменения независимой переменной х, где фиксируется спектр планов.
Наиболее широко используют D-оптимальность. D-оптимальные непрерывные планы обладают рядом замечательных свойств.
Теорема 13.3 (Вольфовиц-Кифер). Следующие утверждения эквивалентны; е* — П - оптимальный плащ е* минимизирует шахжЕХ X^d^ s); тахжЕХX(x)d(x; s) = т.
Теорему 13.3 принято называть теоремой эквивалентности. Из теоремы эквивалентности, в частности, следует, что при А (ж) = const D-оптимальный непрерывный план одновременно является минимаксным непрерывным планом, и наоборот.
Теорема 13.4. Пусть z = Я(ж) — взаимно однозначное преобразование и е* = {^i,. . . , zn: pi, . . . , рД — D-оптимальный непрерывный план восстановления функциональной зависимости у = fT(z)u, где f(z) = y?(Z-1(z)). Тогда непрерывный план е* = = {жх, . . . , х^ рх^ . . . рД, где х^ = Z-1(^), г = 1,. . . , n, D-оптимален при восстановлении функциональной зависимости у = ДДх^и.
Теорема 13.4 часто дает возможность с помощью замены независимой переменной переходить от сложных вектор-функций <^(ж) к более простым /(ж) и искать D-оптимальные планы относительно новой независимой переменной z.
Пример 13.3. Пусть у = их + и^е аж, ж > 0, А(ж) = в аж, а > 0. Найдем D-оптимальный план s*. Сделаем замену переменной % = е-аж. Имеем: у = их + и^х^ A(z) = ^, 0 ^ ^ ^ 1. Рассмотрим класс планов вида Ег = {1, zq: 1 — р, рЪ гДе 0 < zq 1, 0 < р < 1. Имеем
м(, \= (Р-рН^ор ^-рН 4р\z \(1-р) + ^оР (1-р) + ^оР/’
IWz)l = Р(1 "PHI ~ 2г0 + И-
Следовательно, максимум |M(s^)| достигается при р = 1/2, г0 = 1/3. Положим s* = {1,1/3; 1/2,1/2}. Имеем: max A(z)t/(z; s*) = 2. Из теоремы эквивалентности следует, что е* — D-оптимальный непрерывный план для у = их + ^2^, A(z) = z, 0 < z ^ 1. Тогда из теоремы 13.4 следует, что s* = {0, — In 3; 1/2,1/2} — D-оптимальный непрерывный план для восстановления функциональной зависимости у = их + ихе-аж^ А (ж) = е-аж^ х ^ 0. Таким образом, если половину измерений делать при ж = 0, а вторую половину — при ж = — In 3, то план £ будет OL
D-оптимальным.
Поиск D-оптимального непрерывного плана состоит в максимизации определителя |AT(s)| = \ '^Рг\^х^ф^х^фТ^х^\ по переменным г=1
ЖЬ . . . ,ЖП,Р1, . . . ,рн, ^ Pi = 1, 1 Pi °'
г=1
Можно показать, что при тг = т справедливо равенство |7И(ё)| = = ]/[ ргА(жг)|Л|2, где А = ^^.xxY • • • ^^т^ — Vm х ^)-матрица. г=1
Из последнего равенства следует, что максимальное значение |7И(ё)| по pi,. . . , рт достигается при р^, = 1/т, г = 1,. . . , т, независимо от ж 1, ... , хт. Таким образом, если спектр D-оптимального плана состоит из т точек, то количество измерений должно быть размещено равномерно по точкам спектра, а задача поиска D-оптимального плана сводится к максимизации по жх,. . . , хт функционала |А|2 ]/[ А(ж^). г=1
Пусть <Pj(x) = ж-7-1, з = 1,...,т, т. е. рассматривается задача восстановления полиномиальной функциональной зависимости у = Е ^И"г. j=i
Чтобы для полиномиальной зависимости существовал D-оптимальный план с минимально возможным количеством точек спектра и = ш, необходимо наложить некоторые условия на функцию относительной эффективности измерений А (ж).
Система непрерывных функций /Дж), г = 1, . . . , ш, определенная на промежутке X, называется чебышевской, если любая линейная ком- тт
бинация этих функций ^ cifi(x) (ci действительные, ^ сг > 0) имеет г=1г=1
не более т — 1 корней на промежутке X.
Очевидно, что система fi(x) = жг-1, г = 1, . . . , ш, — чебышевская.
Теорема 13.5. Пусть 1, А(ж), . . . , Х^х^х2^-1^ — чебышевская система на промежутке X. Тогда при восстановлении полиномиальной зависимости у = ^ ^ж7*-1 существует D-оптимальный план с числом точек спектра п = т.
Рассмотрим в качестве промежутка X один из трех стандартных промежутков [—1,1], [0,оо), (—ос, ос). С помощью линейной замены независимой переменной любой промежуток можно свести к одному из этих трех, а при линейной замене полиномиальная зависимость остается полиномиальной (с сохранением степени полинома).
Теорема 13.6. Пусть рассматривается задача восстановления полиномиальной зависимости У = '^ UjX^-1 для следующих четырех 3 = 1 случаев'.
1° А(ж) = const, х Е [—1,1];
2° А(ж) = (1 — х)а(Д + х^а, (3 > — 1, х Е [—1,1];
3° А(ж) = жа+1е-ж, а > — 1, ж > 0;
4° Х(х) = е-®2, х Е (—ос; ос).
Тогда для каждого из этих четырех случаев существует D-оптимальный непрерывный план е* = {жх, . . . , жт; 1/т,. . . , 1/ш}, единственный в классе планов с п = т. Точки спектра D-оптимальных планов являются корнями полиномов для случаев'. 1. (1 — ж2)— где Pm-i — полином Лежандра степени т — 1; 2. Р^’^(ж) — полином Якоби степени т с параметрами а, Р\ 3. Р^(ж) — полином Чебышева-Лагерра с параметром а; 4. Нт(х) — полином Чебышева- Эрмита.
Доказательство всех четырех случаев теоремы 13.6 аналогично. Рассмотрим, например, первый случай.
Имеем: |Л/(е)| = — С|А|2, где |Л|2 = р[ (х^ — ж/)2, In |А|2 = тk^i,k,i=i
= У/In (жк — xi)2. Поэтому задача максимизации |Л/(е)| эквива-
к^1, к,1 = 1
лентна задаче максимизации У^ In (х^ — ж/)2. Для нахождения к^1,к,1=1
„ Э In |Д|2 ,1
точек спектра имеем систему уравнении ———, к =. . . , которую запишем в видек
1Хк - Хх1Хк - Хх+... ++... +1X к Хк — 11X к Хк — 11Хк Хк-^-11Хк Хк-^-11Хк Хт1Хк Хт= 0,= 0,
1
Хк - Хх
1
Хк - Хх
+... +
+... +
1
X к Хк — 1
1
X к Хк — 1
1
Хк Хк-^-1
1
Хк Хк-^-1
1
Хк Хт
1
Хк Хт
= 0,
= 0,
к = 1, . . . , т.
Обозначим /(ж) = (ж — Ж1) • . . . • (ж — жт). Имеем
^^- = (ж - ж2)(ж - Жз) • ... • (ж - жт) + . . .
... + (ж - Ж1)(ж - ж2) • ... • (ж - жт-1),
dxdx= (хк - Ж1) • . . . • (хк - хк_у^хк - Ж£ + 1) • . . . • (хк - хт),
dx
dx
2— (ж Жз) • . . . • (ж Жт) + . . . + (ж Ж1) • . . . • (ж Хт_2),
dx
" 2= (Ж&^2) * • • • • ^Хк X к-^Х к Хк^^ • . . . • (хк жт) +
dx
+ (хк - Ж1)(ж/е - ж3) • . . . • (хк - хк_^хк - Ж£ + 1) • . . .
• • • • (%к - хт) + . . . + (хк - Ж1)(ж/с - ж2) • . . .
• • • * ^Хк Ж/е — 1)(жк Хк_\_^ • . . . • (ж/gЖт — 1).
Поэтому
d2f(xk) /df(xk) =1+1++1+
dx2 / dx хк - Xi Хк - Х2 * * * Хк - Хк-1
Г ... И
Хк Ж/е-|-1Хк Ж 772,
Из последнего равенства следует, что —2 (1 — ж2) = af (ж), где а — dx
постоянная. Приравнивая в обеих частях последнего равенства коэффициенты при жт, получаем а = — т(т + 1)/2. Следовательно,
Но решением последнего уравнения является функция
/(ж) = (1-ж2)^1.
Теорема 13.6 для рассматриваемого случая доказана.
При решении практических задач часто возникает необходимость восстановления тригонометрической функциональной зависимости
у = М1 + ^ (ufe+1 COS кх + Mm+1+fc sin кх), к=1
где Uj^ j = 1, .. . , 2т + 1, неизвестны.
Пусть X = [0; 2тг], А(ж) = const. Тогда любой непрерывный план с п ^ 2т + 1, с равномерным спектром и равными весами р^, = 1/п^ г = = 1, . . . , п, является D-оптимальным. Более того, любой непрерывный план, D-оптимальный для тригонометрической зависимости с т = то, будет D-оптимальным для тригонометрической зависимости с т < т^.
Выше уже отмечалось, что при А (ж) = const D-оптимальный план совпадает с минимаксным планом. Ниже приведены условия для совпадения планов, оптимальных по разным критериям.
Теорема 13.7. План е* является одновременно Q- и А-онтималъ- ным, если (fi(x\ г = 1, . . . , т, — ортонормированная система на промежутке X, т. е. <р(ж)<рт(ж) dx = 1т.
Для полиномиальной зависимости с А (ж) = const доказано, что спектры D- и Q-оптимальных планов совпадают (п = т\ т. е. измереДля полиномиальной зависимости с А (ж) = const доказано, что спектры D- и Q-оптимальных планов совпадают (п = т\ т. е. измеренияниянеобходимо проводить в нулях полинома (1 — ж2)необходимо проводить в нулях полинома (1 — ж2)для Q-оптимальных планов определяются равенствамидля Q-оптимальных планов определяются равенствамиdPm — 1dxdPm — 1dxно весано веса
Для полиномиальной зависимости с А (ж) = const доказано, что спектры D- и Q-оптимальных планов совпадают (п = т\ т. е. измере
Для полиномиальной зависимости с А (ж) = const доказано, что спектры D- и Q-оптимальных планов совпадают (п = т\ т. е. измере
ния
ния
необходимо проводить в нулях полинома (1 — ж2)
необходимо проводить в нулях полинома (1 — ж2)
для Q-оптимальных планов определяются равенствами
для Q-оптимальных планов определяются равенствами
dPm — 1dx
dPm — 1dx
но веса
но веса
Pi = |Cn(®i)| V 52 lPm(®j)l \ j = 1, • • • ,
Рт(ж) — полином Лежандра.
Для тригонометрической зависимости D- и Л-оптимальные планы совпадают.
Из вышесказанного следует, что нахождение точного D-оптимального непрерывного плана аналитическими методами возможно только для специальных систем функций <рДж), j = 1, . . . , т^ А (ж).
В общем случае, когда найти точный D-оптимальный непрерывный план аналитическими методами не удается, его можно найти численными методами. Ниже приводится итерационный процесс, сходящийся к D-оптимальному плану. Основой ИП является теорема эквивалентности (см. выше).
Зададим невырожденный план sq = {^1, • • • , жп; Pi, • • • ,pn}, п ^ ^ т. На каждом шаге ИП осуществляются следующие три этапа.
Подсчитываются информационная матрица
Wo) = 52 рАСеОрСеОр7’^)
г=1
и матрица D(s0) = М-1(е0).
Находится точка
жо = arg max А(ж) с/(ж; во),жЕХ
где d(®; £0) = рТ(ж)Р(е0)у>(ж);
Формируется новый план
£1 = (1 - ао)£о + аое(жо),
где
е(ж0) = {®о; 1},
£1 = {ж1,... , жп, х0; (1 - «о)Р1, • • • , (1 - а0)рп, а0}, а «шаг» «о выбирается так, чтобы увеличение |M(£i)| было максимальным.
Для такого qq справедливо равенство qq = <W ((^о -V т — 1)ш), где Jo = А(жо)с/(жо; во) - т > 0. После осуществления третьего этапа qq заменяют на Qi и возвращаются к первому этапу.
Доказано, что последовательность планов г к сходится к D-оптимальному плану в*.
Правилом останова ИП может быть выполнение неравенства а к < р. где р > 0 — заданное малое число.
После осуществления ко шагов ИП к первоначальным п точкам спектра добавляются ко новых точек. Чтобы количество точек спектра не возрастало, используют два правила: 1° точки спектра с малыми весами, изолированные от других точек спектра, отбрасываются (с равномерным распределением веса отбрасываемых точек по множеству
оставшихся, так чтобы выполнялось равенство ^ Pi = 1? гДе пк — г=1
количество остающихся точек спектра); 2° точки спектра хц, . . . , ж/г, близкие друг к другу, объединяются в одну точку по правилу
Xl = ^XU—, Pl = ^PU-
г=1 Plг=1
Более подробные сведения о решении задач планирования оптимальных экспериментов можно найти в [29, 78].
Список литературы
Айвазян С.А. Основы эконометрики. — М.: ЮНИТИ, 2001.
Айвазян С. А., Енюков И.С.. Мешалкин Л.Д. Прикладная статистика: исследование зависимостей. Справочное издание под ред. С.А. Айвазяна. — М.: Финансы и статистика, 1985.
Айвазян С. А., Енюков И.С.. Мешалкин Л.Д. Прикладная статистика: основы моделирования и первичная обработка данных. — М.: Финансы и статистика, 1983.
Айвазян С. А., Мхитарян В.С. Прикладная статистика в задачах и упражнениях. — М.: ЮНИТИ, 2001.
Айвазян С. А., Мхитарян В.С. Теория вероятностей и математическая статистика, 2-е изд. — М.: ЮНИТИ-ДАН А, 2001.
Алгоритмы и программы восстановления зависимостей. Под ред. В.Н. Вапника. — М.: Наука, 1984.
Арсенин В.Я.^ Крянев А.В. Применение статистических методов решения некорректных задач для обработки результатов физических экспериментов. В кн.: Автоматизация научных исследований в экспериментальной физике. — М.: Энергоатомиздат, 1987, С. 19-30.
Арсенин В. Я, Крянев А.В., Цупко-Ситников М.В. Применение робастных методов при решении некорректных задач // ЖВММФ. 1989. Т. 29. № 5. С. 653-661.
Арсенин В. Я.. Крянев А.В. Обобщенный метод максимального правдоподобия решения конечномерных некорректных задач // ЖВММФ. 1991. Т. 31. № 5. С. 643-653.
Баласанов Ю.Г.^ Дойников А.Н.. Королев М.Ф., Юровский А.Ю. Прикладной анализ временных рядов с программой ЭВРИСТА. — М.: Центр СП «Диалог» МГУ, 1991.
Бард Я. Нелинейное оценивание параметров. — М.: Статистика, 1979.
Белонин М.Д., Татаринов И.В.^ Калинин О.М.^ Шиманский В. К., Бескровная О. В., Гранский В.В.^ Похитонова ТЕ. Факторный анализ в нефтяной геологии. — М.: ВИЭМС, 1971.
Богданов Ю.И. Основная задача статистического анализа данных: корневой подход. — М.: Изд-во МИЭТ, 2002.
Большее Л.Н.. Смирнов Н.В. Таблицы математической статистики. — М.: Наука, 1983.
Вапник В.Н. Восстановление зависимостей по эмпирическим данным. — М.: Наука, 1979.
Вапник В.Н.. Стефанюк А.Р. Непараметрические методы восстановления плотности вероятностей. — АиТ. 1978. Т. 8. С. 38-52.
Васильев Ф.П. Методы оптимизации. — М.: Факториал Пресс, 2002.
Васильев Ф.П. Методы решения экстремальных задач. — М.: Наука, 1981.
Вероятность и математическая статистика. Энциклопедия. Гл. ред. Ю.В. Прохоров. — М.: Изд-во Большая Российская Энциклопедия, 1999.
Воеводин В.В. Вычислительные основы линейной алгебры. — М.: Наука, 1977.
Волков Н.Г.^ Дорогое В. И., Коньшин В.А.^ Крянев А.В. Комплексная программа восстановления регрессии и проведение оценки сг^, at. а и vj для I/235. — Минск, Препринт ИЯЭ АН БССР, 1986.
Воскобойников Ю . Е.. Преображенский И. Г.. Седельников А.И. Математическая обработка эксперимента в молекулярной газодинамике. — Новосибирск: Наука, 1984.
Гантмахер Ф.Р. Теория матриц. — М.: Наука, 1967.
Главные компоненты временных рядов: метод «Гусеница». В сб. под ред. Д. Данилова и А.А. Жиглявского. — СПб.: СПбГУ, 1997.
Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. Li-подход. — М.: Мир, 1988.
Де Гроот М. Оптимальные статистические решения. — М.: Мир, 1974.
Демиденко Е.З. Линейная и нелинейная регрессии. — М.: Финансы и статистика, 1981.
Джонсон Н.. Лион Ф. Статистика и планирование эксперимента в технике и науке. — М.: Мир, 1980, Т. 1; 1981, Т. 2.
Ермаков С.М.. Жиглявский А. А. Математическая теория оптимального эксперимента. — М.: Наука, 1987.
Жуковский Е.Л.. Мелешко В.И. О помехоустойчивых решениях в линейной условной алгебре // ДАН СССР. 1978. Т. 241. К5 5. С. 1009-1012.
Жуковский Е.Л.. Морозов В.А. О последовательной байесовской регуляризации алгебраических систем уравнений // ЖВММФ. 1972. Т. 12. № 2. С. 464-465.
Завьялов Ю. С., Квасов В. И.. Мирошниченко В.Л. Методы сплайн- функций. — М.: Наука, 1980.
Закс Ш. Теория статистических выводов. — М.: Мир, 1975.
Зрелое П.В.. Иванов В.В. Интегральные непараметрические ста- k 00
тистики ш^ = п2 J |5п(ж) — Р(х)\к и их основные свойства.
Алгебраический вид, функции распределения и критерии согласия. — Сообщения СНЯТ, Р10-92-461, Дубна, 1992.
Иванов В.К.^ Васин В.В.^ Танана В.И. Теория нелинейных некорректных задая и ее приложения. — М.: Наука, 1978.
Калиткин И.И. Численные методы. — М.: Наука, 1978.
Кендалл М. Временные ряды. — М.: Финансы и статистика, 1981.
Кендалл М. Дж., Стюарт А. Статистические выводы и связи. — М.: Наука, 1973.
Кислицын М.М. Многомерная статистика временных рядов наблюдений в авиационной эргономике. — Вопросы кибернетики, 1978, т. 51.
Крамер Г. Математические методы статистики. — М.: Мир, 1975.
Крянев А.В. Статистическая форма регуляризованного метода наименьших квадратов А.Н. Тихонова. — Докл. АН СССР. 1986. Т. 291. № 4. С. 780-785.
Крянев А.В. Применение современных методов параметрической и непараметрической статистики при обработке данных экспериментов на ЭВМ. — М.: МИФИ, 1987.
Крянев А.В. Применение современных методов математической статистики при восстановлении регрессионных зависимостей на ЭВМ. - М.: МИФИ, 1988.
Крянев А. В., Лукин Г.В. О постановке и решении задач оптимизации инвестиционных портфелей. Препринт 006-2001. — М.: МИФИ, 2001.
Крянев А. В., Черный А.И. Робастные линейные сглаживающие сплайны и их применения. Препринт 006-97. — М.: МИФИ, 1997.
Лаврентьев М.М., Романов В. Г., Шишатский С.И. Некорректные задачи математической физики и анализа. — М.: Наука, 1980.
Лаврентьев М.М., Федотов А.М. О постановке некоторых некорректных задач математической физики со случайными исходными данными // ЖВММФ. 1982. Т. 22. № 1. С. 133-143.
Леман 9. Теория точечного оценивания. — М.: Наука, 1991.
Лисковец Д.А. Вариационные методы решения неустойчивых задач. — Минск: Наука и техника, 1981.
Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования. — М.: Статистика, 1979.
Марчук Г.И. Методы вычислительной математики. — М.: Наука, 1989.
Марчук Г. И., Анатбаев С.А. Некоторые вопросы глобальной регуляризации // ДАН СССР. 1970. Т. 190. №3.
Марчук Г. И.. Васильев В. Г. О приближенном решении операторных уравнений первого рода // ДАН СССР. 1970. Т. 199. К5 4.
Морозов В. А. Регулярные методы решения некорректных задач. — М.: Наука, 1987.
Муравьева М.В. Об оптимальных и предельных свойствах Байесовского решения системы линейных алгебраических уравнений // ЖВММФ. 1973. Т.13. № 7. С. 819-828.
Мэйндоналд Дж. Вычислительные алгоритмы в прикладной статистике. — М.: Финансы и статистика, 1988.
Надарая Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии. — Тбилиси: ТГУ, 1983.
Пергамент А.Х. Регуляризованные алгоритмы статистического оценивания функций при наличии корреляционной помехи / Препринт ИПМ им. М.В. Келдыша АН СССР, № 21, 1986.
Пергамент А.Х.. Тельковская О.В. Метод регуляризации и метод максимального правдоподобия при решении интегральных уравнений 1-го рода / Препринт ИПМ им. М.В. Келдыша АН СССР, № 111, 1979.
Пределы предсказуемости. Под ред. Ю.А. Кравцова. — М.: Цен- трКом, 1997.
Пригожин И.Р. Конец определенности: Время, хаос и новые законы природы. — Ижевск: ИРТ, 1999.
Пугачев В. С. Теория вероятностей и математическая статистика. — М.: Физматлит, 2002.
Пугачев В. С.. Синицын И.Н. Теория стохастических систем. — М.: Логос, 2000.
Пытьев Ю.П. Математические методы интерпретации эксперимента. — М.: Высшая школа, 1989.
Рао С.Р. Линейные стохастические методы и их применения. — М.: Наука, 1968.
Рунион Р. Справочник по непараметрической статистике. Современный подход. — М.: Финансы и статистика, 1982.
Савелова Т.П. Примеры решения некорректно поставленных задач. - М.: МИФИ, 1999.
Себер Дж. Линейный регрессионный анализ. — М.: Мир, 1980.
Смоляк С. А., Титаренко Б.П. Устойчивые методы оценивания. — М.: Статистика, 1980.
Соболь И.М. Численные методы Монте-Карло. — М.: Наука, 1973.
Тихонов А.Н.. Арсенин В.Я. Методы решения некорректных задач. — М.: Наука, 1979.
Тихонов А.Н.. Гончарский А.В., Степанов В.В., Ягола А.Г. Регуляризующие алгоритмы и априорная информация. — М.: Наука, 1985.
Тихонов А.Н., Леонов А.С., Ягода А.Г. Нелинейные некорректно поставленные задачи. — М.: Наука, 1995.
Турчин В. Ф., Козлов В.П., Малкевич М. С. Использование методов математической статистики при решении некорректных задач // Успехи физ. наук. 1970. Т. 102. № 3. С. 345-386.
Тюрин Ю.Н., Макаров А. А. Статистический анализ данных на компьютере / Под. ред. Фигурнова В.Э. — М.: ИНФРА-М, 1998.
Федер Е. Фракталы. — М.: Мир, 1991.
Федоренко Р.П. Введение в вычислительную физику. — М.: Изд-во Физтеха, 1994.
Федоров В.В. Теория оптимального эксперимента. — М: Наука, 1971.
Федотов А.М. Линейные некорректные задачи со случайными ошибками в данных. — Новосибирск: Наука, 1982.
Фракталы в физике. — М.: Мир, 1989.
Хампели Ф., Рончетти Э., Рауссеу П., Штаэлъ В. Робастность в статистике. Подход на основе функций влияния. — М.: Мир, 1989.
Холдендер М., Вулф Д. Непараметрические методы статистики, — М.: Финансы и статистика, 1983.
Хъюбер П. Робастность в статистике. — М.: Мир, 1984.
Цыпкин Я.З. Основы информационной теории идентификации. — М., 1984.
Ченцов Н.Н. Почему Li-подход и что за горизонтом? Дополнение 1 к книге Деврой Л., Дьерфи Л. Непараметрическое оценивание плотности. — М.: Мир, 1988.
Ченцов Н.Н. Статистические решающие правила и оптимальные выводы. — М.: Наука, 1972.
Шарп У.Ф., Александер Г. Дж., Бейли Д.В. Инвестиции. — М.: Инфра-М, 2000.
Шурыгин А.М. Прикладная стохастика: робастность, оценивание, прогноз. — М.: Финансы и статистика, 2000.
Шустер Г. Детерминированный хаос. — М.: Мир, 1988.
Abarbanel Н. D. I. Analysis of Observed Chaotic Data. — N.Y.: Springer, 1996.
Arsenin V. Ya., Krianev A.V. Generalized maximum likelihood method and its application for solving ill-posed problems. Некорректно-поставленные задачи в естественных науках. — М.: ТВП, 1992.
Broomhead D.S., Jones R., King G.P, Pike E. R. Singular system analysis with application to dynamical systems. — In: Chaos, Noise and Fractals, ed. by E. R. Pike and L. A. Lugaito. — Bristol: IOP Publishing, 1987.
Broomhead D. S.^ King G. P. On the qualitative analysis of experimental dynamical systems. — In: Nonlinear Phenomena and Chaos, ed. by S. Sarkar. — Bristol: Adam Hilder, 1986, p. 113-144.
Broomhead D. S.^ King G. P. Extracting qualitative dynamics from experimental data // Physica D. 1986. V. 20. P. 217-236.
Daubechies I. Ten lectures on wavelets. — SIAM, 1992.
Draper R. N., Smith H. Applied Regression Analysis. — N. Y.: Wiley, 1998.
Elsner J. B., Tsonis A. A. Singular Spectrum Analysis. New Tool in Time Series Analysis. — N. Y.: Plenum Press, 1996.
Golyandina N., Nekrutkin V., Zhigljavsky A. Analysis of Time Series Structure. SSA and Related Techniques. — Chapman & Hall / CRS, 2001.
Hernander E.^ Weiss G. A First Course of Wavelets. — CRS Press, 1996.
Jolliffe I. T. Principal Component Analysis. Springer Series in Statistics. — N. Y.: Springer-Verlag, 1986.
Kantz H.. Schreiber T. Nonlinear Time Series Analysis. — Cambridge: Cambridge University Press, 1997.
Keizer G. К Friendly Guide to Wavelets. — Birk, 1995.
Lokenath Debnath. Wavelet Transforms and Their Applications. — Hardcover Edition, 2002.
Misiti M.. Misiti Y., Oppenheim G.^ Родду J.-M. Wavelet Toolbox for Use with MATLAB, 1988.
Mosteller E.. Tukey J. W. Data Analysis and Regression: Second Course in Statistics. Reading. — MA: Addison-Wesley, 1977.
Parzen E. On estimation of a probabilities for sums of bounded random variables // Annals of Mathematical Statistics. 1962. V. 33. P. 10651076.
Persival D. B., Walden A. T. Wavelet Methods for Time Series. — Hardcover Edition, 2002.
Rosenblatt M. Remarks on some nonparametric estimates of a density function // Annals of Mathematical Statistics. 1956. V. 27. P. 832835.
Tikhonov A.N., Leonov A.S.^ Yagola A.G. Nonlinear Ill-Posed Problems. V. 1, 2. — London: Chapman Hall, 1998.
Vautard R.. Yiou P.. Ghil M. Singular-spectrum analysis: A toolkit for short noisy chaotic signals // Physica D. 1992. V. 58. P. 95-126.
Предметный указатель
Вейвлет 177
- FHAT 179
— базисный 178
— Добеши 179
— Хаара 178
Выборка априорная 44, 126
Выбросы большие 48, 57, 112
Гипотеза о законе распределения 74, 76
совпадении законов распределения 77
Дисперсия эмпирическая 19
Доля засорения 54, 56
Задача минимаксная 51
— некорректно поставленная 69
— экстремальная 29, 36, 51
Задачи восстановления некорректно поставленные 117
— линейного регрессионного анализа 90
— прогнозирования 109
— экономические 109
Информация априорная 35, 37, 40, 41, 43, 46, 48, 117
детерминированная 137
— Фишера 26, 51
Итерационный процесс Левенбер- га 151
Ньютона-Гаусса 150
Компонента детерминированная 153
— хаотическая 153
Коридор ошибок 193
Кофлеты 180
Критерий ш2 74
— Колмогорова 74
— Пирсона 75
— хи-квадрат 75
Матрица Гильберта 154
— информационная обобщенная 128
Фишера 27, 30, 34, 45, 46
— плохо обусловленная 108
— сопряженности 98
— точности 39
Медиана выборки 54
Мера точности 37
Метод Байеса 35, 38, 40, 118
— вариационно-взвешенных квадратических приближений 59, 115
— выделения главной части 87
— вычетов Лемера 81
— гистограмм 62, 70
— квадратного корня 43, 108
— корневой оценки плотности 71
— максимального правдоподобия 29, 44, 72
обобщенный 35, 42, 45, 126
— минимаксный 40, 118, 121
Хьюбера 54
— моментов 20
— Монте-Карло 79
— наименьших квадратов 90
итеративный 58, 114
— Неймана 81
— Ньютона-Гаусса 149
— ортогональных проекций 141
регуляризованный 144
— оценивания устойчивый 49
регуляризации Тихонова 124
Розенблатта-Парзена 63
сглаживающих линейных
сплайнов 158
ортогональных полиномов 153
робастных 158
— сопряженных градиентов 42, 70
— Форсайта 154
— Холецкого 43
Ченцова 71
Методы восстановления робастные 111
непараметрические 16, 60
оценивания робастные 111
— проекционные 66
— статистического моделирования 79
Минимаксный подход 49
Множество априорное 40-42, 44, 47, 121
Моделирование случайных величин 79
Модель регрессионная 118
многофакторная 109
— смеси 113
Неравенство Фишера-Крамера- Рао 26, 28
обобщенное 134
Нижняя граница Фишера- Крамера-Рао 30, 33
Оценка Lp 58
Андрюса 58
асимтотически нормальная 34
Байеса 36-40, 118
взвешенная МНК Гаусса- Маркова 104
— Винзора 56
— Грама-Шарлье 67
— метода максимального правдоподобия 29-33, 41, 44, 45, 49
наименьших квадратов 93, 112, 154
ортогональных проекций 141
регулиризованная 144
— минимаксная 40, 41, 43, 121
Хьюбера 56
— обобщенного метода максимального правдоподобия 42, 44-46
— плотности ОММП 70
— Рамсея 58
— робастная 17, 49, 53, 57, 58, 112
— устойчивая 55
— Хьюбера 54-56, 112
робастная 113
— Ченцова 69
— эффективная 17, 26, 28, 48
Оценки совместно эффективные
28, 134
Параметр регуляризации 63, 67
— сдвига 49, 51, 56
— Хьюбера 52, 112
План эксперимента 194
непрерывный нормирован
ный 198
нормированный 194
непрерывный оптималь
ный 198
Планирование оптимальных экспериментов 192
Плотность вероятностей 15
апостериорная 36
гипотетическая 48
реперная 52, 66
робастная 51
устойчивая 51, 52, 54
относительно класса 49
Показатель Херста 155
Полином Чебышева-Лагерра 68
— Чебышева-Эрмита 67
Последовательность асимптотически нормальная 33
Прогнозирование временных процессов 182
Распределение апостериорное 37
совместное 38, 39
— априорное 38
совместное 38, 39
— реперное 67
— условное 39
Риск апостериорный 36
Симлеты 180
Сингулярно-спектральный анализ 187
Система уравнений правдоподобия 29
Сопряженное семейство 37
Сплайн кубический интерполяционный 167
сглаживающий 167
робастный 175
— линейный интерполяционный 159
сглаживающий 158
робастный 163
Способ невязки 71
Статистическое моделирование 79
Теорема Гаусса-Маркова 94
— Гливенко-Кантелли 60
— Де Ла Гарза 199
— Неймана 81
— Пирсона 76
— Фишера 76
— Фишера-Крамера-Рао 24
— Хьюбера 52
— Эйкера 97
Уравнение интегральное 1-го рода 69, 91
— линейного регрессионного анализа 93
— правдоподобия 53
Уравнения обобщенные правдоподобия 45
Уровень доверия 23
— риска 22
Формула Байеса 36, 118
Функционал затрат 197
— потерь 197
Функция Андрюса 112
— относительной эффективности измерений 193
— потерь 36, 37
— правдоподобия 24, 29, 42, 44
априорная 126
логарифмическая 24, 44, 54
совместная 45
обобщенная 45, 126
совместная 45
— Рамсея 112
— Тьюки 165
- Хьюбера 57, 112, 163
— эффективности измерений 193
Числа псевдослучайные 81
Научное издание
КРЯНЕВ Александр ВитальевичЛУКИН Глеб Владимирович
МАТЕМАТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИНЕОПРЕДЕЛЕННЫХ ДАННЫХ
Редактор Н.Б. Бартошевич-ЖагельОригинал-макет: В. В. ХудяковОформление переплета: А. А. Логунов
ЛР №071930 от 06.07.99. Подписано в печать 16.04.03.
Формат 60x90/16. Бумага офсетная. Печать офсетная.
Усл. печ. л. 13,5. Уч.-изд. л. 14,5. Заказ №
Издательская фирма «Физико-математическая литература»МАИК «Наука/Интерпериодика»
117997 Москва, ул. Профсоюзная, 90
E-mail: fizmat@maik.ru
Отпечатано с готовых диапозитивов в ПФ «Полиграфист»160001, г. Вологда, ул. Челюскинцев, 3Тел.: (8172) 72-55-31, 72-61-75, факс: (8172) 72-60-72E-mail: form.pfp@votel.ru http://www.vologda/~pfpv
ISBN 5-9221-0412-8
УДК 519.2+6
ББК 22.17, 22.19
К 85
К р я н е в А. В., Лукин Г. В. Математические методы обработки неопределенных данных. — М.: ФИЗМАТЛИТ, 2003. — 216 с. — ISBN 5-9221-0412-8.
В первых главах монографии изложены основные понятия параметрической и непараметрической статистики, включая понятия оценки, а также требования, предъявляемые к свойствам оценок с точки зрения их вычисления при обработке данных на компьютере. В 7-13 главах монографии изложены методы и алгоритмы восстановления регрессионных зависимостей, включая методы прогнозирования и решения задач планирования оптимальных экспериментов.
Предполагается, что читатель предварительно освоил курс теории вероятностей и математической статистики на базе, например, книги В.С. Пугачева «Теория вероятностей и математическая статистика».
В монографии представлены некоторые новые методы робастного оценивания и учета априорной информации, включая алгоритмы их численной реализации.
Основная цель монографии — ознакомить читателя с наиболее эффективными и апробированными классическими и новыми статистическими методами оценки и восстановления, научить использовать эти методы при решении конкретных задач обработки неопределенных данных.
Монография предназначена научным работникам, аспирантам, студентам старших курсов различных специальностей.
© ФИЗМАТЛИТ, 2003© ФИЗМАТЛИТ, 2003ISBN 5-9221-0412-8
© ФИЗМАТЛИТ, 2003
© ФИЗМАТЛИТ, 2003
ОГЛАВЛЕНИЕ
Предисловие 5
Введение 10
Основные обозначения 13
Глава 1. Элементы математической статистики 15
Параметрическая статистика. Свойства оценок 16
Метод моментов 19
Неравенства Фишера-Крамера-Рао 24
Метод максимального правдоподобия (ММП) 29
Глава 2. Методы учета априорной информации в рамках параметрической статистики 35
Метод Байеса 35
Минимаксный метод учета априорной информации 40
Обобщенный метод максимального правдоподобия учета априорной детерминированной информации 41
Обобщенный метод максимального правдоподобия учета априорной стохастической информации 44
Глава 3. Устойчивые методы оценивания параметра положения 48
Минимаксный метод Хьюбера 49
Робастные М-оценки 55
Глава 4. Методы непараметрической статистики 60
Восстановление функции распределения 60
Восстановление плотности распределения методом гистограмм .62
Восстановление плотности распределения методом Розенблатта- Парзена 63
Восстановление плотности распределения проекционными методами 66
Восстановление плотности распределения регуляризованным методом гистограмм 69
Метод корневой оценки плотности распределения 71
Глава 5. Проверка гипотез о законе распределения 74
Проверка гипотезы о законе распределения в рамках непараметрической статистики 74
Проверка гипотезы о законе распределения в рамках параметрической статистики 76
Глава 6. Численные методы статистического моделирования 79
Способы моделирования случайных величин 79
Применение метода статистического моделирования для решения некоторых прикладных задач 84
Глава 7. Метод наименьших квадратов для линейных моделей с неопределенными данными 90
Примеры линейных моделей с неопределенными данными90
Классическая схема МНК 93
Обобщения классической схемы МНК 103
Прогнозирование с помощью линейных регрессионных моделей . 109
Глава 8. Робастные методы для линейных моделей с неопределенными данными 111
Робастные М-оценки параметров линейных моделей 111
Численные методы нахождения робастных оценок параметров линейных моделей 113
Глава 9. Учет априорной информации в линейных моделях с неопределенными данными 117
Метод Байеса в рамках линейных моделей 118
Минимаксный метод учета детерминированной априорной информации 121
Обобщенный метод максимального правдоподобия учета априорной стохастической информации в рамках линейных моделей . . . 124
Обобщенный метод максимального правдоподобия учета априорной детерминированной информации в рамках линейных моделей 137
Регуляризованный метод наименьших квадратов 140
Глава 10. Метод наименьших квадратов для нелинейных моделей с неопределенными данными 146
МНК-оценки параметров нелинейных моделей и их свойства . . . 146
Численные методы нахождения МНК-оценок параметров нелинейных моделей 149
Глава 11. Методы выделения детерминированных и хаотических компонент временных рядов 153
Метод сглаживающих ортогональных полиномов 153
Метод сглаживающих линейных сплайнов 158
Робастные линейные сглаживающие сплайны 163
Метод сглаживающих кубических сплайнов 167
Метод вейвлетов 177
Глава 12. Методы прогнозирования хаотических временных рядов 182
Методы прогнозирования с использованием априорной информации и ортогональных полиномов 182
Методы прогнозирования с использованием априорной информации и линейных сплайнов 185
Методы прогнозирования с использованием сингулярно-спектрального анализа 187
Глава 13. Планирование оптимальных измерений при восстановлении функциональных зависимостей 192
Постановка задач планированияоптимальных измерений 193
Методы решения задач планирования оптимальных измерений . 199
Список литературы 205
Предметный указатель 211
Представляемая нами книга написана на основе курса лекций, читаемого одним из авторов на протяжении более чем 20 лет студентам старших курсов МИФИ и слушателям факультетов повышения квалификации и переподготовки.
При подготовке настоящего издания были внесены дополнения, включающие некоторые последние достижения, в том числе авторов книги, в основном по двум направлениям: робастное оценивание и оценивание с учетом дополнительной априорной информации. В книге также представлены некоторые современные методы прогнозирования временных рядов и элементы теории вейвлет-преобразо- вания.
Книга в первую очередь предназначена лицам, использующим математические методы обработки неопределенных данных при решении прикладных задач различного содержания. Кроме того, большинство разделов книги используются студентами МИФИ, выполняющими учебно-исследовательские работы, студентами-дипломниками и аспирантами, тематика исследований которых требует применения математических методов обработки неопределенных данных.
В книге рассматриваются неопределенные данные, неопределенность которых может быть обусловлена двумя причинами: 1) стохастическим характером данных; 2) неполной априорной информацией об искомом решении, задаваемой, например, в виде принадлежности решения детерминированному множеству. Вышеуказанный неопределенный характер данных и определил название книги.
В гл. 1 представлены базовые элементы математической статистики. Анализируются основные свойства оценок и соотношения между ними, в частности эффективность и робастность оценок. Изложен традиционный материал, в том числе интервальное оценивание математического ожидания и дисперсии нормально распределенной случайной величины. Рассматриваются два универсальных метода в рамках параметрической статистики: метод моментов и метод максимального правдоподобия (ММП). Метод моментов изложен в обобщенном виде, позволяющем существенно расширить рамки его применения. С помощью неравенства Фишера-Крамера-Рао анализируется эффективность оценок. Представлены основные свойства ММП-оценок. Изложение теоретических результатов сопровождается примерами, при рассмотрении которых конструируются функции правдоподобия и находятся информация Фишера и информационная матрица Фишера, ММП-оценки и их
характеристики. Особое внимание уделяется многомерному нормальному распределению.
Во 2-й главе рассматриваются методы учета дополнительной априорной информации в рамках параметрической статистики. Представлены четыре метода учета априорной информации в зависимости от ее вида. Если априорная информация об искомых параметрах имеет стохастический характер, то предлагается использовать два метода: метод Байеса и обобщенный метод максимального правдоподобия (ОММП) с заданием априорной выборки. Если же априорная информация об искомых параметрах и задается в виде принадлежности и априорному множеству Ra то предлагается использовать два метода — минимаксный и ОММП с учетом соотношения и € Ra- Анализируются схемы применения методов учета априорной информации и алгоритмы их численной реализации. Рассматриваются примеры применения методов, в частности случай, когда члены исходной выборки подчиняются нормальному закону.
В 3-й главе представлены робастные методы оценивания параметра положения в условиях наличия больших выбросов. Подчеркивается, что схема робастного оценивания параметра положения может быть без существенных качественных изменений обобщена на многомерный вариант оценивания параметров регрессионной модели. За основу робастного оценивания взят минимаксный подход Хьюбера. Предлагается итерационный метод численного нахождения робастной оценки параметра положения, основанный на геометрическом положении робастной оценки искомого параметра. Рассматривается общая схема получения робастных М-оценок, основанная на использовании функции влияния.
В гл. 4 представлены некоторые часто используемые для решения прикладных задач методы непараметрической статистики восстановления функции и плотности распределения. Подчеркивается, что задача восстановления плотности распределения по выборке, в отличие от аналогичной задачи для функции распределения, принадлежит к классу некорректно поставленных задач и поэтому может быть эффективно решена только при использовании дополнительной априорной информации об искомой плотности. Форма и объем априорной информации могут быть различными, и в зависимости от этого используются различные методы восстановления плотности распределения. В главе описаны 5 методов восстановления плотности распределения, использующие различные виды и уровни априорной информации. В методах гистограмм, Розенблатта-Парзена и корневой оценки плотности априорная информация используется для определения подходящих значений коэффициентов, аналогичных параметру регуляризации. В проекционных методах априорная информация может быть использована в виде задания априорной реперной плотности, в регуляризованном методе гистограмм априорная информация об искомой плотности задается в виде априорного класса плотностей.
В гл. 5 дается краткое изложение схем проверки гипотез о восстанавливаемом законе распределения в рамках параметрической и непараметрической статистик. Представлены критерии согласия Колмогорова, w2, %2 •
Глава 6 посвящена численным методам статистического моделирования. В этой главе представлены способы моделирования случайных величин, в частности датчики равномерно распределенной нормированной случайной величины 7, основанные на методах Лемера и Неймана. Дано применение метода статистического моделирования для вычисления определенных интегралов и решения интегральных уравнений Фредгольма второго рода.
В гл. 7 изложен метод наименьших квадратов (МНК) для линейных моделей с неопределенными данными. Представлена классическая схема МНК и ее обобщения. Приводятся наиболее значимые свойства МНК-оценок и их обобщений. В конце главы дается линейная прогнозная модель, использующая МНК на этапе ее «обучения».
В гл. 8 представлены робастные схемы для линейных моделей с неопределенными данными. Все робастные схемы оценивания для линейных моделей строятся на основе функций влияния и М-оценивания. Особое внимание уделяется М-оценке Хьюбера. Предлагаются итерационные численные схемы нахождения нелинейных робастных оценок параметров линейных моделей, в частности итеративный МНК и метод вариационно-взвешенных квадратических приближений. Для нахождения робастной оценки Хьюбера предлагается эффективная итерационная процедура, сходящаяся к робастной оценке за конечное число итераций.
В гл. 9 изложены схемы учета дополнительной априорной информации в линейных моделях с неопределенными данными. Отмечается, что в условиях, когда информационная матрица Фишера исходной линейной модели вырождена или близка к вырожденной, задача оценивания параметров линейной модели принадлежит к классу некорректно поставленных задач и без учета дополнительной априорной информации невозможно получить приемлемые по точности оценки искомых параметров. В главе представлены различные схемы учета априорной информации, основанные на методах Байеса, минимаксном и ОММП. Для ОММП даны две схемы оценивания в зависимости от вида априорной информации. При применении первой схемы ОММП можно учитывать априорную информацию стохастического характера, задаваемую в виде априорной выборки. В этом случае предполагается, что совместная плотность вероятностей членов выборки зависит от искомого вектора и линейной модели. При применении второй схемы ОММП учитывается априорная информация детерминированного вида, задаваемая в виде априорного детерминированного множества, которому заведомо принадлежит искомый вектор и. В §9.5 рассматривается также регуляризованный метод наименьших квадратов, позволяющий учитывать погрешность в элементах матрицы А исходной линейной модели А и = f — е.
В гл. 10 в сжатой форме изложен метод наименьших квадратов для нелинейных моделей. Приведен итерационный метод Ньютона-Гаусса численного нахождения МНК-оценок решений нелинейных моделей. Даны регуляризованные модификации Левенберга-Марквардта итерационных процессов Ньютона-Гаусса.
Главы 11, 12 посвящены анализу и прогнозированию временных рядов. В гл. 11 представлены методы выделения детерминированных компонент временных рядов. Все представленные в главе методы основаны на представлении детерминированной компоненты в виде разложения по базисной системе функций и оценке коэффициентов разложения с помощью МНК или робастной схемы. В качестве базисной системы функций берутся: 1) система полиномов, ортогональных на множестве фиксированных значений аргумента; 2) линейные сплайны; 3) кубические сплайны; 4) вейвлеты. Предлагаются эффективные численные схемы расчета искомых коэффициентов детерминированных компонент. В гл. 12 представлено несколько сравнительно новых методов прогнозирования временных процессов. Первые два из них основаны на учете априорных экспертных оценок прогнозируемых величин и применении схем выделения детерминированных компонент, изложенных в гл. 11. Третий из представленных в гл. 12 методов прогнозирования базируется на сингулярно-спектральном анализе и выделении главных компонент исследуемого временного ряда. Указывается на соответствие между прогнозированием с помощью метода главных компонент и прогнозированием на основе линейной регрессионной модели.
В завершающей книгу гл. 13 дано краткое введение в планирование оптимальных измерений при восстановлении функциональных зависимостей. Рассматриваемая задача планирования особенно важна при проведении физических экспериментов, когда экспериментатор имеет возможность выбора значений аргумента, при которых производятся измерения восстанавливаемой функции. Вводятся различные типы оптимальности планов экспериментов и изложены методы решения задач оптимизации планов измерений для рассматриваемых типов оптимальности, включая алгоритмы их численного решения.
Ссылки на используемую литературу даны в квадратных скобках, а сам список литературы представлен в алфавитном порядке и включает в себя лишь цитируемые источники. Представленный список не претендует на полноту, а отражает лишь некоторые стороны изложенного в книге материала. Для читателя, желающего углубить свои знания по теории вероятностей и традиционным главам математической статистики, рекомендуем монографии В. С. Пугачева [62], Ж. Закса [33], М. Кендалла и А. Стюарта [38], С. Р. Рао [65], энциклопедию «Вероятность и математическая статистика» [19]. Теория матриц достаточно полно изложена в монографии Ф. Р. Гантмахера [23]. С численными методами, используемыми при обработке неопределенных данных, можно ознакомиться в книгах [20, 36, 51, 56, 70, 77].
Авторы благодарят заведующего кафедрой «Прикладная математика» МИФИ, д.ф.-м.н., профессора Н.А. Кудряшова, д.ф.-м.н., про-
фессора этой же кафедры Т. И. Савёлову и рецензентов за просмотр рукописи и высказанные замечания, учтенные в окончательном варианте книги.
Авторы будут благодарны за все замечания и предложения, которые можно направлять по e-mail: bookOkryanev.ru. Материалы, использованные в данной монографии, а также информацию о направлениях деятельности авторов можно найти на сайте www. kryanev. ru.
Москва, январь 2003 г.Москва, январь 2003 г.А. В. Крянев
Москва, январь 2003 г.
Москва, январь 2003 г.
Г. В. Лукин
Статистические методы все более широко применяют при решении различных прикладных задач. В первую очередь традиционно они используются при обработке данных экспериментов, причем круг задач обработки непрерывно расширяется прежде всего за счет расширения областей, где используются экспериментальные методы, и усложнения самих экспериментов.
В последние годы в связи с запросами практики интенсивно развиваются методы исследования, основанные на измерениях косвенной информации об изучаемых системах и объектах. Часто задачи математической обработки и интерпретации неопределенных данных по косвенным проявлениям изучаемых объектов принадлежат к классу некорректных задач. Разработка статистических методов решения некорректных задач обработки и интерпретации неопределенных данных еще далека от завершения, но и в этой области уже создано много подходов и методов, а на их основе — апробированных эффективных численных алгоритмов решения поставленных задач. Знать эти методы и уметь их использовать — насущная необходимость для любого экспериментатора и специалиста, обрабатывающего неопределенные данные.
Вторая значительная особенность последнего периода развития статистических методов исследования — широкое применение современной вычислительной техники при обработке неопределенных данных. Применение компьютеров при обработке данных дает возможность решать такие задачи, решение которых совсем недавно было невозможно. Например, большинство задач обработки результатов измерений косвенных проявлений изучаемых объектов невозможно решить без применения компьютеров. Кроме того, сокращение времени обработки при применении компьютеров дает возможность создания оперативных систем управления сложными объектами, в которых слежение за поведением объекта осуществляется с помощью экспериментальных методов (например, с помощью систем различных датчиков и приборов измерения). Бурное внедрение компьютеров и вычислительных методов в статистику, и, в частности, в статистическую обработку данных, заставило заново переосмыслить место и значение многих классических методов математической статистики под углом возможности их использования с применением компьютеров и потребовало разработки самих численных реализаций, новых методов и создания эффективных численных алгоритмов обработки данных. Знать основные из этих
методов и алгоритмов, владеть ими не только полезно, но и необходимо обработчику неопределенных данных.
В последние годы в самой математической статистике, в силу ее внутреннего развития и потребности практики, созданы новые подходы и методы, более полно и адекватно учитывающие реальные ситуации, возникающие при получении неопределенных данных. Прежде всего это относится к критическому переосмыслению основных предположений, упрощений и гипотез, которые берутся в качестве основы получения тех или иных статистических подходов и методов. Всякий разумный метод обработки должен обладать свойством устойчивости в том смысле, что любое возможное (физически реализуемое) малое уклонение от базовых предположений приведет лишь к малым изменениям в конечных результатах обработки данных. Такие устойчивые методы обработки в математической статистике получили название робастных.
При решении прикладных задач обработку неопределенных данных, как правило, проводят в условиях, когда у исследователя помимо исходных неопределенных данных имеется дополнительная априорная информация об изучаемом объекте. Ясно, что учет этой дополнительной информации позволяет в ряде случаев существенно повысить точность конечных результатов обработки. Более того, для целого класса задач обработки данных без учета дополнительной априорной информации вообще невозможно получить приемлемый конечный результат.
В математической статистике разработаны различные методы учета дополнительной информации об изучаемом объекте и ее «соединения» в процессе обработки с неопределенными данными, ознакомить с такими методами — также одна из целей настоящей книги.
В главах 7-13 книги представлены методы и алгоритмы восстановления регрессионных зависимостей и их применения для прогнозирования.
Задачи восстановления регрессионных зависимостей встречаются во всех областях естествознания при обработке неопределенных данных.
Обширный класс регрессионных зависимостей составляют линейные задачи. К линейным регрессионным задачам относятся, например, многие задачи восстановления функциональной зависимости, задачи исследования изучаемых объектов и систем по измерениям косвенной информации об этих объектах и системах (линейные задачи идентификации). Математические модели линейных регрессионных задач — системы линейных уравнений, правая часть которых имеет случайный характер. В некоторых задачах идентификации не только правая часть исходной системы уравнений, но и оператор левой части имеет неопределенный характер и часто задается со случайными погрешностями. Из-за наличия погрешностей исходная система уравнений, как правило, является противоречивой, т. е. не существует ни одного точного решения исходной системы при заданной правой части с погрешностями. Поэтому попытки решения таких систем «в лоб» с помощью традиционных методов, ориентированных на получение точного решения,
часто приводят к неудовлетворительному результату. В то же время, учитывая случайный характер погрешностей, для получения приемлемого приближенного решения этих систем естественно применять статистические методы.
Применение статистических подходов и методов для решения задач восстановления регрессионных зависимостей имеет ряд особенностей и специфических моментов, требующих качественного анализа и разработки эффективных численных алгоритмов получения приближенных решений. Ознакомить читателя с основными, наиболее эффективными и апробированными методами и численными алгоритмами решения задач восстановления регрессионных зависимостей — одна из целей настоящей книги.
В книге рассматриваются также нелинейные задачи идентификации, численное решение которых требует разработки специальных методов и алгоритмов.
Часто исследователь является не только пассивным обработчиком неопределенных данных, но и может повлиять на процесс их получения. В таких условиях естественно добиваться такого набора неопределенных данных (в рамках тех ограничений и возможностей, в которых проводится набор), при котором возможно получение наилучшего конечного результата по идентификации изучаемого объекта или системы. В книге изложены некоторые основные методы и алгоритмы решения задач планирования оптимального набора при восстановлении функциональных зависимостей.
Основные обозначения
Xi,. . . , Хп — элементы выборки р(ж) — плотность вероятностей F(x) — функция распределения вероятностей р^х^ — плотность вероятностей случайной величины Е р(х; и) — плотность вероятностей, зависящая от параметра и р^х | и) — условная плотность вероятностей при фиксированном значении и
р(ж) — оценка плотности вероятностей р(ж)
F(x) — оценка функции распределения F(x) и — оценка параметра и
Fn(x) — эмпирическая функция распределения
Ми — математическое ожидание случайной величины и
Рдов — доверительная вероятность а к — начальный момент к-го порядка Цк — центральный момент к-го порядка <т2(£), D(£) — дисперсия случайной величины £ s2 — эмпирическая дисперсия t 2
Ф(£) = е 2 ds — интеграл вероятностей
27Г о
Г(£) — гамма-функция
%2 — случайная величина, распределенная по закону хи-квадрат с п степенями свободы
/п,/п(и) — информация Фишера или информационная матрица Фишера
Ln, L^u^ — функция правдоподобия
/п, LM — логарифмическая функция правдоподобия К^ — ковариационная матрица случайного вектора Е
¥ = — V Yi — средняя арифметическая
П i=l
Ы^т^ а2} — нормальный закон распределения с математическим ожи- w 2 данием т и дисперсией ст
ив — оценка Байеса параметра и
Ка — ковариационная матрица априорного распределения иа — центр априорного распределения параметра и PanpW — плотность априорного распределения
Uа Ra — априорное множество
мммп — оценка метода максимального правдоподобия параметра и (ММП-оценка)
йоммп — оценка обобщенного метода максимального правдоподобия параметра и (ОММП-оценка)
Ап — смещение оценки и
arg minu(ma^)/(n) — значение и^ для которого целевая функция /(п) достигает минимума (максимума)
К — параметр Хьюбера
p(s) — функция влияния М-робастной оценки параметра положения /о, /+, I- — множество индексов, соответствующих средней части, правому и левому «хвостам» распределения Хьюбера
К (и) — функция распределения Колмогорова
Кп(и) — функция распределения Масси
5(х) — обобщенная функция Дирака
Н^(х} — полином степени к Чебышева-Эрмита
L^ (ж) — полином степени к Чебышева-Лагерра
L(c) — функция Лагранжа
7 — случайная величина, равномерно распределенная на промежутке [0,1]
е — доля засорения в модели смеси Хьюбера или вектор погрешностей правой части регрессионной модели
пмнк — оценка метода наименьших квадратов параметра и
Amin(C')(Amax(C')) — минимальное (максимальное) собственное значение квадратной матрицы С
cov(X, У) — ковариация случайных величин X и У gradu /(п) — градиент функции /(п)
Ат — транспонированная матрица матрицы А
С-1 — обратная матрица невырожденной квадратной матрицы С пмм — оценка минимаксного метода параметра и (п, и) — скалярное произведение векторов и и и ||п|| — евклидова норма вектора и
S^x) — кубический интерполяционный сплайн
Sna(x) — кубический сглаживающий сплайн
Sa(t) — линейный сглаживающий сплайн
^(f) — базисный вейвлет
S^N) — план эксперимента
е(М) — нормированный план эксперимента
М(е) — информационная матрица, соответствующая плану эксперимента e(N)
Т>^ = М-1(е) — обратная матрица информационной матрицы М(е)