Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
ЭРГОДИЧЕСКАЯ ТЕОРИЯ И ИНФОРМАЦИЯ
Ergodic Theory and
Information
PATRICK BILLINGSLEY
The University of Chicago
John Wiley and Sons, hie.
New York • London ♦ Sydney
1965
П. ВНЛЛНН「СНЕИ
Эргодическая теория
〃 информация
Перевод с английского
Я. Д. СВЕТЛОВОЙ
Под редакцией
Б. М. ГУРЕВИЧА
ИЗДАТЕЛЬСТВО 讣МИР" МОСКВА 1969
Эта книга посвящена в основном новейшим результатам эргодической теории, связанным в первую очередь с теоретико-информационными методами исследования динамических систем. Изложив основные понятия эргодической теории (сохраняющего меру преобразования, эргодичности, перемешивания и т. п.), автор переходит к определению энтропии динамической системы. Далее вводится понятие условной энтропии, описываются ее свойства, дается теорема Макмиллана и рассматриваются связи между понятием размерности в смысле Хаусдорфа и понятием энтропии. В заключение излагаются основные положения общей теории связи в смысле Шеннона и обсуждаются соответствующие вопросы эргодической теории.
Книга написана ясно н не требует от читателя большой математической подготовки. Она, безусловно, заинтересует математиков многих специальностей.
Редакция литературы по математическим наукам
Ннд. 2-2-3 ~f68~
Теория, основам которой посвящена эта книга, отметила в 1968 г. свое десятилетие. Введение А. Н. Колмогоровым десять лет назад понятия энтропии преобразования с инвариантной мерой не только позволило ему решить давно поставленную конкретную задачу, но положило начало новому ——энтропийному—направлению эргодической теории, ставшему вскоре в ней ведущим. Даже последующие достижения в традиционных для эргодической теории вопросах обязаны энтропийному направлению возрождением интереса математиков к эргодической теории в целом.
Книга профессора Биллингслея, написанная с большим педагогическим мастерством, представляет собой первое на русском языке изложение основ энтропийной теории преобразований с инвариантной мерой, доступное начинающему. От читателя требуется лишь владение абстрактным интегралом Лебега и элементарными понятиями теории вероятностей. Автор подробно излагает теорию условных вероятностей, и соответствующие параграфы можно рекомендовать для первоначального ознакомления с предметом даже тем из читателей, кого основное содержание книги не заинтересует.
Хотя перед нами книга учебного характера и в нее не включены многие глубокие результаты энтропийной теории (с этими результатами можно познакомиться по обзорной статье В. А. Рохлина „Лекции по энтропийной теории преобразований с инвариантной мерой**, У МН, 5 (1967)), кое-что в ней может заинтересовать и специалиста, в частности помещенная в гл. 3 теорема Биллингслея о связи энтропии сдвига с хаусдорфовой размерностью.
В книге разобрано довольно много примеров. Одному из них — эндоморфизму, возникающему в связи с представлением вещественного числа непрерывной дробью, посвящен заключительный параграф гл. 1. Здесь имеется компактное изложение основных результатов метрической теории непрерывных дробей, написанное с „эргодической** точки
66ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА
6
6
зрения. Почти все остальные примеры вероятностного происхождения, и поэтому у читателя может возникнуть впечатление, что энтропийная теория нмеет дело преимущественно лишь с такого рода примерами. В действительности же не менее важной и интересной областью ее применения являются диффеоморфизмы гладких многообразий.
В небольшом приложении, написанном Я. Г. Синаем и автором этих строк и помещенном в конце книги, рассматривается один класс таких преобразований——алгебраические автоморфизмы /i-мерного тора. Материал этого приложения поможет читателю получить представление о характере применения энтропии и связанных с ней понятий к гладким преобразованиям. Используемый метод основан на понятии марковского разбиения, недавно введенном и .изученном Я. Г. Синаем.
Можно надеяться, что выход в свет книги Биллингслея расширит круг лиц, интересующихся эргодической теорией, и окажет помощь всем, кто захочет ее изучить.
Б. Гуревич
Предисловие к английскому изданию
Мне очень приятна возможность в нескольких словах представить книгу Патрика Биллингслея, первую в новой серии «Монографий по теории вероятностей и математической статистике» (Tracts on Probability and Mathematical Statistics).
Эта книга возникла из цикла лекций, прочитанных профессором Биллингслеем на учебных конференциях Лондонского математического общества, лекций, которые, как нам кажется, должны стать достоянием более широкой публики. Особенно удачно, что новую серию открывает именно эта книга, поскольку и «Монографии» п конференции Лондонского математического общества стремятся сделать новые математические достижения общедоступными еще на той стадии, когда в них бьется живой пульс, прежде чем они примут застывшую форму.
Мы надеемся сохранить умеренный объем всех книг этой серии. Большинство возможных авторов отпугивает мысль о необходимости написать, отпечатать и прокорректировать сотни страниц математического текста. Нет сомнения в том, что много прекрасных математических книг никогда не были написаны именно по этой причине, а также потому, что для тех, кто должны были быть их авторами, оказалось невозможным оторваться от преподавания и исследовательской работы на срок, необходимый для написания исчерпывающего трактата.
Кембридж, АнглияКембридж, АнглияМы надеемся также внести этой серией вклад в улучшение существующих стандартов в области планирования и издания математических книг. Книга бесполезна, если ее не читают. Издатели убеждены, что недостаточно только захватывающего сюжета и мастерства; сам текст должен быть представлен привлекательно, что определенно способствует пониманию рассуждени1"1. Это вопрос не эстетики» а доступности, и мы думаем, что он заслуживает большего внимания.
Кембридж, Англия
Кембридж, Англия
Дэвид Кендалл
Введение
Эта книга выросла из обзора !) эргодической теории и теории информации, который должен был следовать за кратким курсом теории вероятностей на основе теории меры.
В гл. 1 рассматривается эргодическая теорема. Глава 2 посвящена данному Колмогоровым и Синаем приложению шенноновской энтропии к проблеме изоморфизма в эргодической теории. В противоречии с исторической последовательностью эти идеи только потом (в гл. 4 и 5) применяются к теории информации и теории кодирования. Результаты, относящиеся к кодированию, не претендуют на особую глубину; я ставил своею целью возможно теснее связать теорию кодирования и эргодическую теорию, избегая технических подробностей. Связь между этими двумя теориями является той нитью, которая связывает все параграфы книги.
С самого начала предполагается, что читатель знаком с пространством (Q,炉，Р). Впрочем, чтобы сократить ссылки на теорию меры, я включил (гл. 3) описание условных вероятностей и математических ожиданий относительно о-поля и отметил звездочкой те темы, которые могут быть опущены (конечно, звездочкой могла бы быть отмечена вся книга).
Я пытался писать не для знатоков, а для новичков. Я пытался следовать блестящему примеру Харди и Райта, написавших свое «Ап introduction to the theory of numbers» с заранее поставленной целью (указанной в их предисловии) создать интересную книгу.
Копенгаген, декабрь 1964 г. Патрик Биллингслей
}) Курс лекций, представленных Лондонскому математическому обществу на учебной конференции по теории вероятностей, проходившей в Дёрем-Колледж с 28 марта по 11 апреля 1963 г.
ГЛАВА 1
Эргодическая теория
ПРЕОБРАЗОВАНИЯ, СОХРАНЯЮЩИЕ МЕРУ
Введение
Случай необходимо связан с понятием изменчивости, но сами управляющие изменчивостью законы могут оставаться неизменными во времени: если рулетка не стареет со временем, счастье улыбается игроку в соответствии с постоянными вероятностными законами. Эргодическая теория дает ключ к пониманию этих случайных изменений.
Бросание монеты, игральной кости, наблюдение длины очереди, определение числа молекул в данном объеме —— вообразите любой из таких случайных экспериментов или наблюдений. Пространство состояний эксперимента есть множество р его возможных исходов: р состоит из герба и решетки, граней кости и т. п. Пусть наш эксперимент производится, скажем, раз в минуту, и это продолжалось и будет продолжаться вечно.
Бесконечную в обе стороны последовательность экспериментов можно рассматривать как один большой эксперимент, исход которого представляет собой бесконечную в обе стороны последовательность(о = (. . ., (o^j,(оо, «!，...) элементов множества р. Вероятностная структура этого большого эксперимента задается вероятностной мерой Р на пространстве Q таких последовательностей !).
Допуская возможность того, что исход каждого эксперимента сильно влияет на исходы следующих за ним, мы хотим математически выразить идею, что течение времени не влияет на совместные распределения вероятностей, которым подчиняется экспериментирование. Сдвигая последовательность со влево на один шаг, получаем новую последовательность s'= (...,(0山 ①[,со?, — ) в которой S] стоит на нулевом месте. Так как (о и(oz — идентичные реализации
!) Трудно представить, как согласовать Р с частотной интерпретацией теории вероятностей: большой эксперимент не может быть повторен, так как проведение его занимает все время. Однако хотя бесконечность последовательности компонент эксперимента математически существенна, в реальных ситуациях она не должна пониматься буквально.
большого эксперимента, отличающиеся только началом отсчета времени, то вероятностная мера Р должна приписывать s' ту же вероятность, что и со, если вероятностные законы неизменны во времени. На самом деле со и со7 будут иметь, вообще говоря, вероятность 0, и нужно требовать, чтобы при преобразовании Т, переводящем со в s', вероятностная мера Р сохранялась в том смысле, что Р (А) = Р{ТА) для множеств А. Это приводит нас к изучению преобразований, сохраняющих меру,——к эргодической теории.
В этом параграфе, после того как будут даны первые определения, примеры (как из теории вероятностей, так и из других областей математики) и общие принципы, мы сформулируем эргодическую теорему, представляющую собой основной результат теории, и приведем примеры ее применения. В § 2 содержатся док азател ьства эргодической теоремы, а в § 3 и 4 — дальнейшие примеры и применения.
Определения
В эргодической теории изучаются преобразования, сохраняющие структуру пространств с мерой. Мы будем заниматься эргодической теорией в ее связи с теорией вероятностей и теорией информации и потому ограничимся рассмотрением вероятностных пространств.
Пусть (Q,炉，Р) — вероятностное пространство *) и Т — преобразование, отображающее Q в себя, измеримое в том смысле, что из 4 w 炉 следует Т~[А = {со: Tsw4}三夕. Если, кроме того, Г — взаимно однозначное преобразование, TQ = Q и из А^ следует ТА = {Гео: со w 4} w 炉，то Г называется обратимым. В случае когда Р {Т~хА) = Р (Л) для каждого Л из 炉，говорят, что Т — сохраняющее меру преобразование; если Т обратимо, то эквивалентным требованием является Р (ТА) = Р (Л)).
(Даже если сохраняющее меру преобразование необратимо, TQ есть по существу все Q, так как TQ и 4 w 夕 влечет за собой 厂‘4 = Q и, следовательно, Р (4) = L В частности, если TQ принадлежит 炉，то P(TQ)=L)
!) Q — пространство точек со, # — это (т-поле (т. е. (т-алгебра) подмножеств из Q, Р — вероятностная мера па 7. Об аксиоматическом построении теории вероятностей см., например, Колмогоров [ 1 ] пли Хал- мош [2, гл. X].
Примеры
Рассмотрим сначала два вероятностных примера.
Пример 1.1J) Пусть р — конечное множество из г элементов. Приписывая элементам множества р неотрицательные вероятности р, так, что ± р, = 1, мы получаем вероят- г
ностную меру на р (вернее на о~поле всех подмножеств множества р). Пусть (Q, 炉,Р) есть произведение Ц prt 〃=—ОО
пространств ра， каждое из которых совпадает с р. Произвольный элемент пространства Q является бесконечной в обе стороны последовательностью со = (..., (о_р s。, (оь ...) элементов множества р. Пусть хп — функция, ставящая в соответствие точке со w С значение (о〃 ее n-й координаты. Функцию 尤"называют n-й координатной функцией. Конечно аддитивное поле, состоящее из цилиндров, т. е. множеств вида
{со.(尤冷(со), • • •)尤冷+汽_] (s)) w £} = {со: (tO/2, •…,8几+丸-J w £"}, где Е — подмножество прямого произведения рА, порождает (т-поле 炉.Но a-поле 炉 порождается также совокупностью множеств, которые мы назовем „тонкими1* цилиндрами, т. е. множеств вида {со:打(со)=乙，n ^ / < п + /г}, где zz — элементы множества р; в самом деле, каждый цилиндр является конечным об^зединением непересекающихся тонких цилиндров. Наконец, мера Р определяется совокупностью ее значений на тонких цилиндрах 2):
Р {(о: xz((o) = ih 孔式/<〃 + /»= [] pw (1.1)
Итак, {..., x_b 尤0, хи ...} является последовательностью независимых случайных величин со значениями из р. Пусть Т: й^ Q — отображение, переводящее (. .., (о_р (оо, (ор ...) в (..., (о0, (0[, (о2, .. .). Более точно Т определяется соотношением (Ts)" = со,2+|, или (что то же самое) хп(Т(д) = xn+i (<>>)• Так как хп (со) = х0 (Гл(о), то любое утверждение относительно случайных величин х„ может быть сформулировано как утвер-
】)В конце книги помещен указатель примеров.
Эти характеристики R и 炉 можно взять в качестве определений. Из общей теории произведений мер нам нужна теорема существования на 旷 единственной вероятностной меры Р, удовлетворяющей условию (1.1). Это утверждение следует также из теоремы существования Колмогорова (пли Даниеля — Колмогорова). Элементарное доказательство см. в § 3・
ждение относительно х0 и Т. Если множество # —цилиндр, то очевидно, что Г"1 Л — также цилиндр и, следовательно, принадлежит 炉，причем Р(71-1Л)= Р (Д). Тогда Т — измеримое сохраняющее меру преобразование, что вытекает из следующего общего результата.
Теорема 1.1. Пусть ^поле, порождающее 夕. Если Т~1А е ^ и Р (Г^'д) = Р (Л) для всех А из 夕°, то Т — сохраняющее меру преобразование.
Доказательство. Совокупность 乡 множеств { из 夕, для которых Т~1А 三歹 и Р (厂У) = Р(4), является монотонным классом и содержит поле 炉0, а следовательно, совпадает с 炉(см. Халмош [2]).
Пример 1.1 дает математическую модель бесконечной в обе стороны последовательности испытаний Бернулли. Представьте себе простой эксперимент с конечным пространством состояний р и вероятностью р? исхода /. Пример является моделью мысленного эксперимента, состоящего в том, что производятся независимые повторения простого эксперимента, образующие бесконечную в обе стороны последовательность. Пусть каждый день производится один простой эксперимент. Точка s = (..,,必一】,(оо, (ор ...) пространства Q полностью определяет исход большого эксперимента, а ее компонента(ort — исход простого эксперимента, произведенного в /г-н день.
Здесь может возникнуть некоторая путаница. Мы не предполагаем, что знание исхода эксперимента, скажем, 5-го дня помогает предсказать исход эксперимента 6-го дня. Но исход х5(со) не определен, пока не определен исход большого эксперимента со, а с определением со -полностью определен и х6((о). Создается впечатление, что случайность исчезает. Иными словами, все координаты точки со определяются, так сказать, одновременно. Как же тогда они могут служить моделью экспериментов, совершаемых последовательно во времени?
При взгляде на эту модель полезна следующая аллегория. Тихе〔)выбирает точку (о из пространства й в соответствии с распределением вероятностей Р. Она совершает это до начала отсчета времени и затем раскрывает экспериментатору одну за другой координаты (ort — по одной каждый
*) Богиня случая; см, Грейвс [1]. Ее появление в этой книге каждый раз указывает на эвристический оттенок рассуждений.
день. Динамические аспекты модели удобно изучать с помощью преобразования Т, так как оно связано с ходом времени. (Сама математика, к счастью, не нуждается в подобных интерпретациях.)
Замечание о б обратимости. Применение теоремы 1.1 к обратному точечному отображению Г'1 показывает, что преобразование примера 1.1 обратимо. В некоторых случаях обратное точечное отображение вполне определено (т. е. прямое преобразование взаимно однозначно, и имеет областью значений все пространство й), но не обязательно измеримо. Это имеет место, например, для преобразования Т, определенного на вероятностном пространстве (Q,炉'，Р) где Т и Q таковы, как в примере 1.1, (Учесть а-поле, порожденное х0, хп х2> •・•， а — сужение Р на 夕Z Измеримость К требует некоторого обоснования. Однако если это установлено, то из сохранения меры преобразованием Т следует непосредственно сохранение меры преобразованием 厂［
Пример 1.2. Пусть Q м 炉 те же, что в первом примере, но пусть теперь Р — любая мера, которая сохраняется при определенном выше преобразовании Г. Сказать, что преобразование Т сохраняет меру Р, равносильно (в силу теоремы 1.1) утверждению независимости Р {(о:(尤m(s),...,尤也+左7 (со)) w Е} от п, что как раз совпадает с определением стационарности стохастического процесса {..., х_и %о， хр ...}, образованного координатными случайными величинами. Преобразование Т называется сдвигом, связанным с этим процессом.
Так как совокупность конечных объединений непересекаю- щихся тонких цилиндров образует поле, порождающее 夕, то мера Р на 炉 однозначно определяется своими значениями
厶仏一…，&) = P{s：今(s) =厶,…•,尤…一i(s)h&} (1.2) на этих цилиндрах. Если функции pk на последовательностях длины k элементов из р определяются формулой (1.2), то
Pk (/1，，由)》。,
■^ Pk+\ 仏，；»々，0 = Pk (^l» • • • > '々)， (L3)
£ Pi (0 = 1 >
и так как преобразование Т сохраняет меру, то
Pk (^Ь …,，А)= 1^ Pk + { (^'»，1，，々)・ (L4)
Обратно, существует ровно одна вероятностная мера Р на 夕, соответствующая данному множеству функций р^ удовлетворяющих соотношениям (1.3) и (1.4), для которой выполняется (1.2) и которая сохраняется при преобразовании Г). Если р式八 浦二卩厶卩厶•…P〃， где р^ - неотрицательные числа, в сумме дающие 1, то имеют место соотношения (1.3) и (1.4). Мы снова приходим к примеру 1.1, который будем называть сдвигом Бернулли). В § 3 детально разбираются другие специальные случаи. Заметим, что преобразование Т как точечное преобразование, определенное на пространстве Q, — одно и то же в примерах 1.1 и 1.2. Однако преобразование, сохраняющее меру, является точечным преобразованием с a-полем, относительно которого оио измеримо и сохраняет меру.
Пример 1.2 дает модель испытаний, не обязательно независимых, которые производятся в постоянных условиях,— идея, стоящая за стационарностью, т. е. за требованием сохранения меры Р преобразованием Т. Так как стационарные процессы имеют широкое распространение, а любое свойство такого процесса является по существу свойством соответствующего сдвига, то имеет смысл изучать сам сдвиг. Наилучшим способом изучения сдвига является изучение сохраняющих меру преобразование, ибо это предоставит в наше распоряжение множество примеров, большая часть которых значительно проще двух вышеприведенных. Разберем здесь еще четыре примера.
Пример 1.3. Пусть Q — пространство из пяти точек {% Ь, с, d, е}, 炉—множество всех подмножеств из й и Т — подстановка, равная произведению двух циклов: Т = (а,瓦 c)(d, е). Если Т сохраняет Р, то точки в пределах циклов должны быть равновероятны относительно Р.
Пример 1.4. Для 0 н 炉 из предыдущего примера возьмем в качестве Т циклическую подстановку Т = (a, b, с, d, е)・ Все пять точек должны быть равновероятны.
Пример 1.5. Пусть Q — единичная окружность на комплексной плоскости, а 炉 состоит из сбччных борелевских подмножеств окружности Q (^ есть u-nog порожденное дугами окружности), и пусть Р —мера Лебега на окружности, нормированная таким образом, что Р (Q) = 1. Пусть Т(о = с(о, где с — фиксированный элемент пространства Q. Так как Т есть просто поворот окружности на угол, равный arg с, то Т сохраняет Р. Далее мы увидим, что свойства преобразования Т существенно зависят от того, является ли с корнем из единицы.
Пример 1.6. Пусть 炉 состоит из борелевских подмножеств полуоткрытого единичного интервала Q = [0, 1), Р — мера Лебега и Ts = 2со (mod 1) (т. е. Т(о равняется 2(о на [0, 1/2) и 2(о—1 на [1/2, 1)). Преобразование Т тесно связано с диадическим (по основанию 2) разложением точек единичного интервала; действительно, если /(со) = 0 для (о V 1/2 и f (s) = 1 для со》1/2, то f (丁片%) является n-м знаком диадического разложения s=』f(T,l~[(i))l2n (если(о —двоично- п= 1
рациональное число, то разложение конечно). Следовательно, если разложение со имеет вид со = 0, sq …，то Г(о = 0,(o2w3 • • • • Применение теоремы 1.1 показывает, что преобразование Т сохраняет меру. В то время как все предыдущие преобразования были обратимы, это преобразование, которое мы будем называть диадическим преобразованием t необратимо.
Мы привели достаточно примеров преобразований, которые помогут иллюстрировать наши дальнейшие рассмотрения. Некоторое количество дополнительных примеров приводится в § 3.
Эргодичность
Нас будет интересовать вопрос: какие преобразования Т обладают тем свойством, что для почти всех со траектория {со, Г(о, Т?0、...}т) точки со точно воспроизводит само пространство й? В примере 1.4 каждая траектория воспроизводит Q в том простом смысле, что она как множество
совпадает с Q, но это неверно для примера 1.3, где множество 4 = {а, Ь、с} переводится преобразованием Т в себя, так же как и дополнительное множество {d, е}: Т~[А = Л. Заметим, что в примере 1.4 каждая траектория не только совпадает как множество с Q, но и содержит элементы из й в правильной пропорции: асимптотическая относительная частота, с которой элемент а (или bt ...) встречается в траектории, в точности равна Р (а)= 1/5 (или Р (Ь)= 1/5,...).
Замечательно следующее: если для некоторого сохраняющего меру преобразования Т не существует множеств Л таких, что 厂％ = 4 за исключением „неинтересных** множеств Л = 0 и Л = Q, то траектории воспроизводят пространство Q в том смысле, что для каждого множества { траектории почти всех точек(о попадают в Л с асимптотической относительной частотой Р(/)：
lim /л(?М = Р(Л) п.в.).
Это центральный факт в эргодической теории. Он будет описан и проиллюстрирован в этом параграфе, а доказан в следующем.
Назовем множество ) { инвариантным (относительно преобразования Т), если Т~[А = А; в случае когда Т обратимо, это требование эквивалентно требованию ТА = Л. Назовем преобразование Т эргодическим), если каждое инвариантное относительно него множество тривиально, т. е. имеет меру 0 или 1. Следовательно, преобразование примера 1.4 эргодично, а преобразование примера 1.3 не эргодично (если только вся масса не сосредоточена в одном из циклов). Мы убедимся далее, что если преобразование Т эргодично, то траектории обладают только что описанным свойством.
По техническим соображениям удобно несколько видоизменить определение инвариантности: назовем множество Л инвариантным относительно преобразования Т, если
Р(4 十 厂％) = 0【).Например, если точки d н е в примере 1.3 имеют нулевую массу, то множество 4 = {а, Ь, % d} инвариантно в новом смысле, в то время как в старом смысле оно не инвариантно. Однако для любого множества { множество В = Игл Т~пА инвариантно в старом смысле, и в случае когда { инвариантно в новом смысле, множества X и В имеют одинаковую меру. Поэтому, если существует нетривиальное множество, инвариантное в новом смысле, то существует w нетривиальное множество, инвариантное в старом смысле, так что определение эргодичности не меняется. Множество, инвариантное в старом смысле, мы будем называть строго инвариантным, Для доказательства эргодичности достаточно убедиться, что строго инвариантные множества имеют меру 0 или 1.
Замечание. Так как преобразование Т сохраняет меру, то
Р(А-АПТ~1А) = Р(А)-Р(А(]Т~]Л)=
■=р(г[а)-р(апт'1а) = р(г'а-лпт~'а)
и, следовательно,
Р (4 + Г'Л) = 2Р 团 一 Г1 Л) = 2P (Г'л - Л).
Поэтому множество Л инвариантно в том и только том случае, если одна из мер Р(Л — Т~{ А) ил и Р (Т~{А — А) равна 0. В частности, если Т эргодично, то ни одно из соотношений А cr T~[At T~lA cz Л не может выполняться для нетривиального Л: не будучи в состоянии оставить нетривиальное множество фиксированным, эргодическое преобразование не может ни „расширить4*, ни ”сузить" его.
Очевидно, что если преобразование Т обратимо, то оно эргодично тогда и только тогда, когда эргодично преобразование
Эргодичность вращений
Если в примере 1.5 число с, определяющее поворот, равно —1, то множество, состоящее из первого и третьего квадрантов, является нетривиальным инвариантным множеством, и, следовательно, преобразование Т неэргодично.
Ч Знак + означает здесь симметрическую разность: Л + В = =(4 — В) U (В — %)• Мы будем часто пользоваться соотношениями / + 8 и (4 + С) + (С + 8) и Р (Л + ^) < Р (Л + С) + Р (С + В).
Аналогичное построение показывает, что Т неэргодично, если с — любой корень из единицы.
Покажем, что если с не является корнем из единицы, преобразование Т эргодично. Пусть еп (со) =(оп — круговые функции; ряд Фурье для характеристической функции IА есть Iл(^^^апеп(^. Так как 华/Т(о) = с“&(со), то с помощью замены переменной получаем】)
j e—dP = L j e.ndPt a La
откуда /厂勺(to)〜2 cnanen(ai). Если A — инвариантное множество, то IA (co) и /r-i4 (co) почти всюду равны и, следовательно, имеют одинаковые коэффициенты Фурье: ап = спап для всех п. Если с не является корнем из единицы, то 〃冷=0 для всех /2*0, и в силу теоремы единственности для коэффициентов Фурье IА (со) равно почти всюду некоторой константе, так что мера Р(4) должна быть равна либо нулю, либо единице. Следовательно, преобразование Т эргодично.
Старый теоретико-числовой результат, принадлежащий Якоби, состоит в том, что если с не является корнем из единицы, то траектория каждой точки со всюду плотна на единичной окружности Q, что представляет собой еще одно простое условие эргодичности. (Заметим, что в данном случае траектория не совпадает как множество с пространством Q, ибо является счетным множеством, в то время как Q несчетно.) Для доказательства результата Якоби, очевидно, достаточно показать, что траектория {1, с, с2,...} точки 1 всюду плотна. Но если с — не корень из единицы, то все точки этой траектории различны и, следовательно,
!) Функция / (со) интегрируема на Д в том н только том случае, если функция / (Г(о) интегрируема на Т^[ Af причем тогда ，/ (Т(о)尸(d(o) =
н j f (s) Р (Jco). При доказательстве достаточно рассмотреть случай
4 = R, общий случай получится при замене f на //. Если / — характеристическая функция, то / /(Тео) Р (dco) = f / (со) Р (dco), так как Т — сохраняющее меру преобразование; эта формула легко получается для простой функции, а затем, с помощью аппроксимации, для любой функции /・
в силу компактности имеют предельную точку(оо. Поэтому для любого положительного е существуют различные точки сп и с"+”， отстоящие от(оо не больше чем на е/2 (расстояние измеряется по дуге) и, следовательно, не больше чем на е друг от друга. Так как расстояние от точки с"+‘靑 до точки c"+(4i)“ равно расстоянию от сп до с"+”，то очевидно, что для некоторого m точки с", с"+”, •・.,cn+mk образуют такую цепь вдоль всей окружности, что расстояние между любыми соседними точками меньше е. Таким образом, любая точка окружности имеет в своей е-окрестности точку траектории {1, с, с2, . ..}, и траектория всюду*плотна в силу произвольности выбора е.
Используем результат Якоби для того, чтобы дать второе доказательство эргодичности вращения Т (по-прежнему предполагая, что с не является корнем из единицы). Это доказательство не использует теорему единственности для коэффициентов Фурье. Пусть Л — строго инвариантное множество положительной меры, Р (Л) > 0. Докажем, что Р(/)=1・
Сначала покажем, что для любого е из единичного интервала (0 < е < 1) существует невырожденная дуга / длины, не превышающей е, такая, что Р (Л П/) ^ (1—е) Р (/). Действительно, по определению меры Лебега на окружности множество А может быть покрыто последовательностью дуг /2, . . . так, что P(4)/(D》£P(〃)(мы П
предположили, что Р (Л) > 0); в качестве членов этой последовательности можно выбрать непересекающиеся дуги длины меньшей, чем е1). Так как £尸(/П 〃) = Р (力)>(1—е)£р (/) то для некоторого значения л должно выполняться неравенство Р (Л П /п)(1 — е) Р (//£). Возьмем / = /%
Далее, так как множество Л инвариантно, а преобразование Т обратимо и сохраняет меру Р, получаем Р (Л П Тп1)》(1 — е) Р (Т"/)・ Если пр , nk — натуральные числа, для которых множества ТП1ЦТ"论/ не пересе
каются, то
Р (/) 2 £ Р (4 n Г//)》(1 - е) Р (и •
Если траектория {1, с, с2, . . . } всюду плотна, то траектория любой из концевых точек дуги / также всюду плотна. Так
')Если А содержит интервал, то этого сделать нельзя, но тогда доказываемое утверждение очевидно.——Прим, ред.
как Р(/)式％ то существуют, очевидно, такие натуральные числа г%,・…，孔扪 что множества ТпЧ, . . . , Т"由/, не пересекаясь» примыкают друг к другу так тесно, что покрывают всю окружность, кроме, быть может, множества меры 2е, т. е. P@f)》l—2e. Итак,
Р(4)》(1-е)(1-2е),
а так как е произвольно, то Р (Л) — 1. Эргодичность Т доказана.
Строго инвариантные множества являются объединениями полных траекторий (множеств вида (. . ., 丁川必,(о, Те, ...)), что вызывает иллюзии возможности построения нетривиального инвариантного множества из “половин" полных траекторий. Такое построение возможно, когда с — корень из единицы, но неприменимо в противном случае: мы видели, что если с не является корнем из единицы, то любое строго инвариантное борелевское множество имеет меру 0 или 1, а тогда это верно и для любого строго инвариантного лебеговского множества )
Эргодичность диадического преобразования
Рассмотрим преобразование Ts = 2s(modl) (пример 1,6). Если (о = 0, (0](02 . . . и(oz =(о -Ь 1/2(mod 1), то о/ = 0, (о^о^соз ..., где (01 = 1 —(01. Если А = Т~хА. то s w / эквивалентно Та> А и(оУ/ эквивалентно Т^ е А. Так как Го = Г(ол = =0,(O2w3 -. ., то(0 е X в том и только том случае, если s'w А. Следовательно, если £ = [О, "J, то А(]ЕС2) представляет собой сдвинутое на 7г вправо множество X Q £. Тогда эти два множества имеют одинаковую меру (здесь Р — мера Лебега) и Р (Л) = 2Р (Л П £) = Р (Л f] Е)/Р (£). Таким образом, Л и £ независимы. Можно показать, что это верно и в случае когда Е — любой диадический интервал или объединение
*) В случае когда с не является корнем из единицы, существуют строго инвариантные неизмеримые множества; такие множества автоматически нмеют внутреннюю меру 0 и внешнюю меру 1. Упорядочим по включению семейство строго инвариантных множеств, не содержащих пары точек (о【и (о2, эквивалентных в том смысле, что (Oi/(o2 ~ корень из единицы. В силу леммы Цорна это семейство содержит максимальный элемент А. Любая точка ① эквивалентна некоторой точке множества Л, так как иначе А можно было бы расширить, присоединив к нему полную траекторию ①.Из сказанного следует, что А неизмеримо.
£' обозначает дополнение множества £.
непересекающихся диадических интервалов. Для заданного положительного е выбираем объединение £ так, чтобы Р(А + Е)<б. Тогда |Р(Л)-Р(£)|<е и \ Р (Л) - Р (А) Р (Е)\ = =I Р (Л) — Р (Л f] £) I < е, так что \ Р (А) = Р2 (Л) | < 2е. В силу произвольности е имеем Р (Л) = Р2(Л), откуда Р (Л) равняется либо 0, либо 1. Следовательно, преобразование Г эргодично.
Перемешивание
Преобразование примера 1.1 оказывается эргодическим, но мы покажем, что оно обладает даже более сильным свойством. Сохраняющее меру преобразование Т называется перемешивающим, если равенство
lim Р (Л П ГПВ)= Р (Л) Р (в) (1.5)
справедливо для любой пары множеств Лив). Если Т обратимо, то эквивалентным условием перемешивания является условие (1.5), в котором Т~пВ заменено на ТпВ. Так как (1.5) эквивалентно условию Р(Т~ПВ \А) — Р(Т~ПВ)0, то свойство перемешивания имеет смысл и без предположения инвариантности меры.
Если множество в из (1.5) инвариантно, то Р(АГ\ В)= =Р (А) Р (в), и если взять Л = В, то Р (В) равняется 0 или 1. Следовательно, перемешивание влечет эргодичность. В большом числе случаев свойство перемешивания можно выявить с помощью следующего результата.
Теорема 1.2. Пусть ^0 — поле, порождающее 夕. Если. (1.5) выполняется для любых А и В из 炉0, то преобразование Т перемешивающее^
Доказательство. Для данных множеств Л и в из <^ и некоторого положительного е выберем множества 力。и Во из 炉° так, чтобы мера множеств { + А。, в + Во была меньше е. Тогда Т~пВ + Т~пВ^ = Т~п (В + Во) имеет меру меньше е и, следовательно, мера множества (Л f] Т~пВ) + +(4,т&) меньше 2е для всех п. Таким образом,
Р(лп 厂"8)отличается от Р(4 П 广以统)не больше, чем на 2% и, следовательно, ее верхний и нижний пределы не больше, чем на 2е отличаются от lim Р(Ло f] Т~пВ^ =
П -> ОО
==Р (Ло f] Во), что в свою очередь не больше, чем на 2е отличается от Р (Л П В)- Результат следует из произвольности выбора е.
Если множества Л и В — цилиндры из примера 1.1, то Л и Г"ПВ —цилиндры, зависящие от непересекающихся множеств координат, если п достаточно велико. Тогда Р(Л П Т~пВ)= =Р (А)Р (В) для больших п, так что (1.5) выполняется для всех множеств Л и В из поля цилиндров 夕°. В силу теоремы 1.2 Т — перемешивающее и, следовательно, эргодическое преобразование.
Преобразование примера 1.3, разумеется, не обладает свойством перемешивания, ибо оно не эргодично. Преобразование примера 1.4 эргодическое, но не перемешивающее (возьмем Л = В = {а}). Более интересный пример эргодического, но не перемешивающего преобразования дает вращение (пример 1.5) при с, не равном корню из единицы. Пусть Л = В — верхняя полуокружность; так как траектория {сп} всюду плотна, множества Л и Т~пА почти совпадают для бесконечно большого числа значений п, так что условие (1.5) не выполняется. Таким образом, перемешивание по сравнению с эргодичностью — свойство более сильное.
С помощью теоремы 1.2 можно убедиться, что диадиче* ское преобразование (пример 1.6) не только эргодично, но и обладает свойством перемешивания.
Формулировка эргодической теоремы
Займемся теперь основными следствиями из эргодичности. Функция g (s) (которая предполагается измеримой относительно F) называется инвариантной, если g(Ts) = g(s) почти всюду. Множество инвариантно в том и только том случае, если инвариантна его характеристическая функция.. Если g — инвариантная нетривиальная (т. е. не равная почти всюду константе) функция, то для некоторого а мера инвариантного множества {s: g (со) К а} заключена строго между О и 1. Таким образом, преобразование Т эргодично в том и только том случае, если всякая инвариантная функция равна константе почти всюду. Мы можем теперь сформулировать эргодическую теорему. .
Теорема 1.3. Если f интегрируема, то существует такая интегрируемая инвариантная функция『，что E{f} = Е{f}!) 〃
1
П. 6・П. 6・(1.6)(1.6)奥 ^ »(?%) = 〃3)
П. 6・
П. 6・
(1.6)
(1.6)
А = 0
Если преобразование Т эргодично, то f((o) = E{，} п. в.
Мы дадим сейчас доказательство менее сильного утверждения для весьма специального случая: мы покажем, что если Т — перемешивающее преобразование и f — характери- п—1
стическая функция множества Л, то ;»(「％) сходится
по вероятности к E{f} = Р (Л). Если
с- = Е & (7%) - Р (/)) (f (7%) - Р (Л) )}=
=Р (厂‘4 П Г^Л) -Р(А)Р (Л),
то, так как Г сохраняет меру, с, * = P|*-( |> где рп = Р(А П 厂"4)— —Р (А) Р (Л) f 0 при 孔 f 8 в силу предположения о перемешивающем свойстве преобразования Т. По теореме об арифметических средних сходящейся последовательности имеем
п— 1 п—1п— 1 п—1i = 0 fe = 0i = 0 fe = 0л-1八一1л-1八一1J Г "Т]2
п— 1 п—1
п— 1 п—1
i = 0 fe = 0
i = 0 fe = 0
л-1八一1
л-1八一1
Е ；±О-Р(4)
I L 尼=о_
=；Ро + * £ (也一々)Р&《；I Ро 丨 + ^ Е I I f 0 • k = l
Сходимость поСходимость повероятностивероятности:»(?%) к Р(Л) следует:»(?%) к Р(Л) следуетfe = 0теперь из неравенства Чебышева. Доказательство для общегоfe = 0теперь из неравенства Чебышева. Доказательство для общегослучая, непохожее на приведенное, параграфе.случая, непохожее на приведенное, параграфе.дано в следующемдано в следующем
Сходимость по
Сходимость по
вероятности
вероятности
:»(?%) к Р(Л) следует
:»(?%) к Р(Л) следует
fe = 0
теперь из неравенства Чебышева. Доказательство для общего
fe = 0
теперь из неравенства Чебышева. Доказательство для общего
случая, непохожее на приведенное, параграфе.
случая, непохожее на приведенное, параграфе.
дано в следующем
дано в следующем
Если предел (1.6) существует почти всюду, то, очевидно, предельная функция f (со) инвариантна и в случае эргодичности преобразования равна константе почти всюду. Так как E{f}== E{f}t эта константа есть Е{/}. Если Т эргодично, то «-множество, для которого существует предел (1.6), будучи инвариантным, имеет меру 0 или 1, но доказательство того, что мера его равна 1, затруднительно даже в этом случае.
!) Символы Е 仍，/' (со) Р (dco) и f dP взаимозаменяемы.
Если Т неэргодично, то предельная функция f не обязательно постоянна, так как если f — нетривиальная инвариантная функция (скажем, характеристическая функция нетривиального инвариантного множества), то средние арифметические в соотношении (1.6) равны самой 厶 так что f = f не равна константе.
В § 10 (пример 10.2) мы покажем, что f является значением условного математического ожидания (а именно значением условного математического ожидания функции f относительно а-поля инвариантных множеств).
Следствия из эргодической теоремы
Если преобразование Т эргодично, то, положив в соотношении (1.6) / = /а，имеем
lim — J]/4(rS) = P(X) п. в.(1.7)
200 до
Именно в этом смысле траектории эргодического преобразования воспроизводят пространство Q.
Применение эргодической теоремы к сдвигу Бернулли (пример 1.1) приводит к усиленному закону больших чисел для испытаний Бернулли. Действительно, пусть f(со) принимает значения 1 или 0 в зависимости от того, является х{ (со) элементом / множества р или нет (f — характеристическая функция цилиндра {(о: х} (со) = /}). Тогда 工 f(T*s) указывает, k=0
сколько раз встречается элемент £ среди Xj (со), ..., хп (со), так что предел (если он существует) выражения = £/(Т%) представляет собой асимптотическую относительную частоту, с которой исход ， встречается в той части бесконечной последовательности испытаний со, которая соответствует положительным точкам временной оси. Согласно эргодической теореме, этот предел существует и равен £"{/} = 〃 почти всюду, т. е. имеет место усиленный закон больших чисел.
Придавая f(со) значения 1 или 0 в зависимости от того, выполняются или нет равенства х} (со) =： z, х2((о) = /, видим, что асимптотическая относительная частота исходов / и / в последовательных испытаниях равна р/, почти всюду. Заметим, что эргодическая теорема для сдвига Бернулли
сильнее, чем подобные утверждения, так как в качестве f может быть взята некоторая сложная функция всех координатных переменных.
Из применения эргодической теоремы к диадическому преобразованию (пример 1.6) следует теорема Бореля о нормальных числах. Число s в единичном интервале нормально (по основанию 2), если относительная частота единиц среди первых п знаков диадического разложения s сходится к 1/2. Из эргодической теоремы с f(co) = O для(о < 1/2 и /(w) = 1 для ®》1/2 следует, что почти все числа нормальны.
Если же к этому примеру применить эргодическую тео- п—I
рему с f(co) = s, то мы увидим, что П-1 £{2%}f 1/2 ПОЧТИ А=0
всюду (символ {%} означает дробную часть действительного числа х).
Рассмотрим теперь вращение окружности, когда с не является корнем из единицы. В этом случае преобразование Т эргодично, и в силу эргодической теоремы для почти всех s траектория {s, cs, с^со, ...} точки s попадает в любую заданную дугу / с „правильной*4 асимптотической относительной частотой, а именно с частотой Р (/). Пусть /ь 1% ...— все дуги, концевые точки которых принадлежат некоторому фиксированному счетному всюду плотному подмножеству из £2, скажем, множеству всех корней из единицы. Тогда для почти всех со траектория со попадает в каждую дугу /п с соответствующей частотой; нетрудно показать, что траектория любой такой точки со равномерно распределена в том смысле, что она попадает во всякую дугу окружности с правильной асимптотической относительной частотой]), Таким образом, траектории почти всех точек равномерно распределены, а так как каждая траектория получается из другой поворотом, то каждая траектория равномерно распределена. Разумеется, равномерно распределенная траектория всюду плотна, что снова приводит нас к теореме Якоби.
Каждое из этих следствий эргодической теоремы (за исключением, конечно, основного результата (1.7)) было доказано с помощью специальных методов раньше, чем была обнаружена сама эргодическая теорема.
}) Можно даже показать (используя теорию слабой сходимости), что равномерно распределенная траектория попадает в произвольное боре- левское множество 4 с предельной относительной частотой Р (Д), если его граница имеет меру 0. Однако для каждого со существует некоторое множество, в которое траектория попадает с неправильной частотой, например сама траектория точки ①.
Критерии эргодичности
Рассматривая свойства эргодичности и перемешивания преобразований из различных примеров, мы избегали обсуждения с этой точки зрения общего сдвига примера 1.2. Дело в том, что не существует эффективного критерия для решения вопроса о том, является ли данный сдвиг эргодическим или перемешивающим; вопрос этот должен решаться отдельно для каждого такого случая или класса случаев.
Приведем построение, показывающее, что сдвиг примера 1.2 является весьма общим. Пусть Г — обратимое сохраняющее меру преобразование, определенное на вероятностном пространстве (Q,炉，Р), и Л — некоторое множество, принадлежащее полю 炉.Пусть (Q,(^) — произведение пространств из примера 1.2 с р = {0, 1}. Определим отображение ф пространства 0 в Q с помощью характеристической функции (屮®))冷=/彳(产G). Если P = PqT то сдвиг Т на пространстве Q сохраняет меру Р, Таким способом могут быть построены сдвиги более или менее произвольной сложности.
Следующая теорема иногда используется для установления эргодичности сдвигов и некоторых других преобразований (применения даны в § 3). Если соотношение (1.7) выполняется, будем говорить, что А — респект]) для Т; таким образом, всякое множество Л является респектом эргодического преобразования Т. Если В — респект для Т, то
lim ~^Ia(^Ub (Tha) = /Л (и) Р (В) п. в.
для каждого множества А. Интегрируя под знаком предела, получаем
п—1
lim ；£р(4Н8)= Р (攸(В).(1-8)
Итак, каково бы ни было множество Л, (1.8) выполняется, если только 8 является респектом для Т. С другой стороны, если (1.8) имеет место для всех Лив, легко показать, что мера любого инвариантного множества равна 0 или 1 и, следовательно, Т эргодично. Наконец, если соотношение (1,8)
выполняется для всех множеств Л и В из поля 夕0, порождающего 炉,то оно выполняется и для всех множеств { }• В из 炉;этот результат можно получить с помощью рассуждений, аналогичных тем, которые были использованы при доказательстве теоремы 1.2. Мы имеем, таким образом, след)7ющий критерий.
Теорема 1.4. Если Т — эргодическое преобразование, то каждое множество Л является респектом для Т 〃 соотношение (1.8) выполняется для всех А и В. Пусть <У^0 — поле, порождающее 炉.Если каждое множество { из 炉0 является респектом для Т или если соотношение (1.8) выполняется для всех А и В из 炉0, то 夕0— эргодическое преобразование.
Сопоставление соотношений (1.5) и (1.8) показывает, что перемешивание в сравнении с эргодичностью является более сильным свойством.
Даже если преобразование Т не эргодично, то
"т」£ Л?(Т%) = 7в(е) п. в.
Интегрируя по X, получаем 1
「义 2 Р(4 П 厂切)=Е {//}•々=0
Правую часть этого равенства можно записать в другой форме, симметричной относительно А и 8. Действительно, функция (/人?в)入,соответствующая функции /斗/月,имеет почти всюду значение
及一1及一1limn-> ооlimn-> оо4Х4Х"（7%）北（？%）="（7%）北（？%）=jt=Ojt=O八一1八一1=limn -> оо=limn -> оо/д （Т%）『8（S）= /д（S）禽（S）,/д （Т%）『8（S）= /д（S）禽（S）,/г=0/г=0
及一1
及一1
lim
n-> оо
lim
n-> оо
4Х
4Х
"（7%）北（？%）=
"（7%）北（？%）=
jt=O
jt=O
八一1
八一1
=limn -> оо
=limn -> оо
/д （Т%）『8（S）= /д（S）禽（S）,
/д （Т%）『8（S）= /д（S）禽（S）,
/г=0
/г=0
где первое равенство выполняется почти всюду в силу инвариантности 1 в. Поэтому, так как функции /工北 и (/j广 имеют одинаковый интеграл, то
н — 1
(1.9)(1.9)Нт ^±Р(4 П#8)= £{7/в}・
(1.9)
(1.9)
2°°々=0
Предел в соотношении (1.8) всегда существует.
Более сложный сдвиг* 】)
Наша заключительная иллюстрация развивает идею примера 1.2.
Пример 1.7. Пусть Q состоит из бесконечных в обе стороны последовательностей s = (..., <o_b(о0,(оь .…)действительных чисел; пусть 夕 есть a-поле, порожденное цилиндрами, т. е. множествами вида {со: (x〃(s), ••・,x〃+^t(s))wE}, где £ есть 々-мерное борелевское множество (здесь координатными переменными являются хп((о) = со) и, наконец, пусть Р — любая мера, которая сохраняется при сдвиге Т, определенном формулой хп(Та)} = хп+1 (со). Мера Р определяется посредством конечномерных мер
]“(Е) = Р{з:(今(з), . .., xn+k_i (<о)) е £}, индуцирующих ее. Сдвиг Т соответствует стохастическому процессу {..., X-!, %о， %], ...} с действительными значениями.
Если каждая мера 卩后 является fe-кратным произведением 卩 1, то {х„} — процесс с независимыми значениями. Тогда в силу теоремы 1.2 преобразование Т обладает свойством перемешивания и потому эргодично. Положив в эргодической теореме f(s) = %o(s), видим, что при £ {I х01} < оо
п— 1
lim』£乙(3)= e{/} п. в.
Таким образом, эргодическая теорема содержит усиленный закон больших чисел для независимых одинаково распределенных случайных величин с конечным первым моментом.
Пример 1.7 обладает такой общностью, что выполнение требований эргодической теоремы для каждого преобразования такого вида означает выполнение их для любого обратимого преобразования. В самом деле, для того чтобы доказать эргодическую теорему для данной интегрируемой функции f и обратимого сохраняющего меру преобразования Г на вероятностном пространстве (й,炉，Р), возьмем (Q, 夕),как в примере 1.7, и зададим меру Р на 炉 формулой Р = ^ф~\ где (р(с5) = (..., f(71*1 й), F(硝，f(彳矶 …). Тогда функция х0((о) интегрируема на Q. Если А есть(о-мно- жество, на котором ^ 工尤尼(со) сходится к j x^dP и Д — мно-
0 Звездочкой отмечены те разделы, которые можно опустить.
жество, на котором 工『(7而)сходится к J / dP, то Л == =ф"хД. Если для сдвига Т на пространстве Q справедлива эргодическая теорема, то Р (Л) — 1, так что и Р (Л) = 1. (Если преобразование Т необратимо, то аналогичный анализ можно провести с пространством односторонних последовательностей действительных чисел.)
Аналогичное рассуждение показывает, что из эргодической теоремы для сдвига примера 1.2 вытекает, что для любого обратимого эргодического преобразования Т каждое множество того пространства, на котором это преобразование определено, является его респектом.
Пример 1.7 можно использовать как образец для сравнения иным образом. Пусть {. .., х_ь х0, хь ...} — стохастический стационарный процесс, определенный на пространстве (0,辱Р), т. е. Р{&: (х„(й),...,声…_1(砌上三£} не зависит от п. Здесь нет необходимости считать 0 произведением пространств, а хп — координатными переменными. Определим отображение 屮 нашего пространства 0 в пространство Q примера 1.7 формулой з(尚=「一，^T(G),焉⑥)，新⑥)，.・・}, и пусть Р = &Г〔 Тогда сдвиг Т на пространстве й сохраняет меру Р в силу предположения о стационарности процесса {хп}. Все определения и вопросы, касающиеся {хп}, могут быть сформулированы в терминах координатных переменных хп в пространстве Q и меры Р. Например, процесс {хп} называют эргодическим или перемешивающим в зависимости от того, обладает ли соответствующим свойством сдвиг Т; если {хп} — эргодический в этом смысле процесс и j | х01 dP < оо, то, применяя эргодическую теорему к сдвигу Т, получаем, что ■^工£月(行)^，元odA с вероятностью единица.
Замечание. Наше введение в эргодическую теорию игнорирует факт происхождения ее из статистической механики (см. Кац [1]).
Общее изложение эргодической теории можно найти в работах Халмоша [3], Хопфа [1] и Якобса [1, 2])
ДОКАЗАТЕЛЬСТВО ЭРГОДИЧЕСКОЙ ТЕОРЕМЫ
Эргодическая теорема заслуживает более чем одного доказательства. В этом параграфе мы сначала сведем эргодическую теорему к так называемой максимальной эргодической теореме (теорема 2.4), используя функциональные пространства L и L. Затем докажем максимальную эргодическую теорему безотносительно к L1 и L2. И, наконец, дадим еще одно доказательство, опирающееся на максимальную эргодическую теорему и не использующее пространств 厶 1 и L2.
Первое доказательство !)
Сохраняющее меру преобразование Т на вероятностном пространстве (Q,京，Р) естественным образом порождает оператор Г в гильбертовом пространстве А2 действительнозначных, интегрируемых с квадратом функций, определенных на Q. Пусть f (со) — любая действительная функция на пространстве Q. Будем обозначать символом Tf функцию, которая принимает в точке s значение f(Ts). Если f измерима (все рассматриваемые ниже функции будем предполагать измеримыми), то и функция Tf измерима, так как Т измеримо; если f принадлежит L2, то и Tf принадлежит L2, ибо преобразование Т сохраняет меру. Итак, оператор Т отображает пространство 厶？ на себя; линейность его очевидна. С помощью замены переменной имеем 2)
(方，fg) = ^Tf.TgdP = jf (Тз) g (Тз) Р (ds)=
=J f(3)g((o)P(d(o) = (f, g).
Скалярные произведения и расстояния сохраняются: f — изометрический оператор ).
Пространство интегрируемых с квадратом функций на пространстве пяти точек {а,力，с, d, е} из примеров 1.3 и 1.4
задаются матрицамизадаются матрицамиможно отождествить с пространством R5 5-мерных векторов ^столбцов). При таком отождествлении изометрические операторы f, порожденные преобразованиями этих примеров,
задаются матрицами
задаются матрицами
'0
1
0
0
0'
-0
1
0
0
0-
0
0
1
0
0
0
0
1
0
0
1
0
0
0
0
и
0
0
0
1
0
0
0
0
0
1
0
0
0
0
1
0
0
0
1
0
1
0
0
0
0_
перестановок
соответствующими (а,力，c)(d, е) и (а,瓦 с, d, е). Поворот окружности (пример 1.5) порождает изометрический оператор, переводящий функцию с рядом Фурье S о,пеп (со) в функцию с рядом Фурье 2 спапеп(а)).
Эргодическая теорема утверждает, что если функция f интегрируема, то п— 1
十工/ (Т%)— /(①)п・в.用=()
для соответствующе百 функции f. Мы докажем сначала менее сильный результат, известный под названием эргодической теоремы ') в L2.
Обозначим символом Лп оператор усреднения
、1
Заметим, что
II ЛЛЬ <11^112.(2.1)
Теорема 2.1. Для любой функции f из L2 существует инвариантная функция f из А2, такая, что Anf^f g смысле L2, 几 IIAJ — Abf 0・
Доказательство. Если Anf вообще сходится к функции из L2, то эта предельная функция, разумеется, инвариантна. Пусть £2 — система функций f из А2, для которых последовательность {4门/} сходится. Мы покажем, что Е? замкнуто н содержит подмножество, порождающее А2, а следовательно, совпадает с L2.
I) Для того чтобы отличить саму эргодическую теорему (теорема 1.3) от прочих, ее называют иногда [[ндивидуалыюй эргодической теоремой.
Пусть 九 W £2 и II % — f ||2 f о. Тогда и / е £. Чтобы доказать это, достаточно проверить, что средние арифметические Anf образуют фундаментальную последовательность. Если \\fk~f W2 < е» то в силу (2.1)
II /К - ЛЛ12 & II Amf~ Am% lb + 11 Amfk^ A31|2 +
+ II Ajh — Anf li2 < II Amfk — Anfk ||2 + 2e.
Последовательность {Anf}, действительно, фундаментальна, так как || Amfk — XJA lb0 при m, n^ 00. Следовательно, система £2 замкнута.
Если f = Tf, то, очевидно, f ^ E2(f = f). Если f имеет вид f=g-?g，то 4J =依一戸％)/他 так что ПАЛ24211g Ib/zif 0 и / е £2(f = 0). Таким образом, £2 содержит класс Е^ состоящий из всех инвариантных функций и всех функций вида g-fg. ■
Остается еще показать, что 戌 порождает Л2, т. е. единственная ортогональная к £о функция есть 0. Для этого достаточно показать, что любая функция /г, ортогональная всякой функции вида g— fg, удовлетворяет требованию h~Th (тогда если она ортогональна и всякой инвариантной функции, то она ортогональна самой себе и, следовательно, равна 0), Благодаря свойству (九，斤2)=(个*厶，％)сопряженного оператора 戸 имеет место тождество (/г, g — fg)^(h — f*ht g). Поэтому если (/г, g — 7g) = 0 для всех g, то /г = Th, Далее 】)， II Л — th Ц2 = II A II9 — (Л. fh)~ (Th.力)+ ||，力|匕 Очевидно, что II Th ||^ = II h \l и если 力=夕九 то 仇，力z) = (7%,力)=||们]；и аналогично (丁瓦 ％) = || 厶：以 так что \\ h — Th |]J = 0, или h = Th. Итак, h = Th, если функция h ортогональна каждой функции вида g —Tg, что завершает доказательство.
Заметим, что оператор, переводящий f в /, является ортогональным проектором на подпространство инвариантных функций.
Следующий шаг состоит в доказательстве теоремы, аналогичной теореме 2.1, для пространства Л1. Так как Р (Q) = 1, то 厶2 является подпространством в 厶L Если функция f(s) интегрируема, то интегрируема и /(Гео) и, следовательно,
оператор t определен на пространстве 厶】интегрируемых функций. Теперь мы будем рассматривать Т как оператор з 丄* отображающий подпространство L2 в себя. Если 11Hh = =J \f \ dP обозначает норму в /Д то || ff 加=|| f 加 и (мы используем символ 4削 как и выше, для обозначения среднего }工，匕 но теперь в L1) IMJIIVIfh
Теорема 2.2. Для любой функции f из L1 существует инвариантная функция f из ZJ, такая, что Anf^f s смысле L* т.仇 Н 4J — HL f 0-
Доказательство. Обозначим через Е1 множество функций f из 厶* для которых утверждение теоремы справедливо. Те же рассуждения, с помощью которых мы показали замкнутость системы £2 в пространстве L , доказывают и замкнутость £] в L1 — нужно только везде заменить норму в Л2 нанорму в ZJ. Если f принадлежит L2, то п о предыдущей теореме существует некоторая функция / из L2, такая, что|| Anf — f ||2^0, и эта функция принадлежит, разумеется, и 厶L В силу неравенства Гельдера имеем || А^ ~ Г Hi ^ II Anf — f ||2 0, так что j w EL Итак,厶2uEL Любая функция f из А* является предельной в смысле 厶 1 для функций из L2 (ограниченных), так что замыкание L2 в ZJ совпадает с самим 厶L Так как 丄2иЕ】и Е】замкнуто, то £' =
Очевидно, что j Anf dP = j f dP, и так как Anf^f в смысле L\ то
[fdP=j fdP. (2.2)
Попытаемся построить доказательство индивидуальной эргодической теоремы, следуя линии двух предыдущих доказательств. Пусть G — множество элементов f из 厶* для которых существует функция f такая, что '
liin } £ f (Т%) = f (со) п. в.
Если такая функция f вообще существует, она должна совпадать с функцией / из теоремы 2.2 и, следовательно, должна быть инвариантным элементом пространства 厶* удовлетворяющим соотношению (2.2). Мы докажем индиви-
Зак. 1491
цуальиую эргодическую теорему, показав, что G (а) замкнуто в /」и (Ь) содержит подмножество, порождающее /Л
Предположим, что утверждение (а) справедливо, и будем доказывать (Ь). Если f = Tf. то f ^ G (f = f). Если f = g — Tg, где ^ (co) —ограниченная (скажем, константой К) функция, то
\Anf (е) I I g (з) -Д' (^М|/»< 2К/〃- О
для каждого со, так что / е G (/ = 0). Если f = g —亍g, где g 巨/Д выберем ограниченные функции g^ такие, что
является предельной в смысле значит (если выполняется (а)), тельно, G содержит класс £^, теоремы 2.1, состоящий из всехявляется предельной в смысле значит (если выполняется (а)), тельно, G содержит класс £^, теоремы 2.1, состоящий из всех||g^ —glhfO. В силу непрерывности оператора f функция f 厶 1 для функций gk - Tgk и,
является предельной в смысле значит (если выполняется (а)), тельно, G содержит класс £^, теоремы 2.1, состоящий из всех
является предельной в смысле значит (если выполняется (а)), тельно, G содержит класс £^, теоремы 2.1, состоящий из всех
принадлежит G. Следова- введенный в доказательстве инвариантных элементов L2
и всех элементов вида g — Tg、где g принадлежит /Л Было показано, что замыкание класса £； в L2 есть само 厶2. в силу неравенства Гельдера любой предельный в смысле L2 элемент £q является также предельным в смысле L1; таким образом, множество G, по предположению замкнутое в Л1, содержит Л2 и потому совпадает с /А
Остается показать, что О замкнуто в смысле L1. Будем считать установленным следующий результат.
ТеоремаТеорема2.3. Если f ^ U и Х> 0, то
Теорема
Теорема
Р{3： S?;| 4丿(з) |>» &十II 川I.
Предположим, что fk^ G и \\fk~f Hi ^ 0- Для каждого со
I Amf (со) — А/ (w) I I Ainfk (со) — Anfk (s) I +
+ 2sup| Лг,(/:((о)-^((о))|.(2.3)
и A 1
Так как 加 wG, то последовательность {Anfk (со)} фундаментальна почти всюду для каждого 山，так что первый член в правой части неравенства (2.3) стремится к 0, когда т, оо. Тогда в силу теоремы 2.3
而 l4J(s)-/J(s)|= lim sup I Amf(a))-Anf(a))\ (2.4) m, n->oo々->8 m n > A
превышает 九 с вероятностью, не большей 21| f —九 〃/九. Устремляя Gf 8 H Л—>0, видим, что значение (2.4) поло-
жительно с вероятностью 0: последовательность {Anf(со)} фундаментальна почти всюду. Итак, Anf (со) имеет почти всюду предел, который в силу теоремы 2.2 должен быть инвариантным элементом пространства /А
Первое доказательство эргодической теоремы закончено. Заметим, что теорема 2.3 играет ту же роль в доказательстве замкнутости G, что и элементарное неравенство (2.1) в доказательствах замкнутости многообразий £2 и Е】(теоремы 2.1 и 2.2). Так как в индивидуальной эргодической теореме мы имеем дел о со сходимостью почти всюду, то мы не можем использовать неравенства, которые существенно слабее неравенства теоремы 2.3. Теорема 2.3 следует из теоремы 2.4 (заменой f на | f\).
Максимальная эргодическая теорема
Итак, все сводится к следующему результату, известному под названием максимальной эргодической теоремы.
Если f интегрируема,Заметим, что можноДоказательст!门一1]»： sup； £〃「％)> 九.(2.5)TO^ (N) < j' f dP.(2.6)не требовать положительности 九.в о. ПустьЕсли f интегрируема,Заметим, что можноДоказательст!门一1]»： sup； £〃「％)> 九.(2.5)TO^ (N) < j' f dP.(2.6)не требовать положительности 九.в о. ПустьТеорема 2.4. ПустьТеорема 2.4. ПустьДостаточно показать,тогда (2.6) получается Если=卜,n > 1々=0丿ЧТОJ fdP》O;заменой f на f —兀:max f1 < U < Й t = t)丿Достаточно показать,тогда (2.6) получается Если=卜,n > 1々=0丿ЧТОJ fdP》O;заменой f на f —兀:max f1 < U < Й t = t)丿sup』/ (Т%)〉0sup』/ (Т%)〉0
Если f интегрируема,
Заметим, что можно
Доказательст!
门一1]
»： sup； £〃「％)> 九.(2.5)
TO
^ (N) < j' f dP.(2.6)
не требовать положительности 九.
в о. Пусть
Если f интегрируема,
Заметим, что можно
Доказательст!
门一1]
»： sup； £〃「％)> 九.(2.5)
TO
^ (N) < j' f dP.(2.6)
не требовать положительности 九.
в о. Пусть
Теорема 2.4. Пусть
Теорема 2.4. Пусть
Достаточно показать,
тогда (2.6) получается Если
=卜
,n > 1々=0丿
ЧТО
J fdP》O;
заменой f на f —兀
:max f
1 < U < Й t = t)丿
Достаточно показать,
тогда (2.6) получается Если
=卜
,n > 1々=0丿
ЧТО
J fdP》O;
заменой f на f —兀
:max f
1 < U < Й t = t)丿
sup』/ (Т%)〉0
sup』/ (Т%)〉0
ТОТОJ fdPf j fdPJ fdPf j fdPи, следовательно, в силу теоремы оби, следовательно, в силу теоремы об% Gарифметических средних% Gарифметических средних；工 J fdP^^ f dP. Поэтому до- k=I G^G；工 J fdP^^ f dP. Поэтому до- k=I G^G
ТО
ТО
J fdPf j fdP
J fdPf j fdP
и, следовательно, в силу теоремы об
и, следовательно, в силу теоремы об
% G
арифметических средних
% G
арифметических средних
；工 J fdP^^ f dP. Поэтому до- k=I G^G
；工 J fdP^^ f dP. Поэтому до- k=I G^G
статочно доказать, что
工 fdP^b, n= 1, 2(2.7)
I Gk
При n = 1 это неравенство тривиально, оно даже не содержит Т. Поучительно детальное рассмотрение случая п==2. В этом случае неравенство (2.7) записывается как
j f(s)dP+ j f(s)dP》0,(2.8)
ag;
где G{ = {f (w)>0) и G2 = {f (w)>0 или f (co) + f (Гео) > 0}. Если Gj = {f (Г(о) > 0}, то с помощью замены переменной находим J f (<o)dP= J f(7\o)dP (мы используем здесь сохранение
меры преобразованием Т), так что неравенство (2.8) эквивалентно неравенству
J f^)dP + J f (Та) dP》0(2.9)
и, следовательно, неравенству
j [f(3)+ f(「3)]dP+ j f (io) dP + f H^w) dP>0.
(?2Г1О]G9~G^G]—G)
Неравенство это выполняется, так как каждый из трех содержащихся в нем интегралов неотрицателен, поскольку подинтегральная функция в каждом из них положительна в области интегрирования. Можно рассуждать несколько иным образом, замечая сначала, что (2.9) эквивалентно неравенству
j严明岁+ 仆)〃；®)]"》0,
а затем, что подинтегральная функция в этом выражении неотрицательна для каждого (о. Такое рассуждение применимо и в случае п>2,
Фиксируем п, и пусть Н〔尸 Т~"G注一审 С помощью замены переменной имеем
У 卄⑹『貿3)dP = £ r f(Tu^)dP^
也f Gh…G……九
=/ ^f(Tu^IHi：^}\dp'
(Этот шаг соответствует сделанному выше переходу от G\ к G(; здесь мы используем предположение о сохранении меры преобразованием Т.) Неравенство (2.7) будет доказано если мы покажем, что подинтегральное выражение
П i 1
>(f3)/"，(3)(2.Ю)
неотрицательно в каждой точке со. Точка со' принадлежит множеству Gk в том и только том случае, если хотя бы одна из сумм
положительна; следовательно, s' принадлежит Gn^u в том и только том случае, если хотя бы одна из сумм
f(W), f”) + f(7V) 7(g/)+...+/(产"7屮)
положительна. Следовательно, со 巨"《 = Т~иОп^и или Т"в 巨 w G也_« в том и только том случае, если хотя бы одна из сумм
f(T"(o), f(r"e) + f(7"+%)f (По)+...+/(严 ％) (2.11)
положительна. Таким образом, (2.10) —сумма f (Т"(о) по тем м, для которых хотя бы одна из сумм (2,11) положительна.
Зафиксируем сп и положим си = f (Т"со). Доказательство максимальной эргодической теоремы завершается следующей комбинаторной леммой.
Лемма. Назовем член с〃 конечной последовательности чисел с0> ，, ..., %_] лидером, если хотя бы одна из сумм
положительна. Тогда сумма]) лидеров неотрицательна.
Пустую сумму условимся считать нулем，
Доказательство получается индукций по числу п элементов последовательности. Для 孔=1 результат тривиален. Предположим, что он справедлив для натуральных чисел, меньших п. Если с0 не лидер, то все лидеры данной последовательности являются одновременно лидерами укороченной последовательности q, ..., cn_i и их сумма неотрицательна в силу предположения индукции. Пусть теперь с0 — лидер. Если k — наименьшее натуральное число, для которого сумма с0 + ... + rft положительна, то ch .. ., ck — тоже лидеры, ибо если бы один из них, скажем q, не являлся лидером, то сумма cf + . . , + г* не была бы положительной и, значит, г0 + . . . + с^{ > 0, что противоречит выбору k. Итак, сумма лидеров с» с尼 положительна; сумма остальных лидеров (если такие существуют) неотрицательна, так как они лидируют в последовательности, число членов которой меньше м. Доказательство завершено.
Второе доказательство
Эргодическую теорему можно непосредственно вывести из максимальной эргодической теоремы. Заметим, что если множество А инвариантно, то
6(4ПМ& / fdP(2.12)
дп/v
(где ^ определено выражением (2.5) и f интегрируема), что легко получается заменой f на f • /л. Используя это замечание, покажем, что с точностью до множества меры О последовательность средних арифметических
亠Е（Т%）
々=0
сходится (быть может, к + оо или —8). Положим для а < &
{
门一tn—1'
畑；2m3)<。<6< 而;2 s3)•
Очевидно, что Аа, ь инвариантно и
Ла,产"а. Ь 0Ла,产"а. Ь 0{п—]sup ；£/(「％)>" •{п—]sup ；£/(「％)>" •
Ла,产"а. Ь 0
Ла,产"а. Ь 0
{п—]
sup ；£/(「％)>" •
{п—]
sup ；£/(「％)>" •
Если в (2.12) положить 九=仇 имеем
ЬР (Aa.b)< j fdP.
Если вместо 厶 а, b взять —/, —а, —Ь, получим
J }dP^aP(Aa,b).
М, b
Таким образом, ЬР (Ла( ；,) ^ аР (Дд, ft), что возможно, только если 尸(/用匕)=0, поскольку а<Ь. Если Д —объединение Аа^ь по всем парам рациональных а и 力(〃<力)，то Р(/) = 0.
Вне А значения верхнего и нижнего пределов последовательности средних совпадают. Итак,
f (Т%) = f (со) п. в.»
где 『(со) конечно или равно + оо или —8. С помощью замены переменной получаем
п— 1^^\f(T^)\dP=j\f\dP
и, применяя лемму Фату, имеем
J \f\dP ^ Hm J ；』f(T%) dP^j \f\dP.
Таким образом, функция f интегрируема; в частности, она почти всюду имеет конечное значение.
Так как предельная функция f инвариантна, остается только показать, что интеграл от нее совпадает с интегралом от 厶 Обозначим 源®)=；工f(Т%). Так, как。也(s)->/(①) почти всюду и J andP = ^ f dP, то, производя формальные действия, получаем
[f dP = f lim andP = lim I* an dP = I* fdP. (2.13)
JJ 〃->8П->ОО JJ
Покажем, что такая перестановка предела и интеграла законна J). Если Л\ = {со: sup| «я(о)) |>Л|, то
J|&-HdP 式[\an-t\dP^ J \an\dP -h J\f\dP.
При фиксированном положительном 九 первый член суммы в правой части неравенства стремится к 0, когда 72 f 8, в силу теоремы о мажорированной сходимости. Поэтому достаточно показать, что второй и третий члены суммы можно сделать малыми равномерно по п, выбрав большое 九.Относительно третьего члена это утверждение справедливо, потому что в силу максимальной эргодической теоремы Р (N^^E {\f\}lk-^Q, когда 几 f 8. Что касается второго члена, то мы имеем
依久十工 / \f(Tk^\P(d^
NhX ”
н
/ [/(ГМ|Р(^)</\f(Tk^\P(d^ + aP(N^
”{h(7'MI>«)
так что с помощью замены переменной получаем
/|«,(|^< f \f^)\P(da) + aP (^)- 以{ I f (w) I > К}
Мы можем сделать правую часть этого неравенства малой, выбрав достаточно большие а ц 九.
Итак, j \an~f\dP^0, что делает законной перестановку предела и интеграла в (2.13)) и полностью завершает доказательство эргодической теоремы.
Замечание. Эргодическая теорема в Z? была впервые доказана Нейманом [I], индивидуальная эргодическая теорема —Биркгофом [1]. Приведенное нами доказательство максимальной эргодической теоремы принадлежит Риссу [1].
!) Это очевидно, если / ограничена. Следовательно, уже можно заключить, что если Т эргодично^ то траектории воспроизводят Q в том смысле, в котором речь об этом шла в § 1.
ДАЛЬНЕЙШИЕ ПРИМЕРЫ
В этом параграфе мы собрали несколько примеров, которые понадобятся нам позже для иллюстрации различных результатов.
Сдвиги
Пример 3.1. Рассмотрим специальный случай общего сдвига (пример 1.2). Пусть П = (р^ — стохастическая (г X г)- матрица, строки и столбцы которой соответствуют элементам пространства состояний р. Обозначим через р = (/%) такой вектор (строку) вероятностей, что р「1 = /л Мы не делаем никаких специальных предположений относительно матрицы П; она может быть или не быть неприводимой, непериодической И Т. 口. i).
Функции
Р々心，厶)=//中2…吃々一U
удовлетворяют условиям (1.3), первое из которых очевидно, второе следует из стохастичности матрицы П, третье — из того, что р — вектор вероятностей, Условие стационарности (1.4) также выполняется, поскольку /?П = р. Поэтому существует единственная мера Р, сохраняющаяся при сдвиге Г, такая, что
Р{х“(е)='1，— г Xn+k-l 2 = Q = PiRk …р—м
При так определенной мере мы будем называть Т сдвигом Маркова ). Сдвиг Бернулли является частным случаем сдвига Маркова при 卩仃=pj. Подобным же образом можно определить сдвиг Маркова более высокого порядка.
В силу теоремы 1.2 общий сдвиг Т является перемешивающим в том и только том случае, если соотношение lim P(AQ T~nB)= Р (Л) Р(В) выполняется для всех цилинд- ров Л и В. Так как каждый цилиндр представляет собой конечное объединение непересекающихся тонких цилиндров, то достаточно, чтобы это соотношение выполнялось для
тонких цилиндров Л и 8: сдвиг Т является перемешивающим в том и только том случае, если для всех i и j
lim Р {%[ ~ iij ...» хи =，立；xn+i = ji，•…，尤м+v = /J =
=P {X[ — L\f %〃 = !〃} P {修=厶，.• •，Xv = /^}.(3.1)
Аналогичные рассуждения, опирающиеся на теорему 1.4, показывают, что сдвиг Т эргодичен в том и только том случае, если
/г — I
^т ~ 工"任1 = Л> • • •,"“ = 〃；乩+1 = j【，，办+■力=/ J =
= P{U = /i，x и = G P {x 1 三 j I，•…，x и = jt>}・ (3.2)
Согласно (1.9), предел
n— 1
lim 7 P {尤 i =乙，• •・ > к it =，“；尤兑+i = ji，^k+v = jv\ (3*3)
существует, даже если Т не эргодичен.
Вернемся к сдвигу Маркова. Будем предполагать теперь, что р, > 0 для всех /, принадлежащих р (любое состояние i с р, = 0 никогда не может наступить и потому не имеет отношения к процессу). Изучим условия, при которых сдвиг Маркова эргодичен.
Полагая в соотношении (3.3) 〃 = и= 1, видим, что предел
工哨
всегда существует]). Если Т эргодичен, то q^ = pj в силу (3.2). С другой стороны, если р“ = р/, то сдвиг Т эргодичен, так как вероятность в соотношении (3.2) равна
'【z#2U~ \ lu 'Ml 4*2 Iv-l'v
Докажем эквивалентность следующих четырех утверждений:
сдвиг Т эргодичен;
qtj не зависит от z;
матрица И неприводима ]);
^；у > 0 для любой пары /, /.
Пусть числа д“ образуют матрицу Q:
■Q = lim |УП\(3.4)
…г0
Нетрудно показать, что Q — стохастическая матрица, для которой выполняются соотношения
Qn = IIQ = Q, Q2 = Q.(3.5)
Так как рП = р, то рП* = р для всех 归,следовательно, в силу (3.4) pQ = р. Значит, д“ не зависят от / в том и только том случае, если q“ = р)・ Таким образом, установлена эквивалентность утверждений (а) и (Ь).
Предположим, что матрица П не является неприводимой; обозначим через р0 собственное замкнутое подмножество в р. Пусть А н {(о:尤o(s)至 р0}, тогда 0 < ^(Д) < 1 и Р(X — Т~]А) = 0. Так как А — инвариантное множество (см. замечание, следующее за определением инвариантности в § 1), то сдвиг Т не эргодичен. Итак, из (а) вытекает (с).
В силу (3.5) qij = ^ QiuPuj ^ QikPkp следовательно, если qik > 0 и р^] > 0, то д“ > 0. Поэтому р； (множество таких /, что qij > 0) замкнуто. Если матрица П неприводима, то р±, судучи непустым, должно совпадать с р. Таким образом, из (с) вытекает (d).
Предположим теперь, что все q^ положительны и
x卅之=&, 2ур.(3.6)
Пусть максимальное из ^ равно /п. Если |z < m для некоторого /, то Ь = 2 <7й；^ < 2для всех 財 что не
возможно. Поэтому в силу утверждения (d) (3.6) выполняется в том и только том случае, если все ^ равны между собой. Так как Q = Q, то каждый столбец матрицы Q
является решением системы уравнений (3.6); следовательно, 力/ не зависят от /. Итак, (d) плечет (Ь).
Мы показали, что наши четыре з;тверждения эквивалентны друг другу и что они -жвивалеитны требованию единственности решения (разумеется, с точностью до множителя) системы (3.6). Легко видеть, что (Ь) выполняется в том и только том случае, ccjih система
2п<7(-у = /МР，(3.7)
имеет только одно решен не. В силу (3.4) любое решение системы
工 〃/点/ = &, Ур，(3.8)
является решением системы (3.6) и любое решение системы
Ъ^1Рц = ^, /ер,(3.9)
является решениемявляется решениемсистемы (3.7). Таким образом, мы полу
является решением
является решением
чили два условия, каждое из которых эквивалентно эргодичности Т.
Система (3.8) имеет единственное решение.
Система (3.9) имеет единственное решение. Эквивалентность условий (е) и (f) следует также из сопряженности системы (3.9) системе (3.8).
Мы показали, что сдвиг Т эргодичен в том и только том случае, если 4订=卩« доказательство опирается на (3.2). Заменяя в наших рассуждениях (3.2) па (3.1), видим, что Т обладает свойством перемешивания в том и только том случае, если
lim 外夕=рг 厶，三 Р-(3.10)
Из теории цепей Маркова известно, что (3.10) выполняется в том и только том случае, если матрица П неприводима и непериодична ]). Здесь мы воспользуемся этим фактом без доказательства (доказательство см. в § 11).
Пример 3.2. Преобразование сдвига можно определить на произведении элементов односторонней последовательности экземпляров пространства р. Тогда элементом про-
!) Не существует натурального /// > 1, такого, что р^ > 0 только для 〃, кратного /". (В литературе по пеням Маркова возвратное ненулевое непериодическое состояние называют иногда эргодическим; см. Феллер [ 1 ]. Мы будем избегать такого употребления.)
странства Q является последовагельность (0 = ((0» (о2,...), где со也 wp; координатные переменные определяются, как и выше; Т((о” со2,...)=(吗,со3, . . .), так что (Ts，=(ort+1. Функции pg удовлетворяющие условиям (1.3) и (1.4), однозначно определяют меру Р, сохраняющуюся при преобразовании Т. Это преобразование называется односторонним сдвигом. Односторонние сдвиги Бернулли п Маркова являются, очевидно, частными случаями этого общего одностороннего сдвига. Заметим, что сдвиг в примере 1.2 (который мы теперь можем назвать двусторонним сдвигом) обратим, в то время как односторонний сдвиг необратим.
Пример 3.3. Пусть Pf [Pff] — мера на пространстве (Q,炉),где определен двусторонний сдвиг, относительно которой координатные переменные х^с четными индексами независимы, принимают значение I с вероятностью р» и х2п = =%2也+1 [无2〃=尤2〃-11 для всех п е вероятностью 1. Сдвиг т не сохраняет ни »', ни Р", но сохраняет их среднее арифметическое Р = (Р‘ + PQ2 что следует из соотношений
р' (г*в)=р' (г*в)=Р(В)Р〃(8)Р(В)Р〃(8)P"(厂*)=P"(厂*)=Р〃 (В) Р'(В)Р〃 (В) Р'(В)для четного й, для нечетного &
р' (г*в)=
р' (г*в)=
Р(В)
Р〃(8)
Р(В)
Р〃(8)
P"(厂*)=
P"(厂*)=
Р〃 (В) Р'(В)
Р〃 (В) Р'(В)
для четного 归，
для нечетного k.
Из этих соотношений следует также, что
「史；£}[р'（4）Р'（7"）+ k=a「史；£}[р'（4）Р'（7"）+ k=aР" ({) Р"(厂⑵)]=Р ({) Р (8)・Р" ({) Р"(厂⑵)]=Р ({) Р (8)・
「史；£}[р'（4）Р'（7"）+ k=a
「史；£}[р'（4）Р'（7"）+ k=a
Р" ({) Р"(厂⑵)]=Р ({) Р (8)・
Р" ({) Р"(厂⑵)]=Р ({) Р (8)・
Если Д и В — цилиндры, то X и Т“8 независимы при Р' и Р" для достаточно больших 九.Следовательно, условие (1.8) выполняется. Тогда в силу теоремы 1.4 сдвиг Т эргодичен. Однако Т не обладает свойством перемешивания (если только одна из вероятностей р, не равна 1).
Меры на интервале
Обобщим диадическое преобразование из примера 1.6, заменив основание 2 основанием г》2.
Пример 3.4. Пусть Р — мера Лебега на классе ^ бо- релевских подмножеств полуинтервала Q = [0, 1), и пусть преобразование Т задано формулой 7'со = rco (mod 1). Если
/'(со) =，ни [//г, * + 1)〃) 2 = 0, 1, ...» /' — 1, то ючка з имеет по основанию г разложение S f^T^^/r11. Как и в случае г = 2, преобразование Т эргодическое (и даже перемешивающее). Применение эргодической теоремы показывает, что почти каждое число нормально по г (содерн<ит все знаки разлоне ей и я в одинаковой пропорции). Обозначим символом хп (со) /г-й знак разложения со по основанию г (т. е. /(rn-l(o)); тогда Х[,工2，• • • образуют последовательность независимых случайных величин, где Р {хп = /} = 1/г, i = 0, 1, .. ., г—1. Будем называть Т r-адическим преобразованием.
Пример 3.5. Определ им Q, 炉 н Т так же, как в предыдущем примере, но пусть теперь Р — любая мера, которая сохраняется при преобразовании Т. Общин вид г-адического интервала (диадического при г = 2)— [々/г", (&+1)/г“); он содержит точку з в том и только том случае, если первые п знаков Xj (со), ..., хп (со) ее разложения (по основанию г) имеют заданные значения. Так как конечные объединения непересекающихся диадических интервалов образуют поле, порождающее 夕，преобразование Т сохраняет меру Р в том и только том случае, если оно сохраняет меру каждого диадического интервала, или, что эквивалентно, в том и только том случае, если последовательность {工卜尤力...} образует процесс, стационарный относительно Р.
Этот пример показывает, что результаты эргодической теории и теории вероятностей можно превращать в результаты, относящиеся к единичному интервалу, и обратно. Например, из эргодической теоремы можно получить теорему о нормальных числах. В качестве примера обратной процедуры выведем специальный случаи теоремы существования Колмогорова из того, что (рункння распределения на единичном интервале задает на нем меру.
Пусть Р — мера на единичном интервале; мы сейчас не задаемся вопросом, сохраняется ли она при преобразовании Г(о = r(o (mod 1). Пусть pk — функция, определенная на последовательностях (八，...,z\) длины k знаков разложения по основанию г. Она задается формулой
ТогдаТогда(3.11)(3.12)(3.11)(3.12)рИм，..-,泪=p"1(8)=厶，...，xk (w) = zj.
Тогда
Тогда
(3.11)
(3.12)
(3.11)
(3.12)
Pk C^i» •, •»，也)。?
Pi (')= 1
(эти соотношения формально тождественны условиям (1,3)). С другой стороны, пусть нам даны функции р” удовлетворяющие условиям (3,12). Нужно построить на 5 вероятностную меру Р, удовлетворяющую соотношению (3.11).
Определим функцию 尸 r-адического рационального аргумента ulrk е [0, 1] формулой
尸(声)= \p后3，…，浦，(3.13)
где суммирование ведется по тем наборам /и ...» ，女,для которых ^-j < ~ . Значения функции в точках 〃/г〃 н ги/гм совпадают в силу второго из условий (3.12). Первое и третье из этих условий показывают, что А — неубывающая функция и 尸(1)=1. Так как сумма, соответствующая точке 0, пуста, то 户(0) = 0. Сделаем еще одно предположение, состоящее в том, что для любой последовательности знаков 八,...,4 разложения по основанию 厂 выполняется соотношение
lim仏必 г 一 1 一 • •, г 一 1) = 0・(3.14)
(Если имеет место (3.11), то это последнее условие должно выполняться, ибо не существует точки со, разложение которой оканчивалось бы наг— 1, г— 1, ....) Из(3.14)следует, что F —непрерывная слева функция r-адического рационального аргумента и, следовательно, может быть продолжена до функции распределения на [0, 1], т. е. до непрерывной слева】) неубывающей функции, такой, что Л (0) -= 0 и Л (1) — 1. Любой функции распределения 尸 па [0, 1] отвечает единственная вероятностная мера Р на 夕\ такая, что
Р[0, х) - F (х), 0 < ,г < 1.(3.15)
Отсюда и из определения F немедленно следует (3.11).
Если Р 乳 卩卜 связаны соотношениями (3.11), то преобразование Т сохраняет меру Р в том и только том случае, если
Pk• • •» »力)=Ph+i 乙，・• •，，力).(3」6)
I) Непрерывность слева является здесь условностью, вызванной тем, что мы имеем дело с интервалами, замкнутымп слева, которые естественно связаны с разложениями, конечными в рациональном случае.
Если ро， ..., pr„i — неотрицательные числа, меньшие 1, в сумме дающие 1, и если
%0г …，％) = %% …р%,(3.17)
то соотношения (3.12), (3.14) и (3.16) выполняются, так что существует мера Р на 炉,удовлетворяющая условию (3.11)
Рис. /.
и сохраняющаяся при преобразовании Т. В силу эргодической теоремы асимптотическая относительная частота, с которой знак i встречается в разложении точки ①，равна р± с точностью до множества м^ры 0 (в смысле меры Р). Если 勿 三 1", то 尸(尤)=尤，Р — мера Лебега и мы находимся в условиях примера 3.4.
Займемся теперь случаем /* = 3, и пусть р0 = 1/2, р{ = О, 卩2= 1/2. Тогда, согласно определению (3.13), F — функция Кантора; соответствующую меру Р будем называть мерой Кантора. Множество точек со, содержащих в своем разложении по основанию 3 цш|)ры 0, 1, 2 в относительных предельных пропорциях 1/2, 0, 1/2, имеет меру Кантора, рав-
ную 1, и меру Лебега, равную 0. Таким образом, функция Кантора сингулярна
Совершенно аналогичным образом убеждаемся, что если 尸 строится с помощью функций (3.17), то она сингулярна, если только р； не равны тождественно 1/г. Если ни одна из pg не равна 0, то F — строго возрастающая функция. На рис. 1 представлен график функции F в случае /* = 2, Po = O,7,pi = O3 Если эта функция выглядит лучше функции Кантора, то это только потому, что график ее вычерчивается с точностью до толщины линии. Части графика, соответствующие отрезкам [0, 1/2] и [1/2, 1], идентичны с точностью до масштаба вертикальной оси, и каждая из этих частей с той же оговоркой идентична всему графику. Именно этим свойством воспроизведения) должна обладать функция 尸，для того чтобы знаки диадического разложения 尤i(s),尤2(s),образовывали процесс Бернулли с соответ
ствующей мерой Р.
Теорема существования
Специальный случай теоремы существования Колмогорова, нужный для одностороннего сдвига (пример 3.2), следует из уже рассмотренного, так как любая мера Р на интервале может быть перенесена на пространство последовательностей элементов множества р = {0, 1, ...» г — 1} с помощью отображения а)^(х{ (со), х2(со), ...). Построив меру на произведении р X р X …，можно, конечно, заменить р любым множеством из г элементов — пространство состояний совсем не обязано иметь своими элементами знаки разложения по основанию г. Нарушение предельного соотношения (3.14) соответствует в р X р X точке с положительной вероятностью. Так как нетрудно построить точечные массы в этом пространстве, то условие (3.14) можно опустить./
Это рассуждение показывает, что если функции pk на последовательностях длины k элементов из р удовлетворяют
условиям (1.3), то существует вероятностная мера Р на р X р X ・・•, такая, что
Ра (^i> • • •» ^л) — Р {х\ (со) = i^ .. ., х (со) = i^,
где х( — координатные переменные *). Если верно соотношение (1.4), то мера Р сохраняется при одностороннем сдвиге.
Этот результат можно распространить на двусторонний сдвиг следующим образом. Пусть 小 отображает пространство р X р X ... на пространство ... X р X р X р X ... по формуле
屮(СО|, (О?, ...) = (..♦, (О[, (О?, (О J, (О3, (О5, . • . )}
где(о( стоит на нулевом месте в образе последовательности. Заданные функции 卩々，удовлетворяющие условиям (1.3) и (1.4), определяют новые функции
+ 〃— I Pk (^А—1 > ? • • > 厶，『2，М»^з» • • •» »々)Л』只 нечетного 阮
"I ' "1 / 仇，…•，厶，％，厶，％，•…，’々-i) Для четного 瓦
Для функций р+ выполняется (1.3) (но (1,4) может не выполняться), и» следовательно, существует мера Р+ на р ХрХ ..., такая, что
网&&) = P+{/(s) = k …，4(s) =，j.
Для меры Р+“т на ... X р X р X р X выполняется соотношение (1.2), и она сохраняется при двустороннем сдвиге. Таким образом, мы получили доказательство того специального случая теоремы существования Колмогорова, который встретился нам в примере 1.2.
Эргодичность и экстремальные точки
Рассмотрим вероятностную меру, сохраняемую некоторым фиксированным измеримым преобразованием Т на некотором фиксированном измеримом пространстве (□, 炉). Назовем меру Р эргодической, если относительно этой меры эргодично преобразование Т. Мы покажем, что если меры В и Р2 эргодические, то они либо совпадают, либо взаимно сингулярны. (Частный случай этого общего утверждения мы использовали при доказательстве сингулярности функции Кантора.) В самом деле, если Р{ и Р2 не совпадают, то Р{ (А) #= ^2 (^4) для некоторого { из 炉；если Л( — множество точек со таких, что
"吧 *(「％)=匕(4),
то 4 и 4 не пересекаются и Р (4) = 2(4) = 1，так что Р{ и Р2 взаимно сингулярны.
Отсюда следует, что если Р — эргодическая мера, а Р{ абсолютно непрерывна относительно Р (и, следовательно, тоже эргодична), то меры эти совпадают, так как они не могут быть взаимно сингулярны. Если Р не эргодична, определим меру Р{ равенством Р} (В) = Р(В\ А), где А — инвариантное множество и 0 < Р (X) < 1. Тогда Т сохраняет Ph а Р【отлична от Р и абсолютно непрерывна относительно нее. Таким образом, Р эргодична в том и только том случае, если не существует такой меры Р【(сохраняющейся при преобразовании Г), которая отличалась бы от Р и была бы относительно нес абсолютно непрерывна.
Предположим теперь, что Р является взвешенной средней двух мер О】и。2・ Иными словами, пусть Р = а^, + а2Р2 (т. е. Р (В) = а^] (В) + а2Р2 (В) для всех В из 夕)，где «!«2 > 0,必 +。2=1 и В * 户2・ Тогда Р[ отлична от Р и абсолютно непрерывна относительно нее, и, значит, Р не эргодична. А если так, то существует нетривиальное инвариантное множество 4 так что Р (В)^ Р (Д) Р(В \А) + + Р (Xе) Р (В I Ас) дает представление Р = a^i + сс2Р2. Итак, Р эргодична в том и только том случае, если она не может быть представлена в виде взвешенного среднего двух вероятностных мер, сохраняющихся преобразованием Т. (Эргодическая мера Р может быть, разумеется, взвешенным средним вероятностных мер, не сохраняющихся преобразованием Т; см. пример 3.3).
Конечные меры па ^ образуют линейное пространство; вероятностные меры, сохраняющиеся при преобразовании Т, образуют выпуклое множество в этом пространстве. Мы показали, что эргодические меры являются как раз экстремальными точками этого выпуклого множества.
3 а м е ч а н и е. Функционалы от цепей Маркова дают примеры сдвигов, которые обладают свойством перемешивания, не будучи марковскими сдвигами; см., например, Розенблат [1]. Более подробные сведения, касающиеся примера 3.5, можно найти в работе Харриса [1].
ПРИМЕНЕНИЕ К НЕПРЕРЫВНЫМ ДРОБЯМ *
Преобразование
Любое число со из единичного интервала можно представить в виде простой! непрерывной дроби !)
со = |*^ +(4.1)
где элементы ап — положительные целые числа. Это представление конечно в том и только том случае, если со рационально.
Для изучения эргодических свойств знаков разложения числа со по основанию г используется r-адическое преобразование Г(о = r(o (mod 1) на единичном интервале (пример 3.4) —знаки разложения Тео являются сдвинутыми на одно место знаками разложения со. Существует преобразование, аналогичным образом сдвигающее элементы ап, которое может быть использовано для изучения их эргодических свойств.
Пусть ① имеет представление (4,1), а другая точка единичного интервала о/ имеет представление
1+(oz 11+(oz 1ТогдаТогда
1
+(oz 1
1
+(oz 1
Тогда
Тогда
так что число 1/(о имеет своей целон частью [1/(о] элемент а1# а дробной частью {1/(о} — число s'. Будем изучать преобразование, переводящее s в {1/(о}.
')Об элементарных свойствах непрерывных дробей см., например, Харди и Райт [1] или начало книги Хпнчпиа [4].
Пусть пространство ^ есть полуинтервал [0, 1), а поле ^ состоит из его борелевских подмножеств. Определим преобразование Т формулой
т [ ОЗ}， если со 声 О,‘8 [0, если(о = О.
Если
,、I П/з], если со 声 О,Q(CO)= {八
I если= и
ап (со) = а (7'“т(о), 〃 = 1, 2,..
то 〃i(s), а2 (со), ... являются как раз элементами непрерывной дроби, представляющей з‘).
Нам потребуются некоторые результаты, касающиеся непрерывных дробей. Определим целозначные функции 卩江((0), qn (со) рекуррентными формулами:
Рт (з) = 1, & (<о) = 0, Рп (з) = ап (з) %т(3)+ р〃_2(3)，九》1 ；
(4.2)
7-1(w)= °. 70 (з) = 1, 7„ (з) = ап (з)氣_] (з) + qn_2 (<о), “》1.
(В рациональном случае р〃(®) и qn (со) определены только до тех пор, пока ап((о) конечны.) Стандартные рассуждения, использующие индукцию, показывают, что
S — I а；((о) + . ••十 |昨】(方 + I an (co) + T〃(o，PnT (s) qn (s) - pn (s) 4”1 (s) = (— 1)“，n>0,S — I а；((о) + . ••十 |昨】(方 + I an (co) + T〃(o，PnT (s) qn (s) - pn (s) 4”1 (s) = (— 1)“，n>0,и1 I%®)и1 I%®)+ I ^п-1(£0) * I &n (to) + %+ I ^п-1(£0) * I &n (to) + %Pn (co)+ 仇-1 ®) qni^ + tq^i (to)Pn (co)+ 仇-1 ®) qni^ + tq^i (to),П> 1, 0</<l.,П> 1, 0</<l.(4.3)(4.4)(4.5)(4.3)(4.4)(4.5)
S — I а；((о) + . ••十 |昨】(方 + I an (co) + T〃(o，PnT (s) qn (s) - pn (s) 4”1 (s) = (— 1)“，n>0,
S — I а；((о) + . ••十 |昨】(方 + I an (co) + T〃(o，PnT (s) qn (s) - pn (s) 4”1 (s) = (— 1)“，n>0,
и
1 I%®)
и
1 I%®)
+ I ^п-1(£0) * I &n (to) + %
+ I ^п-1(£0) * I &n (to) + %
Pn (co)+ 仇-1 ®) qni^ + tq^i (to)
Pn (co)+ 仇-1 ®) qni^ + tq^i (to)
,П> 1, 0</<l.
,П> 1, 0</<l.
(4.3)
(4.4)
(4.5)
(4.3)
(4.4)
(4.5)
Положив в (4.5) / = 0, получаем формулу для n-го приближения:
I «J ((0)十…十丨。"(CO) 7n(^)'
Соотношения (4.3) и (4.5) дают
=〃е(3)+ (Т“3)〃岭(G)
~ g*(to) + (Тп^) qn^ (со)'
Гл(о = 0 для некоторого п в том и только том случае, если ① рационально. Условимся считать элементы «„ ((о) бесконечными при % > 々, если наше представление — конечная Л-членпая непрерывная дробь.
и, используя (4.4), получаем
g以(G)处Jg)((T%)-%〃(s)十g"-【(3)) *
Так как
ап+\ (з) & (7"з)т 久 an+i (w) + 1,
TO
qtl(G)(«M(G)+少研1 (心))& I S _，，而 I & qn ((ЗГ(М+1 (to)⑺ > 1 )• (4・6)
Наконец, нам потребуется неравенство
|m с“®М(з)丨&击'心(4.7)
Справедливость его при 〃=1 может быть установлена непосредственной проверкой. Так как по соображениям индукции
狐(з)》2”т)/2, дп{ы)>2^1^ 〃》2,(4.8)
ТО
Р" ®)d (⑴-区k，心2•
Для 几》2 неравенство (4.7) следует из последнего неравенства.
Пусть 〃&, й = 1, ..., п, — положительные целые числа т). Обозначим символом 叁卜…，％ множество точек со таких, что @](8)= 〃1， ..., ап (со) = ап. Множество А® … ％, которое мы будем называть фундаментальным интервалом ранга п, играет здесь ту же роль, что r-адический интервал при изучении разложений по основанию г. Множество А% ... % является образом полуинтервала [0, 1), полученным с помощью функции ^0[ ап» определенной равенством
也「••％«)= [^J+ ••• +京 + 号，°&'<L
Из самого вида функции ясно, что 屮、…％ убывает при нечетном п и возрастает при четном п. В силу (4.5) имеем
屮％•••%（'）=屮％•••%（'）=Рп +佈-【 0" + ^7n-IРп +佈-【 0" + ^7n-I(4.9)(4.9)
屮％•••%（'）=
屮％•••%（'）=
Рп +佈-【 0" + ^7n-I
Рп +佈-【 0" + ^7n-I
(4.9)
(4.9)
')Не путайте с функциями ад (о); чтобы избежать недоразумений, мы не будем опускать аргумент со при записи этих функций (а также функций р左(со) и qk (to)).
где рп и qn определяются через элементы ak рекуррентными соотношениями, подобными (4.2). Поэтому
11"—, ‘厶”'“7 ) если п четно, а _ L " qn + qn-{ / ап — \、
严 p”L,也)，если /2 нечетно.
{ L 9" + Qn-iq注 /
Из соотношения (4.4) следует
依l・G = ^R^，(4」°)
где 九 означает меру Лебега. Таким образом, фундаментальные интервалы ранга п-образуют разбиение пространства Q на интервалы длины, не большей 2~п+'. В частности, класс всех фундаментальных интервалов порождает а-поле 炉 борелевских множеств.
Мера Гаусса
Легко видеть, что преобразование Т не сохраняет меру Лебега 兀 Однако на У существует мера, которая, как мы увидим, сохраняется при преобразовании Т, а именно мера Гаусса ■
Р(4)=鳥 1 击，』5 ".11)
Так как Р н 九 абсолютно непрерывны относительно друг друга, то соответствующие им множества меры 0 совпадают. Таким образом, если последовательность элементов Q](s), 〃2(s), . . - обладает некоторым свойством почти всюду относительно Р, то она обладает этим свойством и почти всюду относительно 九.
Для того чтобы доказать, что Т сохраняет Р, достаточно показать, что оно сохраняет меры отрезков [0, а]. Так как
e0，a] = 口[出，*
то нужно проверить только выполнение равенства
f dxJ 1 +хОf dxJ 1 +хОI/AI/A工IЕЕ 1/崛+а)工IЕЕ 1/崛+а)dxТУТdxТУТ
f dx
J 1 +х
О
f dx
J 1 +х
О
I/A
I/A
工I
ЕЕ 1/崛+а)
工I
ЕЕ 1/崛+а)
dxТУТ
dxТУТ
Равенство справедливо, поскольку 々•访 член в правой его части равен
a/左「 dxJ х + 1a/左「 dxJ х + 11п(1 + 1)-1п(1+тЫ =
a/左
「 dx
J х + 1
a/左
「 dx
J х + 1
= 1п(1+>1п(1+击)=
а/(/г + I)
Докажем теперь, что Т эргодично относительно Р. Фиксируем flj ... ап и будем обозначать со。［…％ через 屮 и △а［…％ через А„. Длина интервала А„ равна ± (屮(1)—屮(0)), и если 01, то длина интервала
{« ： V < 7"з < //} П Лп
равна 土(屮®)—屮(尤))со знаком + или —— в зависимости от того, четно или нечетно п. Поэтому
“А2(у)-2 ⑴
，勿I 一 3⑴(0).
В силу (4.9) и (4.4) имеем
九(厂"［上，g) a)=匂一*~Г.(4.12)
Так как второй множитель в правой части равенства лежит между 1/2 и 2, то
|^(Л)<^(ГПЛ|Л„)<2^(Л),(4.13)
где / =［尤，力 Тогда (4.13) справедливо и в случае, если А — объединение непересекающихся интервалов, следовательно, справедливо для любого Л из 炉.
Так как плотность меры Гаусса, определенной выражением (4.11), всегда находится между 1/2 In 2 и 1/1п 2, то
** 其Р(m)《嚮，M三 炉. (4.14)
Из (4」3) следует, что
'~Р(А)^Р(ГпА\^^СР (Л)(4.15)
для всех А из F, где С — абсолютная константа (С = 4/1п 2).
Предположим, что А — инвариантное множество. Тогда (?Тр⑷久Р(4|А“)и, следовательно, если Р (Л) >0, то С~'р(дп) <^(Ал |Л). Поэтому неравенство
±Р(Е)^Р(Е\А)(4.16)
выполняется для конечных объединений £ непересекающнхся фундаментальных интервалов. Поскольку эти множества образуют поле, порождающее 炉,то （4.16） верно для любого Е из 炉.Если положить Е =/； то получаем, что Р （Л） должна равняться 1. Поэтому Т эргодично относительно Р.
Из эргодической теоремы следует, что если / — интегрируемая функция на единичном интервале, то
п — 11
.丿必方»（7%）=强 1 П， B. （4.17） А = 0О
Здесь не имеет значения, к какой мере, Р или Л, относятся слова ”интегрируема" и „п. в・“.
Пусть f ~ характеристическая функция множества {（о : ^! （со） = й}. Тогда асимптотическая относительная частота, с которой число k встречается среди элементов а{ （со）, а2（（о）,..., почти всюду равна
In 2 J 1 + % In 2 也（也+ 2）・ !/（*+］）
В частности, последовательность элементов а} （со）, а2 （со）,... почти всюду неограниченна.
Положив f （со） = In а】（со）, видим, что
м fV /1 \ln^/ln2
1 呵 …а"（з） = ］］（1 + •好+ 2J п- в-
Если，（（о） = 〃］（（о）, то интеграл от f расходится к + оо. Мы приходим с помощью формальных операций к предельному соотношению
乎包® + •；； +“"（8）=8 П, В.
С помощью усечения нетрудно доказать это строго.
В применениях к диофантовым приближениям для нас важнее величина qn （（о）, чем аЛ（（о）. Мы докажем, что
1ь2
^-^^（＜0）= -^ п. в.（4.18）
Покажем сначала, что
п
77（^ = П（кУ+ +kW）-（4.19）
Из рекуррентных соотношений (4.2) с помощью индукции получаем р*(0 = q,Т0、и поэтому
1 行 p〃+i(7f)1 行 p〃+i(7f)(4.20)(4.20)
1 行 p〃+i(7f)
1 行 p〃+i(7f)
(4.20)
(4.20)
множителя в правой части сокра- (九 + 1)-го множителя. Но (4.20) естьмножителя в правой части сокра- (九 + 1)-го множителя. Но (4.20) естьтак как числитель ^-го щается со знаменателем как раз (4.19).
множителя в правой части сокра- (九 + 1)-го множителя. Но (4.20) есть
множителя в правой части сокра- (九 + 1)-го множителя. Но (4.20) есть
В силу (4.7) имеем
Iln d "-In (昂^ + ... +号鼎| &詁7Г，l&Y% и, следовательно, в силу (4.19)
in备=2 in宀+2 舟，⑼&i.
Поэтому
n—1
~1п 7л(w)= — "^1 Е「％ + ^ 4 * I 8 W L (4.21)
В силу эргодической теоремы
м—1I
既 YE InT% =-鳥 1T471nxdx П. B. 0
Интегрируя по частям, получаем
1ОО1
Йк j 山(1+х)勺=鳥 W (一1打备"dx = оо
1中(一1户
12 1п2 '12 1п2 '1п2 А (々+1)2 й=о
12 1п2 '
12 1п2 '
Таким образом, (4.18) следует из (4.21).
Соотношение (4.18) имеет несколько простых, но инте ресных следствий. Например, используя (4.6), получаем
lim — nf 8 Пlim — nf 8 ПInInл26 In 2л26 In 2
lim — nf 8 П
lim — nf 8 П
In
In
л2
6 In 2
л2
6 In 2
Таким образом, расхождение между s и его n-м приближением почти всюду порядка е~“館用山“ Далее, если Ал (со)——
фундаментальный интервал ранга и, содержащий (о, то в силу (4.10)
]冗2
lim - In К (Art (<о)) = — п. в.
Наконец, в силу (4.17) имеем
lim -^1пР(А„((о)) = —-^у п- в- (4.22)
Применение к диофантовым приближениям
Пусть {а„} — последовательность положительных чисел и Еп означает событие (〃"(8)>。门}. Так как величина Р (£п)= = Р{ап(со)>ап} порядка 1/%, то из леммы Бореля — Кантелли следует, что если £ 1/ап сходится, то число наступлений события ап (со) > а„ конечно, за исключением, быть может, множества меры 0 (относительно Р или 九).
Предположим, что 』1/а„ расходится. В силу (4.15)
Р(£"+』А")》С，(а； + 1)для любого фундаментального интервала ранга п, гдеCz — абсолютная константа. Поэтому
Р(£"…ПЕЮк][(1 - b(dm+】 + l)卜
Если 2 1/ап расходится, то произведение стремится к 0 при &f 8； следовательно,
Р(Е*П E*+i f] ...) = 0.
Так как это верно для каждого 优,то число наступлений события ап (со) > ап бесконечно, за исключением, быть может, множества меры 0. Мы можем теперь сформулировать следующий результат.
I Теорема 4.1. Число наступлений события ап (со) > ап бесконечно с вероятностью 0 или 1 s зависимости от того, Сходится или расходится S 1/а“.
Этот результат и соотношение (4.18) приводят к следую- 'щей фундаментальной теореме метрической теории аппроксимации:
Теорема 4.2. Пусть f (q) — положительная функция натурального аргумента q. (а) Если qf (q) — невозрастающая
функция и 汇 f(q) = 8, то для почти всех со неравенство
(4.23)
имеет бесконечно много решений 6 целых р и q. (b) Если £ f (д)< 8, то для почти всех s неравенство (4.23) имеет не более чем конечное число решений.
Доказательств о. (а) Выберем и зафиксируем натуральное ^ (скажем, ^ = 4), такое, что In 齿 > 冗2/12 In 2. Из (4.18) следует, что неравенство
；lnq“(3)<lnN(4.24)
выполняется с точностью до множества меры 0 для всех, кроме конечного числа, значений п. Если qp(n) = Nnf(Nn)t то, поскольку 炉(д) не возрастает, имеем
Nn+l~\у H^^lSlny.tpW,
так что 2<р(м) расходится, если расходится £,(«)• Из теоремы 4.1 вытекает, что неравенство
°"+1 ®) > 志"(4.25)
с точностью до множества меры 0 справедливо для бесконечно многих п.
Если выполнено неравенство (4.25), то в силу (4.6) и (4.2)
I Яп (to)丨 “ qn (to) 0g} (to)a计I (s) qn (to)2 ' qn (o)2 *
Но если (4.24) также выполнено, так что qJ^VN' то в силу того, что qf(q) не возрастает, имеем
cp(n) = Nnf(Nn)^qn^)f(qn^)), так что
I —师(s) I v f 仇(G))I qn (to) I ^ qn (to)'
Так как неравенства (4.24) и (4.25) с точностью до множества точек со меры 0 выполняется одновременно для бесконечного множества значений % то часть (а) теоремы 4.2 доказана.
Часть (b) вытекает из простых cboiictb меры Лебега, Если HQ — множество точек со, для которых неравенство (4.23) выполняется при каком-нибудь натуральном р, то Hq является объединением интервалов длины 2f (7)/7 с центрами в точках вида p/q. Так как таких точек на единичном интервале только «, то
2Mqi
Таким образом, часть (Ь) следует из леммы Бореля — Кантелли.
Перемешивание и проблема Гаусса
Усиление нашего доказательства эргодичности преобразования Т дает нам новые сведения.
Пусть 乳 есть о-поле, порожденное множествами вида {со: а后(s) = a} при h》п, н пусть 乡g=八纟也. Множество из а-поля 乡8，которое мы назовем хвостовым *) a-полем, зависит только от „бесконечно далекого будущего". Покажем сначала, что любое инвариантное множество „почти*4 лежит в этом хвостовом о-понс, т. е. если Л инвариантно, то Р (А-У В) = 0 для некоторого 8 三乡廿 Так как А 已炉,то Т~"4 巨乡"даже для неиивариантного А. Но если Л строго инвариантно, то Л = Т~пА е ^п для всех п и, следовательно, /в*®. Если же Л просто инвариантно, то Р (А -]~ В) = О для некоторого строго инвариантного множества В.
Так как в 00a существуют множества, не являющиеся строго инвариантными), то, возможно, 既 © содержит множество А, для которого 0 < Р (Л) < 1, даже если Т эрго- дично. (Если бы Т не было эргодичным, то 乡содержало бы такое множество /1, так как инвариантные множества „почти" лежат в 00c.) Если Р (Л) > 0, то для любого и множество А имеет вид Л = Т~пВ, где В 三 芋.Но в силу (4.15)
夫 Р (4) = 4" Р (厂"8)= } Р (В) & Р (厂"8 |Aj = P (Л I А„).
для любого фундаментального интервала Ап ранга п. Так как Р(Д)>0, то С'1Р (Дп) ^ Р (Дп I Л). Как и раньше [см. (4.16)], отсюда следует, что Р (Л) = 1.
Таким образом, хвостовое a-поле 0g тривиально в том смысле, что оно содержит только множества меры 0 или 1, —условие не менее сильное, чем эргодичность. В действительности, как мы увидим позже (в конце § 11), из этого условия можно сделать вывод о перемешивающем свойстве преобразования Т.
В письме к Лапласу *) Гаусс утверждал, что
lim 九{з: 7"з < х}=」叱泸=Р [0, х) (4.26)
для каждого х из единичного интервала, и интересовался оценкой ошибки при использовании n-го приближения. Запишем (4.26) в виде
lim I (In 2) (1 + s) Р (ds)=尸(4),(4.27)
/2 > 8 _n
где { = [0, х). Из того, что преобразование Т является перемешивающим относительно меры Р, вытекает, что
lim f f(^P(d^) = P(A) [ f(^P(d^)
…也о
для любой характеристической функции f и любого боре- левского множества А. Так как функция (In 2) (1 + s) равномерно аппроксимируема ступенчатыми функциями, то имеет место (4.27) (для любого борелевского множества Л). Таким образом, утверждение Гаусса вытекает из того, что преобразование Т является перемешивающим.
Другие методы показывают, что перемешивание равномерно экспоненциально, т. е.
Р (厂S+M 4 I &) = Р (4) (1 + Ор"),(4.28)
где I 0 I ^ Л, К и р— положительные константы (р < 1), не зависящие от ,4, 〃， k и А克.Отсюда следует, что сходимость в (4.26) равномерна и экспоненциальна.
Замечание. Многие из приведенных результатов, включая теорему 4.2, доказаны Хинчиным [1,2]. Его доказательства осложнены тем, что он не использует эргодической теоремы. Дёблин [1, стр. 336], по-впдимому, первым доказал (4.17) во всей общности, применяя эргодическую теорему.
Это письмо цитируется Успенским [I). Не ясно, каким доказательством этого утверждения располагал Гаусс.
Другое доказательство эргодичности преобразования Т см. в работе Рыль-Нарджевского [1].
Кузьмин [1] первым доказал (冬6), он получил оценку ошибки аппроксимации порядка р'“. Леви [1, 2] улучшил ее до р* доказав (4.28). Дёблицу [1] принадлежит другое доказательство соотношения (4.28) и еще много вероятностных результатов относительно непрерывных дробей.
Существует класс теоретико-числовых преобразований единичного интервала, содержащий в »виде специальных случаев преобразование непрерывных дробей и преобразование sf/чо(mod 1); см. Реньи [1] м Рохлин [3].
Кац [1] исследовал различные связи между теорией вероятностей и другими областями математики.
ГЛАВА 2
Энтропия
ПРОБЛЕМА ИЗОМОРФИЗМА
Существуют такие пары сохраняющих меру преобразований, которые, будучи формально различными, по существу совпадают. Сдвиг Бернулли ни в каком существенном отношении не изменится, если элементы пространства состояний р обозначить по-новому. Очевидно также, что вращение единичной окружности 7(о = ссо (пример 1.5) не отличается от преобразования Г(о = со + (arg с)/2л (mod 1) единичного интервала с мерой Лебега, а диадическое преобразование Ts = 2s (mod 1) единичного интервала не отличается от преобразования 7\о = со? единичной окружности с мерой Лебега.
Несколько более глубокий пример дает сравнение преобразования Тео = 2s (mod 1) на единичном интервале и одностороннего сдвига Бернулли с пространством состояний р = {0, 1}, ро=р[ = 1/2. Если мы сопоставим точки единичного интервала и элементы прямого произведения р X р X ... с помощью соответствия
О, (о[(02 ... (д, g)2' • • •)
.(мн на время игнорируем неоднозначность диадических разложений), то множества соответствующих точек (например, левый полуинтервал и цилиндр {со: х{ (со) = 0}) имеют одинаковую меру и оба преобразования действуют по существу одинаковым образом, ибо одно переводит точку 0,(0网 ... в 0,(O2w3 а другое — точку (со】, со?, . ..) в (со?, (о3,,..).
Изоморфизм
Необходимо ввести понятие изоморфизма для сохраняющих меру преобразований, подобное понятию изоморфизма, скажем, для групп. Пусть Т и Г — сохраняющие меру преобразования, определенные на вероятностных пространствах (Q,夕，Р) и (Q,疗，Р) соответственно *). В качестве предва-
')Далее всюду, где специально не оговорено противное, предполагается, что все преобразования 7； 7 к т. д. сохраняют меру.
рительного определения возьмем следующее: преобразования Т н 夕 изоморфны, если существует отображение ср пространства Q на С такое, что 1) ф взаимно однозначно; 2) если 才=屮力，то ｛三炉 в том и только том случае, когда Л 三炉，при этом Р(4)=尸(Л); 3) равенство(рТ(о =夕屮① выполняется для всех со. Условия 1 и 2 требуют, чтобы отображение ф сохраняло структуру измеримых пространств (Q,炉，Р) и (Q,炉，Р). Условие 3 требует, чтобы <р переводило Т в Т: один и тот же результат получается независимо от того, каким из двух путей совершается переход от верхнего левого Q к нижнему правому Q в диаграмме
Пары преобразований, рассмотренные в начале этого параграфа, изоморфны в указанном смысле, но все же данное определение неудовлетворительно. Предположим, что Т — тождественное преобразование пространства Q, состоящего из одной точки, а Г — тождественное преобразование пространства Q, состоящего из двух точек с массами 0 и 1 (炉 состоит из всех четырех подмножеств). Хотя отображения ср, подобного описанному выше, не существует уже потому, что пространства £2 и Q имеют разные мощности, преобразования Т и f по существу одинаковы — точка пространства Q с массой 0 не должна идти в счет. Вследствие неоднозначности диадических разложений для приведенного выше соответствия
О, (0|(02 . . . •*—*■ ((Ор ①2» • • •) возникает аналогичная трудность.
Нам нужно определение, которое было бы нечувствительно к множествам меры 0, т. е. такое определение, которое признавало бы преобразования Т и t изоморфными, если они становятся изоморфными после выбрасывания множества меры 0 из одного или из обоих пространств й и G. Пусть теперь Qo есть то, что остается после удаления из й некоторого множества меры 0, т. е. й0 — множество из 夕 меры 1. Тогда Т может рассматриваться как преобразование, определенное л ишь на Q。，в том и только том
с:у“аз се/in оно переводпг L2U и себя: Тз принадлежит D。 всякий раз, как со принадлежит 9» или, что то же самое, ЙорЛ2и(или, что то же, ◎()и 厂窝).Будем теперь считать Т и Т изоморфными, если, будучи суженными до преобразований, действующих на подмножествах й() и Q» удовлетворяющих соотношениям А)и7「“() и 整匚广笈山 они -становятся изоморфными в смысле предварительного определения. Это приводит к следующему определению.
Пусть существуют множества Q。 из 炉 и G。 из 犷, имеющие меру 1, 〃 отображение <р множества Qo на Qo, обладающие следующими свойствами.
(1[) Отображение 中 взаимно однозначно.
Если { и % и А = фЛ, то А ^ 芋 6 том и только том случае, когда А^ , при этом Р (X) = ^(Л).
Имеют место соотношения
Au 厂必(т. е. %п 叫)，(5.1)
' Йо и 广窝(т. е. Йо п Т^(5.2)
〃,наконец,
фГ(о = 7фсо(5.3)
выполняется для любого со из Qo.
В этом случае мы говорим, что преобразования Tut изоморфны (точнее, изоморфны (Q,夕，R Т) и (Q,京，户，f)) Для того чтобы подчеркнуть роль множеств Qo, Qo п отображения ф, можно говорить, что преобразования Т и 夕 изоморфны относительно тройки (Qo, Qo,屮).
(Условия (IJ и (12) представляют собой определение одинаковости самих пространств с мерой (Q,炉，Р) и (Q,炉，Р). Условие (13) — только в нем фигурируют преобразования Т и Т — утверждает, что эти преобразования абстрактно тождественны.)
Следующие замечания содержат утверждения теории меры относительно нульмерных множеств, нужные для точной трактовки понятия изоморфизма.
}) Это понятие иногда называют изоморфизмом по модулю 0, или изоморфизмом по модулю множеств меры 0, или почти изоморфизмом. Отказавшись от предварительного определения, можно опустить подобные уточнения.
Замечание 1. Данное выше предварительное определение- соответствует частному случаю, когда можно выбрать тройку (С。，L20, ф) таким образом, что Co = Q и Йо = Q, Тогда равенство
Т~П^А = ^'Т~,1А (5.4) верно для любого подмножества Л множества Q и любого п》0.
Замечание 2. В связн с соотношением (5.3) заметим, что если(о е Qo, то срсо е Йо, так что в силу (5.1) и (5.2) Тз и 7'(рсо принадлежат множествам Qo и Йо соответственно. В этом случае условие (5.3) требует соответствия точек 丁① и Гфсо относительно отображения <р. Ослабим условие (13), опуская требования (5.1) и (5.2) и предполагая только справедливость (5.3) всякий раз, как элементы со и Тео оба принадлежат множеству Qo. Если тройка (Qo, £%,屮)удовлетворяет условиям определения, где (13) ослаблено указанным образом, то преобразования Т н 夕 не обязательно изоморфны относительно тройки (Qo, Qo,屮)，но легко видеть, что они изоморфны относительно тройки (◎], Qp ф,), где Qi = Q Т^пО.^。[=电0] н ф! — сужение 屮 на Q「(На самом деле преобразования Г и Г изоморфны, даже если вместо условия (1з) мы потребуем, чтобы (5.3) выполнялось всегда, когда имеют место соотношения(0三0仍 丁①三。。и ?(pcoeQo.)
Замечание 3. Мы должны показать, что изоморфизм является отношением эквивалентности. Очевидно, что преобразование Т изоморфно самому себе; следовательно, изоморфизм рефлексивен. Если Т изоморфно Г относительно тройки (С。，Йо, ф), то Т изоморфно Т относительно тропки (Qo( Qo, ф-1); следовательно, изоморфизм симметричен. Для доказательства транзитивности изоморфизма нужно показать, что если Т изоморфно f и Г изоморфно третьему преобразованию 7" (определенному на пространстве (П* 炉'，Р')), то Т изоморфно 7V. Допустим, что Т изоморфно f относительно тройки (Qo, Qo,屮)н 夕 изоморфно 7v относительно тройки (□1, ◎；, 3). Пусть 心= 0иП&,。2 =屮702, Qo = грЙ2, и пусть 屮2 н 巾？ являются сужениями отображеииГ!中 и 屮 на Q? и ^соответственно. Нетрудно показать, что преобразование Т
изоморфно t относительно тройки (£% 0力(р2) н f изоморфно 7V относительно тройки (工芍，里；，电)} Так как образ множества Q2 при отображении ср2 совпадает с множеством 広， на котором определено отображение 屯，то с помощью композиции (р2 н 屮2 можно получить взаимно однозначное отображение 自 множества Q2 на Q$: g(co) = i|)2 ((p2(w)). Теперь нетрудно убедиться, что Т и Т‘ изоморфны относительно Тройки @2, &, Ю-
Замечание 4. Если преобразование Т изоморфно 7‘. относительно тройки (Qo, L20,屮)，то в силу соотношений (5.1) и (5.2)
Qo и 厂依0 с=厂 2q()и(т. е. & п 丁必 n T’Qo =)...) (5.5)
и
Qo и f-1Qo и r2Q0 c= (т. e. Qo=)T^ n f2^ n . . .). (5.6)
Далее, из (5.3) следует по индукции, что если со ен Qo)то
^Тп^ - Тп^(5.7)
выполняется при всех п ^ 0. (В частности, Тп н Тп изоморфны при всех п.) Наконец, из соотношений (5.5), (5.6) и (5.7) следует, что если Л и В — множества из поля 疗 и если
{ -(p^(Q0 口才)，В = ф" (Qo П 皮，(5.8)
то
{ П Гпв - Q & n N П Т~пв\ и>0,(5.9)
откуда
Р (Д П Т~пВ)- (/1 А Г,1В\(5.10)
ибо множества Qo и Qo имеют меру 1.
Замечание 5. Обратимые изоморфные преобразования Т и Т фактически изоморфны относительно тройки (Qo，С。，ф), обладающей тем специальным свойством, что множества й0 и Qo строго инвариантны： Q()=T~Q и 焉=广匾(если это необходимо, заменим Qo на Q rnQ0
н 焉 на 仆 夕脸°). Однако, вообще говоря, это не справедливо: возьмем, например, в качестве Q пространство, состоящее из одной точки, а в качестве преобразования 7
односторонний сдвиг, при котором вся масса сосредоточена в некоторой точке вида (八 z, z,...).
Различные пары преобразований, которые мы обсуждали в начале этого параграфа, изоморфны в смысле нашего определения. Рассмотрим еще несколько таких пар.
Пример 5.1. Преобразуем единичный квадрат Q, удваивая каждую координату по оси х и вдвое уменьшая каждую координату по оси у. Преобразованный квадрат состоит из прямоугольников В и С (рис. 2). Переведем
теперь прямоугольник С в прямоугольник А с помощью сдвига. Мы определили таким образом некоторое преобразование Т, переводящее пространство Q в себя и сохраняющее меру Лебега. Это преобразование называют преобразованием пекаря. Между преобразованием Т и сдвигом Бернулли (1/2, 1/2)') существует изоморфизм, осуществляемый посредством соответствия
(х, //) = (0,修心0, у\у.ь .. .)<->(..., у?, у” 修,х2,...),
где 0,尤]%2 • • • и О, У1У2... — двоичное разложение чисел хну.
Пример 52 Пусть преобразование Т — сдвиг Маркова с пространством состояний р, стационарными вероятностями р, и вероятностями перехода ри. Тогда преобразование Г изоморфно сдвигу Маркова Т с пространством состояний 0 = р2, стационарными вероятностями p(r；)= PiPij и вероятностями перехода р^г 7-)(*, /)= PjkPkb Если Q [Q]— пространство бесконечных в обе стороны последовательностей элементов пространства р [р], а хп [хп] — координатные переменные, то нужно только положить Qo == Q, й0 = Q и
опреде/нггь отображение ф при помощи равенства хп (фсо)= = (.v2,2(w), х2п + 1(и)).
Пример 5.3. Если в качестве стационарных вероятностей и вероятностей перехода, соответствующих преобразованию Т из предыдущего при мера, взять соответственно P(i.j)= PiPij п P〈a = 6ji1Plm то преобразование f будет изоморфно самому преобразованию Т. Мы снова полагаем Q()= Q, но £2() определяем на этот раз как множество точек G, для которых вторая компонента координаты хп (й) совпадает с первой компонентой координаты х/г+1 (со) при всех п, а отображение 屮 определяем соотношением £"((ps) = =(х„_| ®), х〃 (со)).
Пример 5.4. Пусть преобразование Т — двусторонний сдвиг с пространством состояний р = {0, 1}; предположим, что наша мера Р такова, что не существует точечных масс. Пусть Q пространство бесконечных в обе стороны последовательностей действительных чисел, как в примере 1.7. Пусть образ (рсо элемента со пространства Q является точкой пространства Q, 〃-я координата которой есть
£ xn^k((a}l2M = 0, хп (со) ,r„_j (со) . . . (двоичное разложение). Тогда сдвиг Г изоморфен сдвигу 7, определенному на пространстве Q с мерой 户=Р(р〕 Можно показать, что в пространстве 0 координатные перемениые {手拉} образуют относительно меры Р марковский процесс с единичным интервалом в качестве пространства состояний.
Следующий пример показывает» что наше определение изоморфизма все еще не вполне удовлетворительно.
Пример 5.5. Сравним тождественное преобразование Т, определенное на пространстве Q, состоящем из одной точки, с тождественным преобразованием f на пространстве Q, состоящем из двух точек, причем поле 夕 содержит только пустое множество и само пространство Q. Хотя преобразования Т н Т неизоморфны, они имеют по существу одинаковую структуру, ибо поле 疗 таково, что у нас нет возможности различать две точки пространства Q.
Этот пример характеризует некоторую трудность, которую можно обойти, заменяя понятие изоморфизма понятием сопряженности. Грубо говоря, на этом пути игнорируют в зна-
чптелыюй степени точки и точечные преобразования и имеют дело с множествами и преобразованиями множеств, для которых формулируют соответствующие понятия одинаковости. Два преобразования, совпадающие в смысле этой теории, называют сопряженными.
Вопрос состоит в том, какое понятие одинаковости принять. Преобразования Т н Г примера 5.5 удовлетворяют определению сопряженности. Тот факт, что эти преобразования пеизоморфны, можно приписать дефекту вероятностного пространства (Q, 炉，Q), на котором определено преобразование Т. Понятия изоморфизма и сопряженности совпадают для большинства естественных пространств; так как эти понятия совпадают и для всех специфических пространств, встречающихся в этой книге в связи с примерами (за исключением только что рассмотренного), то мы выберем изоморфизм в качестве нашего понятия одинаковости сохраняющих меру преобразований. Однако дальше в этом параграфе мы все же определим понятие сопряженности и докажем, что оно действительно совпадает с понятием изоморфизма для преобразований, определенных на некотором классе пространств, достаточно широком, чтобы включать в себя все те конкретные пространства, к которым мы применяем наши общие результаты.
Инварианты
Так же как можно задаться вопросом, являются ли знакопеременная группа из пяти букв и группа симметрий икосаэдра различными конкретными представлениями одной и той же алгебраической структуры — т. е. являются ли они изоморфными в смысле теории групп (а это так и есть),— можно задать вопрос, являются ли два конкретных сохраняющих меру преобразования абстрактно одинаковыми в смысле принятого определения изоморфизма. Например, изоморфен ли сдвиг Бернулли (1/2, 1/2) сдвигу Бернулли (1/3, 1/3, 1/3)?
Для доказательства изоморфности двух преобразований нужно построить соответствующую тройку (Qo, Qo,屮). Для доказательства неизоморфности двух преобразований нужно отвергнуть — предпочтительно одновременно — все возможные варианты выбора тройки (Qo, й0, <р). Следующее рассуждение показывает, что так же как две группы не могут быть изоморфными, если одна из них коммутативна, а другая нет, так и два сохраняющих меру преобразования не могут
быть изоморфными, если одно нз них обладает свойством перемешивания, а другое этим свойством не обладает.
Предположим, что Т н 夕 изоморфны относительно тройки (Qo, Q。，屮) и Т обладает свойством перемешивания; мы должны доказать, что тогд,а f также необходимо обладает этим свойством. Для того чтобы уловить основной момент рассуждения, предположим сначала, чго Qo = Q и 0° = 0 (так что преобразования Г и Г изоморфны в смысле предварительного суженного определения). Мы имеем тогда для любых множеств Л и В поля 炉 (см. (5.4))
Р(ДПГ^) = Р(ф-1ЛПфЧГпВ)=
=p (ф-1Л n LV%) f p (中7浦 Р (中7万)=R (力户(e), где использовано свойство перемешивания преобразования 7\ Таким образом, преобразование f перемешивающее.
Некоторое изменение этого доказательства покрывает общий случай, когда не предполагается, что Qo = Q и Qo = Q. Для множеств Л и В поля 炉 положим Л = ф'1 (Qo Q А) и В = ср"1 (Qo П S)； в силу (5.10) имеем
Р{А(]Т~пВ)= Р(А(] Т'пВ)^Р (Л) Р(В) = Р (Л) Р (В).
Итак, свойство перемешивания является инвариантом: если одно из пары сохраняющих меру преобразований обладает этим свойством, то и другое им обладает. Используя этот инвариант, убеждаемся, что сдвиг Бернулли не может быть изоморфен вращению окружности или сдвигу Маркова с периодической матрицей вероятностей перехода.
Другим инвариантом является эргодичность (нужно заменить в приведенном доказательстве обычные пределы пределами по Чезаро и применить теорему 1.4). Поэтому, например, сдвиг Маркова с приводимой матрицей вероятностей перехода не может быть изоморфен никакому сдвигу Маркова с неприводимой матрицей ]).
Обратимость не является вполне инвариантным свойством: изменим обратимое преобразование, отображая все точки некоторого множества меры 0 в одну и ту же точку. Если, однако, преобразование Т изоморфно некоторому обра-
】)Инвариантом более мощным, чем перемешивание и эргодичность, является спектральная структура изометрического оператора, порожденного преобразованием Т. Этот инвариант будет рассмотрен в конце иа* стоящего параграфа.
тимому преобразованию Т, то Т взаимно однозначно на некотором подмножестве Qo меры 1. Отсюда следует, что двусторонний сдвиг не может быть изоморфен одностороннему, если только вся мера, отвечающая последнему, не сосредоточена в точках вида (z, z, Z, ...). Вообще говоря, можно сформулировать инвариантное определение обратимости, но мы не станем этого делать.
Чем больше структур различает инвариант, тем он полезнее; лучше всего, если он полный. Размерность является полным инвариантом в векторных пространствах (скажем, вещественных) в том смысле, что два векторных пространства одинаковой размерности необходимо изоморфны. Эргодичность не является полным инвариантом для сохраняющих меру преобразований: очевидно, что существуют неизоморфные пары преобразований, каждое из которых эргодично (или оба не эргодичны). Свойство перемешивания также не является полным инвариантом.
Вернемся к вопросу об изоморфизме сдвигов Бернулли (1/2, 1/2) и (1/3, 1/3, 1/3). Эргодичность и перемешивание не являются, разумеется, инвариантами достаточно сильными, чтобы различать эти сдвиги, ибо оба сдвига перемешивающие и, следовательно, эргодические. Вопрос о том, изоморфны ли эти два сдвига, много лет не поддавался решению. Наконец Колмогоров разрешил эту проблему в отрицательном смысле, введя новый численный инвариант — энтропию сохраняющего меру преобразования. Оказалось, что сдвиги Бернулли (1/2, 1/2) и (1/3, 1/3, 1/3) имеют различные энтропии и потому неизоморфны. Инвариант Колмогорова — это существенным образом измененное понятие энтропии, введенное ранее Шенноном в теории информации. Здесь мы нарушим историческую последовательность. В этой главе мы изучим детально инвариант Колмогорова, а позднее применим полученные результаты к теории информации.
Энтропия
Нам потребуется несколько определений, которые мы дадим сначала формально, отложив мотивировку на дальнейшее. Везде далее мы будем обозначать буквами 晓, 0 и @ конечные подполя поля 炉.(Конечное подполе автоматически является a-полем.) Если {Xi, ...» Лп} есть ^-разбиение пространства Q, т. е. конечная совокупность непе- ресекающихся непустых элементов поля 炉,объединение которых совпадает со всем пространством й, то класс всех конечных объединений элементов этого разбиения является
конечным подполем поля 区.Легко вит.еть, что и обратно, любое конечное подполе получается таким образом из некоторого с^-разбиения. Элементы такого разбиения будут называться атомами соответствующего конечного поля. Между ^-разбиениями и конечными подполями поля 5 существует полная двойственность. Например, Ли 俯 в том и только том случае, если разбиение, соответствующее конечному подполю .争，мельче, чем разбиение, соответствующее JL, в том смысле, что каждый атом подполя ,4 является объединением атомов подполя .好.
Для любо1"1 совокупности множеств 孑 можно записать 广堂={厂"? : Е Й°); если cf — поле (или а-поле, или конечное поле, или ^-разбиение), то то же самое справедливо и по отношению к 厂“孑，Если преобразование Т обратимо, это же верно и для Т"£ = {Т"Е ： Е w if}. Если 孑⑴ А,— произвольные совокупности множеств, то символом V 窘
будем обозначать о~поле, порожденное объединением (J ^а
(в конечном случае будем писать V V ... V 淨也)・Если Л и .^ — конечные поля, то 从 V %—также конечное
и атомови атомовВВРис. 3.Рис. 3.поле. В самом деле, атомы поля 贫 V .纪 являются по предыдущему (непустыми) пересечениями Л П й атомов Л нон" ■/
и атомов
и атомов
В
В
Рис. 3.
Рис. 3.
Далее во веси книге будем обозначать символом “(f) функцию, определенную на единичном интервале формулой
I — / In /, если 0 < / ^ 1,П”)=(0 = 01п0, если / = 0.("I)
Мы постоянно будем использовать основные свойства функции п： она неотрицательна, непрерывна, строго выпукла и 1](0) = н⑴=0 (рис. 3).
Энтропия иреобразования 7’ определяется в три шага.
Энтропия конечного ноля 2 определяется фо])мулоп
HU)^^^(P(A))^ - ^Р(А)\пР(Л),(5.12)
где суммирование производится по атомам Л поля ,4. Энтропия конечного поля 儿 относительно преобразования Т есть
(5.13)(5.13)/?(贸，Т)=йт~Н{\/
(5.13)
(5.13)
八＞ оо儿 \々=0
(Оказывается, что верхний предел в этом выражении совпадает с обычным пределом.) Наконец, энтропия преобразования Т задается выражением
/"T) = sup/2(儿 Т), (5.14)
где верхняя грань берется по всем конечным подполям JL поля 炉.
Для понимания интуитивных идей, лежащих в основе этих определений, рассмотрим кость с г гранями. В качестве меры количества случайности при однократном бросании этой кости возьмем неотрицательную величину
(5.15)(5.15)
(5.15)
(5.15)
где pi, ..., рг — вероятности, соответствующие различным граням кости. Здесь мы не будем углубляться в подробности, но, вообще говоря, можно вывести (5.15) из некоторой системы аксиом, которым должна была бы удовлетворять мера случайности. Заметим, что выражение (5.15) достигает максимума (равного In г) в том и только том случае, если *) каждая вероятность ，р, равпи 1/г; подобная кость интуитивно представляется „наиболее случайной1*. Другого экстремума —нуля — выражение (5.15) достигает в том и только том случае, когда одна из вероятностей р, равна 1, а другие 0; такая кость — „наименее случайная**.
В любом случае мы рассматриваем выражение (5.15) как меру количества случайности в эксперименте, состоящем в однократном бросании нашей кости, и называем его энтропией
!) Функция £ n (р, + /е/) имеет отрицательную вторую производную по депствптслыюн переменной /; следовательно, (5.15) есть строго выпуклая функция вектора вероятностей (рь ...,力).Максимум ее можно найти дифференцированием.
этого эксперимента. Эта величина измеряет также количество неопределенности, содержащейся в этом эксперименте, т. е. количество неопределенности до бросания кости относительно того, каков будет его результат. Наконец, эта величина измеряет информацию, содержащуюся в этом эксперименте, или количество информации, получаемой в результате бросания. Тот факт, что случайность и неопределенность имеют естественную общую меру, неудивителен. Вследствие „формулы**
прирост информации = устраненная неопределенность представляется разумным, что неопределенность и информация должны измеряться с помощью одной и той же функции. (Предполагается, что экспериментатор знает вероятности р,, но не знает заранее, какая грань выпадает при каждом отдельном бросании.)
Конечное поле Л играет роль эксперимента с конечным числом исходов. Богиня Тихе выбирает точку s из пространства Q в соответствии с вероятностной мерой Р, но открывает экспериментатору только тот атом поля 院,который содержит точку ш. Атомы поля Л выступают в качестве исходов этого эксперимента, а выражение (5.12) измеряет информацию (а также неопределенность), в нем содержащуюся.
Например, для того чтобы выбрать некоторую точку со из пространства двенадцати точек
(Г, 1)(Г, 2)(Г, 3)(Г, 4) (Г, 5) (Г, 6)
(Р, 1)(Р, 2)(Р, 3)(Р, 4)(Р, 5)(Р, 6),
Тихе бросает монету со сторонами Г и Р и кость с гранями 1, 2, 3, 4, 5, 6. Если нам известен лишь результат бросания монеты, то мы знаем только, из какой строки выбрана точка со; эти две строки являются атомами конечного поля, формально представляющего эксперимент, состоящий в бросании монеты. Энтропия этого конечного поля не зависит от индивидуальных вероятностей данных двенадцати точек; она зависит только от вероятностей двух указанных атомов.
Так как атомы поля 院 V .务 представляют собой пересечения атомов поля Л и поля 召,то, если нам известно, какой атом поля 院 V 召 содержит точку со, то тем самым мы знаем, какой атом поля Л и какой атом поля 箔 содержат со. Таким образом, поле Л V .务，рассматриваемое как эксперимент, является соединением экспериментов, соответствующих полям 儿 и 毋.
Если Т — сохраняющее меру преобразоваипе, то L儿一 конечное поле с тем же числом атомов, что и поле 晓，и соответствующие атомы имеют равные вероятности. Так как поля 从 н 厂庚 имеют одинаковую вероятностную структуру, то их можно считать реализациями одного и того же эксперимента. Отмстим, что эти реализации не обязательно независимы; знание того, что точка s лежит в некотором определенном атоме поля 匸儿,может помочь экспериментатору определить, какой атом поля Т^% ее содержит (т. е. какой атом поля 贽’содержит точку Т(о). Будем рассматривать поля г見 и Т~\Л как реализации эксперимента, совершающиеся в последовательные моменты времени (скажем, в следующие друг за другом дни), и такое представление мы сохраним даже н в случае, когда преобразование Т не является сдвигом.
м — 1
В этой интерпретации конечное поле V 院 соответ- А = 0
ствует сложному эксперименту, состоящему из п реализаций 儿 厂‘儿к"""儿 эксперимента, соответствующего полю Л- Для того чтобы получить информацию, приходящуюся на одну реализацию эксперимента, разделим на п количество информации 〃(\/ 丁一*儿)сложного эксперимента.
При пт 8 информация пГ[Н V Т~кЛ , приходящаяся на /
одну реализацию, стремится (как мы увидим) к пределу % (4, Т), который мы рассматриваем как среднюю скорость создания информации при большом числе реализаций эксперимента 贫. Функция Л (Г) есть верхняя грань этих скоростей по всем экспериментам 4
Рассмотрим в качестве специального случая сдвиг. Пусть пространство состояний р есть некоторый алфавит, а координатные переменные хп — буквы этого алфавита, последовательно доставляемые некоторым источником информации. В английском языке буква Е встречается значительно чаще, чем Q, как это известно всем, включая изобретателя азбуки Морзе, который обозначил букву Е символом • , a Q символом ~. Если развивать далее эту идею, то она
приведет к плодотворной точке зрения, согласно которой английский текст можно воспроизвести с помощью вероятностного механизма. Сдвиг дает подходящую математическую модель, в которой мера Р описывает структуру языка.
Пусть теперь 儿—конеиное поле с атомами {со : х0 (со) =^ /}, где i пробегает алфавит р. Это поле, которое мы будем называть полем собьятий, наблюдавшихся в момент времени 0, ибо оно определяет букву, полученную в момент времени 0, имеет энтропию 』“(Р {х0 = £}), измеряющую количество информации, доставляемой источником при создании им одной отдельной буквы. Так как T~" {%()= " = {尤总=z}, п — 1
то атомами поля V 尸庆 являются гп множеств {х0 = /0,... 月=0
..= 〃_[}・ Таким образом,
；"(工厂"卅)=/ 1n仍阮П。х〃т =，"t}) (5.16) % …%一1
есть информация, приходящаяся на букву в сообщении длины п. Предел 力(儿,Т) есть информационная скорость источника【)・
Если Т — сдвиг Бернулли (卩卜...,р), то простые вычисления преобразуют (5.16) в
X ^PiPi.-'-Pi^-^p^Pb
так что источник, последовательно доставляющий буквы независимым образом, имеет информационную скорость
〃(儿 Т) = - J Pi In 〃.
Заметим, что эта скорость наибольшая, когда все вероятности pg, соответствующие различным буквам, равны 1/г, т. е. когда мы находимся в „чисто случайной14 ситуации, что кажется сначала парадоксальным. Но чем ближе источник к чисто случайному, тем менее он стереотипен и, следовательно, более информативен. Несущественно, что именно создает источник информации, важно только, насколько предсказуемо то, что он создает.
Возвращаясь к математике, покажем, что энтропия инвариантна по отношению к изоморфизму. Пусть Т изо-
')Это определение Шеннона. Идея Колмогорова состояла в изучении функции А (Т), которая определена для любого преобразовешия Т (а не только для сдвигов) м используется в эргодической теории.
морфно 7 относительно тройки (Qo, Qn)屮)，где для простоты мы сначала предположим, что &)= ◎ и Q)= 0. Тогда каждому конечному подполю ,4 поля 炉 соответствует некоторое конечное подполе ,二2 =中,儿={${ : 4 巨贫} поля 炉，и обратно. Так как отображение (р переводит меру Р в 万，т。 〃 (4) = 〃 (%). Если конечные подполя Л и，幺 поставлены друг другу в соответствие, то в силу (5.4) друг другу соответствуют V 7f儿II V厂院, и, следовательно, в силу (5.13) ae九:0.
имеем "(4, Т、= h«£,彳).Таким образом, для каждого подполя '•儿 существует такое подполе，Ж что 九(贫，Т) = /2(4, Г), и обратно. Взяв верхнюю грань, видим, что h(T) = h (Г).
Если не делать специального предположения, что Qo = Q и Qn == Q, то потребуется несколько более сложное рассуждение. Так как изоморфизм — отношение симметричное, то достаточно доказать, что Л (f) ^ h (Т). Пусть сЛ — некоторое конечное подполе поля 京 с атомами 儿,...,Лг. Положим Ai = ф-1 (Qof] Д), z = 1, ..., г, и пусть Л — такое конечное подполе поля 炉,которое имеет своими атомами 厂+1 множество /1], ..., Аг> ◎：. Используя обобщение формулы (5.10), получаем
/应Г4『％#@",
> 厂 4fc
о '•' %Т ' '九=01
Эта последняя сумма распространяется на все атомы V 厂 1抡，за исключением тех, которые содержат множитель T~kQot имеющий меру 0. Поэтому Н(\/ 7"滉) = 〃(V 厂'力)， \А=0/ \k=Q /
так что /"£ 歹) = /z(4 T)・ Неравенство h^, T) < h (T) выполняется для любого конечного поля 滉,следовательно 九团《力⑺.
Итак, изоморфизм сохраняет энтропию. Отметим здесь, что энтропия не является полным инвариантом. Если 7\— циклическая перестановка А точек равной массы (о-поле состоит из всех подмнонсеств этого пространства), то /2(*) = 0
для всех к、хотя очевидно, что перестановки Tk для различных k неизоморфны.
Очень важно понимать, в чем состоит различие между функциями 九(儿，Т) и 力(7) и зачем последняя вводится. Если в качестве энтропии преобразования Т взята функция /г(院,Т) для некоторого „естественно14 выбранного подполя 院,например в случае сдвига для поля событий, наблюдавшихся в момент времени 0, то вследствие неинвариантного определения она может оказаться бесполезной для проблемы изоморфизма. Мы определяем /г(Т) как верхнюю грань для 九(儿，Т) именно для того, чтобы сделать энтропию инвариантной. IIо тогда возникает вопрос, как ее вычислять. Мы вычислили, например,九(贫，Т) для сдвига Бернулли и для поля событий, наблюдавшихся в момент времени 0, но возможно, что некоторая %(,密，Т) превосходит /г(贫，Г), Если мы пожелаем вычислить энтропию самого сдвига Бернулли, потребуется нечто иное.
Колмогоров получил важный результат, который мы сейчас используем: если Т обратимо 〃 Л — такое конечное поле, что *) V ТпЛ = ^у то h(T) = h (<^, Т). п = — оо
Предполагая справедливость этой теоремы, которую вместе с ее вариантами мы докажем в § 7, можно вычислить энтропию сдвига Бернулли. В самом деле, если Л — поле событий, наблюдавшихся в момент времени 0, то поле
V ТпЛ содержит все множества вида Т~п {х0 == z} = {х„ = /}, П = — оо следовательно, все цилиндры, и должно, таким образом, совпадать с о-полем, порожденным этими цилиндрами. Следовательно,力(7)=九(院，Т)= — ^ р^п ph что является не определением, а следствием нашей теории. В частности, сдвиги Бернулли (1/2, 1/2) и (1/3, 1/3, 1/3) имеют энтропии In 2 и In 3 соответственно и, следовательно, неизоморфны.
Энтропия является, таким образом, инвариантом достаточно сильным, чтобы решить поставленную раньше задачу. Теперь стала ясна и наша программа. Мы должны вывести свойства функций 〃(儿)，九(晓，Т) и h(T), достаточные для
I) Напомним, что \/ Тп<Я есть a-поле, порожденное объединением
К п — ОО
U 7"儿
того, чтобы доказать результат Колмогорова, который занимает центральное место во всей этой теории.
С проблемой изоморфизма тесно связана теория кодирования, изложенная в гл. 5. Многие результаты настоящей главы находят там дальнейшее применение.
Изоморфизм и сопряженность *
Предположим, что преобразование Т изоморфно f относительно тройки (Qo, 6°, ф). Можно использовать этот изоморфизм для того, чтобы сопоставить множества поля 夕 и множества поля 炉 следующим образом.
Будем называть множества Л и В поля 炉 эквивалентными и писать А^ В всякий раз, когда Р (Л + В) = 0; то же относится и к множествам поля 炉.Это понятие эквивалентности рефлексивно, симметрично и транзитивно. Пусть Л — множество поля 炉 и Л — множество поля 步；будем сопоставлять их друг другу всякий раз, когда существуют такие множества До и До, принадлежащие ролям F н 炉 соответственно, что До и Qo, Ло и Q。，｛〜 力。，｛〜No и 小=屮力。. Такого рода сопоставление множеств X и X (т. е. существование указанных множеств 人 и 眾)мы будем обозначать Л ―> А.
Это сопоставление является многозначным соответствием между полями 炉 и 炉.Легко убедиться, что это соответствие обладает следующими свойствами. (Далее все множества предполагаются принадлежащими полю 夕 или полю 炉.)
(С) Для любого множества А существует по крайней мере одно множество А такое, что 4 •<-> Л; для любого множества А существует по крайней мере одно множество А такое, что А Л.
случае, когда А~ В.(С3) Если X Л, множество индексовслучае, когда А~ В.(С3) Если X Л, множество индексов(С2) Если А *-> Д, то А ^- В в том и только том случае, когда А^ в; если А <-> Д то В <-> А в том и только том
случае, когда А~ В.
(С3) Если X Л, множество индексов
случае, когда А~ В.
(С3) Если X Л, множество индексов
то Q — Л -<->-й — Л; если Ап Лп, где конечно или счетно, то (JXn-<->(J Ап.
(С4) Если Л •*-> 4
то Р(А^Р(А).
(С5) Если 4 <-> Д
то Т~｛А *-> Т~1А.
Это соответствие есть взаимно однозначное соответствие между классами эквивалентных множеств (в силу (С〔) и (С2)). Оно сохраняет дополнения множеств и конечные или счетные их объединения (С3), сохраняет меру (С』)и замкнуто относительно операции обратного отображения (С5).
Предположим теперь, что между полями 5 и 炉 a priori существует некоторое многозначное соответствие, удовлетворяющее этим пяти условиям. Тогда говорят, что Т \\ Т сопряжены *). Сопряженность, очевидно, является отношением эквивалентности.
Соответствие, определяющее сопряженность, автоматически обладает еще рядом свойств, кроме свойств (СО — (С5). Из свойства (С3) следует, что это соответствие сохраняет * все конечные и счетные теоретике-множественные операции (папрнмер, разности, симметрические разности, конечные и счетные пересечения). Далее, пусть Т~[А Г~'Л; в силу (С) существует такое множество 瓦 что Л <-> В; из (С5) следует Т~}А *-> Г~'В, так что в силу (С2) Т~[А^Т~[В и, следовательно 2),才〜瓦а тогда А -е-> Л. Таким образом,
(С6) если Т^А^^Т~ Л, то Л *->Л.
Если преобразования Г и ? обратимы, то из свойств (С5) и (С6) следует, что Л Л в том и только том случае, когда ТЛ f Л.
Мы видим, что если Т и f изоморфны, то они сопряжены. Пример 5.5 показывает, что обратное предложение, вообще говоря, неверно. Мы докажем, что такое обращение справедливо при дополнительных предположениях, что Q и Q — сепарабельные полные метрические пространства, а 炉 и 歹 являются a-полями борелевских множеств этих пространств (т. е. 5 nF — это a-поля, порожденные открытыми множествами, или, что то же самое в силу предположения сепарабельности,炉 и 炉—зто а-поля, порожденные шарами).
Такая формулировка устраняет необходимость введения алгебр с мерой. В терминах алгебр с мерой 力〜8 в том и только том случае, если 4 + 8 принадлежит идеалу eV* нульмерных множеств и вышеупомянутое соответствие сущеетвуег в том н только том случае, если фактор- алгебры 旷/屮 к 疔7用 и преобразования на них абстрактно тождествеины.
Заметим, что .1 ~ 8 в том к только том случае, когда L/1 〜广切 (.аналогично для множеств пространства ◎).
Все конкретные пространства (Q,炉)，встречавшиеся нам в различных примерах, можно было бы определить в топологических терминах, но мы этого не делал и. Если Q ~ окружность, т. е. пространство, на котором определены вращения (пример 1.5), то оно имеет естественную метрику, относительно которой является сепарабельным полным метрическим пространством, а именно расстояние между двумя точками измеряется длиной кратчайшей дуги, их соединяющей; так как шарами здесь являются дуги, то соответствующее о-поле 炉 состоит из борелевских множеств в этой метрике.
Некоторые преобразования (преобразование, связиипое с непрерывными дробями, и различные преобразования 丁①=rs (mod 1)) были определены на полуоткрытом единичном интервале Q = [0, 1), В этом случае a-поле состоит из обычных линейных борелевских подмножеств полуинтервала [0, 1); это — а-ноле, порожденное открытыми подмножествами полуинтервала [0, 1) с евклидовой метрикой. Относительно этой метрики пространство Q сепарабельно, но неполно; так как полуинтервал [0, 1) гомеоморфен лучу [О, 1) в евклидовой метрике, то Q может быть вновь мстри- зовано так, чтобы быть не только сепарабельным, но и полным.
Мы рассматривали также преобразования на конечном пространстве Q с классом всех его подмножеств в качестве поля 炉.Здесь нам требовалась только дискретная метрика в Q, скажем, такая, при которой расстояние между различными точками равно 1. (Ср. с пространством Q примера 5.5, где 炉 слишком мало.)
В пространстве Q = ... X р X р X р X ... двустороннего сдвига a-поле 夕порождено тонкими цилиндрами
{со :修®)=厶，〃 W / 式 и}. (5.17) Если расстояние между двумя точками s z s' определяется как
S
6 (修】(СО),修〃(0‘))
где 6(厶 /) равняется 1 или 0 в зависимости от того, совпадают элементы I и j пространства состоянии р или нет, то Q является сепарабельным полным метрическим пространством. Если точка % принадлежит цилиндру (5.17) и О<еV(i/2)"'"°* то открытый шар радиуса е с центром в точке(о0 содержится в цилиндре (5.17). С другой стороны,
если —〃 = и〉0, (%)‘т V 6 н 厶=Х{ (з/ для | 〃《и, то точка % принадлежит цилиндру (5.17), который в свою очередь содержится в открытом шаре радиуса е с центром в (о0. Таким образом, тонкие цилиндры образуют базис в этой топологии, и в ней поле 夕 совпадает с классом борелевских множеств. Подобным образом можно рассматривать и одностороннее прямое произведение р X р X
Можно также показать *), что топологическое произведение бесконечной в обе стороны последовательности экземпляров любого сепарабельного полного метрического пространства может быть метризовано так, что оно станет сепарабельным полным пространством (пример 1.7).
Следующая теорема оправдывает выбор изоморфизма в качестве нашего понятия одинаковости сохраняющих меру преобразований.
Теорема 5.1. Пусть Т и Т — сохраняющие меру преобразования на (Q,炉,Р) и (Q,炉,Р) соответственно, где Q 〃 Q — сепарабельные полные метрические пространства, 〃 炉 〃 炉一зто g-поля борелевских множеств этих двух пространств. Если Т и Т сопряжены, то они изоморфны.
Для доказательства нам понадобятся три леммы, устанавливающие связь меры с топологией.
Лемма 1. Для любого множества { из поля 夕〃 любого е>0 существуют замкнутое множество 尸 〃 открытое множество G, такие, что 尸 u{uG и Р (G — F) < е.
Доказательство. Пусть 乡一класс множеств поля 夕, обладающих указанным свойством. Достаточно показать, что 纟 есть a-поле, содержащее открытые множества. Очевидно, что класс 乡 замкнут относительно взятия дополнения. Для заданных множеств Ап из 乡 выберем замкнутые множества Fn и открытые множества Gn, такие, что FnczAn^Gn н Р (G〃一凡)< g/2"+L Если 尸=(J 尸/г и G = (jGni то 尸и{=
=U4u G и Р (G ~ F) <е/2. Множество G открыто; множество 尸 не обязательно замкнуто, но его можно заменить конечным, следовательно, замкнутым, подобъединением 尸。= U 尸小 таким, что P(F — FJ < е/2. Отсюда следует, что
!) См・，например, Данфорд и Шварц [1, стр. 44].
{三乃.Итак, класс 乡 есть а-поле. Так как " за м к пути относительно взятия дополнения, то доказательство будет завершено, если мы покажем, что 汙 содержит все замкнутые множества Л. Для такого Л множество G女，состоящее из всех открытых шаров радиуса I/九 с центрами в точках из 4 открыто и убывает к Л; следовательно, мы можем взять Л в качестве 尸 и одно из множеств Gk в качестве G.
Лемма 2. Если А^ ^ и е>0, то существует конечная или счетная совокупность попарно непересекающихся множеств 尸尸2，.…，таких, что каждое Fn — замкнутое множество с диаметром, меньшим е, u 尸，，u4，，
Доказательство. По лемме 1 Л содержит такое замкнутое множество 尸卜 что Р(А — F^< 1; А — Е{ содержит такое замкнутое множество Л2) что Р ((А~ F^) —尸2)< 1/2; / —尸I —尸2 содержит такое замкнутое множество 尸3, что
и т. д. Построенные таким образом непересекающиеся замкнутые множества удовлетворяют соотношениям (J Fn с: Д и
Далее, так как пространство Q по предположению сепарабельно, то А является объединением счетного числа непересекающихся измеримых множеств {女,диаметры которых меньше е. Аналогично строим для каждого Ak последовательность множеств {Fkn}t Все эти множества в совокупности удовлетворяют требованиям леммы.
Пусть 哀 и 劭一два семейства попарно непересекающихся множеств. Мы говорим, что 酰^ измельчает 0, если каждый элемент семейства 影 является подмножеством некоторого элемента семейства 乡.Из этого следует, что каждый элемент семейства 身夕 содержится ровно в одном элементе семейства 我 что если И w 芬£, Ge0 H Hf]G*0, то 〃uG, и что объединение всех множеств из 说 содержится в объединении всех множеств из 0. Такие семейства являются разбиениями объединений своих элементов.
Лемма 3. Пусть 皆],^2» • • • — разбиения пространства Q на такие конечные или счетные совокупности множеств из
поля 炉，"то K"j/e()/〃〃 элемснг /〃/:〃)〃，"〃” 方注 имеет диаметр, меныиий e/z, где еп 0. 1\)гда U&" порож дает оТ^. Пусть '/〃 состоит из конечных и счетных объединение элементов разбиения 穹"；если М/2” измельчает &〃 для каждого 〃， то ②]и 夕2 и . .. 〃 U “〃 есть поле, порождающее 炉.
Доказательство. Для любого заданного замкнутого множества Л обозначим через Лп объединение тех элементов разбиения 皆"，которые пересекаются с F. Тогда * и {〃 и любая точка из Лп удалена не больше, чем на е/г от некоторой точки множества Л. Так как F замкнуто, отсюда следует, что 尸=f)力小 Поэтому анюле, порожденное (J^„, содержит все замкнутые множества и, следовательно, совпадает с 炉.Остальное тривиально.
Эти три леммы, разумеется, справедливы н по отношению к пространству (Q, 炉，Р).
Предположим теперь, что Г и Т сопряжены относительно некоторого соответствия, удовлетворяющего условиям (С) —(С5). Для того чтобы доказать, что Г п f изоморфны, построим сначала две последовательности
穹 1，皆2，• • •
才I，皆2，• • •
классов со следующими свойствами.
(冗1) Класс @/м/ есть (непустое) конечное или счетное семейство попарно непересекающнхея множеств из 炉[炉]• Все элементы класса ^п ^Д имеют положительную Р-меру [P-меру] и, следовательно, не пусты.
(л2) Семейство 皆〃+/名〃+1] измельчает семейства 皆"[皆/ и L為[广暗J.
(冗з) Для нечетных п [для четных п] множества из 皆/皆j замкнуты и имеют диаметры, меньшие 1/〃.
(冗J Существует взаимно однозначное отображение ^п на ^п, обладающее тем свойством, что если С — любой элемент класса 穹也 и С — его образ в 名"относительно этого отображения, то С С.
(冗力 Если Q,( [О,,] — объединение всех элементов класса 皆〃修 J то Р (&J 二 1 (Qi = 1].
Построим сиачала М| и 纟].В силу леммы 2 существует конечное или счетное семе1"1ство пепересекающихся замкнутых множеств, объединение которых £& таково, что Р(С】)=1, причем элементы этого семейства имеют диаметр, меньший 1. Пусть класс 穹]состоит из тех элементов этого семейства, которые имеют положительную меру.
Если С[, С2,— элементы класса 穹卜 то, согласно усло
вию (С), существуют такие множества Сь С2, . . . из 炉, что Си ч-> С„. Семейство множеств Са — (J ^旷 удовлетво- ряст всем требованиям для 个卜
Предположим, что построены частичные последовательности
&|,皆2，...,穹/名2,…，@公
Покажем, как построить классы ^I+I н ^ёn^ Возьмем сначала четное п (так что 〃 十 1 нечетно).
Пусть С,, С2, ... — элементы класса 穹打，Сь С2> ... — элементы класса 名〃,упорядоченные таким образом, что Са^^Си. В силу леммы 2 каждое множество Cuv == Си f] Т~1Сг, содержит попарно непересекающиеся множества Cuvl, 0〃^?,..., замкнутые, имеющие диаметр, мсиыпий 1/包 + 1), и такие, что Р (&巾一у 也)=0. Обозначим через Duvw множества из 疗 такие, что Cuvlv<-> Duvw\ положим 力“^ =力"吟 口爲川 П T'lcvi и пусть Cltvw = Ellvw - (J 上〃um，・ Из свойств (&)一&) соответствия, определиющего сопряженность, следует, что семейство ^п+^ состоящее из множеств Cuvw, и семейство 窖冷+1， состоящее из множеств Сuvw, обладают всеми требуемыми свойствами, за исключением того, что некоторые множества из этих семейств могут иметь меру 0. Выкинем все такие множества.
Если /2 нечетно (так что 〃+1 четно), мы просто изменим порядок построения и будем строить сначала класс ^п+1, применяя лемму 2 к пространству Q, а затем с помощью отношения сопряженности класс ^,г+1.
Это завершает построение последовате.чьносте!! *\, & … и 例，名2’ …• Если П^л u С｛尸 С"小 то P(Q())=I и "=1п ~ 1
尸(00)= 1. Мы определим отображение 屮 множества Qo на Qo, которое приведет к изоморфизму между преобразованиями Т и Т.
Будем называть цепочкой в Q последовательность множеств {С„} таких, что С[^ С2^ ... и Сп е ^п. Из того, что Сп непусто, и из свойства (л3) следует, что пересечение множеств этой цепочки состоит из единственной точки, лежащей в Qo. И обратно, любая точка из Qo определяет, таким образом, ровно одну цепочку. Все это справедливо и для Q.
Заменим класс 皆也 семейством {С f] 0° ： С w 皆/= &； и класс 或 семейством {С П Qo : С е ^„} = ^'г. Тогда цепочки все еще пересекаются в единственной точке из Qo или из й0 и условия (Л[) — (л5) все еще сохраняются, за исключением того, что от класса 皆冷 при нечетном п и от класса 纟也 при четном п теперь не требуется, чтобы они состояли из замкнутых множеств (это больше не имеет значения). Семейство @订匐является теперь разбиением множества Q0[Q0].
Определим теперь отображение (р. Любая точка со из й0 определяет единственную цепочку {&} в пространстве Q, которая ввиду (nJ соответствует единственной цепочке {Сп} в Q (Сп *-> Сп для всех 〃), и эта вторая цепочка определяет единственную точку(р(о из Qo. Так как все эти шаги можно проделать в обратном порядке, то отображение 屮 взаимно однозначно и область его значений совпадает со всем Qo. Таким образом, условие (Ij) изоморфизма удовлетворяется.
Обратимся к условию (12). Теперь й0 есть метрическое пространство с метрикой, унаследованной от Q, и а-полем 炉о борелевских множеств из Qo, состоящим из тех подмножеств пространства Qo, которые лежат в F. Пусть ^0 — класс множеств { из 炉°, для которых ^А^^ и Р (А) = Р (фД). Если С ^ ^л, то (рС есть то множество из 纟：， которое соответствует множеству С по условию (л4). Поэтому класс 風 содержит 皆,” а следовательно, и конечные и счетные объединения множеств, принадлежащих 皆也.Так как класс 乡°, очевидно, монотонный, то из леммы 3 следует, что 纟0 =炉().Эти и аналогичные результаты, где Q и й меняются местами, показывают, что если А с: й0, то /巨芋 в том н только том случае, когда (р{已 疗，и что при этом Р (А) = Р (фЛ). Поэтому условие (12) удовлетворяется.
Покажем, что если {CJ и {Dn} — цепочки, определенные соответственно точками (о и (oz из R。，то о/=7① в том и только том случае, если Сп с: T~{Dn_{ для всех n> 1. (Аналогичное предложение верно для Q>) Если С^и T~{DnA при n > 1, то обе точки Т(о и о/ лежат в Dn^ при n > 1 п должны, следовательно, совпадать, С другой стороны, если со'= Тео, то элемент Сп разбиения 皆罹 и элемент T~lDn-{ разбиения 厂"Нт имеют общую точку(о. Так как первое из этих разбиений измельчает второе, то С„ cz T~[Dn-{.
Предположим теперь, что ① в 0。 и Г(о е Qo, так что ср①巨焉 и(рГ(о е Qo. Пусть {Cn}, {DJ, {以} и \Ь^ — цепочки, определяемые точками со, Г(о, (р(о, (рТ(о соответственно. Для того чтобы доказать, что Г(р(о = фГ(о, достаточно проверить, что С„ и ?■'£>„_!. Но так как з переходит в 丁①，то Сп с: T~[Dn4. Далее, Сл *-> Сл и Dn^ <-> Dn_b так что cn = Cnn T^D^x ^Спп T^Dn^ Поэтому Сп(] Т^Ь^ имеет положительную меру и, значит, непусто; отсюда следует, что Cnczf~[Dn^. 〜
Мы показали, что тройка (Qo, Qo,屮)удовлетворяет условиям (Ij) и (12) определения изоморфизма и что она удовлетворяет условию (13), ослабленному в соответствии с замечанием 2, следующим за определением. Поэтому преобразования Г и Г изоморфны.
Изоморфизм и спектральная эквивалентность *
Хотя эта книга лишь слегка касается изометрических операторов, порожденных сохраняющими меру преобразованиями, мы все же должны указать на различия между изоморфизмом и спектральной эквивалентностью.
Если Г—сохраняющее меру преобразование на пространстве (Q,夕，Р), то равенство (力)(①)= f(Ts) определяет некоторое преобразование гильбертова пространства L2(Q) интегрируемых с квадратом функций на (Q,夕，Р), Как было показано в § 2, оператор U (там он обозначался 夕) изометрический. Покажем, что если Т изоморфно некоторому другому преобразованию Г, определенному на пространстве (Q,炉，Р), то изометрический оператор U абстрактно совпадает с изометрическим оператором U, порожденным на пространстве L2(Q) преобразованием Г.
Пусть Т н ，изоморфны относительно тройки (й0, Qo,屮). Для функции f из пространства 厶？(◎)обозначим через Vf
функцию па £2, нрпиимакицую значение / (q со) в точке со. (Vf определена только на L2U; продолжим ее любым образом на Q — элементы пространства 厶"(°) оирсдс.'1ены с точностью до множеств меры 0.) Очевидно, что Р является линейным отображением из Z?(S) и /』((，)• Из свойств изо- морфизма (1[) и (1J следует, что V — взаимно однозначпое отображение, сохрз няющее длину и скал я рпос произведение, п область его значении совпадает со веем /」(П). Наконец, из свойства (13) следует, что VU = UVt или U = V^[UV.
Говорят, что операторы в гильбертовом пространстве, связанные посредством такого отображения Р, имеют идентичную спектральную структуру, или спектрально эквивалентны; это — понятие одинаковости применительно к операторам. Мы показали, что спектральная структура порожденного изометрического оператора инвариантна по отношению к изоморфизму. (Она является инвариантом и по отношению к сопряженности.) Если операторы U и U спектрально эквивалентны, то можно говорить, что сами преобразования Т и f спектрально эквивалентны.
Функция Д принадлежащая пространству 厶？(◎), является инвариантной (/(Тз) = /(з) п. в) в том и только том случае, если Uf = f. Далее, преобразование Т эргодично в том и только том случае, если все инвариантные функции являются почти всюду константами. Эти функции как элементы пространства 厶2(。) получаются друг из друга умножением на скаляры, поэтому Т эргодично в том и только том случае, когда подпространство решении уравнения Uf = [ одномерно.
Если это подпространство одномерно, то то же верно для любого оператора, спектрально эквивалентного U. Поэтому если известна спектральная структура оператора U, то известно, в частности, является ли преобразование Т эргодическим. Таким образом, спектральная структура порожденного изометрического оператора — более точный инвариант, чем эргодичность: если Г и Г спектрально эквивалентны, то они либо оба эргодичны, либо оба неэргодичны. Можно также показать (см. Хал мош [3]), что спектральная структура — инвариант более точный по сравнению с перемешиванием.
Покажем теперь, что сдвиги Верн ул л и порождают изометрические операторы, имеющие совершенно одинаковую спектральную структуру. При обсуждении энтропии уже указывашось, что из теоремы Колмогорова (которую мы докажем в § 7) следует, что существуют сдвиги Бер*
пуляй, имеющие различные энтропии п потому неизоморфные. Таким образом, энтропия — инвариант, дающий возможность различать некоторые преобразования, которые не различаются с помощью спектральной структуры, и, разумеется, бесполезно пытаться различить их с помощью таких инвариантов, как эргодичность и перемешивание, ибо они еще менее точны, чем спектральная структура. (С другой стороны, имеются спектрально различные преобразования с одинаковой энтропией, например циклические перестановки /г точек равной массы для различных 历)
Пусть Т ~ сдвиг Бернулли. Возьмем пространство состояний р = {1, 2,г} п вероятности 〃, р2, . . ., рг и предположим, что вес pi положительны. Пусть векторы = =(&(1),& (г)),，=1, 2, . . г, таковы, что
/ Р/自(々)自 / (九)=М/,八 j=l, 2, г, (5.18)
и
& = (1, 1,1).(5.19)
Иными словам и, векторы (& (1)|，卩，...,& (г) Vpj образуют ортоиормированный базис в r-мерном пространстве.
Рассмотрим бесконечную в обе стороны последовательность 〃=(…，j, 〃()， 〃], …) элементов пространства {1, 2, . . ., г}. Пусть 7/ — совокупность таких последовательностей, у которых лишь конечное число координат ип отлично от 1. Определим для последовательности 〃 из 密 функцию 眾 па пространстве Q формулой
g〃(3)= П Е〃“(к“(е))，(5.20)
где хп — координатные переменные. Так как лишь конечное число "/% отлично от 1, то произведение (5.20) на самом деле конечно (см. 5.19).
Функции g/z являются элементами пространства L2 (Q). Так как переменные х„ независимы относительно меры Р, то в силу (5.18) имеем
®"，*。)= ][ J 自""(% (3))院"(工"(e))р ("3)=
Итак, функции gu ортонормированы.
Любую функцию из //(Q) можно аппроксимировать в смысле 丄2 простыми функциями 』。/人・ Так как множества 4 можно аппроксимировать множествами, зависящими только от конечного числа координат (цилиндрами), то функции, зависящие лишь от конечного числа координат, порождают L2(Q). Но функцию, зависящую, скажем, только от п координат, можно идентифицировать с точкой ^-мерного пространства. Так как & порождают r-мерное пространство, то такая функция является конечной линейной комбинацией функций g〃. Поэтому {g^ : 〃 三 窓} — ортонорми- рованный базис в L2(!Q).
Определим отображение 8：*-> 窓 соотношением (8〃)〃 = =〃"一i・ Так как
(Ugu) (<o) = g„(7,(o)= П 銹т(х“(з)),
ТО
Ug〃 = ge〃・
Пусть теперь 〃(°), и{1\ ... — такая последовательность элементов из 密，что 〃⑼ состоит целиком из единиц, △')% 抬 8"〃(八 при / 抬 j для всех п = 0, ± 1, ... (〃(" не являются сдвигами друг друга) и любой элемент 〃 из 當 можно представить в виде и = Впи(1) для некоторого / = 0, 1, ... и некоторого п = 0, ± 1, ... (любой элемент и есть сдвиг некоторого а")). Пусть fo = g“(o)И 九,“ = ge",M для t = 1, 2,... н 〃 = 0, ± 1Тогда система {g〃 ： 〃 w 窓} принимает вид
• • j fi, -i> fi, о» fi, i，• • •
• • » 『2,-1，f2. 0* /^2. 1» " • •
Элементы этой системы образуют ортонормированный базис в L2(Q); 0卜=卜 н Uf. n = fl>n+[ для i》l и n = 0, ± 1, ... . Такая спецификация спектральной структуры оператора U не зависит от г и от вероятностей рь р?， • • • > р「
Мы показали, что изоморфные сохраняющие меру преобразования спектрально эквивалентны. Только что полученный результат вместе с фактом существования неиз。- морфных сдвигов Бернулли показывает, что спектрально эквивалентные преобразования совсем не обязаны быть изо-
морфными (а также сопряженными). Иными словами, спектральная структура порожденного изометрического оператора не является полным инвариантом.
Замечание. По поводу примера 5.4 см. Харрис [1].
Понятие энтропии было введено в теории связи Шенноном [1)： Колмогоров [2] определил энтропию общего сохраняющего меру преобразования; важный вклад был сделан Синаем [1].
Теоремой 5.1 мы обязаны Нейману [2]. Последующую информацию и ссылки можно получить у Якобса [1, 2].
В книге Халмоша [3] дано широкое обсуждение порожденных изометрических операторов.
6. СВОЙСТВА ФУНКЦИЙ 〃(贤)И 也(贤，Т)
Полезным вспомогательным понятием является понятие энтропии (или условной энтропии) поля Л при заданном поле 毋，определяемой формулой
Н{Л\^ = ^Р{В)^^Р{Л\В)} =
=-£ P(/W)lnP⑷В), (6.1)
где суммирование производится по атомам полей Л и ＜纾， за исключением тех атомов В поля %, которые имеют меру 0.
Тихе, выбирающая некоторую точку(о из пространства Q в соответствии с вероятностной мерой Р, сообщает экспериментатору, какому атому поля .多 эта точка принадлежит. Однако обычно у экспериментатора нет уверенности относительно того, в каком атоме поля Л лежит точка со, и степень его неуверенности измеряется величиной 2 Л(^ (^ I ^))» где В — тот атом поля ^, который содержит со. Таким образом, величина (6.1) измеряет среднее количество неопределенности относительно исхода эксперимента Л при условии, что известен исход эксперимента 就 Или, иначе, величина И (Л | .^) измеряет количество дополнительной информации, получаемой экспериментатором при узнавании исхода Л в предположении, что он уже знает исход 就 '
Если обозначить символом 2 поле, состоящее из пространства Q и пустого множества, то, очевидно, что "(用12) = "(出).
Свойства функций 〃（庚）и Н （Л\.%）
Выведем следующие пять пар соотношений, касающихся энтропии и условно!! энтропии для конечных полей. Основной является первая формула:
（AJ 〃（贫 V •守 \^） = Н （Л\^） + Н （В \ Л У ^\
（А；）// （/ V 例=〃 （％） + 〃 （.好 I 贫）・
Формула （А；） означает, что информация, содержащаяся в экспериментах 4 н % вместе, равна информации, содержа- икйся в 〈儿，плюс информация, содержащаяся в .多 при условии, что результат эксперимента Л известен. Аналогичная интерпретация имеет место для формулы （AJ.
Условная энтропия не убывает по своему первому аргументу:
（a2）"（淀1穹）其"（%1名），если мu.芻
（А0〃（％）式〃（名）， если % и %.
Это означает, что если 望 и 多，то 份 измельчает 晓；знание исхода эксперимента 份 влечет знание исхода эксперимента 晓;следовательно,.舒 более информативно.
Условная энтропия не возрастает по своему второму аргументу:
（AJ"（也修）其"（d1团，если@口阴
（А0〃（4|@）W〃（％）・
Если знание исхода эксперимента & влечет знание исхода эксперимента .舒，то остающаяся экспериментатору неопределенность относительно исхода эксперимента ，儿 должна быть меньше, если он знает исход эксперимента 皆,чем если он знает только исход эксперимента .勿.
Условная энтропия полуаддитивиа по первому аргументу:
（a4）Я （从V石I片）其"（从I片）+ Я （.分I@），
（Aj〃（見 V %）久 〃（/） +，（％）•
Наконец,
（A5）"（厂二丨尸石）=〃（,2|%），
（As）"（厂,从）= "（/）.
Заметим, что для любого i формула（А；） немедленно получается из （А） если заменить соответствующее поле полем 2.
Соотношение (AJ аналогично формуле 入л外 условных вероятностей
Р(Л(]В\С) = Р(А\С)Р(В\Л^С).
В самом деле, (А) следует из этой формулы и того факта, что атомы полей Jl V -^ и A\J 抬 являются соответственно множествами вида Л П В и Л П С, где 4 “ п С — атомы п0лей贫，乡"片：
〃(贽 V 毋 а)= -工 Р(4П8ПС)1пР(,4П6|С) =
А,В,С
―2 Р(/ПВПС)1пР⑷С)-
А,В,С
-S Р(ЛП5ПС)1пР(В|ЛПС) =
А,В.С
=一工 P(4nC)EP(W
-S Р(ВП(ЛПС))1пР(В|ЛПС) =
А.В.С
=〃(川皆) + 〃(留I儿V@)・
Если 贫 и.紀 то Л V -^ = ^； следовательно, (А2) вытекает из (А) и очевидной неотрицательности условной энтропии.
Для доказательства соотношения (А3) заметим, что так как функция »(/)= —fin f выпукла, то
2п(^ ⑷ С))Р(С|8)Еп(ЗР(4|С)Р(С|В)).
Так как .穹 и 皆，то В есть объединение атомов поля &; следовательно,
£р⑷с)р(с|з)=工= р(*з).
СС и A
Поэтому
2т1(^(Л|С))^(С|В)<т1(РИ1в))-
Умножая это неравенство на Р (В) и суммируя его по атомам 4 и 8, получаем (А3).
Наконец, (А, следует непосредственно из (А) н (A3).
Соотношение (А5) очевидно.
Есл и 儿=、纾，то 〃(从 10) = 0 ввиду (Ai). Интуитивно ясно, что если 贫 н 召 почти равны в том смысле, что каждып атом одного из них отличается от некоторого атома другого на множество малой меры, то величина 〃(儿 |召)
должна быть малой. Эта идея лежит в основе доказатель ства следующего результата.
Теорема 6.1. Предположим, что конечное поле Л содержится 6 c-no.ie, порожденном тюлем 炉()(〃/〃, более общо, каждый атом поля Л отличается на множество меры О от некоторого элемента a-поля, порожденного полем 炉0). Тогда для любого положительного е существует такое конечное подполе 箔 полячто И (Л | .^) <е.
Доказательство. Не ограничивая общности, предположим, что все атомы ...,Аг поля 《兄 имеют положительную меру. Так как функция т)(£) непрерывна и т] (0) = т](1) = 0, то существует такое число 60 (0<d0< 1), что т](/)<е/г, когда либо。式匕&苗，либо 1 — 60 ^ / ^ 1.
Если мы сможем указать в 炉口 конечное подполе .吼 атомы которого 8卜...,ВГ удовлетворяют условию
Р (Ai |Вг)> 1 -60, z = 1, ..., г,
то получим Р (Aj |BZ) <60 для / ^ / и, следовательно,
〃(/羽)=£Р(В»п(Р(4 乌))<£p(J)/ = &
Если атомы В； удовлетворяют условию
P(4 + 8j<6= min 苗咎也，(6.2)
то, так как Р (X,) ^ Р (BJ + 6 < Р (В；) + Р (Дг)/2, будем иметь Р (4)/2 < Р (BJ и, следовательно, Р (В；) — Р (4 П 8 j V 6 V < d0P (В^), или Р (Ai I В；) > 1 — 60. Поэтому достаточно получить поле 召 с атомами, удовлетворяющими условию (6.2).
В силу предположения теоремы для каждого ， существует такое множество Bi из поля 炉°, что Р(4 + 8；)<А, где 厶 будет выбрано несколько позже. Если ，声 j, то Р^В^В^Р^ + А^ + Р^ + В'^К^, так что Р (М < < г (г - 1)Л, где N = (J(В/ л В/)' Определим Вt = В〔 一 N для 1 ^ /<г и 8r = R— (J 8，； тогда множество В{ принадлежит полю 炉° и Р (4 + 田)V 九 + г (г — 1)九 для / < г; следовательно, Р (Аг + Вг)<(г — 1)(Л + г (г — 1)Z). Если К достаточно мало, то (6.2) выполняется.
Следующая теорема иным образом уточняет идею, что если атомы полей 儿 н 羽 близки» то величина //(院|羽)
мала. Теорема эта будет использована только в гл. 5, в теории кодирования.
Теорема 6.2. Пусть число атомов Ait ..., Аг поля Л равно числу атомов Вь ..., Вг поля 型.Тогда
H(c^|%)&H(d) + n(l—d) + dln(r— 1), где
d = V Р (В/) Р (阍 В/) = N, Р ⑷ П 勺)=§ Р (4) Р (质 I 4).
Доказательство. Прежде всего можно записать
〃(/毋)=；Р(8/)回Р (Aj\Bj)) + {^^(P (41当))].
Для фиксированного / имеем !)
少仍⑷询』(謡帝+
+ п(^ (唐历/)) КP (川 |fi/)ln(r-l) + n(P (& I S/)).
Следовательно,
〃(/%) & W Р 仍丿)Ln(P (Л； |By)) + n(^UI B/))] +，
+ £Р(В/)Р(.4НВ/)1п(г-1).
Вторая сумма равна d In (г — 1). Если 淨一поле с атомами Е= U(4П8/)и Е* т。первая сумма равна "(歩|箔). А так как
"(&1%)&Н©) = П(Р (£)) + П仍(尸))= »(") +Ml—砌， то доказательство завершено.
Если Р(В/1 Л/) ^ е для всех /, то d^e; использование этого факта приводит к несколько более экономному доказательству теоремы 6.1.
!) Для неотрицательных чисел /【,...,/^, дающих в сумме 1, сира” ведливо неравенство ± г) (〃)& In 瓦
7 Зак. 1491
Свойства функции 五（院，7）
Докажем сначала, что верхний предел в определении （5.13） функции 九（儿 Т） может быть заменен обычным пределом. Действительно, （А：） и （А?） означают, что я卜；厂‘院）="（X）厂’』一 "（工厂’j=
Суммируя no k, имеемСуммируя no k, имеем
Суммируя no k, имеем
Суммируя no k, имеем
/п—1\п—1 /
я V厂‘货="（阅+ X "儿
Но/力=i \
В силу （А3） функция не возрастает по k и, следовательно, имеет конечный предел. Беря среднее по Чезаро, получаем из предыдущего равенства
（В） AU, Г） = lim - Я（V Г^） = lim И ^
几>8 “V =0/ П -> ОО \
приводит к соотношению（в；）h^, n- lim Н\ГпЛМ -А 8\приводит к соотношению（в；）h^, n- lim Н\ГпЛМ -А 8\Кроме того, обе последовательности, пределы которых берутся в （В）, невозрастающие. Аналогичное рассуждение
приводит к соотношению
（в；）h^, n- lim Н\ГпЛ
М -А 8\
приводит к соотношению
（в；）h^, n- lim Н\ГпЛ
М -А 8\
где, как и выше, стремление к пределу монотонно. Если Т обратимо, то
（b：）Л （儿 ?） = lim "伉巾儿^,
几 > ОО \ Z= I/
что является результатом применения Тп к правой части равенства（В；）・
Соотношение （В［） дает еще одну интерпретацию функции /г（贫，Т）. Количество неопределенности относительно исхода （п + 1 ）-й реализации Т~пЛ эксперимента А при данных исходах первых п реализаций Л, Т~ХЛУ ..丁-“-"院 измеряется величиной И Т~пЛ V 厂'院.Эта величина, которая измеряет также количество информации, доставляе-
мой (п + 1)-й реализацией в добавление к уже имеющейся от первых и реализаций, стремится к Л (^, Т) при п ^ оо.
Из соотношений (В】)и(А0 непосредственно следует
九(儿 7)其九(0，T), если 院u 豕
Если 辽式и (и 〃》0, если преобразование Т необратимо), то
П-1( V]f n + v-u-l]
V r; V厂/院=厂" V 厂旣，
』0I / = uJI A=0J
так что втак что всилу(А?)силу(А?)
так что в
так что в
силу(А?)
силу(А?)
"\ i = 0 I / = u"\ i = 0 I / = un-h V - uпn-h V - uпKИ工KИ工
"\ i = 0 I / = u
"\ i = 0 I / = u
n-h V - uп
n-h V - uп
KИ工
KИ工
Из (В) следует
/г(g 厂/儿，Т)= /г(乩 Т),
Если 〃 = и=1, то (В3) превращается в
力(厂〃，T)= /i(贫，7), а при 〃 = О
h (\/ Г'Л, Т)= /г (贸，Г),
откуда видно, что информация, приходящаяся на эксперимент в последовательности экспериментов
D單+1單+2
V 广/儿 V Т~!я, V 广. /=0/=1/=2
такая же, как в последовательности
4 Т \т£, Т 2?£,
Это естественно вследствие того, что соседние эксперименты первой из этих последовательностей перекрываются.
Если 々》1, то
так что опять в силу (В)
h (V r^, rsj = kh {Л, 7), /г>1.
И, наконец, еще одно нужное нам свойство функции h (乩 Т), являющееся обобщением неравенства (В2):
Л(^, Т)忌九(份，7) + "(从|0).
Для доказательства этого соотношения заметим, что в силу (А0 н (А；)
/"-1\/П-1п-1
н{ V厂‘院w" V厂‘院v V L%
\/=o/v=o/=0
/и-1\/п-1I п-1
=" V广/% +" V L院V厂/份
\/=о/ и=о I /=0
Последовательно применяя (А4), (А3) и (А5), имеем
V 厂/% WV 厂/% WяГу Т'1л V г1^]^^ н[т'1 л
V 厂/% W
V 厂/% W
\z=o /=о/\
п— 1
《 工 " (厂‘院 I 厂‘乡)=" "(2 I %).
Комбинируя предыдущие неравенства, получаем
；н(V 厂'j &； 〃(V 厂/%) + 〃 (院 I 羽)，
откуда в силу (В) следует (В5).
СВОЙСТВА ФУНКЦИИ 也⑺
Теорема Колмогорова
Мы докажем теперь теорему Колмогорова, которая позволит нам во многих случаях вычислить энтропию
/г (Т) = sup h(Jl, Т).
Теорема 7.1. Если Т обратимо и V ТпЛ =(^]), то п« —ОО
h{T) = h(M Т)・
Доказательство. Мы должны показать, что если
% —любое конечное подполе поля (У\ то
/г(執 Л<Л(^, Т)・
【)Разбиение на атомы поля 火 называется в этом случае образующим разбиением для Т или просто образующей. — Прим. ред.
Пусть Лп = V Т”庚；из (В3) следует
映盘"，T) = h(儿 ?),. а из (В5)
/г(%, Т)&М4 Т) + H(^\^ = h(Jl, Т)+"(召 |£).
Поэтому достаточно показать, что
lim "(团儿)"
П-> оо,
Докажем это с помощью теоремы 6.1.
Если夕о — U ^п, т0 °^о является (конечно аддитивным) полем, порождающим поле 炉.В силу теоремы 6.1 для любого положительного е существует такое конечное подполе 皆 поля 炉0, что Н (.^ I ^) < е. Далее,皆 принадлежит некоторому Л^ если п ^ п0, то в силу (А3)
Я (例 g《H (% I 必。)《 " (箔 I m) V e, что доказывает теорему.
Замена 儿 на V Т~кЛ в этом доказательстве приводит А=0
к следующему результату, для которого не требуется обратимости Т.
ел е детв ие. Если V 广"庚=夕，то 九(7)=似院，T). n=0
Вычисление энтропии
Теорема 7.1 сделала законными вычисления энтропии в § 5. Проведем еще раз эти вычисления, но несколько иным способом. Пусть Т — общий двусторонний сдвиг, соответствующий процессу {хп} с конечным пространством состояний р (пример 1.2), и пусть Л — поле событий, наблюдавшихся в момент времени 0 (поле с атомами {х0 = z},
，曰 р). Так как V 丁"院=夕，то из теоремы 7.1 следует 〃《= —оо
九(丁)=九(儿 T). Вычислим 九(儿 Т) по формуле
似儿 Т)= lim Я [Л IV ГМ)-
п->оо \*・1/
Произвольный атом поля V TkJt имеет вид {х_ i = /_ь ... 也=!
工 P{x^[ = z_i，...,= L^ X工 P{x^[ = z_i，...,= L^ X・・., %_〃 = »_也}, и, следовательно,
工 P{x^[ = z_i，...,= L^ X
工 P{x^[ = z_i，...,= L^ X
““^1V
“
“
X > П(Р {尤 о = ‘0 I 尤 7 =，-1，• • •,尤 F —，-〃} )•
Отсюда вытекает, что энтропия сдвига удовлетворяет условию
Л(Л<1пг,(7.1)
где г — число состояний.
Если Т — сдвиг Бернулли (р^ ..., р「), то
Р {尤0 = ‘0 I 尤-1 =，一1，...,无_冷=/-n) = 〃i
и все // ^ I V Т”儿)совпадают с —』р» In pz. Итак,
九⑺=力(儿，T) = — ?PjlnR・(7.2)
不 PiPn\npih (7.3) предположе- доказав что不 PiPn\npih (7.3) предположе- доказав чтоПусть теперь Г — сдвиг Маркова, соответствующий матрице перехода 11 = (р//) и стационарным вероятностям p = (pj. На этот раз Р {х0 = /0^ x_t = Lh ..., x_n = z_J = Р1_^^ так что
不 PiPn\npih (7.3) предположе- доказав что
不 PiPn\npih (7.3) предположе- доказав что
Поэтому
h(T) = h(^, Г) = — 5 PiPu In Pij, и это справедливо без каких бы то ни было ний регулярности, относящихся к матрице П.
Этот результат можно также установить,
"(V T'kJ\ = — (л - 1) 2 PiPij In Pij - 2 Pi In Pt (心 1).
Разумеется, сдвиг Бернулли является также марковским сдвигом, и в этом случае (7.2) и (7.3) дают одинаковый результат. Таким образом, два сдвига Бернулли, или, более общо, два сдвига Маркова неизоморфны, если их энтропии различны. В частности, сдвиги Бернулли (1/2, 1/2) и
(1/3, 1/3, 1/3), имеющие энтропии In 2 и In 3 соответственно, непзоморфны.
Не представляет труда показать, что сдвиг примера 3.3 имеет энтропию 3 Pi In 勿
В силу следствия теоремы 7.1 соотношения (7.2) и (7.3) справедливы для односторонних сдвигов Бернулли и Маркова.
Интересно, что если Т обратимо и V 广*院=炉，то п = 0
/2(Т)= /2《4, Т) = 0. Интуитивно: в этом случае прошедшее определяет будущее или будущее определяет прошедшее; это зависит от того, какая выбрана ориентация, и, следовательно, соответствующая условная энтропия должна стремиться к 0.
Доказательство заключается в облечении этой идеи в математическую форму. В самом деле, из этого следует, что 院 uF =广】夕=V 广‘4 так что по теореме 6.1 поле
8 rz
U V Т~1Л содержит для каждого е такое конечное подполе 箔，что 〃(/%)<€・ Но тогда //(院 |\/Т“庚)& &〃(庚 I毋)Се для большего п, так что в силу(В) 九⑺=九(挖Т) = 0.
Опираясь на этот факт, можно показать, что энтропия иррационального поворота окружности (пример 1.5) равна 0. Пусть атомы поля 仅一верхняя полуокружность Л и ее дополнение Лс. Если Т(о 宁 с(о, то полуокружность Т~пА начинается в точке с~п. Если с не является корнем из единицы, то множество {с"1, с-2, ..всюду плотно и, следовательно, любая полуокружность может быть аппроксимирована полуокружностями Т~пА и, таким образом, лежит в V Т^"院.
Из этого вытекает, что V Т~пЛ содержит любую дугу и, следовательно, совпадает с 炉.
Из соотношении (В/ и (В2) вытекает, что /z(T”)= ^/i(T) для 々>1. Если Т обратимо, то h(T) — h (71*1), так как
//(V т~7 = нЕ (尸厂必
V=0/『0/
Таким образом, мы можем вычислить энтропию любой степени преобразования Т.
Теорема 7.2. Если k^ \, то h (Tk) = kh (Т). Если Т обратимо, то Л (ГА) = I /г I • А (Г) для любого целого k.
Если Т — вращение окружности Ts = cs, где с — корень из единицы, то Л (Л — 0- Действительно, если с есть корень 々・й степени из единицы, то Т* = /, так что h(T) = k * h(I) = 0t
Некоторые обобщения〔)
Пусть 好 1 и 好2 — о・подпо』я поля 夕;если каждое множество из 新 отличается от некоторого множества из 典 на множество меры 0 и обратно, то будем писать 阳当％♦ Следующая теорема содержит в числе других результатов теорему 7.1.
Теорема 7,3. Пусть {<^п} — неубывающая последовав тельность (конечно аддитивных} полей. Если
V 纥云夕
门=1 /=я0
или если Т обратимо и
V V т乡；Л，, 几 h I / =я —ОО
ТО
/z(T)= lim sup 九(4 Г).М -> 8 4 U厅江
Док азател ьство. Дадим доказательство для случая соп
V л®» IV л®» IV Т"仔п工芋、Если ^п — поле, порожденное U Г~^л, и /■оео
V л®» I
V л®» I
炉о" поле U 金修,то каждое множество поля 夕 отличается от некоторого множества а-поля, порожденного полем 炉°, на множество меры 0, откуда в силу теоремы 6.1 и соотношения (В5) следует (так же как в центральном пункте доказательства теоремы 7.1), что
“)=sup 似箔，Т).“)=sup 似箔，Т).(7.4)(7.4)
“)=sup 似箔，Т).
“)=sup 似箔，Т).
(7.4)
(7.4)
')Изложенные в этом разделе результаты в дальнейшем использо* ванн не будут.
Если .舒 и 炉о, то .多 содержится в 能以 при некотором % м, следовательно *), имеет атомы Вь ..., Вй вида
凡=U fl T~lG{uvt 〃 = 1,・一，財и ■= 1 1=0
где Giuv е ^п. Если Л — поле, порожденное множествами
Giuv, то оно конечно, -Л gz ^п и ^ cr V Т~1Л. Поэтому в силу (В2) и (В3) имеем
h(^, Г)^Л( V 广'儿= /i(4 7) & sup 力(贫，7).\/=0/盘 n
Так как правый член этого неравенства не убывает по п, то теорема следует из (7.4). Случай обратимого Т разбирается аналогично.
Если 纟以 есть а-поле и Т"4纟^и 乡双 то Т может рассматриваться как сохраняющее меру преобразование Тп на пространстве (Q, %, Р). Если это так, то из теоремы 7.3 следует, что если последовательность {纟以} не убывает и
V 纥当夕，ТО力⑺= lim/г(7\). п= 1几
Взяв в теореме 7.3 в качестве ^п поле 院,получаем как следствие теорему 7.1.
Следствие 1. Если {Л^ — неубывающая последовав
тельность конечных полей, причем V 院尼生夕,то па 1
й(П= Иш й(^„, Т).
П->оо
8
Следствие 2. Если .务 и V 7」院 или если Т обратимо до
〃.务 u V т‘儿 то 九(例 П<Л(Л 7).
Для доказательства этого следствия рассмотрим Т как
преобразование на (Q,炉°, Р°), где 夕0 — поле V Т“Л или i=0
V Т‘院 и Ро —сужение Р на(У*о.
!) Если 历 и eV — поля, то поле, порожденное полем 历 U ★> состоит из конечных объединений множеств вида М 仆 N, где М 三 ％ и Ns &▽•
Следствие 3. Если 0 — некоторое поле 〃 либо
V Т“務丛歹,либо Т обратимо и V Т‘乡玄炉，то ，=0i = ~oo
/2（Т）= sup /2（儿，7）. •必u疗
Следствие 4. Если 炉0 — поле, порождающее 炉,то
А （Г） = su р 九（院，Т）.
Это последнее следствие дает возможность вычислять энтропию прямых произведений. Пусть Т（ （，=1, 2） — сохраняющее меру преобразование на пространстве （Q；,炉厶 Р0; тогда прямое произведение Ti X Г2 — сохраняющее меру преобразование на произведении этих двух пространств:
（T] X T2）（8й S2） = （7\①公仰）.
Теорема 7.4. Прямое произведение преобразований Т[ и Т2 обладает свойством
h{TxXT^^h{T^~V h{T^
Доказательство. Если ^г — конечное подполе поля 炉/（£=1, 2）, то, обозначив 2, = {0, QJ, имеем
п — 1п— 1п-1
V S X72尸（必 X。旬=V （7丁禽 X 22）\/ v（2] X 方晓2）■
f=0i=0，=0
（Если 儿 1 и t^2 — это a-поля в пространствах Qi и Q2, то 滉 1 乂院2 есть a-поле в Q^X%，порожденное 4 X Л2, где 4 H Л2 лежат в 院]и ＜儿？ соответственно. Если ^2【н с^2 — конечные поля, то поле 晓【X 儿2, также конечно и его атомами являются множества 4X4，где 4 и Л2 — атомы полей 儿】и 必 соответственно. Два поля в правой части этого равенства независимы в том смысле, что если Л1 и ^ принадлежат соответственно этим полям, то Р （М П М = Р （М）Р （М， где Р = Р{Х &； отсюда следует, что
/ м— 1
〃 V（?! X т^（^! X л^ 7=0
=〃 （V（7Т〃 X 22）） + 〃 （V ⑵ X TVd））=
"（Yk院） + "（?万晶）
Деля на п и переходя к пределу, получаем
Л (贫1 X後2，T1 X厶)=力(从b 7\) +力(贫2，72)，
Теперь теорема вытекает из следствия 4, так как прямоугольники с основаниями в 炉i и 夕2 порождают поле
В качестве последнего вычисления найдем энтропию примера 1.7 с мерой Р, определенной как произведение мер по формуле
Р {со： X/ (со) w £,孔总/《孔+ 舟= ПМ£0,(7.5)
l = n
где ц есть мера на борелевских подмножествах прямой. Из следствия 3 вытекает
/г (7) = sup 2 г) Q (£0),
где верхняя грань берется по всем разбиениям £ь ..., Ek прямой на борелевские множества. Если 卩 не состоит исключительно из точечных масс, то h(T) = оо. Если 卩 состоит из точечных масс, скажем, рь р2)…，то
力⑺=—£]Р/1пр/.
Если этот ряд расходится, то h (Г) бесконечна.
Замечание. Материал этого и предыдущего параграфов почерпнут из работ Халмоша [4] и Брауна [1], а также из статей Колмогорова и Сипая. Дальнейшую информацию по этому поводу можно получить из превосходной обзорной статьи Рохлина [2]. Статьи более позднего времени включены в библиографию, помещенную в конце книги.
ПРОБЛЕМА ПОЛНОТЫ 【)
Некоторые нерешенные задачи
В § 5 мы отметили, что если Tk~ циклическая перестановка k точек равной массы, то 九(7\) = 0, хотя различные Tk неизоморфны. Кроме того, энтропия любого вращения окружности также равна 0, хотя оно неизоморфно никакой
I) Материал этого параграфа, который состоит преимущественно нз вопросов, встречается в последующем изложении лишь эпизодически.
перестановке Tk. Энтропия, таким образом, не является полным инвариантом.
Если Т — сдвиг Маркова, то, как мы видели,
/?(?) = — 2 PiPij 1П Pij.
Рассмотрим три матрицы перехода
—1~"2万1 1_2 -2_—1~"2万1 1_2 -2_0丄丄一 2"000丄 万12001万000012"1Т丄 г0000丄 2"1万0丄丄一 2"000丄 万12001万000012"1Т丄 г0000丄 2"1万00丄2"丄00丄2"丄
—1~
"2万
1 1_2 -2_
—1~
"2万
1 1_2 -2_
0
丄
丄一 2"
0
0
0
丄 万
1
2
0
0
1
万
0
0
0
0
1
2"
1
Т
丄 г
0
0
0
0
丄 2"
1
万
0
丄
丄一 2"
0
0
0
丄 万
1
2
0
0
1
万
0
0
0
0
1
2"
1
Т
丄 г
0
0
0
0
丄 2"
1
万
0
0
丄
2"
丄
0
0
丄
2"
丄
и соответствующие стационарныеи соответствующие стационарныеностейностейраспределения вероят-распределения вероят-
и соответствующие стационарные
и соответствующие стационарные
ностей
ностей
распределения вероят-
распределения вероят-
пусть Т[, 7*2 и Т3 — соответствующие сдвиги Маркова. Тогда Г1 — перемешивающий сдвиг, Т2 — эргодический, но не перемешивающий, а Гз — даже не эргодический; в частности, никакие два из этих сдвигов неизоморфны. Так как энтропия всех сдвигов равна In 2, то она не является полным инвариантом и для сдвигов Маркова.
Общий вопрос об условиях, при которых энтропия является полным инвариантом, порождает несколько специальных неразрешенных вопросов.
Вопрос 1. Является ли энтропия полным инвариантом для сдвигов Бернулли? Пусть Г —сдвиг Бернулли (卩卜...,р), а 彳―сдвиг Бернулли (所,...,0；). Если Тн Т изоморфны, то
-沙 lnp,—— j0,ln 瓦.-沙 lnp,—— j0,ln 瓦.(8.1)(8.1)
-沙 lnp,—— j0,ln 瓦.
-沙 lnp,—— j0,ln 瓦.
(8.1)
(8.1)
Следует ли из (8.1), что Т н 夕 изоморфны? Ответ неизвестен. Если (рь ..., рг) — некоторая перестановка (0“ ..., р；) (г =户),то ответ положителен — это тривиально. Однако возьмем наборы вероятностей (1/4, 1/4, 1/4, 1/4) и (1/2, 1/8, 1/8, 1/8, 1/8). Тогда (8.1) выполняется, но a priori у нас не больше оснований ожидать изоморфность Т н 亍,чем изоморфность
сдвигов Бернулли (1/2, 1/2) и (1/3, 1/3, 1/3). Мешалкин доказал поразительный факт: Т и Т изоморфны. Это позволяет думать, что ответ па вопрос 1 положителен.
В этом направлении Синай доказал следующую замечательную теорему. Сказать, что два сохраняющих меру преобразования Т и F изоморфны, значит сказать (пренебрегая множествами меры 0), что существует взаимно однозначное отображение (р пространства Q на Q, которое переводит меру Р в Р и удовлетворяет условию Г(р = фГ. Пусть мы требуем, чтобы областью значений отображения <р было все й, чтобы ф переводило Р в 戸 н удовлетворяло условию 彳<р =(рТ, но не требуем, чтобы оно было взаимно однозначным. Если такое отображение существует, говорят, что Т есть факторпреобразование преобразования Т. Легко показать в этом случае, что h(T)^h (Г). Если Т и Т являются факторпреобразованиями друг друга, то Л (Г) = А (Г); тогда говорят, что они слабо изоморфны. (Можно показать, что слабый изоморфизм сохраняет не только энтропию, но и свойства эргодичности и перемешивания.) Синай показал, что два сдвига Бернулли с одинаковой энтропией слабо изоморфны и отображения <р: Qf 0 и 屮：Qf Q, входящие в определение слабого изоморфизма, могут быть выбраны так, чтобы они зависели только от прошлого. Это означает, что п-я координата (ф(о)п [(屮亩)冷]точки(рсо 伸亩]является функцией координат ..., s〃t, s,/..., G冷_【,Gj точки(о [ю].
Хотя обратное тривиально, но неизвестно, когда слабый изоморфизм влечет обычный изоморфизм. Для того чтобы показать заключенную здесь трудность, рассмотрим такой пример. Пусть Т = Т — двусторонний сдвиг Бернулли (1/2, 1/2) с пространством состояний {0, 1}. Тогда Т и 尸 слабо изоморфны: соответствующие отображения <р и 屮 определяются соотношениями
(Ф«)п =必т +(on (mod 2),
(wg，=企也T + йn (mod 2).
Разумеется, будучи тождественными» Т и 歹 изоморфны. Но каждое из отображений ср и 屮 является однозначным отображением, при котором точке соответствуют два прообраза, и весьма трудно понять, как их можно использовать для того, чтобы восстановить тождественное или любое другое обратимое отображение, которое делает Г и Г изоморфными.
Вопрос 2. Является ли энтропия полным инвариантом для перемешивающих сдвигов Маркова? Ответ на этот вопрос также неизвестен.
Сдвиги Колмогорова
Прежде чем поставить наш третий вопрос, введем новое понятие. Пусть Л — поле событий, наблюдавшихся в момент времени 0, для общего сдвига с пространством состояний р
(пример 1.2). Если 炉〃 =V 厂'必 т。п есть a-поле, поро- k = n
жденное множествами {/ =，}, где »巨 р и k ^ п. Сдвиг Т называется сдвигом Колмогорова, если все множества а-поля
夕8 = П 炉м тривиальны, т. е. имеют меру либо 0, либо 1.
п = 1
Множества из 夕^ зависят от „сколь угодно далекого буду- щего<( (см. конец § 4, где подобный класс множеств определен для преобразования, связанного с непрерывными дробями).
Существует общее понятие преобразования Колмогорова 】), определяемое инвариантным образом и приводящее к упомянутому выше понятию в случае сдвига.
В § 11 мы увидим, что любой сдвиг Колмогорова — перемешивающий. Можно построить пример, показывающий, что не все сдвиги, обладающие свойством перемешивания, являются сдвигами Колмогорова.
Из закона нуля — единицы следует, что любой сдвиг Бернулли является сдвигом Колмогорова. Следующее рассуждение показывает, что сдвиг, соответствующий неприводимой непериодической цепи Маркова, является сдвигом Колмогорова. Действительно, в этом случае lim 喟=p.t так что если %= max I р^ — р, I, то lim en = 0. Из теории цепей Маркова следует, что если множество { принадлежит а-полю, порожденному множествами {/ = z}, где & & а множество В принадлежит сг-полю, порожденному множествами {хй = /}, где k^l + п (т. е. полю 夕卜力,то
|Р(4П8)-Р(伙⑻(8.2)
В отечественной литературе принят термин К-автоморфизм. Определение /(-автоморфизма см. в сноске 2 иа стр. 111. — Прим. ред.
Если 3 принадлежит полю ^*^, то оно принадлежит и полю 炉/+л при всех п, так что дл夕 любого цилиндра {
Р(А(]В)^Р(Л)Р(В\(8.3)
Но совокупность множеств Л, для которых справедливо (8.3), образует а-поле и, следовательно, совпадает с 炉. Таким образом, (8.3) имеет место для Л = в, так что Р (В) равняется либо 0, либо 1.
Вопрос 3. Является ли энтропия полным инвариантом для сдвигов Колмогорова? Ответ неизвестен.
В качестве последнего вопроса рассмотрим следующую проблему изоморфизма, которую одна энтропия разрешить не может. Пусть Т и Т — два варианта преобразования примера 1.7, соответствующие произведениям двух различных мер ц и ц на прямой (см. (7.5)). Если ни та, ни другая меры не состоят исключительно из точечных масс, то /г(Т)= = /“7) = 8. При каких условиях в этом случае Г и Г изоморфны? Если меры 卩 н )1 совсем не имеют точечных масс, то хорошо известно, что существует отображение прямой на саму себя, переводящее 卩 в «・ Это отображение можно расширить так, чтобы получить изоморфизм между Т и Т. А что можно сказать о смешанном случае?
Замечание. По поводу изоморфизма сдвигов Fep- нулли (1/4, 1/4, 1/4, 1/4) и (1/2, 1/8, 1/8, 1/8) см. Мешалкин [1]. О понятии слабого изоморфизма см. Синай [8] ) Колмогоров [2] ввел преобразование Колмогорова, назвав его ква- зирегулярным ')・
】)См. также Синай [9]. — Прим. ред.
Общее определение таково: обратимое сохраняющее меру преобразование Т пространства (Q, У, Р) называется автоморфизмом Колмогорова (или /(-автоморфизмом), если существует a-поле Fq и У со свойствами: 1) Т$、п 扌 о, 2) \/ Тп^ о = У, 3) /\ Тп^ 0 тривиально. В слу
пп
чае сдвига в пространстве последовательностей в качестве 炉0 можно взять a-поле, порожденное величинами х/ при i&0 или при С》0・—Прим. ред.
ГЛАВА 3
Условные вероятности 〃 математические ожидания^
УСЛОВНЫЕ ВЕРОЯТНОСТИ
Конечный случай
Понятие условных вероятностей относительно a-поля лежит в основе многих построений современной теории вероятностей. Рассмотрим сначала понятие условной вероятности множества Л1 относительно другого множества Л. Эта вероятность определяется равенством Р(М\ Л) = Р (М (] А)/Р И) (если только Р(4) не равна нулю, в последнем случае она вообще не определена).
Если Тихе выбирает точку со из пространства й в соответствии с вероятностной мерой Р (на a-поле 炉)，то Р(А4) есть вероятность того, что ① взята из М. Если эта выбранная точка принадлежит Л и если Тихе сообщает об этом (и только об этом) экспериментатору, то для него Р (М\А) есть вероятность того, что со принадлежит также и М. Будем исходить из этой эвристической формулировки.
С другой стороны, если точка, выбранная Тихе, оказалась принадлежащей Ас н экспериментатору сообщено об этом, то для него новая вероятность события со в Л4 равна Р (Л11 Ас). Удобно связать эти две условные вероятности ступенчатой функцией
f (е)=f (е)=Р(ЛШ)= Р 累护если 3 三 4
f (е)=
f (е)=
p(m 14。)= P 黑：,если cow此
Если Тихе сообщает экспериментатору, какому множеству — А или Xе — принадлежит выбранная ею точка, то вероятность события (о е Л1 для экспериментатора равна f(s). Хотя экспериментатор не знает аргумента s функции 厶 он бла-
】)Читатель, знакомый е понятиями условных вероятностей н математических ожиданий относительно а-поля, может опустить эту главу, при необходимости находя в ней нужные ссылки. Читатель, незнакомый с этими идеями, также может опустить ее, если он согласен принять несколько дальнейших теорем без доказательства или если он будет предполагать, что встречающиеся в этих теоремах сдвиги являются марковскими.
годаря Тихе достаточно осведомлен для вычисления f (со). Заметим, что значение f(со) определяет, будет ли(оеЛ или со е Лс, если только не выполняется равенство Р (Л11X)= =Р (Л11 Лс) (означающее независимость М и Д), вследствие которого условная вероятность множества М. совпадает с безусловной. Поэтому вместо того, чтобы сообщать, принадлежит со множеству Л или Лс, Тихе могла бы сообщать значение f (со).
Множества Л и Л^ образуют с^-разбиение пространства Q. Только что изложенное приводит нас к произвольному 炉-разбиению, и』％ что то же, к произвольному конечному подполю Л поля 炉. Если А{, ..., 4「 являются атомами подполя 院,то для любого М из 炉 рассмотрим ступенчатую функцию
f^) = Р(М\ 4) = / 黑/？ , если 3 三 4，t = 1, . . ., Г.
Тихе, выбрав точку со из □ в соответствии с мерой Р, говорит экспериментатору, какой из атомов подполя Л ее содержит. Новая вероятность множества М для экспериментатора имеет значение f (со). Как и раньше, экспериментатор после сообщения Тпхе имеет достаточные данные для вычисления f((o), даже если само со ему неизвестно. И снова знание f(s) равносильно знанию того, какое из 4 содержит (0.
Будем обозначать через Р{Л4||с企} функцию (случайную величину) f и называть ее условной вероятностью множества М при заданном конечном поле 儿.Аргумент со обычно опускается, но в случае необходимости будем писать Р{М^.
Таким образом, Р {М||<^} — ступенчатая функция, значение которой на 4? равно обычной условной вероятности Р(Л1|т4). Это определение требует дополнения, так как Р(Л1|4) не определена при Р (/1,) = 0. Мы можем оставить Р{М^Л} неопределенной на таких атомах поля 贫，а можем приписывать ей какое-то фиксированное значение, скажем, 0. BbidepeM третий путь: если Р(4) = 0, то значение Р{Л1||阅 на 4 есть произвольное действительное число 】).Итак, если Л содержит атомы меры 0, то P{M^ut} является для них целым семейством функций на Q. Чтобы подчеркнуть это, мы будем называть Р {Л1||ст€} вариантом условной
Ч Мы требуем, чтобы это значение было одним и тем же для всех точек Л/, так что Р {М||с^} есть ступенчатая функция, для которой атомы поля 从 являются множествами ее постоянства.
8 Зак. 1491
вероятности множества М при заданном 院.Заметим, что любые два варианта равны почти всюду.
Любой вариант случайной величины Р {М||晓} обладает двумя основными свойствами: 1) эта функция интегрируема и измерима относительно Л *) и 2) равенство
j P{M\\A}dP = Р(М^А)(9.1)
А
справедливо для любого множества { из конечного поля 贫. Легко показать, что любая случайная величина, обладающая этими двумя свойствами, является вариантом функции Р{М|| 阅.
Общий случай
Так как А состоит из конечных объединений непересекающихся атомов .4】,...,Лг, то знание того, какой из атомов поля 从 содержит (о, равносильно знанию того, какое из 2r множеств поля Л содержит ①,а какое нет. Этот второй подход переносится на произвольное а-подполе поля 炉.
Если ^ — такое а-подполе, то можно представить себе, что Тихе выбирает точку со и затем открывает экспериментатору, какие из множеств G поля 乡 содержат со, а какие нет). Определим функцию Р {М ]| ^}, значение Р{М\\^}^ которой в точке со является тем, что, как мы интуитивно чувствуем, должно быть для экспериментатора новой вероятностью события (о е Л1 после получения сообщения Тихе.
Для любого /И из 炉 определим Р {М ||^} как интегрируемую случайную величину, которая а) измерима относительно а-подполя 纟 и Ь) удовлетворяет функциональному уравнению
,_[ P{M\\^}dP = P(MC\G), Gw 乡.(9.2)
Если 乡 конечно, то это определение сводится к предыдущему (см. 9.1).
Условие (а) соответствует требованию, чтобы Р {М || ^} можно было вычислить на основании только одного сооб-
【)Для этого мы требуем, чтобы Р {М^<Я} была постоянна даже на атомах меры 0.
щен и я Тихе. Условие (Ь) допускает игровую интерпретацию. Предположим, что Тихе, передав экспериментатору свое сообщение, предоставляет ему возможность поставить на наступление события М (если М не лежит в 0, он не знает, наступило это событие или нет). Она требует выплаты начальной ставки и берется выплачивать одну драхму, если событие М наступило, и ничего — в противном случае. Если условная вероятность события М для экспериментатора после сообщения Тихе равна Р {М || ^}, то справедливый размер начальной ставки равен Р {М || ^} драхм. Если экспериментатор решит принять пари и внесет эту ставку, то он выиграет \ ~ Р {М^^} в случае наступления М и — Р {М || ^} в противном случае, так что его выигрыш равен
(1 一 Р {М|| 乡} 〃м + (- Р {МII ^})1мс = 1м^Р{М\\ 乡}・(9.3)
Если он отклоняет пари, то его выигрыш автоматически равен 0. Предположим, что он придерживается стратегии принимать пари, если наступает событие G и отклонять его в противном случае. (О здесь есть некоторое множество из 毋.)Его ожидаемый выигрыш при этой стратегии равен интегралу от (9.3) по множеству G:
J {1м-Р{М^ ^})dP. (9.4)
Но (9.2) является в точности требованием того, что (9.4) равно нулю для каждого G из 移.Если Р\М^ ^} удовлетворяет нашим эвристическим требованиям, то справедливая начальная ставка не приведет ни к выгодной, ни к невыгодной для экспериментатора стратегии.
Нужно, разумеется, доказать существование случайных величин Р{А1|| 乃}, удовлетворяющих условиям (а) и (Ь), что мы сделаем, применяя теорему Радона — Никодима. Определим вполне аддитивную функцию 屮 множества на a-поле 乡 равенством
Ф(О = Р(Л1П0), Gw 乡.
Тогда ср есть конечная мера на 纟，которая, очевидно, абсолютно непрерывна относительно меры Р, рассматриваемой на 乡(для G 三乡 нз P(G) = 0 вытекает <р (G) = 0). Следовательно, в силу теоремы Радона — Никодима существует интегрируемая функция f, измеримая относительно 乡 и
удовлетворяющая условию ])
JfdP =(p(G), Gw 纟.(9.5)
Возьмем в качестве / функцию Р {М || ^} и назовем ее условной вероятностью события М при заданном 纟；тогда (9.5) принимает вид (9.2). Таким образом, функция, определяющая условную вероятность, существует.
Может существовать и более одной такой случайной величины Р{М. II ^}, Мы видели, что это может быть так даже для конечного 乡.Тогда, как и раньше, говорят о некотором варианте условной вероятности. Любые два таких варианта f и & интегрируемы и измеримы относительно 乡 и удовлетворяют соотношению ^ f dP = ^ g dP для всех G g о
из 纟;отсюда следует, что f = g п. в. С точностью до этого обстоятельства условные вероятности определены единственным образом).
Пример 9.1. Предположим, что Мм 既 что всегда имеет место, если, например, 纟 совпадает. со всем а-по- лем 炉.Тогда Р {М || <^} = 1М п. в. Интуитивно, если то знание того, какой элемент из 纟 содержит со, означает, в частности, знание того, наступило или не наступило событие М.
Пример 9.2. Если 乡=2 = {0, Q}, то Р {М || ^}w = Р {М) для любой точки со. Из сообщения Тнхе экспериментатор не узнает ничего такого, чего бы он не знал раньше.
Пример 9,3. Пусть Q — плоскость R? и 夕—класс бо- релевских множеств на этой плоскости. Любая точка s из Q есть пара (х (со), y(s)), % и у — координатные переменные. Пусть а-подполе 乡 состоит из вертикальных полос, т. е.
элементами поля 纟 являются прямые произведения EXR = = {(о: х (со) ^ £}, где Е — борелевское множество па прямой. Если экспериментатор знает для каждой вертикальной полосы ExAL содержит она s или нет, то он знает это, в частности, для каждой полосы {占} X R* где ^ — действительное число, и обратно. Таким образом, сообщение Тихе эффективно дает значение х (со). Предположим теперь, что Р — вероятностная мера на 歹，имеющая плотность р (占，勺) относительно плоской меры Лебега：
Р(М) = ^ р 信 Т]) dg 對.
Покажем, что если М = {(о: у (со)巨 尸}, где F — линейное борелевское множество, то вариантом функции Р (Л11| 0) является 屮(х((о)), где
j р(Е, n)dr)
w(占)=Л•(9.6)
Ri
Так как ^(x (w)) ~ измеримая функция от x (co), она измерима относительно 乡.Элемент 野 имеет вид {s: х (со)三 £}, поэтому нужно только показать, что
J ^(x(a))P(da) = P{x^E, y^F}.(9.7)
Однако так как случайная величина х имеет распределение на прямой с плотностью p(g)= j р (占，叫 dq, то левая часть
равенства (9.7) равна
J 卩⑶屮(»d&= J I J р (L n)^n!^ =
£e〔fJ
=j j p & T))dgdi] = P{xwE, ^巨尸}, EXF
где предпоследнее равенство следует из теоремы Фубини. Таким образом,屮(х((о)) есть вариант функции Р {就 |]纟}.
Правая часть равенства (9.6) является классической формулой для условной вероятности события {yw 尸} при условии х = &. Наше обсуждение может рассматриваться как оправдание этой классической формулы или как
пример, оправдывающий наше математическое определение условной вероятности.
Если х — случайная величина на вероятностном пространстве (Q, F, Р), то a-поле 仔，порожденное ею (наименьшее о-поле, относительно которого величина х измерима), состоит из множеств вида {со： х (со) е £}, где 上 пробегает различные линейные борелевские множества. Так как знание того, какие множества этого вида содержат со, а какие нет, равносильно знанию значения х (со), назовем Р {М || ^} условной вероятностью события М при заданном х и будем обозначать ее Р {МII х}. Пример 9.3 представляет собой частный случай. Таким же образом определим условную вероятность Р {МII хь 尤2，•…} события М при заданной конечной или бесконечной последовательности величин хь х2, ... как Р {М II ^}, где 乡 есть а-поле, порожденное этими величинами.
Пример 9.4. Рассмотрим марковский сдвиг (пример 3.1). Мера Р определяется соотношением
р Un =，“，...，хп+( =加+/} = Р%Р%к\ …〃”+“”+，
(В этом примере существенно именно это соотношение, а не сам сдвиг.) По формуле условной вероятности относительно конечного поля имеем
Р {"о = ^' I! -^-п> • • • > -^-1}б> Рх-1(«). / п. в.').(9.8)
Но для того, чтобы доказать интуитивно очевидную формулу Р {/ =，II . . . Х-2, X-% = Рх_| (З), / п. в.,(9.9)
потребуется следующая теорема, простым следствием которой эта формула и является.
Теорема 9.1. Пусть 导「(конечно аддитивное) поле, порождающее о-поле 纟.Интегрируемая функция f является вариантом функции Р {М. || ^}, если она измерима относительно 乡u
JfdP = P(Mf]G)(9.10)
для всех G из 纟°.
Доказательство. Каждая часть равенства (9.10) как функция множества G является мерой на 乡.Так как функции совпадают на 乡°, то они должны совпадать и на 纟.
I) Случайные величины хп принимают не числовые значения; их значения лежат в конечном множестве р. Условные вероятности таких величии все еще определяются в терминах a-полей, которые они порождают.
Пример 9.5. Пусть Т — диадическое преобразование 7со = 2(о (mod 1) на единичном интервале с мерой Лебега (Q, 炉，Р) (см. пример 1.6). В § 1 мы показали, что если М инвариантно и 尸 лежит в поле 夕0, состоящем из конечных объединений непересекающихся диадических интервалов, то Л1 и 尸 независимы, так что J Р (Л1) dP = Р (М Г\ F)> Так как 炉 о порождает 炉，то из теоремы 9.1 следует Р {М II ^} = Р (Л1). Но (см. пример 9.1) Р {Л11| ^} = 1М п. в. Поэтому Р (Л1) равна либо 0, либо 1, и мы получаем новое доказательство эргодичности преобразования Т,
Следующий пример показывает, что интерпретация условной вероятности, использующая поведение Тихе, не проходит в некоторых патологических случаях.
Пример 9.6. Пусть (Q, F, Р) ~ единичный интервал Q с мерой Лебега Р на а-поле 炉 борелевских множеств и 纟 есть а-подполе множеств, которые либо счетны, либо имеют счетные дополнения. Тогда функция, тождественно равная Р(Л1), является вариантом функции Р {М|| ^}:
Р{М"^}@ = Р(М) п. в. (9.11)
Но так как 乡 содержит все одноточечные множества, то знание того, какие элементы из 乡 содержат со, а какие нет, равносильно знанию самой точки со. Таким образом, после получения сообщения Тихе экспериментатор знает, наступило событие соеМ илн нет, и мы должны иметь
Р{М|闿8 = {::Р{М|闿8 = {::если ①巨М, если ①柒Л1・если ①巨М, если ①柒Л1・(9.12)(9.12)
Р{М|闿8 = {::
Р{М|闿8 = {::
если ①巨М, если ①柒Л1・
если ①巨М, если ①柒Л1・
(9.12)
(9.12)
Математическое определение приводит к (9.11), эвристическое —к (9.12). Разумеется, (9.11) правильно, а (9.12) — нет т).
Несмотря на то что наша интерпретация в некоторых случаях непригодна, она дает удобный способ представления условных вероятностей и не может привести к трудностям, так как доказательства на нее не опираются.
1) В этом частном случае можно избежать трудностей, допуская варианты, почти всюду равные некоторой измеримой относительно 仔 функции. Более сложные примеры (те самые, которые демонстрируют возможное несуществование условных вероятностных мер, см. конец этого параграфа) показывают, что это не всегда помогает.
Свойства условных вероятностей
Для любого варианта условной вероятности имеем \ P{M^^}dP = P{M[\G)^Q при G 巨氏 Так как Р{М|| 乡} G.
измерима относительно 0, то она почти всюду неотрицательна. Аналогичное рассуждение показывает, что она почти всюду не превосходит 1：
(Pi)0 < Р {Л1И ^} < 1 п. в.
Если />(М)= 1, то j Р{М\\ ^}dP = P(G) для всякого Gw纟； следовательно,
(Р2)Р {Л1II ^} = 1 п. в., если Р (Л4) = I
Аналогично
(Р0Р {Л1II 好} = О п. в., если Р (Л1) = О
Докажем, что
(Р3) P{MUAM0} =
=Р {М{^^}Л- Р {А%"纟} п. в., если М[(] М2 = 0.
Мы должны показать, что правая часть равенства (Р3) удовлетворяет двум требованиям, налагаемым на варианты функции Р {Mi U Л12|| ^}. Ясно, что она измерима относительно 乡.Так как М】и М2 не пересекаются, то для Gw乡
[(Р {AIJPJ + PMH 乡}) dP =
=J Р{ЛМ 乡}dP+ j P{M^ &}dP =
= P(MnG) + P(M2nG) =
-PUM^M^^G),
так что функциональное равенство выполнено.
Аналогичными рассуждениями можно доказать, что
(Рз) Р{МХ-М^^} = Р{М^^}-Р{М^^}Т1.Ъ., если Л^иМ；
(Рз) Р{МС^^} = \-Р{М^^} п. в.;
(Р«) \Р{М^^}-Р {М2|| 纟} I & Р {М + ЛМ署} п. в J)
*) Как обычно, + означает симметрическую разность.
Предположим теперь, что {М^ — невозрастающая последовательность множеств с пересечением Л1, это обозначается Мп I Л1. В силу(Рз) и (Pi) последовательность Р {Мп\\ 纟}⑴ п. в. не возрастает и, следовательно, имеет предел / (со) п. в. Функция / измерима относительно 纟；в силу (Р) и сходимости ограниченной монотонной последовательности
f fdP= lim f P{Mn\\ ^} dP= \imP(MnnG) = P(MnG)
JП->ооП->оо
для любого G w 乡.Поэтому f есть вариант функции Р {М || 纟}: (Р4) Р {此II a?} Р {М II 乡} п. в., если Мп 3 М.
Аналогично
(Рд) Р{М^^}\ Р{М ||^} п. в., если Мп^ М.
Наконец, в силу (Рз) и(Р：) имеем
(Р5) Р^)Мп^ = ^Р{ММ п- в・’
если Мт П Мп= 0(т^п}.
Пример 9.7. Из соотношений (9.8) и (9.9) для цепей Маркова следует, что
Р{х0 = Z||..J，j} = P{%o =，ki} п. в.
Аналогичное рассуждение показывает, что если М — цилиндр, зависящий от координат с неотрицательными индексами, то
Р {Л1II..х_2, x_J = Р{М ||х_1} п. в. (9.13)
Используем только что доказанное свойство, чтобы показать, что равенство (9.13) справедливо, если М — произвольное множество из а-поля, порожденного х0, хь ... . Для любого такого М. и любого положительного е существует цилиндр Л1е, содержащий лишь координаты с неотрицательными индексами и такой, что Р (Л1 + Л1е) <е. В силу(Р；") имеем
А = I Р {М II x_J - Р {MR KJ |< {М + Л1е IIХ-1} п. в.
Так как J Р {М + Ме\\ x_J dP = Р (М Л- М^ < е, го
p{a>#《半&卜
Аналогично \P{M^...t х_2, x_J — Р {此 || …，х_2> %-】} I превосходит 九 с вероятностью, не большей e/九. Поэтому левая
и правая части равенства (9.13) отличаются друг от друга более чем на 2^ с вероятностью, не превосходящей 2еД. Полагая £f 0, а затем 九f 0, получаем (9.13).
Функции и меры
В этом параграфе принята „глобальная" точка зрения. Мы связываем с каждым фиксированным М. из 炉 некоторую функцию (точнее, класс функций) Р {М ||^}, определенную на всем пространстве Q. Что будет, если мы изменим точку зрения, фиксируя со и предполагая, что М. пробегает ^? Получим ли мы вероятностную меру на 炉？ Если это так, то, разумеется, только что доказанные результаты (Р0, ..,, (Р5) сводятся к стандартным фактам, относящимся к мерам.
Пусть ^ — конечное поле с атомами Gb ...» Gr. Если P(Gj = 0 и P(G0〉O для остальных 厶 то вариантом функции А {М II 纟} будет
Р{М 11% =Р{М 11% =Р(МГ)8)О,Р(МГ)8)О,если (о е Gb если со w G].если (о е Gb если со w G].'=2,...,'=2,...,
Р{М 11% =
Р{М 11% =
Р(МГ)8)
О,
Р(МГ)8)
О,
если (о е Gb если со w G].
если (о е Gb если со w G].
'=2,...,
'=2,...,
как функция от Л1 является вероятностной мерой накак функция от Л1 является вероятностной мерой наПри таком выборе варианта условной вероятности Р {Л111<^)
как функция от Л1 является вероятностной мерой на
как функция от Л1 является вероятностной мерой на
является мерой, если seGi・ вариант. Если взять, скажем,является мерой, если seGi・ вариант. Если взять, скажем,вариантР{М\\^}Ы =вариантР{М\\^}Ы =если (о е G2 U .. - U Gf, и не Мы выбрали „неправильный**
является мерой, если seGi・ вариант. Если взять, скажем,
является мерой, если seGi・ вариант. Если взять, скажем,
вариант
Р{М\\^}Ы =
вариант
Р{М\\^}Ы =
P(MQGi)「с. с
―方、丄, если (о еz = 2,...,
Р (Л1), если со е Gj,
то Р {М II ^}^ есть вероятностная мера по М для каждого(о. Ясно, что такие варианты существуют, если 乡 конечно.
Можно было бы подумать, что для любого а-поля 纟 варианты различных Р {М ||<^} могут быть выбраны так, что Р {Mj| 纟}8 являются вероятностными мерами по М для каждого 1) со из Q. Можно показать на при мере, что это не так (см. Дуб [1]).
Предположим, что точка о0 обладает тем свойством, что Р ⑹ >0 для любого G из 0, содержащего (о。. Это верно, например, если одноточечное множество {со0} принадлежит 炉 и имеет положительную меру. Фиксируем любые варианты функции Р {М. ||^} для всех М из 炉.Для любого М мно-
1) Если это можно сделать для почти всех со； то ясно, что это можно сделать н для всех ю.
жество {со: Р {М ||^}(д<0} лежит в 乡 и в силу (PJ имеет меру 0, а следовательно, не может содержать (о(). Таким образом, Р {М II ^}^ ^ 0. Аналогично Р {Q \\^}^ 1, и если Мп не пересекаются, то Р ^(J Мп \\^ = 2 {Мп || Следовательно, Р {МII ^}^ есть вероятностная мера, если М. пробегает 夕\
Таким образом, условные вероятности ведут себя должным образом в точках, имеющих положительную вероятность. То, что они могут плохо вести себя в точках вероятности 0, не вызывает затруднений, поскольку отдельные такие точки не влияют на вероятности множеств. Разумеется, множество точек, каждая из которых имеет меру 0, оказывает влияние, но здесь мы возвращаемся к глобальной точке зрения, из которой мы исходили 1).
Замечание. Колмогоровым [1] было введено впервые общее понятие условных вероятностей. Приведенное изложение следует во всем Дубу [1].
УСЛОВНЫЕ МАТЕМАТИЧЕСКИЕ ОЖИДАНИЯ
Определение
Пусть х — интегрируемая случайная величина на (Q,炉，Р) и 仔 есть а-подполе поля 夕. Определим функцию ф множества на 乡 равенством
Ф (G) = J х dP, G w 纟.
Тогда ф — конечнозначная (даже ограниченная), вполне аддитивная функция. Более того, она абсолютно непрерывна относительно Р (рассматриваемой на 0). В силу теоремы Радона — Никодима существует функция Е {х ||^}, интегрируемая, измеримая относительно 乡 и удовлетворяющая равенству(p(G) = / £ {х || ^} dP для всех G ^ ^. Обозначим
через E{x||0}s значение функции £ {х||<^} в точке(о.
I) Желание сохранить локальную точку зрения, наложив на пространство с мер。" подходящие ограничения, приводит к понятиям пространства Лебега it измеримого разбиения; см. Рохлин [7]. Для эргодической теории эти понятия очень полезны. — Прим. реО.
Будем называть эту функцию условным математическим ожиданием (или ожидаемым значением) величины х относительно 乡.Она определяется требованиями, чтобы а) £ {х \\^} была интегрируемой и измеримой относительно ^ и b) £{х ||^} удовлетворяла функциональному уравнению
[E{x^}dP= ^ xdP, Gw 纟.(10.1)
Вообще говоря, существует много таких функций; их называют вариантами условного математического ожидания. Любые два варианта совпадают почти всюду.
Если 0 = 2, то функция, тождественно равная £ {х}, является вариантом бункцнн Е{х||纟}. Если 乡=夕，то 尤 само есть вариант функции Е {х ||^}. Для любого 纟 функция, тождественно равная £ {х}, удовлетворяет приведенному выше условию (а) (которое становится более ограничительным с уменьшением 0), а само х удовлетворяет условию (Ь) (которое становится более ограничительным с расширен нием 0). Эти два условия работают в противоположных направлениях, и между ними находится класс вариантов функции Е{х|| 纟}.
Мы интерпретируем £ {х ll^}^ как новое ожидаемое значение случайной величины х для экспериментатора, когда Тихе сообщает ему, какие из множеств в 乡 содержат выбранную ею точку со, а какие нет. Условия (а) и (Ь) соответствуют аналогичным в определении условной вероятности. Согласно первому, экспериментатор может вычислить значение Е {х II 纟} после получения сообщения Тихе. Если после этого сообщения она предлагает ему выплачивать 尤 драхм в ответ на некоторую предварительную ставку, то справедливая начальная ставка равна £{х||纟} драхм при выполнении интуитивных требований, связанных с условным математическим ожиданием. Если стратегия экспериментатора заключается в том, что он принимает пари в случае наступления G и отвергает его в противном случае (здесь Gw0), то математическое ожидание его выигрыша равно J (х~ Е {х ||^}) dP. Соотношение (10.1) требует, чтобы такая о стратегия не давала преимуществ ни экспериментатору, ни богине.
Если ^ — конечное поле, то Е{х ||^}и должно равняться ]xdP/P (GJ для со из атома G,, имеющего положительную а
вероятность, в то время как Е{х||纟} может принимать
любое постоянное значение на атоме с нулевой вероятностью. Это связывает наше общее определение с классическим понятием условного математического ожидания при заданном множестве G:
E{x|G} =E{x|G} =尸（G）尸（G）j xdPj xdP(P(G)>0)・(P(G)>0)・
E{x|G} =
E{x|G} =
尸（G）
尸（G）
j xdP
j xdP
(P(G)>0)・
(P(G)>0)・
Заметим, что для множества М ^ ^ определяющие свойства функции Е {1М ||^} и Р{М\\^} совпадают. Таким образом,
Е{1М = Р{М^} п. в., что обобщает соотношение Е{1 ^ = Р (М).
Пример 10.1. Если х = £。金/人,一простая функция, то
£{хр} = ЗагР{Л,||^} п. в.
Пример 10.2. Исследуем предельную функцию『в эргодической теореме. Если f интегрируема, то в соответствии с этой теоремой
п—I
lim } £ f (Т%)=『(со) п. в.(10.2)
/г = 0
Для каждого множества { произведение IAf имеет свою „функцию с крышечкой*4 (/J厂，к которой оно сходится в среднем:'
п— 1
“1孔扌】&(「％)£ (Т%) =(/厶犷(з) п・ в. (10.3)
Если А инвариантно, так что /д (Р(о) = 1А (со) п. в., то из (10.2) и (10.3) следует /人(s)f (со) = (//厂(со) п. в. Так как (〃f厂 и // имеют одинаковые математические ожидания, то
jlJdP=^ (IAfy dP = j IAf dP
ИЛИ
j fdP = j fdP.(10.4)
Очевидно, что класс 乡 множеств, инвариантных относительно Т, образует а-подполе поля 炉 и функция % будучи инвариантной, измерима относительно 歹 Так как (10.4)
выполнено для всех 力三乡，то f есть вариант функции e {*5}.
Пример 10.3. Легко показать с помощью замены переменной, что если у(со) = х(Т(о), то
Е{у^Г[^ = Е{х ||^}га п. в.(10.5)
В частности,
р{гхм^ Г[^}а = Р{М р}га п. в. (10.6)
Основные свойства
Большинство примеров и результатов предыдущего параграфа переносятся непосредственно. Например, теорема 9.1 имеет очевидный аналог. Кроме того, те же методы, которые были использованы для доказательства (Р), (Р2) и (Р3), достаточны для установления следующих трех результатов. Мы всюду предполагаем, что величины х, // и т. д. интегрируемы.
(Е[) Если х = а п. в. (а — постоянная), то £ {х ||乡} = 〃 п. в.
Если х^у п. в., то Е {尤 II 乡}式 Е {у ||乡} п. в.
Если а и b — постоянные, то Е {ах + by || ^} = а£ {х || ^} +
+ ЬЕ {у^^} п. в.
Из этих утверждений вытекает очевидное следствие, что если % = // п. в., то £ {,v ' ^}= Е {у |1 ^} п. в.
Так как 一|尤1其工 三1工|, то в силу (Б?) и (Е3)
-£{|х||)^}<£{х \\^}^Е{\х\\\^} п. в.
и, следовательно,1
\Е{х ||^}|<£{|х||| ^} п. в.
Нам понадобится следующее обобщение теоремы Лебега о переходе к пределу под знаком интеграла:
Если 1 im хп = х п. в. и I х„ | ^ у п. в., где у интегрируема, то lim Е {尤门 || 纟} = Е {尤 || 好} п. в. Для доказательства рассмотрим 之拉=sup | 几一尢丨， Имеем zn | 0 п. в. и I £ {х„ \\^} ~ Е {х\\^}\^Е {zn II ^} п. в. в силу (Е3) и (Е』). Достаточно поэтому показать, что £ {zn Ц^НО п. в. В силу (Е2) последовательность Е{г^||0} п. в. не возрастает и, следовательно, имеет п. в. предел g. Нужно доказать, что
g = 0 п. в. или, поскольку g неотрицательна, что Е {g} = 0. Но в силу теоремы о переходе к пределу под знаком интеграла, примененной к величинам zn(\zn |^ 2z/),
E{g}^^ E{zn ||^} dP=\zn "-> 0.
Если x измерима относительно 乡,то, разумеется, Е{%||0} = % п. в. Постоянно приходится пользоваться следующим обобщением.
Теорема 10.1. Если х измерима относительно 多 〃 если у и ху интегрируемы, то
Е{ху \\^} = хЕ {у п. в.(10.7)
Доказательство. Предположим сначала, что % = /“, где 口0三 乡. Нужно показать, что IGoE {у 11-^} есть вариант функции E{/go//I|0}・ Так как//Е {у ||*}, очевидно, измерима относительно 胱 то нужно только проверить функциональное равенство
J la,E {y\\^}dP=[ IGaydP, G 巨纟.
GG
Но это сводится к равенству
J Е{у ||^} dP= J ydP,on GoG П Go
которое выполняется в силу определения Е{у||纟}. Таким образом, (10.7) выполнено, если х — характеристическая функция множества из 乡.Далее, для любой функции х, измеримой относительно 既 существуют ступенчатые функции %〃, измеримые относительно 纟 и такие, что | х/г | ^ | х | и lim хп = х. Так как | хпу | ^| xz/1 и функция | ху | интегрируема, то из (Е5) вытекает lim £ {хпу ^} = Е {ху || ^} п. в. Но £ {хпу И<^} = хпЕ {у II^} в силу уже доказанного и, разумеется, lim хпЕ {у ^^} = хЕ {у ||0}・ Поэтому Е {ху |£} = %Е {"| 乡}. Заметим, что мы не предполагали функцию х интегрируемой..
Повторные условные математические ожидания
Взятие условного математического ожидания можно рассматривать как операцию осреднения, или сглаживающую операцию. Переходя от х к £{х ||^}, мы делаем х „более
близкой к константе". Это можно видеть графически на единичном интервале с мерой Лебега, если 纟 конечно и имеет своими атомами подпнтервалы. Естественно ожидать поэтому, что осреднение х относительно а-поля 乡2， а затем осреднение результата относительно более „грубого^ (меньшего) a-поля 纟1 должно привести к тому же результату, что и приведенное сразу осреднение относительно 久
Теорема 10.2. Если х интегрируема 〃 а-поля 纟【и 纟2 удовлетворяют соотношению 纟【и^?，то
£{E{xn02*0J = E{尤 П 纟 В п. в. (10.8)
Доказательство. Докажем, что Е {Е {х || ^21II 纟 J есть вариант функции Е {х || 乡 J. Разумеется, Е {£ {х || 纟2} II 纟 J измерима относительно 乡卜 Если G 三勿，то
j £{£ {x\\^^\\^^dP^ ^ Е{х Н既} dP;
GG
но так как G лежит также и в 乡2， правая часть этого равенства равна j х dPt Таким образом, £ {Е {х 11^2)11^1} удовлетворяет функциональному уравнению для вариантов функции £{%1因}.
Мы получим второе доказательство равенства (10.8), установив, что £{工|；仔］} есть вариант функции £ {£ {x^.^W^i}. Так как £{尤||乡］} измерима относительно 倉卜 то нужно только проверить функциональное равенство
J E{x'^}dP= f E{x\\^.^dP, G e ^,.
Но если Ge^i， то G 三 纟2 н обе части равенства совпадают с J х dP.
Если 乃2 =炉，то £ {х II ^2} = -v п. в., так что (10.8) тривиально. Если 乡［ = 2, то (10.8) принимает внд, Е{Е {尤 口％}}= =£ {х} — частный случай формулы (10.1).
Если 幵〕и 好2， то случайная величина Е {%；：乡1}, будучи измеримой относительно 行卜 измерима и относительно 纟?； она не изменяется при взятии ее математического ожидания относительно 纟？：
Е{Е {х !i^i}||<^2} = £ {х)1^|} п. в.
Но это дополнение к (10.8) бесполезно.
Неравенство Йенсена
Для обычных интегралов и математических ожиданий неравенство Йенсена состоит в том, что если функция ф вещественна и выпукла ) то
屮(Е {х}) К £ {$(%)} (Ю.9) в предположении, что математическое ожидание существует. Обобщение на случай условных математических ожиданий таково: если х и 屮(尤)интегрируемы, то
(p(£ {xPJXfi'fcp (х)||^} п. в. (10.10)
Если 0 = 2, то (10.10) сводится к (10.9); если 屮(/)=丨/1, оно сводится к (EJ.
Мы докажем (10.10) только для одного случая, который нам нужен, а именно когда 尤 принимает значения из конечного отрезка [а, Ь], а 屮 определена на этом отрезке. В этом случае 屮 непрерывна и ограничена. Если /” ..., Аг есть сГ-разбиение пространства Q, то V； р {Д. || ^}(> = 1 для почти всех (о. Для любого такого со и любых чисел 。卜...,аг ИЗ [а, Ь] имеем
Ф (S а# {4 II 纟}з) <2ф (а,) Р {4 口范
в силу основного свойства выпуклых функций. Поэтому (10.10) выполняется для простых случайных величин. Но любая случайная величина х со значениями из [а, Ь] является пределом простых случайных величин хп со значениями из [а, Ь]. Так как последовательности {хп} и {ф (хп)} равномерно ограничены, то (10.10) вытекает из (Е5).
Одна специальная формула
В дальнейшем нам понадобится тот факт, что если Л — конечное поле с атомами Ль 74c то
Р {“ 卩观 V 乡} = £ 〃, °『{需:异 п・ в. (10.11)
Для почти всех со, для которых знаменатель в правой части обращается в нуль, числитель также обращается в нуль, и мы принимаем отношение равным 0. Если 乡=2, то (10.11)
!) Изящное изложение вопросов выпуклости можно найти в гл. 1 К1ШГП Зигмунда [1].
9 Зик. 1491
обращается в исходную формулу для условных вероятностей относительного конечного поля Л.
Покажем, что сумма в правой части равенства (10.11) является вариантом функции Р{М||院 V*}・ Так как эта сумма измерима относительно 贫 V 乡,нужно только проверить выполнение функционального равенства. Но 院 V 乡 состоит из конечных объединении непересекающихся множеств вида Л；П G, где G ^ ^у следовательно, достаточно проверить, что
] ^Ia^^P^P^M^Aj^G),(10.12)
勺DG i
где g,=尸{МП 力/|乡}/Р{4II乡}. Так как Ai не пересекаются и g/ измеримы относительно 纟,то левая часть равенства (10.12) равна
J lA*jdP= J IAjgjdP = ^ Е {IAjgj\\^} dP = 勺 ПС?GG
=J SjP{A}^}dP=\ P{Mn4/|^}dP = P(Mf]4/nG). GG
Пример 10.4. Пусть Л — такое множество, для которого Р (Л) > 0. Определим меру Р【соотношением
Р1(В) = Р(В|4), 8三，・(10.13)
Докажем одну формулу, связанную с (10.11):
Р"М 11^ =，彌眼 п. В. ?(10.⑷
(равенство имеет место с точностью до множества Ремеры 0). Заметим, что в силу абсолютной непрерывности Р{ относительно R обе части равенства (10.14) определены с точностью до множеств Ремеры 0. Правая часть равенства (10.14) измерима относительно 既 нужно показать, что она удовлетворяет равенству
J ，'图:贤一 dP] = Р (М n G), G w 乡，
которое эквивалентно
f 曾界护 " = Р(МГМ1Ш Gw况
Но если G R 仔,то левая часть этого соотношения равна
ОG
=]^Я^^Е{〃加"=j P{M[\A^}dP = P{M[\A[\G), aa
что доказывает (10.14). Если А оказывается лежащим в 趴 то (10.14) принимает вид
Р]{М||0} = Р{М||纟} п. в. Рь(10.15)
Пример 10.5. Если Т — неэргодический сдвиг, то он не имеет своим респектом некоторый цилиндр С. Так как предельная функция
п—1
(10.16)(10.16)“吧} £/с(Т%) = ?с®)
(10.16)
(10.16)
А—0
не является тогда константой почти всюду, то существует такое а, что инвариантное множество Ло = {со ： /с (со) < а} удовлетворяет условию 0 < Р (До) < 1. Так как С — цилиндр, то Ло лежит в a-поле, порожденном 尤〃,xrt+It ... для любого п, что следует из (10.16). Обращая временную шкалу (рассматривая Т~9, мы видим, что существует также нетривиальное инвариантное множество Л, которое для любого п принадлежит a-полю, порожденному ..., xn_i，х小
Определим Pi равенством “(10.13); в силу (10.15) имеем
Р {〃 II …，品т，xj = Р {М II .…,办-i, хп} п. в. р
для каждого п = 0, ± 1, .,. и для каждого М из 炉. В частности,
Pl {*"+1 = ^ II • • * » %也7，％J = Р {尤м+1 = ^ II • • • > “Т，"J 口・ В・ Р・
(10」7)
Поэтому если Т неэргодично относительно Р, то существует вероятностная мера Р{ на У, которая отлична от Р, абсолютно непрерывна относительно нее и имеет ту же структуру, что и 户[в смысле (10.17)].
Предположим теперь, что Т — неэргодический марковский сдвиг относительно Р с матрицей вероятностей перехода П и стационарным распределением р. Из (10.17) следует, что 7 относительно Р【 также является марковским сдвигом с матрицей вероятностей перехода П. Если Р〔 отлична от Р, то сдвиг должен иметь другое стационарное распределение.
Таким образом, Т эргодично, если существует только одно стационарное распределение для П； это уже было получено в § 3 другим способом.
Замечание. Дальнейшие сведения относительно условных математических ожиданий см. Дуб ［1］.
ТЕОРЕМА СХОДИМОСТИ
Можно задать вопрос, будет ли функция £ {х || ^} при изменении 乡 непрерывна в каком-нибудь смысле. Пусть 纟1 и 乡2 и ・…н 乡='/ 乡也(мы будем обозначать это записью п= 1
纟冷［乡).В этом параграфе мы покажем, что тогда
lim £ {х II ^„} = Е{х ||^} п. в. П -> оо
Теорема
Докажем сначала результат, который служит той же цели, что и максимальная эргодическая теорема.
Теорема 11.1. Предположим, что функция х интегрируема 〃 乡］и 乡2 и ・•・.Тогда для всех положительных 九
Р {s氏 Е{| 工川％}>"&•! £{|х|}.(11.1)
Доказательство. Достаточно показать, что для каждого и справедливо неравенство
max Е{|.ё||1 凰}>大］&1?{1x1}.(11.2)
Для n = 1 это — неравенство чебышевского типа, так как £{ |х I ||^|} есть случайная величина с математическим ожиданием £ {|,v I}.
Чтобы перейти к общему случаю, рассмотрим множество Mk 伏 W 几)точек для которых £ {| х ||| "J V 九 при i< k и £" {|х HI ^J> ^. Тогда Мь . .., А1п — непересекающиеся множества, объединение которых М есть множество» фигурирующее в (11.2). Если £其务，то функция £ {I х | ||^z}, будучи измеримой относительно 乡餌 измерима также относительно 乡々 (здесь мы используем предположение 乃i и 0? и ・・・)• Так как МА определено в терминах £{ |Х |||^J, где i《財 то оно
лежит в 乡々.Следовательно,
九Р(Л1) =工 j 九dP&E J E{\x\^^,}dP^
'=£ J|x|dP&E{|x|}.
Теорема доказана 】).
В силу непрерывности по 九 можно заменить знак > в (11.1) знаком >. Можно также заменить Е {| х 11| ^п} на I Е {%П%} I или на Е{х ：；乳}, поскольку £{х 修 j&| Е {х ||%} |< &£{1%1!1 %}•
Теорема 11.2. Если 0All 0, то для любой интегрируемой функции 尤
lim £{壮况} = ё{尤"0} п. в.(11.3)
и для любого М
lim P{M^^t}^P{M ||^} п. в.(11.4)
П > g
Доказательство. Равенство (11.4) является, конечно, частным случаем равенства (11.3). Далее, если (11,3) выполнено для любой интегрируемой и измеримой относительно 乡 функции х, то, даже когда она неизмерима относительно 0, это равенство имеет место, если заменить х на Е {尤口 0}:
lim Е{Е {х||^}||^п} = Е{£ {х\\^}\\^} п. в. (11.5) И -> ОО
Но (11.5) сводится к (11.3) по теореме 10.2. Следовательно, можно считать х измеримой относительно 0, и тогда (11.3) принимает вид )
lim £ {х II ^п} = х п. в.(11.6)
п > ОО
Если х измерима относительно какого-нибудь 典，то £ {х II^„} = х п. в. для 孔》归,и мы 'непосредственно получаем (11.6). Мы докажем (11.6) для произвольной х,
Неравенство (11.1) н похожее на него неравенство Колмогорова для сумм независимых случайных величин являются частными случаями мартингального неравенства. См. Дуб [1].
измеримой относительно 纟，аппроксимируя ее такими случайными величинами. Для заданного е выберем такую случайную величину %£, измеримую относительно некоторого 纟内,что 9
Е{\х~хЁ{}<е.
Имеем
IE{xj^m}-E{x^n}K
<|£{xe||^}-£{xe||^}| + 2sup£{|x-xe|||^}. (11.7)
Так как £ {хе||^п}->хе п. в,, то первое слагаемое в правой части неравенства (11.7) стремится к нулю при /п, п-> оо. Следовательно, в силу теоремы 11.1
p {。恒/?{*11乡m}一Е{*1|乡"}|>九}《^e{%一/1}V争・
Полагая е-> 0, видим, что вероятность в левой части неравенства равна 0. Таким образом, последовательность £{х||况} почти всюду фундаментальна ).
Следовательно, предел у = lim Е {% ||纟"} существует почти всюду. Нам нужно идентифицировать у с х. Предполагая, что у интегрируема и интегрирование можно производить под знаком предела, получаем
(Н.8)(Н.8)[у dP = lim { Е{х || ^^ dP.
(Н.8)
(Н.8)
*П->оо У
Л4
Если А е ^ft, то J Е{х|| 乡JdP= J х dP для всех 孔》阮
АЛ
так что
j у dP = ^ xdP.
Но если это равенство имеет место для всех А из U 好^ k
то оно имеет место и для всех А из 纟，так что в силу измеримости хну относительно 乡 имеем у = х п. в.
*) Это возможно, поскольку 汇 может быть аппроксимирована (в среднем) ступенчатой функцией, измеримой относительно *, и каждое множество, связанное с этой ступенчатой функцией, может быть аппроксимировано множеством из поля <^п.
Следовательно, нужно доказать только интегрируемость у и оправдать (11,8) 9- Так как в силу леммы Фату j\y\dP^\im J|£{x||^„}|dP<lim \ Е {\x^^dP ^Е {\х |}, л -> оо/г -> 8
то у интегрируема. Чтобы установить (11.8), достаточно доказать, что
lim "E{x“％}-WdP = 0.(11.9)
九•> 8」
Если xn = E {x ||^n}, to
J|x“一9ldP& j \xn-y\dP +
{丿“JV9
+ J £{|%||| 纟JdP + J \y\dP.
{1 坛 |>a}{RnI>4
Так как множество {I xn | > ^} лежит в 纟小 то второе слагаемое в правой части последнего соотношения равно
I х \ dP\ полагая NK = I sup | xn |>^ 1 , получаем
{pnl>4J
Jl*“-9|dPW J \xn-y\dP+ j {\x\-V\y\)dP.
{产“|VA}N%
Для фиксированного 九 первое слагаемое в правой части при /if 8 стремится к 0 в силу теоремы о переходе к пределу под знаком интеграла. Так как P(A\)f 0 при 九f 8 в силу теоремы 11.1, то получаем (11.9)).
Примеры
Пример 11.1. Если Л е V 院小 где ^„ — конечные поля, для которых 晓1 U 院2 U ・・・,ТО
p\imP{A Ш-Ia(Н.Ю)
по п. — Прим, peд^по п. — Прим, peд^П-> оо
по п. — Прим, peд^
по п. — Прим, peд^
(сходимость по вероятности). Этот сильно ослабленный вариант равенства (11.4) можно доказать непосредственно с помощью энтропии. Если Л — конечное поле с атомами А и Xе, то, как показывает теорема 7.1, 〃(贫 |儿)-> 0. Но Н (Л \Л^ есть математическое ожидание величины
Н(Р {ЛШ)^х\{Р{АЦЯ^которая сходится, таким образом, по вероятности к нулю.Так как функция “(f) равна нулю только в точках 0 и 1, то^{е<^{.4||^п}<1-е}->0.
Но
Р(А(]{Р {Л II儿 J < 叫=J Р{А II £} dP & e.
俨仍□/}<£}
Из этих двух соотношений вытекает, что
PiAntPlAW^^l-^X^
для больших п. Аналогично
Р(НП{Р{{С||4}&1-€})<2€
для больших п. Теперь легко получаем соотношение (11.10).
Пример 112 Пусть Р — мера Лебега на классе борелевских множеств в Q = [0, 1) и ^п — конечные поля, имеющие атомами диадические интервалы [(々一1)/2", 々/2") ранга п. Тогда 纟孔?炉,так что, если х (со) измерима по Борелю и интегрируема по Лебегу, то £ {х|| ^^^ к п. в. Вариантом величины Е {尤 口 仔“}柏 является ( J ,r (wO da)f\ 2~nt \Ua (Ш)//
где un (co) — диадический интервал ранга л, содерн<ащий(о. Таким образом,
для почти всех со. По существу это основная теорема исчисления.
Пример 11.3. Пусть {,гп} — координатные величины, соответствующие сдвигу с пространством состояний р. Если 纟以 есть о-поле, порожденное величинами 尤一小...,х_ь и ^ — поле, порожденное ..., х_2, х_], то 乡冷[0, так что в силу теоремы 11.2
lim Р {xq = i\\x,llt ...» x-i} = Р vv0 , х_2, х^} п. в. rzf 8
Если {х„} — марковская цепь, то это равенство очевидно в силу (9.8) и (9.9).
Пример 11.4. Теорема 11.2 вновь приводит нас к критерию эргодичности для марковского сдвига. Покажем сначала, что если множество 4 инвариантно, то Р (А М) = О для некоторого М, лежащего во всех а-полях 炉〃,где 夕也 порождено хп,尤也+卜....В самом деле, 4 может быть аппроксимировано (в смысле малости симметрической разностп) цилиндром Е. Но Т~тЕ аппроксимирует Т~тА = Л и Т~тЕ принадлежит ^п, если 〃z достаточно велико. Таким образом, Л может быть аппроксимировано элементами из 声必. Отсюда легко следует, что Р (Л + 5н) = 0 для некоторого Вп из 炉介 Возьмем М равным, скажем, limB".
п
Так как М лежит в 炉门”，то из очевидного обобщения равенства (9.13) вытекает, что
Р{Л1|| Xi q} = P{M||q} п. в.
Так как Р (Л + Л1) = 0, то Л и М имеют равные почти всюду условные вероятности и, следовательно,
Р{川,г/г_], х^ = Р{Л\\хп} п. в.
Так как о-поля 乡小 порожденные последовательностями ..尤冷хп, удовлетворяют соотношению В〃[/, где 杯一 полное о-поле, порожденное всеми координатными величинами, то теорема 11.2 дает теперь
Игл Р {川I%"} = IАп. в.
П-> ОО
Таким образом,
lim Р{|^{Л||л-,!}-/л|>8} = 0.(11.11)
В силу (10.6) и того, что Л инвариантно, имеем
Р {力口汇拉 + Js = Р {^\\хп}т(,г
И, опять-таки в силу инвариантности Л, имеем //®) = =Iд(Т(а). Следовательно, если Нп есть множество, вероятность которого фигурирует в (11.11), то Т~{Нп Hn+i. Так как Т сохраняет Р, то эта вероятность равна 0 для всех и. Таким образом,
Р {川戻о} = /,1 П. В.
Следовательно, существует такой цилиндр В, зависящий только от координаты 尤仍 что Р (4+ 8) = 0. Таким образом,
Т эргодично тогда и только тогда, когда не существует такого цилиндра В, что Р(в + Г'в) = о и 0<Р(В)<1. Это сразу приводит к критерию эргодичности нз § 3: Т эргодично тогда и только тогда, когда матрица вероятностей перехода П неприводима (в предположении» что все стационарные вероятности р{ положительны). Этот вывод обладает тем преимуществом, что он проходит даже в случае, когда пространство состояний р не дискретно (см. Дуб [1]). ,
Убывающие а-поля *
Если 纟I и 纟2 и …・ и хп = Е {х||^п}, то
Е {尤"+1 [|х(, > • ■) -^nl ~ ”" n. в.
Любая последовательность интегрируемых случайных величин, удовлетворяющих этому соотношению, называется мартингалом. Дубу принадлежит известная теорема о сходимости мартингалов почти всюду, которая содержит теорему 11.2 в качестве частного случая.
Предположим теперь, что 我 п%п … и 乃=「| 爲 (обозначаем это записью 纟篦| 纟). Следующий результат также вытекает из теоремы Дуба.
Если0以(tо
lim Е{х\\^^ = Е{х\\^} п. в.(11.12)
П->оо для любой интегрируемой функции х 〃
lim Р{М\\^п} = Р{М\\^} п. в. (11.13)
Мы не будем доказывать этот результат, но проиллюстрируем его, используя для доказательства перемешивающего свойства любого колмогоровского сдвига.
Напомним (см. § 8), что Т является сдвигом Колмогорова, если каждое множество из а-поля 夕陵=n炉"(где 夕以 порождено координатными величинами хп, хп+1,...) имеет меру либо 0, либо 1. Для того чтобы доказать, что преобразование Т перемешивающее, достаточно в силу теоремы 1.2 показать, что
lim Р (Л f) ГпВ)= Р(А)Р (в),(11.14)
/1->8
если только в — цилиндр. Не ограничивая общности, будем предполагать, что в зависит только от неотрицательных координат, а в этом случае Т~пВ ^ ^п для всех п. Так как 炉八 #8，то в силу (11.13)
limP{X||^n} = P{X||^J п.в.
П->оо
Так как любое множество из 炉g имеет меру либо О, либо 1, то Р {А\\<^^ = Р (А) п. в” так что
М = Р {Л||оГп} - Р(/) — 0 п. в.
Но, так как Т~пВ 三夕小 то
|Р(ЛПГпВ)-Р(Л)Р(В)|= J A“dP <£{|А„|).
т~пв
Так как |А/《2, то Е{|А/}->0, что доказывает (11.14).
В конце § 4, посвященного непрерывным дробям, было показано, что если ^п есть a-поле, порожденное 〃〃(①), an+I (о), ...» то 0 g = Р| 乡;I содержит лишь множества меры О или 1. Только что приведенное рассуждение доказывает также» очевидно, и то, что преобразование, рассматриваемое в § 4, является перемешивающим.
Доказательство того, что 纟陵 тривиально, содержащееся в § 4, опирается только на соотношение (4.15). Это легко приводит к следующему критерию. Предположим, что Т— сдвиг, обладающий тем свойством, что существует такая положительная константа С, что
4*Р(8)《Р(8|/)《СР(8)(11.15)
для цилиндров
/ = {%m =，т • • • > %" = %}，(] [ [6)
где m^n<u^v. Тогда преобразование T является сдвигом Колмогорова и, следовательно, обладает свойством перемешивания〔).
I) Тривиальность a-поля *g вытекает уже из одного левого неравенства (11.15). Если же выполнено только правое неравенство, то найдется такое конечное поле 此 что любое множество из 仔„, отличается от некоторого множества из 滉 на множество меры 0. Так обстоит, на* пример, дело в случае марковского сдвига. — Прим. ред.
Если Т — сдвиг Маркова, соответствующий матрице вероятностей перехода 11 с полон<ительнымп элементами, то (11.15), разумеется, выполнено. Если матрица П неприводима и апериодична, то существует такое натуральное число 々, что Пй имеет только положительные элементы. В этом случае (11.15) выполнено, если в (11.16) 〃一几》/с, и нетрудно видеть, что паше доказательство по-прежнему проходит. Таким образом, мы получаем еще одно доказательство того, что сдвиг Маркова с неприводимой апериодической матрицей вероятностен перехода является сдвигом Колмогорова и, следовательно, перемешивающим.
Замечание. Соотношение [11.4] принадлежит Леви [2]. Теорию мартингалов см. в книге Дуба [1].
ГЛАВА 4
Сходимость энтропии
ОБОБЩЕНИЕ УСЛОВНОЙ ЭНТРОПИИ »)
Определение
а-подполе,(12.1)а-подполе,(12.1)то положимто положим〃(/静)= £{/(Р{410})卜〃(/静)= £{/(Р{410})卜Если Л — конечное подполе поля 炉,а ^ — его
а-подполе,
(12.1)
а-подполе,
(12.1)
то положим
то положим
〃(/静)= £{/(Р{410})卜
〃(/静)= £{/(Р{410})卜
где сумма берется по всем атомам поля 院，а 勺 определяется, как обычно, соотношением (5.11). В случае когда ^ конечно, величина (12.1), которую мы будем называть условной энтропией поля % при заданном 纟，сводится к выражению (6.1), использованному в гл. 2.
Тихе выбирает точку со в соответствии с распределением Р и сообщает экспериментатору, какие элементы поля 纟 содержат ①，а какие нет. В соответствии с эвристическими рассуждениями предыдущей главы Р {Л||^} есть новая вероятность множества Л, так что энтропия S п(Р{К0}) является мерой остающейся неуверенности экспериментатора относительно исхода 儿.Величина И (<Л\^) дает среднее значение этой остающейся неуверенности. Можно рассматривать 纟 как сложный эксперимент. Если экспериментатор знает исход 既 то он все же до некоторой степени неуверен в исходе Л и получает некоторую дополнительную информацию, когда узнает исход 氏、Остающаяся неуверенность и эта дополнительная информация измеряются одной и той же величиной //(儿 | 乡).
Эта величина имеет другую форму:
Н{Л\^ = Е^-^1а\пР{А^}^.(12.2)
Правая часть этого равенства в силу теоремы 10.1 равна (вспомним, что Е{£{%||乡}} = Е{%}) Е^Е^-^1А\пР{Ат^=1
=-Е^-^Е{1^}\пР{А^^ = Н{Л\^).
*) Читатель может опустить этот параграф, если согласится предполагать некоторые сдвиги в последующих параграфах марковскими.
Свойства функции //(儿| 乡)
Это расширенное понятие условной энтропии обладает теми же свойствами, что и ранее рассмотренное;
(С1)〃(晓 V %|纟)=Н^^ + Н^]^^^).
(С2)Н^^^Н^^), если 晓и熟
(e3)"(晓I阳)《Н(阅典)，если好1 n典.
(C4)"(院V % I纟)《"(川纟)+ H修I0).
(C5)"(厂贸1尸产)="(园乡).
Докажем (С), (С3) и (С5), остальное получается, как раньше. Согласно (10.11), имеем
Р {В||Л V Я = S /л --p-^ff- п. в.,(12.3)
А
где суммирование распространяется на атомы поля Л. Для любой точки s все слагаемые в (12.3), кроме одного, обращаются в нуль. Поэтому
In Р {811晓 V 乡} = £ /а In -缗^當}П. в. (12.4)
Но
£ /дпв1пр{лпвня =
А,В
=£ /储1П p⑷留} +£/幫2 1П用?當"=
А,ВА,В
= £/а1пР{4||Н} + £/в1пР{8^У0}.
Ав
Взяв математическое ожидание и применив (12.2), получим (CJ.
Для доказательства (С3) используем неравенство Йенсена
Пусть х = Р {^H^J. Так как функция п выпукла, то
Е価{х)т <п(£ {整纟2» = П(Р{АШ\
где равенство вытекает из теоремы 10.2. Переходя к математическим ожиданиям в обеих частях неравенства, получаем
£{n(P{4|£J)}&E{n(P {*%})}•
Суммирование по всем атомам поля Л дает (С3). Это рассуждение в скрытой форме повторяет доказательство свойства (А3) из § 6.
Из (10.6) вытекает
Г] (P (厂力1 7Т乃}") = Г] (Р m 図繭.
Интегрируя, получаем
еМр{t-1А\\ L 州} = Е m(p {川図)},
а суммирование по атомам поля Л дает (С5).
Рассмотрим о-поля 纟也 и 好.
Теорема 12.1. Если 乡；1T 纟,то
1面/7(川然)=/7(川野).
Доказательство. В силу теоремы 11.2 lim Р{А^^-Р{А^} п. в. 以-*8
Так как функция nd) непрерывна и ограничена, то утверждение теоремы следует из определения (12.1).
Можно использовать теорему 12.1 для нового доказательства теоремы 7.1, представляющей основополагающий результат Колмогорова. Центральный этап этого доказательства состоит в доказательстве .того, что если конечные поля 院к удовлетворяют требованию 4]U 晓？и ・..
и 院 и \/院"，то Нт"(阅晓力=0・ В силу теоремы 12.1 и п=1п
свойства (С3)
Ит Н(ЛШ = Н\Л 巾晓j《〃(阅儿)п0・ 〃->8\k = l /
Сравните это с примером 11.1,
Из теоремы 12.1 и свойства (В) из § 6 следует
л (Л, Т) *="(晓，广‘庚)•(12.e)
Аналогично если Т обратимо, то
h (Л, Т)="(晓 V Г^.(12.6)
В § 6 мы интерпретировали 似贸，Т) как приближенное количество информации, извлекаемой при проведении экспе-
римента 院，если известны результаты большой, но конечной серии предыдущих проведений этого эксперимента. Теперь можно интерпретировать эту величину как точное значение количества информации, полученное от проведения эксперимента, при условии, что известна вся предыстория.
Две специальные формулы 】)
Введем обозначения JT = V Т~1Л и 箔~ = V Г"^.
Теорема 12.2. Пусть преобразование Т обратимо. Если либо 召 и 儿 либо 儿 и .纽，то
lim 丄Л^| .矿) =从 1co.(12.7)
H->oo rt 、丸=0/
Доказательство. Рассмотрим сначала случай 箔 и 儿. В силу свойства (С) (обобщенного по индукции) и (С5)
I/п—1\〈^1/& -]、
丄" V产晓1箔[=丄£"歹V V戸晓=
几М = о/孔 М\/=0/
=_ £ " (从I尸(%一V V穴院力=
=;工" (/厂‘Л V ... V 广'贫 V 厂免 V 厂'V ...).
Если 羽 н 4, то теорема 12.1 дает
Jim "(囿尸院 V V T'kЛ V 厂海"多 V •••) = "(囲晓一).
Теперь (12.7) следует из теоремы о средних арифметических.
Рассмотрим случай 儿 и 召. Так как JT и 箔\ то в силу (С3) и первого случая (при 儿=箔)имеем
limТкЛ 垃)=〃(儿 | 贫一).
n>8 “ \ft«O) Il -> ОО "\々=0/
(12.8)
*) Последние два результата этого параграфа используются только прп доказательстве теоремы 17.3. Возможно, лучше будет вернуться к шш еще раз, когда 9HH понадобятся.
С другой стороны, используя поочередно (С】)， (С3) и (С), каждый раз применяя первый случай, получаем
lim丄?Л凰歹=/г ->00 Л М = 0/= lim V Tk^\^~\--H\\/ п^Лп U=o / ” U=olim丄?Л凰歹=/г ->00 Л М = 0/= lim V Tk^\^~\--H\\/ п^Лп U=o / ” U=o^Н(^\.Ю- lim"-> 8^Н(^\.Ю- lim"-> 8-н(\/ Tk^-н(\/ Tk^V d烧v乡》 /JV d烧v乡》 /JV ткл V 院-=*=о/V ткл V 院-=*=о/
lim丄?Л凰歹=
/г ->00 Л М = 0/
= lim V Tk^\^~\--H\\/ п^Лп U=o / ” U=o
lim丄?Л凰歹=
/г ->00 Л М = 0/
= lim V Tk^\^~\--H\\/ п^Лп U=o / ” U=o
^Н(^\.Ю- lim
"-> 8
^Н(^\.Ю- lim
"-> 8
-н(\/ Tk^
-н(\/ Tk^
V d烧v乡》 /J
V d烧v乡》 /J
V ткл V 院-=
*=о/
V ткл V 院-=
*=о/
n— 1V d院v院一й = 0n— 1V d院v院一й = 0=limТк.^\Л~}--Н(\/ Tk^
n— 1
V d院v院一
й = 0
n— 1
V d院v院一
й = 0
冷一а оо L 〃\々=0/"= 0
= lim V 7旣1从一) = "(阅院)
n -> oo \/г=0/
Это вместе с (12.8) дает (12.7).
Теорема 12.3. Если преобразование Т обратимо, то
"(从 V 例儿一 v%一) = "(儿 1儿一 V V"(羽I羽) \/= —0O /
Доказательство. Теорема 12.1 дает
lim /7рМ-V ^" V V Tk^] = Н(Л\Я~ V V (12.9)
n\fe = 0/\» = —8/
В силу (CO и (C5)
//(— 1TL [、
〃 V t"贸丨儿-v 箔一 v V=
\A = 0f = 0/
/z — 1 /n — 1ft-1\
=2 " 7贫I сТГ v方一 V V厂历V V勿院=
々=0 \t=o/=о/
=£〃 阅儿-v%「v V т^ =々=0\i=0/
n/fc — I\
= £"(阂儿一v冢vV7‘乡). 尼=0 \g=0/
产%j ="(图 从.V V T'召}产%j ="(图 从.V V T'召}Отсюда, из (12.9) и теоремы о средних арифметических следует
产%j ="(图 从.V V T'召}
产%j ="(图 从.V V T'召}
lim V产贫I从- V多一V V
/i ■> '丿 ‘'、R = 0й = 0
С другой стороны, в силу (С【)и двукратного применения предыдущей теоремы (сначала с 晓 V 箔 вместо 院 н 羽, а затем с 0 вместо 院 н 儿 V 箔 вместо箔)имеем
/〃一1п~\
lim -/7 V产园院一 V第一 V V
П->со П^ \々=0А = 0
〔/п—1м—1、
=lim V Г^ V V Тк^\Л~ V ^"-
n -> оо Ln \A=0丸=0/
_十万 (У。у翦1贽一v%j]=
="(晓V羽]烧一 V%一)一"(%|0)
Замечание. Теоремы 12.2 и 12,3 принадлежат Рохлину и Синаю [1].
ТЕОРЕМА ШЕННОНА- МАКМИЛЛАНА- БРЕЙМАНА
Если Т — общий сдвиг (пример 1.2) с пространством состояний р, а И (х0, ..., хп^ обозначает энтропию конечного поля, имеющего своими атомами гп множеств (г есть объем множества р) вида {①：х0(①)=办,...,хп_!(①)=厶_R то в силу теоремы Колмогорова
/;(П= lim (х0,х^).(13.1)
Напомним, что (13.1) —теорема, а не определение.
Для любой последовательности (/0, ..., 〃т) элементов из р положим р (z0, ..., zn_!)= P{xQ = z0, ..= l^. Тогда Р(%о(9), ..., x^-i (①))есть вероятность фактически наблюдаемой последовательности (х0((о), ..., хп_{ ((о)). Так как —In р (х0(ю)> • •.» Хмт(8)) имеет математическое ожидание, равное Н (х0, ..., то из (13.1) следует
lim fl — — In р (х0((о), Хм (s)) } = Л (Г).(13.2)
〃 > ОО I 〃J •
Результат
В эргодическом случае в соответствии со следующей теоремой, последовательно усиливаемые варианты которой принадлежат Шеннону, Макмиллану и Брейману, величина, стоящая под знаком математического ожидания в соотношении (13.2), сходится к 力(Т) почти всюду. Для больших п вероятность р (х0((о), (з)) наблюдаемой последовательности должна быть близка к 仃九⑺.
Теорема 13.1. Если Т — эргодический сдвиг, то
lim j —— In р(х0((о),x〃t(s))} = /2(T) п. в. (13.3)
Доказательство. Разберем сначала два поучительных частных случая. Если Т — сдвиг Бернулли (рь ..., р), ТО р (/0, 心=Pig … р%_】，так что
п—1
-~-1п р(ХО (е), ..., х„-1 (и))=-疗 £ In Р (3).
й = 0
Из эргодической теоремы, которая в этом случае сводится к усиленному закону больших чисел для испытаний Бернулли, следует, что левая часть этого равенства сходится почти всюду к £ {— In рХо(з)}= — 不 р Jn 刁=九(Т)・
Если Т — эргодический сдвиг Маркова, порожденнный начальными вероятностями pt и вероятностями перехода р^, то
-} In р (尤о (w), ...» хп_! (со))=
=-3 1П %(◎ — } 2 In р“т 砚 “ ®).
Соотношение (13.3) получается и в этом частном случае после применения эргодической теоремы.
Доказательство в общем случае опирается на эргодическую теорему и теорему 11.2 о сходимости условных вероятностей. Мы будем испол-ьзовать функции
go(s)= - 1пр(хо(со)),
gk (w) = - In
卅(з) == - In
p (十』(①)，，一,尤T(S),工0 (s))p(尤№((0),十一п0))
р (j (co),…，j (s), i)
p (J (s),・…X-! (s)) •
Заметим, что fg)(s) есть взятый с обратным знаком рифм величины
Р{%0 =斗・・・，X-Jm
Заметим также, что все эти функции неотрицате/: Непосредственное вычисление показывает, что п-1
лога-
-^ In °(% (吼 …，尤/I (①))=孑£ g目(Т%)・
Если бы функция g也(s) не зависела от &, то правая
(13.4)
часть
равенства (13.4) имела бы вид среднего, к которому приме-
няется эргодическая теорема, п мы получили бы (13.3). Хотя, вообще говоря, g%(s) зависит от /г, мы покажем, используя теорему (11.2), что g^((o) сходится к некоторой функции g(s) при 々->8. После этого идея доказательства заключается в том, чтобы проверить, что среднее в (13.4) п— 1
близко к±£а(Г'(о)・ (Бернуллиевский случай разбирается
просто, поскольку для всех неотрицательных 々 функции gh (со) совпадают со своим пределом g (со). Марковский случай прост, так как gz(s) = g(sj для положительных k.)
всюду квсюду кВ силу теоремы 11.2 Р {х0 ^ ^11 х-^» • • •» х-\} сходится почти
всюду к
всюду к
Р {%() = ^ II • • •» ”-2‘ "f 1}*
Из непрерывности логарифма следует, что f*)(s) сходится п. в. (предел может быть равен + оо)・ Так как g&(s) совпадает с f2)(s) на цилиндре {(о : х0 (со) = /}, то предел
g(s) = limgMs)(13.5)
总) 8
существует п, в. Так как функции gk (w) неотрицательны, то g(o) также неотрицательна, но .то, что мы пока знаем, не противоречит предположению о том, что на множестве положительной меры она может равняться + оо.
Покажем теперь, что
Е |supgft(«)| < 8・(13.6)
В частности, получим, что g (со) интегрируема и, следовательно, конечна п, в. Если
тотогдегде£ft=(W： шах^ДсоХ^яИсо)),
то
то
где
где
Р (以)=X Р ({% = 4 П J) = £ р ({% = с} п 尸夕),
尸^ = К： ,?gjy (s)《九 V 段)(s)卜
Так как 尸記 принадлежит a-полю, порожденному величинами
J,…，Х-ь то
Р ({尤о = 9 П 尸£)) = j Р {% = 〃1 j ... x_J dP =
j m"®‘p（d3）&「p（&））.
Так как 尸農 при различных /с не пересекаются, то 工 Р (Т) W』士 Р (民“)< ret г /г
где г — объем множества р. Следовательно,
Р {со: sup gM(o) > 九} ^re~K,
откуда следует (13.6). Таким образом, g интегрируема.
Интегрирование соотношения (13.4) и замена переменной дают
=/г ⑺.=/г ⑺.E{g}= lim Е®}= lim Е
=/г ⑺.
=/г ⑺.
А -> ООМ •> 8
Запишем
п —Iп—1п —1
7 £% (「％)=4 2 g(7%)+ }工(g«%)- g (T%)). (13.7) fc= 0/г —0々=0
По эргодической теореме (вспомним, что Т эргодично)
Нт 1 У S' (Т11^ = E{g} = h (Г) п. в. (13.8)
Если G^ (w) = sup I gk (со) — g (со) I, то для любого ^
八一I
而 如7%)-8(7%))《
^^^\gk(Tll^-g(Tk^\<
n— 1
&而;工 Gn(T^) = E{Gn} п. в.
Ho Gn (s) сходится к нулю почти всюду и мажорируется интегрируемой функцией g (s) + sup «W (со), так что lim £ {Gw} = 0.
kN ■> ОО
Значит, вторая сумма в правой части равенства (13.7) стремится к нулю почти всюду, что вместе с (13.8) дает
lim 之斗 1AT%) = h⑺ п. в.
Теперь (13.3) следует из (13.4), что завершает доказательство теоремы.
Другие варианты теоремы
Если Т не обязательно эргодично, то (13.8) нужно заменить соотношением
п— 1
"т 十工 g(Tkw)^^(a) п. в.,门 ) 8
где g — инвариантная функция со средним значением E{g} = =Л (Г). Аналогично следующее за (13.8) неравенство должно быть заменено неравенством
1
而 (g〃7%)-g(T%))《毓(з) п. в„
П -> ОО ” ~
где теперь G^ (з) = sup | gj； (з) - g (з) | и E{GN} = E{GN}.
Левая часть этого неравенства превосходит 九 с вероятностью, не превосходящей E{Gj/九. Полагая N f 8, 九 f 0, получаем, что она равна 0 почти всюду. Отсюда следует, что
］义{-= Ера°(з)' • • х“т (з))} = @(з) п. в.
Если Т эргодично, то мы снова приходим к (13.3).
Теорема 13.1 сохраняет силу и для одностороннего сдвига Г. Если задан односторонний эргодический сдвиг Т, то построим двусторонний сдвиг f с теми же конечномерными мерами. Так как эргодичность связана только с конечномерными мерами, то Т также эргодичен. Отображение, переводящее бесконечную в обе стороны последовательность (...,①т, со。, (of, ...) в последовательность ((оо,砌,...),переводит соотношение (13.3) для сдвига f в соответствующее соотношение для Т. Таким образом, теорема 13.1 выполнена и для односторонних сдвигов.
Из теоремы 13.1 для одностороннего сдвига можно вывести более общий на вид результат. Пусть Т — произвольное эргодическое, сохраняющее меру преобразование на вероятностном пространстве (С, F, Р), а Л — конечное подполе поля 炉. Если рп (со) — вероятность того атома поля n1
V T~kJty который содержит со, то
lim j — -^- In рп (со) J- = /z (Л, Т) п. в. (13.9)
[Если V 厂'儿=夕，то 九(% T) можно отождествить с Л(Г). I \й»0/
Поэтому нужно только перенести задачу на пространство односторонних последовательностей с помощью отображения sf (f(s), /(Гео), ...), где f~ некоторая функция, принимающая различные значения на разных атомах поля Л. С помощью (13.9) можно, полагая Л полем событий, наблюдаемых в момент времени 0, снова прийти к теореме 13.1.
Аналогичный результат имеет место, если JL заменить о-полем, соответствующим счетному (а не конечному.) ^-разбиению пространства Q. Если рп(со) — по-прежнему вероятность того атома поля V Т“院,который содержит ①,и 力=0
V厂'贫=夕，T0
lim {-； In р〃⑹}к 九⑺ п. в.!)
Отсюда следует, например, что преобразование, связанное с непрерывными дробями» имеет энтропию л2/6 1п 2 (см. (4.22)).
чточтос точностью дос точностью доlimn -> ооlimn -> ооеp几⑹一力⑺еp几⑹一力⑺In гIn гIn гIn г(13.10)(13.10)няется в точке со, тоняется в точке со, томножества Р-мерымножества Р-меры0. Если (13.10) выпол-0. Если (13.10) выпол-оо, еслиоо, еслиа>а>0, если0, еслиа<а<力⑺In г '力⑺ lnr~ *力⑺In г '力⑺ lnr~ *(1-3.11)(1-3.11)Теорема Шеннона — Макмиллана — Бреймана связана с условиями Липшица, которым удовлетворяют некоторые функции распределения на единичном интервале. Возьмем в качестве Т преобразование Г(о = r(o (mod 1) на полуинтервале [0, 1] (пример 3.5), и пусть Р —мера, сохраняемая преобразованием Т. Пусть ^ — конечное поле с атомами р", (，+1)〃)， / = 0, 1, ...» г — 1. В этом случае p〃(s) есть P-мера того r-адического интервала 〃尼(s) ранга л» который содержит со. Если Т эргодично относительно R то из (13.9) и того, что V rkji есть а-поле 夕 всех борелевских множеств, вытекает,
что
что
с точностью до
с точностью до
limn -> оо
limn -> оо
еp几⑹一力⑺
еp几⑹一力⑺
In г
In г
In г
In г
(13.10)
(13.10)
няется в точке со, то
няется в точке со, то
множества Р-меры
множества Р-меры
0. Если (13.10) выпол-
0. Если (13.10) выпол-
оо, если
оо, если
а>
а>
0, если
0, если
а<
а<
力⑺
In г '
力⑺ lnr~ *
力⑺
In г '
力⑺ lnr~ *
(1-3.11)
(1-3.11)
') Доказательство см. в работе Чжун Кай-лая [1].
Если F (х) = Р[0, х), то ра (со) равно приращению функции распределения 尸 на интервале ип (со). Так как этот интервал имеет длину г-п, то (13.11) означает, что 尸 удовлетворяет условию Липшица в точности порядка 力(Т)/1пг в точке со. Таким образом,尸 удовлетворяет условию Липшица в точности порядка /z(T)/lnr па множестве Р-мерн 1. (В § 3 отмечалось, что 尸 сингулярна, если только не имеет места тождество F (х) х, в последнем случае h (Г)/1п г = 1.) Установить условие Липшица для F на множестве лебеговой меры 1 представляется затруднительным.
Свойство равнораспределенности
Пусть Т — снова двусторонний сдвиг. Для любого натурального b отображение sf (尤【(со),...,尤力亿)))индуцирует вероятностную меру на множестве р' упорядоченных групп из b элементов пространства р. причем вероятность такой упорядоченной группы 〃=(厶,...,厶)равна
Р (辽)=Р {(修，…•，汇/)) = 〃}= Р {(^n + l> • ■ • J %"〃)= 〃}•
Согласно теореме 13.2, при больших b множество р" разлагается на два подмножества, из которых одно имеет малую общую вероятность, а другое состоит из упорядоченных групп по b элементов, таких, что вероятность каждой группы близка к e~bh (П — факт, известный под названием свойства асимптотической равнораспределенности.
Теорема 13.2. Пусть Г — эргодический сдвиг с энтропией h. Тогда для любого е > 0 существует такое натуральное число &0 (е), что р" при /)2 6о(£) разлагается на два множества Н и L со свойствами:
2 P(U)= P{(Xh . . ., % 三丄} <£,
e-bS+'Y р伍)= Р{3，•••，•％) = 〃} VeWR если 〃巨 Н.
Доказательство. Перейдя в (1?.3 к пределу по вероятности, получим
р lim { —}1口〃(尤1 (со),…・，xb (со) )| = //.
Выберем такое 仇⑻，что
Р {①：J 一 ^ In Р “】(s),….，凡(①))一/“》е} V£
при b ^ &() (е). Пусть Н (группа высокой вероятности) состоит из тех упорядоченных групп u по b элементов, для которых
I - -у 1п р (и) - Л I < е,
и пусть L (группа низкой вероятности) является дополнением множества Я в р". Ясно, что Н и L обладают требуемыми свойствами.
Замечание. Исходные работы в этой области принадлежат Шеннону [1], Макмиллану [1] и Брейману [1]. Др} гое доказательство теоремы 13.2 см. в работе Тома- сяна [1].
СВЯЗЬ С ТЕОРИЕЙ РАЗМЕРНОСТИ *
Классическое определение
В 1919 г. Хаусдорфом было введено понятие размерности, которое, как оказалось, имеет любопытную связь с энтропией.
Пусть М — множество в метрическом пространстве, скажем в евклидовом. Внешняя мера /а(Л4) («-мерная) определяется для положительного а следующим образом. Назовем р-покры- тием множества Л1 счетное покрытие этого множества замкнутыми шарами S? диаметра, меньшего р. Положим
/а(М Р)= ^ 士 Ошам. S0\(14.1)
i
где нижняя грань берется по всем р-покрытиям множества М, При убывании р нижняя грань в (14.1) распространяется на все меньший класс покрытий и, следовательно, %(〃， Р)возрастает или, во всяком случае, не убывает. Поэтому предел (конечный или бесконечный)
/a(M)=lim /а(М, Р)р ->0существует.
Ясно, что функция /а( •) монотонна: /а(Л1)^/а(Mf), если М иЛГ. Для заданной последовательности множеств Мп выбираем такие р-покрытия {Sm}, что 2 (диам. Sn^ < V/a(Mf Р)+ е/2"《/JMJ + g/2"・ Все шары Sni вместе образуют р-покрытие множества Н Л/п> причем 工(днам. Sn^ < V』/а(М〃)寸-£• Следовательно, функция /а(-) полуаддитивна:
Ax(U М j& £/а(М J Таким образом, /а(М) как функция от М является внешней мерой.
Хаусдорфова размерность множества М определяется поведением /а(М) не как функции от М а как функции от а. Покажем, что если /а(Л1) конечно, то 厶『(Л1) = 6 для любого а‘>о. Если {SJ — некоторое р-покрытие множества Mt для которого
£ (диам. S)a&/a(M，р) + 1 ^ /а (Al) + 1 = к < ОО,
то /а，(М, р)&£(днам. S;)a，<pa，-a 2(диам. S;)a < pa，-a/<.
Так как a‘>a, то, полагая р —0, получаем /а‘(Л1) = 0・ Если /а(М) конечна для некоторого конкретного значения а, то
Рис. 4.
она равна нулю для всех больших значений. Следовательно, существует „точка перехода" — такая точка а0, что 1а(М) = оо для а<а0 и /а(Л^) = 0 для а>а0 (рис. 4). Функция /а(Л1) в точке а0 может равняться нулю, принимать конечное положительное значение или оо. (Крайние случаи а0 = 0 (/а(Л1) = О для всех а>0) и а° = 8 (1а(М) = оо для всех а>0) могут иметь место, хотя в евклидовом пространстве второй случай невозможен.) Однозначно определяемое число а0 и есть хаусдорфова размерность множества М, мы ее обозначаем dimAf.
Имеем
dim М = sup {а ： /а(ЛГ) = 8} = inf {а ： 1а(М) = 0}.
Мы постоянно используем следующие четыре факта: l)/a(M)>0=>dimM》a; 2) dimAf >а=^/а(Л1)= оо； 3) 1а(М)< 之 8 今dimXl&a; 4) dim Л1 < a =^> /а {M) = 0.
Отметим два основных свойства хаусдорфовой размерности. Прежде всего, она, очевидно, монотонна:
dim Л1 & dim Mz,(14.2)
если МиЛГ. Во-вторых,
(14.3)(14.3)dimU Мг = sup dim Мп.
(14.3)
(14.3)
Действительно, если dim Л1П< а для всех п, то /а (Afn) = 0 и в силу полуаддитивности функции /а( •) имеем Ци Л1пj = О и, следовательно, dimjjAl^^a. Таким образом, dim(jAln ^ пп
^ sup dim Мп. Обратное неравенство очевидным образом следует из (14.2).
Для оправдания хаусдорфова определения покажем, что размерность достаточно гладкой поверхности в трехмерном пространстве равна 2. Итак, предположим, что поверхность М. определяется уравнением z = f (х, у) над единичным квадратом на плоскости. Без всяких дальнейших предположений можно доказать, что dim М^2. Для этого будем считать, что М покрыто шарами S» диаметра d〃 Если р — вертикальная проекция на плоскость (х, у), то pS, покрывают рМ. Так как pS^ есть круг диаметра % (с площадью 冗咽4), а рМ есть единичный квадрат (с площадью 1), то s ndt/4> 1, или 2 (диам. S02》4/m Таким образом, /2(М)>°，так что
dimAl》2.
Обратное неравенство можно доказать, если предположить выполненным условие Липшица (о,(6) = 0(6), где
(of (6) = sup {If (%, y)-f(X,/ |：|% 一 £|《6,旧一"《6}
есть модуль непрерывности функции f. Из этого условия следует непрерывность，； с другой стороны, если, например, f непрерывна и имеет ограниченные частные производные, то это условие выполнено. Докажем, что dim М ^2, показав, что /2+е (Л1) = 0 при любом е>0. Выберем К>1 так, что Sf (6)VK6・ Разобьем теперь единичный квадрат на『” маленьких квадратов со сторонами, равными 1/п. Так как вариация функции f па любом из этих маленьких квадратов меньше, чем /С/п, то часть поверхности М, лежащая над таким маленьким квадратом, может быть заключена в куб с ребром КП который в свою очередь может быть заключен в шар диаметра /З/C/n. Таким образом,_поверхность М может быть покрыта п2 шарами диаметра ^ЗКЦп. Для этого
покрытия имеем 工(днам. SJ"' = (]/Wk)~ /〃'. Выбирая п так, что |/ЗК//г<р, получаем
/2+е(М р)^(УЗК^1пе
и, полагая 〃f 8, имеем /2+е (Л1, р) = 0. Таким образом, /2+е (Л1) = 0, так что dimM«2.
Такое рассуждение показывает, что хорошие множества имеют именно ту размерность, которую и следует ожидать. Далее мы не будем заниматься подобными рассмотрениями, так как нас будут интересовать крайне нерегулярные множества, размерность которых не есть целое число.
Размерность в единичном интервале
Далее множество М будет подмножеством единичного интервала. Нетрудно видеть, что для такого множества 乙(乂) есть обычная внешняя мера, так что 1{ (Л1) ^ 1. Таким образом, dim М лежит между 0 п 1. Если М ~ борелевское множество положительной лебеговой меры, то Ц (Л4) > 0, так что dim Л1 = 1. С другой стороны, каждое одноточечное множество, а следовательно, и каждое счетное множество имеет нулевую размерностьj). Между этими крайними случаями лежит канторово множество, которое, как показал Хаусдорф, имеет размерность In 2/1п 3. (Мы докажем это ниже.) Хаусдорфова размерность измеряет величину множеств на единичном интервале таким образом, что дает возможность решить вопрос о том, какое из двух множеств меры 0 „больше".
Пусть М (р) — множество точек на единичном интервале, содержащих 1 в своих диадических разложениях в пропорции р, т. е. (о = 0, sis? ... лежит в М (р) в том и только том случае, когда lim п" 工 s&=p. Так как М. (1/2) есть множество чисел, нормальных по основанию 2, то его лебегова мера равна 1. Если р 声 1/2, то М (р) состоит из чисел, не являющихся нормальными и, значит, имеет меру 0. Поэтому интересно узнать его размерность). В 1949 г. Эгглстон доказал, что
dim М (р)[р \п р + (I - р) In (1 -")].
Этот результат тесно соприкасается с хаусдорфовым результатом относительно канторова множества.
Более общим образом, фиксируем основание г, и пусть хп (со) есть /1-й знак в разложении s по основанию г. Таким образом, (о=工尤/z(s»r". Пусть число Nt® п) указывает, п— I
сколько раз i встречается среди знаков х{ (со), ..., хп(о)). Для вероятностного вектора (р0, ...» рг_^ пусть М (р0, рт^ обозначает множество тех со, для которых lim ^/ (со, n)/n = ph
z = 0, 1, ...» г—L Эгглстон показал, что
dimAl(p0. .. Pr-i)=-鳥工Pjn pt. (14.4)
Мы дадим доказательство, демонстрирующее связь размерности с энтропией.
Обобщенное определение
Для истолкования (14.4) дадим сначала другое (эквивалентное) определение хаусдорфовой размерности, а затем обобщим его. Для единичного интервала каждый шар есть некоторый интервал, а его диаметр — длина этого интервала. Поэтому (14.1) сводится к равенству
1ЛМ, р) = inf s I ^ 1а,
I
где нижняя грань берется по всем покрытиям множества М. интервалами 虫 длины | v； |<р. Далее r-аддический интервал
и = |=, "^")‘孔=1, 2, ..., / = 0, 1, ..., гп — 1,
будем называть цилиндром, так как он имеет вид
{со ： / (со) = 〃， й = 1, п}
при подходящих 4，(Здесь и далее г есть некоторое фиксированное основание.) Если
мм p) = infW|oJ,(14.5)
I
где нижняя грань берется теперь только по покрытиям множества М цилиндрами длины, меньшей р, то Att(M, р) отличается от /а(М，Р)» но это отличие не сказывается при
вычислении размерностей. Действительно, мы покажем, что /а(М, Р)&%(М，р)&2&(М, р),(14.6)
откуда будет следовать, что если ^а(Л1) = lim %(М, р), то р->0
Ла(Л4) = оо при а< dim М и 儿(Л1) = 0 при а> dimMt так что можно определить dim М через Ха (Л4) так же, как и через
Левое из неравенств (14.6) очевидно. Докажем правое неравенство для случая г = 2 (доказательство в общем случае проводится аналогично). Достаточно показать, что если и — произвольный интервал, то существуют четыре цилиндра, каждый длины, не превосходящей | 〃 |, покрывающие и. Выберем внутри 〃 цилиндр s максимальной длины | Vi | = (1/2)л, так что и уже не содержит цилиндров длины (1/2严.Если % и у2 ~ цилиндры длины (1/2)* лежащие слева и справа от V[ соответственно, то один из интервалов y0U ^i или v{ U ^2 является цилиндром длины (1/2)п-1. Для определенности положим, что это интервал у0 U Vi. Так как он не может лежать в 〃，то и。заходит за левый конец интервала 〃. Если и3 — цилиндр длины (1/2)", лежащий справа от 立，т0 ^Us есть цилиндр длины (»2尸 и, следовательно, он не может лежать в и. Таким образом, и3 простирается за правый конец интервала и и v0, . .., v3 покрывают и. При этом |и/ = (1/2)"&|〃|.
Итак, можно определить dim М. как такое число %, что Ла(Л1) = оо для а < а0 и Ла(Л1) = 0 для а> а0. Это новое определение полезно для вопросов, связанных с г-адическими разложениями, поскольку в нем фигурируют только покрытия r-адическими интервалами (или цилиндрами, как мы их только что называли)
Придав новую форму определению, обобщим его. Пусть р, — вероятностная мера на борелевских множествах единичного интервала. Положим
小(М, р) = Т§"(3\(14.7)
где нижняя грань берется по ц-р-покрытиям множества Л1, т. е. по покрытиям цилиндрами и, с мерой ц(г/)<р. В даль-
I) Определим размерность исходя из формулы (14.5), только теперь нижнюю грань будем брать по р-покрытиям интервалами из заданного класса ". При какнх условиях, налагаемых на 夕,определенная таким образом размерность совпадает с хаусдорфовой? Мы доказали это совпадение для случая, когда 9 — класс г-адпческих интервалов, ио мне неизвестны никакие общие условия. Результат такого рода, связанный с непрерывными дробям и, см. Кинни и Пнтчер [1].
нейшем мы будем для простоты предполагать, что мера ц неатомическая; в противном случае ц-р-покрытия множества М могло бы и не существовать вовсе. Если ц — мера Лебега, которую мы будем обозначать X, то (14.7) сводится к (14.5). При р->0 функция %(М, р) монотонно стремится к пределу ца (М). Как и раньше, можно показать, что ца(Л1) как функция от М есть внешняя мера и что для фиксированного М существует такое а0, что ца(Л1) = оо при а<а0 и ца(Л1) = 0 при а>а0. Это а0 называют размерностью множества Л1 относительно ц и обозначают dimhAl.
Ясно, что dim^Al совпадает с исходной dimM для любого М из единичного интервала. Для любого 卩 имеем О ^ dimgM ^ 1; кроме того, dim11Al = 0 для счетных М и dim卩Л1=1 для борелевских множеств М, для которых 卩(М)>0. Соотношения, аналогичные (14.2) и (14.3), также выполняются.
Основной результат
Пусть un(co) — цилиндр длины (1/г)п, содержащий s, т. е. тот единственный интервал вида {(о ： хй(со) = 4,々=1, ..., п}, который содержит ①.Заметим, что о/ лежит в 〃以(s) в том и только том случае, когда разложения (о и со7 по основанию г совпадают на первых п местах. Пусть 卩 и v — две вероятностные меры на интервале. ,
тотоТеорема 14.1. ЕслиМ и (s：НтI п->соТеорема 14.1. ЕслиМ и (s：НтI п->соIn у (цп (со))In у (цп (со))In р («„((d))In р («„((d))吓吓(14.8)(14.8)dimhAf = 6 dimvAf.dimhAf = 6 dimvAf.(14.9)(14.9)Чтобы быть уверенным в том, что отношение логарифмов в (14.8) всегда определено, условимся считать, что при 0VE, П<1Чтобы быть уверенным в том, что отношение логарифмов в (14.8) всегда определено, условимся считать, что при 0VE, П<1In g _ In 1 In 0 In 7| in о mg In 7| In 1 In 0 In 1 In 0 0 In 1In g _ In 1 In 0 In 7| in о mg In 7| In 1 In 0 In 1 In 0 0 In 1Е1 ПIn 0Е1 ПIn 0In 11.In 11.(14.10)(14.10)
то
то
Теорема 14.1. Если
М и (s：Нт
I п->со
Теорема 14.1. Если
М и (s：Нт
I п->со
In у (цп (со))
In у (цп (со))
In р («„((d))
In р («„((d))
吓
吓
(14.8)
(14.8)
dimhAf = 6 dimvAf.
dimhAf = 6 dimvAf.
(14.9)
(14.9)
Чтобы быть уверенным в том, что отношение логарифмов в (14.8) всегда определено, условимся считать, что при 0VE, П<1
Чтобы быть уверенным в том, что отношение логарифмов в (14.8) всегда определено, условимся считать, что при 0VE, П<1
In g _ In 1 In 0 In 7| in о mg In 7| In 1 In 0 In 1 In 0 0 In 1
In g _ In 1 In 0 In 7| in о mg In 7| In 1 In 0 In 1 In 0 0 In 1
Е1 П
In 0
Е1 П
In 0
In 1
1.
In 1
1.
(14.10)
(14.10)
Прежде чем доказывать теорему, приведем подтверждающее ее эвристическое рассуждение и покажем, как из нее следует результат Эгглстона. .
Представим себе, что для каждого s из М отношение
In V (，切(to))1口卩(«п ((0))
не только сходится к 6, но что оно равно 6 для всех п. Если {vj — произвольное покрытие множества М цилиндрами, каждый из которых пересекается с Mt то любой цилиндр имеет вид vf = ип (со) при некотором п и некотором s из М и, следовательно, v(v;) = g(v()6. Таким образом, £"(и,)° = =工"(0，产для любого покрытия {и,}. Но тогда va(Al)=
= %б(М)，откуда, очевидно, следует (14.9) Это рассуждение делает утверждение теоремы правдоподобным.
Чтобы доказать результат Эгглстона с помощью теоремы 14,1, будем считать 模 мерой Лебега 兀 Так как 九(〃汽(①))=2一"，то из теоремы следует (берем 6 = 0/1п г), что из
М и {со ： lim [-gin w(〃"(s))] = б} (14.11)
вытекает
dimMn^dim.M.(14.12)
Если мы построим меру v, для которой выполнено (14.11) и для которой v(44) > 0, то dimvM = 1 и, следовательно, в силу (14.12) dim М = 0/1п г. Пусть v— вероятностная мера на единичном интервале, относительно которой {%〃} есть последовательность независимых случайных величин с v{s: хп((о) = /}=р0 / = 0, 1, ..., г — 1 (см. пример 3.5). Так как
—；In V (ип (е)) = — Е " *旦 In Рь
то ясно, что (14.11) выполняется, если М = М (р0, ..。「丿 г— 1
и 8 = — 2 Pi In Pi- Так как Л4 (р(), ..., р「т) имеет v-меру 1 в силу усиленного закона больших чисел, то приходим к результату Эгглстона.
В качестве следующего приложения рассмотрим число N“(s, п) тех k^n, для которых xk (со) = z и x“i(s) = j・ Если
lim ~ М/(①，几)=%户 /» / = 0,г — 1»(14.13)
П->оо “
то (冗仃)есть (г X г)-матри1щ с неотрицательными э/юмептами, такими, что если р1 = ± %•/, то £ л,7/% п 工 〃 =1. Пусть
Pi} = KtjlPi、тогда (р/ есть стохастическая матрица, для которой Pi — стационарные вероятности. Предположим для простоты, что pjj положительны. Если v — мора, относительно которой {xj,尤？, ...} — сиотнетствукмкнС марковски!! процесс, то
lim I 」In v(//„ (со))] = - У PiPi 八 п Р"
以今8 L 〃I~
для любого со из множества М (л), определенного равенством (14.13). Так как v{M (л)) = 1, то, как и раньше, получаем
dim 財(п)= — ^^PiPu^Pir
Из сравнения этих результатов с теоремой Шеннона — Макмиллана — Бреймана видна их связь с энтропией.
Для третьего приложения теоремы 14.1 предположим, что г = 3 н р? = р? = \& Р\ = 0. Пусть V — мера, относительно которой {хн х.ъ ...} —независимые случайные величины и v{хп = /} = р, (V —канторова мера из § 3). Величина — n*1 In v(un (со)) равна In 2, если все хм (со) равны либо 0, либо 2, т. е. если со лежит в канторовом множестве. Таким образом,
Л1 и [ со : lim [-In v (//„ (со))] = In 2 ],
если М — канторово множество, так что в силу того, что из (14.11) следует (14.12),
di гл 力丨—d i niv M.
In 3'
Так как v(A4) = 1, то мы получаем результат Хаусдорфа: dim М = In 2/1п 3.
Перейдем к доказательству теоремы 14.1. Достаточно показать, что из (14.8) вытекает неравенство
din% Л1 2 6 dirnvAl,(14.14)
так как обратное неравенство получится, если поменять ц и V местами, а 6 заменить па 1/6. Докажем несколько больше, а именно что неравенство (14.14) выполняется, если
М с J и : lim6 I •(14.15)
Сначала докажем этот результат в предположении, что 卩(0)〉О для любого 1ш/нп1Д])а з пересекающего Л1; позднее мы укажем на изменения, необходимыс для исследования общего случая.
Достаточно показать, что если 1/6 V” и diin^ Л1 < ^, то сИпц.Л/ W 优.
Если cowM, то в силу (14.15) v(un (со) )п ^ ц (//„ (со)) д^я всех п, больших некоторого натурального ^ (со). Пусть Л1р — множество тех со, которые лежат в М и при каждом п удовлетворяют одному из двух неравенств:
"(〃“(е))；Эр пли т (〃”(е))"《“(〃“(е)).(14」6)
Ясно, что Л1р возрастает с убыванием р, мы покажем, что Мр^ М при р ^ 0. Если swM, возьмем р = ц (uiV (w)(со)) > 0 (здесь нам нужно предположение, что цилиндры, пересекающие М, имеют положительную ц-меру). Если ц (и„ (со)) < р, то п> N (со), так что v(//n(co) )п^ц(//„(со)). Таким образом, со удовлетворяет (14.16) для всех л, т. е. (о е Л4р.
Так как Мр t Л1, то в силу (14.3) достаточно доказать, что
5m,мР其展(14•⑺
для всех положительных р. Предположим, что OVpiVp и £i>0. Так как din\L Л4Р < g, то
2 N W)* < е,
для некоторого [1-р]-покрь1тия {uj множества Мр. Можно предположить, что все vt пересекают Л/р. Но тогда U/ = e〃(s) для некоторого s w Л4，，так что в силу 卩(uXp^Vp имеем 寸(S)"Wn®)・ Поэтому
£ v®产 < е,.
Но {и/ есть т-р^'-покрытие множества 財卩,и, следовательно, так как & и р【произвольно малы, то v^ (Мр) = 0, что доказывает (14.17),
Остается снять ограничение ц(и)>0 для всех цилиндров и, пересекающихся с М. Пусть 7：^ — объединение всех цилиндров ц-меры 0. Так как dimfl £и = 0, то climfl Л = dirurl В, если симметрическая разность множеств А п В входит в Eg (ис- по ьзуем (14.3)). Если со лежит в множестве, фигурирующем в правой части соотношения (14.15) (при д > 0), и если
^ (ип (со)) = 0 для некоторого “， то v (ит (со)) = 0 для некоторого т в силу соглашения (14,10), Таким образом, М П ^и с: с: М П Ev. Мы уже знаем, что (14.14) справедливо для М — £ц* следовательно,
ciimrl М = dini() (/М — £卩)纟 6 dimv(Al — £卩)》
8 dimv(44 — £v) = 6 dimyAL
3 а м e ч а и и e. Относительно связи хаусдорфовой размерности с топологической размерностью см. Гуревич и Вол- М9H [1].
Гуд [1] выдвинул предположение о том, что имеет место (14.4). Доказано это соотношение было Эгглстопом [1]. Биллингслеи [1, 2] пол учил- дальнейшие результаты методами этого раздела, а Кинни и Питчер [1] применили эти методы к проблемам размерности, связанным с разложениями в непрерывные дроби. О связи с теоремой кодирования для канала без шума см. Биллингслеи [3]. Репьи [2] исследовал связь между размерностью и энтропией ]).
【)В работе Фюрстенберга [ 1 ] изучена связь хаусдорфовой размерности с та к называемой топо/югнческон энтропией (см, Адлер и-др. [ 1 ]). Соответствующие результаты близки к cori,cp жшшю этого пар аграфа. — Прим. усд.
ГЛАВА 5
Кодирование
15. ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА БЕЗ ШУМА
Обозначения
В этой главе мы будем рассматривать одновременно несколько сдвигов и поэтому следует сразу договориться об обозначениях. Кроме конечного множества р (пространства состояний), понадобятся еще два множества, которые мы обозначим о и т. Конечное множество р [а, т] состоит из г [s, /] элементов, причем общий элемент будем обозначать z [/, k]. Мы называем эти множества алфавитами, а их элементы —буквами.
Обозначим через X [У, Z] пространство бесконечных в обе стороны последовательностей .u = (..., x„h х0,必，...)[〃= = (...,у。, Di，...),之= (...,之―引，...)] элементов
из р [а, т], а через ? [；У, 5] обозначим а-поле, порожденное цилиндрами. Позволим себе некоторую волыюсть в обозначениях, а именно будем использовать символ хп в двух смыслах — для обозначения 〃-П координаты (при фиксированном х) и для обозначения координатной переменной (при фикспровапном п). Кроме того, мы будем рассматривать пространства, подобные X X У, и тогда будет обозначать функцию, значение которой в точке (.* //) ость /г-я координата п』я х. Эти соглашения относятся также к ，八 и 之似 Сдвиги будем обозначать 厶，Луху и т. д. пли, если нет опасности путапицы, просто Т.
Символ р" /о", т/[ обозначает множество наборов по п элементов из р [о, т]. Если ц — некоторая вероятностная мера на .7, каторг tv\》w^wx ^rs^^3^w^a T、、qGq・ значим всю структуру (X,」/',卩，Тх\ просто (X,卩丄 Едлнст- венный MCiiHioiiuiiicH элемент здесь 卩；говорят, что мера 卩 (или [X, ц]) jjjro 'тчсская [перемешивающая и т. nJ, если сдвиг 7\ эргодпчески|| [перемешивающий и т. д.] относительно ц. Энтропия меры (X, ц] есть энтропия сдвига 7\. Подобные замечания относятся и к пространствам У, Z. Будем называть [X,从]ж'точником, пли источником ннфор- мации (см. § 5). Мы расематриваем хп как буквы, создаваемые источником, а последовательности (/〃，. . ., хп) и х =(...,尤_],尤о，%】，….)как сообщения. Мера 卩 описывает сгруктуру этого источника.
Канал без шума
Теорему кодирования для канала без шума можно формулировать в терминах кодируемых сообщений как утверждение о том, как сделать эти сообщения наиболее коротки ми или как использовать наименьший алфавит. Мы рассмотрим теорему кодирования с этой последней точки зрения,
Алфавит J
Алфавит ь
Передатчик —：»~>
Приемник
Пространство YПространство У
Рис. 5.
it это послужит введением к более сложным проблемам последующих параграфов.
Канал без шума состоит из передатчика и приемника, каждый из которых использует алфавит о (рис. 5). Математически канал без шума есть просто конечный алфавит о объема s и соответствующее пространство последовательностей (У,少).(Мера здесь не участвует.) Если сообщение у
Проопранстпво XПространство / Пространство УПространство ¥
канал
Р〃С. 6.
посылают по каналу, то на другом конце канала его получают без всаккк нскамен込巾.
Предположим теперь, что сообщения должны быть 〃。~ сланы источником по каналу некоторому адресату, причем источник и адресат пользуются алфавитом р, а канал — алфавитом о. Если р и а различны, то, очевидно, сообщение должно быть кодировано 】)некоторым образом до передачи и декодировано впоследствии (рис. 6).
Если источник создает, скажем, одну букву в секунду, то мы требуем, чтобы по каналу передавалась тоже одна буква в секунду — ни быстрее, ни медленнее.
】)Слово „код'1 здесь не имеет ничего общего с секретным сообщением.
Предположим, что объем г алфавита р пе превышает объема s алфавита о (r《s). Например, р может состоять из г = 10 знаков 0, I, …，9, а о — нз s = 26 букв 4 в, ..., Z. Ясно, что сообщения, создаваемые источником, можно кодировать таким образом, чтобы они могли быть переданы по каналу (отложим на время точное математическое определение понятия кода). Действительно, возьмем некоторое взаимно однозначное отображение 屮 алфавита р в алфавит о; оно существует, если г ^ s. Кодируем последовательность 尤， заменяя каждый символ хп символом уп~^ Cv„), и пошлем сообщение, состоящее из этих элементов алфавита о, по каналу. Для того чтобы восстановить посланное сообщение на другом конце канала, к полученным буквам можно применить обратное отображение 屮「
Последовательность х может быть передана по каналу, даже если r〉s. Это ясно, когда, например, существует такое подмножество р0 множества р, объема не больше s, что ц {х„ е р0} = 1. Рассмотрим менее тривиальный пример: пусть г = 4, s = 2, и пусть структура меры р такова, что каждая буква с вероятностью 1 повторяется, т. е. ц{х2гг = х2„+|}= 1. (Этот источник не вполне стационарен, но пример можно изменить так, чтобы он был вполне стационарным; см. пример 3.3.) В р2 имеются только четыре возможных значения (尤2"，尤2也+1). Пусть 屮一взаимно однозначное отображение этих элементов на четыре элемента из а2. Если сообщение кодировано С ПОМОЩЬЮ 屮：(必小 沙2〃 + 1)=屮(尤2小 Xon+i), TO 尤“ МОЖНО однозначно восстановить по ynt и, следовательно, код делает возможной передачу х по каналу.
Итак, задача состоит в том, чтобы кодировать х в у предпочтительно таким образом, чтобы затем х можно было восстановить по у. Мы должны теперь точно определить, что мы понимаем под кодом. Код есть измеримое отображение qj пространства X в пространство У. Можно потребовать, чтобы код обладал некоторыми нужными свойствами.
Стационарные коды. Код 屮 стационарен, если равенство
фГхх = Ту^х (15.1)
справедливо для всех х из X. Это означает, что структура кодирующего устройства не меняется со временем. Мы всегда будем требовать, чтобы код был стационарным; с этого момента стационарность является частью определения кода.
Обратимые коды. Код ① обратим, если он по существу взаимно однозначен, т, е. в 7 существует такое множество X」, что |1(Х(})=1 и 屮一взаимно однозначное отображение множества 尤 на Уо = фАг(). Мы требуем также, чтобы ТхХ[} = Х^
и 屮4 三少 для любого множества Д, для которого 4 и Х() “ /1 三齡(так что, в частности,儿已3/)・ Код 屮 называют обратимым, когда такое множество X。существует. Если код обратим, то посланное сообщение (по существу) однозначно восстанавливается по полученному.
В то время как понятие кода определяется безотносительно к какой бы то пи было мере 卩 на X, обратимость конкретного кода зависит от того, какую меру 卩 мы рассматриваем. Для того чтобы подчеркнуть роль меры ц, говорят, что код ф обратим по отношению к ц.
Предположим, что код 屮 обратим по отношению к ц. Покажем, что сдвиг Тх с мерой ц и сдвиг Ту с мерой 卩屮" изоморфны. (Значение 卩屮^ на 8 三当 есть ц((р~*В); напомним, что ф всегда предполагается измеримым. Мера 卩中々 является распределением полученных сообщений.) Очевидно, что Y^yt рхр7(Уо)= 1 и TyY0= Уо. Пусть(р0 — сужение (р на X。. Предположим, что Дс:Х0, и положим В =(р0Д. Тогда если {wC, то В е 3/ в силу определения обратимости кода 屮；если ВеЗ/, то Л = Хо 0 Ф-15 е ^ в силу измеримости <р, и если 4 三勿，то, разумеется, ц(Л) = цф"1 (В). Так как ^Тхх = Тy^Qx для всех х из X。，то тройка (Хо, У。，(р0) удовлетворяет условиям (L), (12) и (13) изоморфизма (см. § 5).
Пусть, с другой стороны, сдвиг Тх с мерой 卩 на X изоморфен сдвигу Ту с мерой у на У. Так как Тх и Ту обратимы, то из замечания 5, следующего за определением изоморфизма в § 5, вытекает, что они изоморфны относительно тройки (К。，У(), ф0), обладающей тем специальным свойством, что TxXQ = Хо и TyYq == Уо. В этом случае(р0 почти является обратимым кодом (но не вполне), так как отображает X。 на У。，а не X в У. Расширим(р0 до отображения 屮 с областью определения X, полагая фх =(рох для ,г из X。и взяв в качестве qpx для х нз X — X。некоторый элемент (...,/,；,/,...) пространства У, все компоненты которого одинаковы (общий образ для всех х из X —XJ. Тогда 屮 обратим по отношению к ц, его сужение на Хо есть снова(р0 и мера ц(р-1 идентична мере у.
Таким образом, обратимый код по существу является изоморфизмом. Поэтому теория кодирования связана с теорией, развитой в гл. 2.
Коды без предвосхищения. Код 屮 называется кодом без предвосхшцения, если для всех / из а и всех целых п множество ф'1 {у : уп = /} = {%： ((рх)/г = /} принадлежит а-полю, порожденному случайными величинами ...,尤也-i, хп. (Обращаясь к мере ц на X, можно более общим образом потребовать только, чтобы ф'1 {у : уп = /} отличалось на множество
меры 0 от некоторого элемента этого о-пол”. Но мы не нуждаемся в таком расширенном определении.)
Коды с обращениями без предвосхищения. Если код 屮 обратим, то сужение 屮° кода(р> которое отображает X。на У。, имеет обращение ф^1, отображающее Уо на 凡.Такое обращение ф^1 можно расширить одним или несколькими способами до некоторого обратимого кода, отображающего У в X. Можно также требовать от одного из этих расширении, отличающихся друг от друга лишь несущественно, чтобы оно являлось кодом без предвосхищения. В этом случае декодирующее устройство может не отставать от кодирующего,
Ббльшая часть этих условий накладывается на понятие кода, что затрудняет доказательство существования кодов с заданными свойствами и облегчает доказательство их несуществования. ■
Теоремы кодирования
В случае канала без шума проблема состоит в следующем. Для заданного источника [X, ц] с алфавитом р и канала без шума с алфавитом о ищут код 屮(из X в У), обратимый по отношению к ц. Если такой код 屮 существует — и это является доматематической идеей, лежащей в основе проблемы, —то сообщение х может быть кодировано в виде <рх и послано по каналу к приемнику, где посланное сообщение может быть восстановлено из <рх. Кажется интуитивно ясным, что для каждого из двух примеров, предшествовавших определению кода, обратимый код существует. В первом из этих примеров множество р мало (или по крайней мере буквы, создаваемые источником, принадлежат маленькому подмножеству р0 множества р), а во втором примере источник повторяет каждую букву дважды. Каждая из этих двух характеристик ограничивает скорость, с которой источник создает информацию. Дело в том, что обратимый код существует в том и только том случае, если энтропия источника [X, ц] не превышает In s.
Теорема 15.1. Если энтропия h источника [X, ц] превышает 1ns, то не существует koHq (из X s У), обратимого по отношению к ц.
Доказательство. Если обратимый код 屮 существует, то сдвиг Тх (с мерой 卩)изоморфен сдвигу Ту (с мерой цср'1). Но тогда Ту также имеет энтропию h. Так как алфавит о
содержит s букв, то (см. (7.1)) /z =九(7*) W 1" s, что доказывает теорему.
Основной момент этого доказательства заключается в том, что из изоморфности Гх и Ту мы делаем вывод, что 力(7\)= = /?(Ту); это указывает на важность инвариантного определения энтропии. С другой стороны, естественная мера скорости, с которой источник [X, ц] создает информацию, есть
V У "(卩"о = 4 Мт =加т}) ln-l
(т. е. /в(М, 7\)，где Л — поле событий, наблюдаемых в момент времени 0), и если 九(7\) не совпадает с этой величиной, то /2(Т\) не является естественной мерой скорости создания информации; это указывает на важность теоремы Колмогорова. Таким образом, доказательство фактически использует все содержание гл. 2.
По поводу обращения теоремы 15.1 мы докажем только один условный результат.
Г ипотеза. Источник [X, ц] имеет энтропию h, и сдвиг Тх с мерой 卩 изоморфен любому сдвигу Бернулли с энтропией Л.
Если энтропия — полный инвариант (см. § 8) для сдвигов Берпулли (соответственно перемешивающих сдвигов Маркова, сдвигов Колмогорова и т. д.), то это предположение выполнено в случае, когда источник [X,卩]является бернул- лиевскпм (соответственно перемешивающим марковским, колмогоровским и т. д.). Возможно, что это предположение не выполняется вообще ни для какого источника.
„Теорема" 15.2, Если Л ^ In s, то при справедливости высказанного предположения существует код (из X s У), обратимый но отношению 咒 ц. ■
Доказательство. Функция Еп(〃/・) вектора вероятностей (pi, •…，/八)принимает все значения между ее минимумом 0 и максимумом 1ns (например, если g изменяется от 0 до 1, то 2 П(^-1 ~Ь (1 — 3)6川)непрерывно меняется от 0 до In 5). Поэтому если "式 1ns, то существуют такие вероятности рн ...» р” что 2 Ц(Р ；) = Л. Если у — мера на У, которая делает сдвиг Ту сдвигом Бернулли (рь ...» р§), то Ту имеет энтропию 力.По нашему предположению сдвиг Т* с мерой ц изоморфен сдвигу Ту с мерой % следовательно,
существует код ф, обратимый по отношению к 卩(и, между прочим, обладающий свойством цф'1 = у).
Этот результат справедлив, но, быть может, бессодержателен; отсюда кавычки. Вопрос, является ли этот результат бессодержательным, эквивалентен вопросу о том, является ли энтропия полным инвариантом. Если эта ”теорема“ осложняется предположением, что наш код — код без предвосхищения, то это означает на самом деле, что вопросы, поставленные в § 8, осложняются требованием зависимости изоморфизма только от проиЕлого — сравните с результатом Синая о слабом изоморфизме.
Замечание. Начало изучению этих проблем кодирования положил Шенной [1]. Теорема 15.1 предложена мною — по крайней мере я не встречал ее в литературе. Это, конечно, весьма простое следствие теории Колмогорова. Не встречал я и „теорему44 15.2. Теорему кодирования для каналов без шума, изложенную с других точек зрения, можно найти у Файнстейна [2], Хинчина [3] и Биллингслея [3]. В этих работах имеются варианты теоремы 15.1, по-разному неудовлетворительные, но в них содержатся конструктивные варианты „теоремы14 15.2.
источника [X, ц] в У так, чтобы канал использовался наиболее эффективно. Например, можно задаться вопросом, выгодно ли бороться с шумом, повторяя каждую букву дважды. (Структуру канала и источника мы предполагаем полностью известной и не рассматриваем проблему статистического вывода.)
Пространство /Пространство /Пространство ZПространство ZРис. 7.Рис. 7.
Пространство /
Пространство /
Пространство Z
Пространство Z
Рис. 7.
Рис. 7.
Хотя мы можем здесь без потери общности использовать один и тот же алфавит для источника, передатчика и приемника, мы все же, для упорядочения обозначений, возьмем алфавиты р, о н т соответственно.
Если Y = Z и уу представляет собой единичную массу, сосредоточенную в у, то мы имеем канал без шума, описанный в предыдущем параграфе. Если vy — единичная масса для каждого у (Z может отличаться от У), то мы имеем некоторый код из У в Z.
Канал стационарен, если
%，КЗ) — (с).
Это, как обычно, означает, что свойства канала не меняются со временем. Мы всегда будем предполагать канал стационарным и включим это требование в определение.
Канал называется каналом без предвосхищения, если для каждого п и каждого & м т функция vy {z ： zn = k} измерима относительно о-по』я, порожденного элементами ..也т， Ут (Код есть специальный род канала. Понятие канала без предвосхищения соответствует понятию кода без предвосхищения.)
Канал без памяти
Рассмотрим такой специальный вид капала: пусть (“J есть(5 X /)-матрица неотрицательных чисел, строки и столбцы которой нумеруются элементами алфавитов опт соответственно и суммы по строкам равны 1. Ядро %(•) задается формулой
〜{"，=龙厶"Z W /《/" = J 1 CyRt'
Этот канал передает буквы входного сообщения независимо; если по каналу передается буква 厶 то буква 九 получается на выходе с вероятностью %” (Разумеется, сами буквы на входе пе предполагаются независимыми; в самом деле, меры на пространстве У не участвуют в описании структуры канала.) Канал такого рода — очевидно, что он стационарный и без предвосхищения — называют каналом без памяти '). Заметим, что если о = т и с〃=1 для всех /, то мы имеем канал без шума, описанный в предыдущем параграфе.
Доказывая, что хорошие (в смысле выполнения некоторых свойств) коды не существуют, мы не будем накладывать на каналы никаких ограничений. Доказывая, что хорошие коды существуют, мы основное внимание уделим каналу без памяти.
Совместное распределение иа входе и выходе
Предположим, что задана мера 卩 на Y такая, что [У,卩]есть источник. Мы хотим определить на произведении пространств (У X Z, 2/Х 2) некоторую вероятностную меру Р, которая будет описывать совместное распределение на входе и выходе канала. Очевидно, нам нужно, чтобы для 8 三沙 и С е g выполнялось равенство
Р(ВХС)^ j vu(C)ii(dy). (16.1)
Этот интеграл определен в силу предположения, что vu (С) как функция от у измерима. Положим для множества М из 3/Х 2
Р (Л1) = j vy {z : (у, 2)w M}卩(办)，
Более общее понятие капала с конечной памятью см. например, у Хинчина [3]. (См, т4к*с Такано [1], который исправил ошибку в рассуждении Хинчи па.)
при М ^ В X С jro сводитси к (16.1). Класс множеств М нз ；＞ X 2, для которых по/1 интегральное выражепие есть функння, измеримая относнтслыю 口， содержит конечные оиьедппеппя не пересек ающихся прямое гольников В X С и в силу монотонности совпадает с X 5. Итак, интеграл определен. Теперь легко проверить, что Р есть всроятпост- пия мера и что это единственная мера, удовлетворяющая (1G.1).
Если источник и канал стационарны, а мы всегда пред- по.чагаем, что это так, то можно ожидать, что сдвиг Ty xz сохраняет меру Р.
Теорема 16.1. Мери Р сохраняется при сдвиге Тух/1)-
Д о к ：1 зато .ч ь с т в о. Дос. гаточпо показать, что Т = Т丫 乂 z сохраняет меры прямо\ го.чышков Л X С. В силу (16.1) имеем р(к(8х с))= J v，ATzC)ii(dy)^
Ту1!1
=J 勺九(7?С)N(i® = j % (C) N (d〃)= P (В X C).
Распределение, ннд1yHнрованнос мерой P на У, совпадает с 卩.Распределение, нпдупнронаннос на Z, есть распределение на выходе канала; как следует из теоремы 16.1, оно сохраняется при сдвиге Tz,
Скорость передачи
Определим теперь скорость передачи по каналу [У, v,p Z] для источника [У,卩].Каждому из трех сдвигов Tyxz (с мерой Р), Ту [с мер о 11 ц (В) = Р (S X Z)] и Tz [с мерой Р (Y X С)] приписывается некоторая энтропия. Скорость определяется формулой
R = h(TY')^h{Tz)-h{TYX^.
Интуитивный смысл этой формулы мы обсудим несколько позже.
Более детально скорость можно изучить с помощью теоремы Колмогорова. Пусть 密(соответственно 穹)обозначает конечное поле в fy X 2 с атомами {(//, z) ： у^ = /}, /三 о (соответственно {(//,之)：％ = /?},々 w 工).Обозначим через 舒 V 皆 поле событий из У X Z, наблюдаемых в момент
времени 0. 11етрудпо показать, что если /^() — конечное поле в » с атомами {//: % = j}, j W то 〃「'、J 7?= 〃 ( V , где T = 7>xz・ Поэтому в силу теоремы Колмогорова h (Т?)= = /，(Ту,，多п) = /，(Т,・多)・ Применяя аналогичное рассуждение к сдвигу TZt впдпм, что если в все г и оиозначеиия
V :力т),
// ( \/ Т ； w) = Н (^о，. . . , N”1),/2 — 1\
V 7 (乡 V М)丿=〃•..,, ^n-i)>
то
П->оо n
—H(Uo, • • •» УM-1,之。，• • •» 之n-i)}.(16.2)
Используя свойство(Л]) из § 6, можно переписать выражение, стоящее в фигурных скобках в (16.2), двумя способами. Имеем:
” (%，”••，Уп~\} + ” (^о> • • •» ^п-1) — ”(Vo» • * ■ > УпТ，%,・・・, ^п-1)=
и Н (%,…*, Уп~\) — ” (％，•…，Уп~\ I %，•••,之 м-1)=
~ ”(％,♦••» 弓 2-1)— ”(匕0，之冷7丨％,//«-!)•(16.3)
Средний член формулы (16.3) имеет следующую интерпретацию. Если бы мы получили сообщение у。, . .уп,ь то (среднее) количество пол)^чеипои информации равнялось бы "(%, …，Уп~^— прирост информации равен устраненной неопределенности. Однако если сообщение 卜> ...,у冷々 было передано по каналу таким образом, что мы получили вместо него искаженное сообщение 之山...,гп_н то к той неопределенности, KOTopoii обладало посланное сообщение //о，.…，Уп-ь прибавляется еще некоторая неопределенность —(среднее) количество этой неопределенности есть Н 仇уп_{ |z0,...» 之冷々). Поэтому разность между этими двумя величинами, т. е. средний член формулы (16.3), является разумной мерой (среднего) количества получаемой информации. Итак,
полученная информация =
==информация в посланном сообщении минус неопределенноегь от искажения при передаче.
Таким образом,
R = lim ~{〃(у。，…, //«-)) — н (//(), • •«» Уп~111)} представляет собой количество полученной информации, приходящейся на букву, и, следовательно, задает скорость. Величина
lim — Н (//(), ..., уп-\ I 20, ..., "一 J н /? (Ту) — R = h (Ту х7.)~h(Tz) называется ненадежностью (на букву). Если энтропия источника фиксирована, то увеличение скорости передачи равносильно уменьшению ненадежности.
Если мы принимаем ту интерпретацию энтропии н условной энтропии, которая была предложена в гл. 2, то эти определения естественны: высокая скорость (малая ненадежность) хороша, а низкая скорость (большая ненадежность) плоха. Другой подход к измерению эффектнвиостл пары источник — канал состоит в рассмотрении проблемы реального построения эффективного алгоритма для восстановления посланного сообщения по полученному. Хотя этот второй подход косвенным образом опирается на материал § 18 и 19, мы не будем изучать его систематически ).
Явно вычислить скорость мы можем только в специальных случаях. Пусть (с〃) есть (s X/)-матрица, описывающая канал без памяти. Так как
〃(乙 0,.,云"-I 丨仇，•…，//n-1)=
=-.1(工(4*0 ••• Ч-Л-,)1п(с^0 ••• Q“T*)]卩(d 办
то
H (^О' • ■ • » Z/2-1 I //о» * • • » Vrt-1)=孔"(之о I %)(16,4)
независимо от распределения величины уп. Для любого множества вероятностей рн . . ., ps на алфавите а определим другое множество вероятностей q】,...,qt на алфавите т по формуле
% =』Picjk
II ПОЛОЖИМ
г（Р1-工必工 11 （^L） =
=工 n （〃）-£，/』11 （c〃J =
=£ >1（Pj> +』nd） - £l（Р/С%）. （16.5）
Если
Н {// : Уо = /1 = Рг /м°，（16.6）
то, даже если уп не независимы относительно 卜i,
Г（Р1Р）= 〃（％） - Н（办 |2力=
=，⑵））一"（乙）I //о）=
=〃（!/（） + 〃 （，〕） 一 Н （//（）,之°）.（16.7）
Если выполняется （16.6） и если 〃心 независимы, то
Н（!/（）,♦・•，！/〃т）十，（& и, •…，之儿-1）— 〃（ Уф • • •,，/〃т' '（）, • • •» 2*п-1）~
= fiH （%）+ uн gО） 一 ""（%，^ = пг （рЬ ..，）
так что скорость задается （popvyjoii
〃、）•（16.8）
Это соотношение может не выполняться, если уп не независимы.
Пример 16.1. Пусть имеется каназ без памяти, где s = 2, f = 3, и матрица （&力）есть
10 0
Для любых вероятностей иа входе （〃】，//） матрица （卩产必/仅） есть
о о
0 1 1 *
так что 〃(仇 |%) = 0・ Даже если уп не независимы, то в силу свойств (А4) и (А3) из § 6
"(//о> • • • » Уп-1 I ^0* • • • > N〃T)Н(У J 2*0» • • •» ^п-1)& i=0
《'寸"(勿⑵) = 0,
так что ненадежность исчезает. Для этого канала скорость всегда совпадает с энтропией на входе【).
Пример 16.2. Пусть имеется канал без памяти, где все строки матрицы (cJk) одинаковы: с〃, не зависят от /. Тогда "("о I//о)= 〃 (之。)н，следовательно, в силу (16.4)
// (之0，•…，2*п-1) — H (之 ,乙z-1 丨 ％，♦“•，У n~ 1)—
=，Li) - nli (%)•
В силу свойства (Л4) из § 6 эта величина равна пулю. Скорость всегда нуль, независимо от входа; по этому каналу не может быть передано никакой информации ).
Пример, описывающий промежуточную ситуацию между двумя крайними, представленными примерами 16.1 и 16.2, показывает, что скорость обычно зависит не только от источника и не только от канала, а от их взаимодействия.
Пример 16.3. Пусть имеется капал без памяти, г;н' s = f = 4, и матрица (сесть
一 1 0 0 0 ■
0 10 0
Из (16.5) следует
Г(Р1Pl) = n(Р1) + П (Ра) + П (Рз + Pi)-(16,
Предположи и теперь, что 〃几 независимы относительно 卩, так что (16.9) задает скорость передачи, а
Л(/Л)+ П(Р2)+ Л(РЗ)+ Л(Р4)(16.10)
•) Канал, подобны!! этому, пазынается каналом По потерь. См. Файнсreiiii [2].
—энтропия источника [У, ц]. Если р{ = р2 = 0, то скорость (16.9) равна нулю, в то время как энтропия (16.10) может достигать 1п 2; такой источник плохо согласуется с каналом. С другой стороны, если р【= 0, то скорость (16.9) и энтропия (16.10) совпадают, хотя их общее значение может равняться нулю; такой источник хорошо согласуется с каналом.
Пропускная способность канала
Скорость передачи зависит и от источника [Y. ц], и от капала [У, vy, Z]; для фиксированного канала [У, vy, Z\ скорость есть функция /?卩 меры ]丄，описывающей вероятностную структуру источника. Верхнюю грань этих скоростей
С = sup &(16.11)
называют пропускной способностью.
Пропускная способность — это скорость, с которой информация может быть передана по каналу, если он используется наиболее эффективным образом — путем -выбора источника, „подходящего14 этому каналу. (В действительности мы обычно не знаем, достигается ли эта верхняя грань.) По техническим соображениям мы должны различать две пропускные способности. Если верхняя грань в (16.11) берется по всем мерам 卩，которые сохраняются сдвигом Ту, то мы имеем стационарную пропускную способность С「 Если верхняя грань берется только по тем ц, относительно которых сдвиг Ту эргодичеи, то мы имеем эргодическую пропускную способность Се. Очевидно, что Се ^ С5.
Заметим, что для канала без шума, описанного в предыдущем параграфе, Cc = Cs = In s. Вообще вычислять пропускную способность довольно трудно, но для канала без памяти это сделать можно.
Теорема 16.2. Дая канала без памяти
Ci = Ce = maxr(p1pj,
где (Р[, ..., р5) пробегают все возможные распределения вероятностей на алфавите о.
Доказательство. Выбирая р^ ..., ps так, чтобы максимизировать r(pi，pj (используя компактность), и вспоминая, что сдвиг Берпугии эргодичеп, в силу (16.8) получаем шахг(рр pj.
Для дсжа24ател11Ства неранснства Cs ^ шах л (plt 〃§) достаточно показать, что для 」n()6oii меры 卩 на входе и для любого /2 справедливо неравенство
/ f(2*о) • « • j ^п- [) — 〃(2*0) • • < » 之『一丨 ％,•••，协l1)^^
^nH{z^-nH{z^\y^. Очевидно, что
II(20, 2"-[)式 ” ("о) + …+ 〃 (2n-l)= п Н (之о), и наше утверждение следует из (16.4).
Это рассуждение показывает, что для канала без памяти верхняя грань в определениях С5 и Се достигается; для более сложных каналов это доказать трудно.
В примере 16.1 пропускная способность канала равна his = In 2; в примере 16.2 она равна 0, а в примере 16.3 она равна 1п 3.
Эргодичность процесса передачи
Можно задаться вопросом, какие условия на канал [У,、)* Z] обеспечивают эргодичность входной — выходной меры Р [определенной соотношением (16.1)], какова бы ни была мера ц. Необходимые и достаточные условия неизвестны. Сформулируем и докажем следующий результат, который в дальнейшем использоваться не будет.
Теорема 16.3. Канал без памяти обладает тем свойством, что мера Р эргодична, какова бы ни была мера ц
Доказательство. Достаточно показать (теорема 1.4), что п — 1
(16.12)
для цилиндров £ и Е'・ Будем доказывать (16.12) в предположении, ЧТО £ = {(//,力：Уо = /，N() =左} Н £，= {(У，之)：Уо = Г，"и =狂}; более общий случай доказывается аналогично. Левая часть равенства (16.12) есть
нm 丁，P{% = " % =yi =： /,之/=论‘}=
п — I
宀义;>"{% =，％ =厂} cikcf^ =
="{%=/)卩{% =/}，必/勿=0(E) P(Е)
где предпоследнее равенство справедливо в силу эргодичности ц.
Замена и и с. Пз.тожепиые здесь идеи принадлежат Шеннону [1]. Мпкми.члап [1], Фа11истсГт [1] и Хипчин [3] дали им точную математичрскую формулировку.
Брейман [2] обобицм теорему 16.2, доказав, что С^ = С & и верхняя грань достшастся для некоторого класса каналов с конечной ламятыо. По поводу обобщения теоремы 16.3 см. Адлер [1].
ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛА С ШУМОМ
Проблема
Просп1рансн1аэ X，/JJ'M'"".V:・j 2Просп1рансн1аэ X，/JJ'M'"".V:・j 2Рис. 8.Рис. 8.В общих словах теорему кодирования для канала с шумом можно описать следующим образом. Сообщения посылаются от источника [X, ц] по данному каналу [У, u”, Z] к адресату (рис. 8). Мы должпы вставить в схему кодирующее
Просп1рансн1аэ X，/JJ'M'"".V:・j 2
Просп1рансн1аэ X，/JJ'M'"".V:・j 2
Рис. 8.
Рис. 8.
устройство, которое будет работать эффективно. Э(|)фектив- ность измеряют скоростью, с которой информация передается от источника к приемнику, игнорируя при этом вопрос о том, как использовать эту ин формацию в приемнике для восстановления посланного сообщения.
Код ф из пространства X в пространство Y приводит к сложному каналу из X в Z, т. е. сообщение х посылается в кодирующее устройство, после чего закодированное сообщение у посылается по каналу и на выходе получается сообщение 之.Пусть энтропия источника равна Л и пропускная способность — скажем, стационарная пропускная способность —канала равна /?. При мая теорема кодирования утверждает, что при h^C существует такоЛ код q，, что ско-
рость нирспапн но сложном у капал у рар.ии 〃. Обратная теорема кодирования уг'юрждасг, что при h > С тикОго кода ц> по существует. Есть различные варианты ^тпх теорем.
Пусть лам дан канал [}', %, Z] и код 屮 из X в У, Очевидно, что v(p ( v) ( ■ ) —ядро и, следовательно, [X,寸屮 “)(• )，Z]— сложный канал. Рассмотрим для заданной меры ц па X меру Р на X X У X Z, определенную формулой
P(/1X8XC)= j v,p(.v) (C)n(rf.v).(17.1)
Мера P индуцирует чзстные распределения Pv, 〃х х у и т. д. Заметим, что。工=|丄，Ру^- 1\(^1^{щ~[ [так как Р (Л X В X С)= =Р (Л П cp-IB X УХ。)] и Рх х z задает совместное распределение на входе и выходе для источника [X,卩]и сложного канала [X,Z].
Пусть h — энтропия источника, С5 — стационарная пропускная способность канала [У, v“，Z]. Скорость передачи по сложному каналу [X, w ⑴，Z] (с мерами /\, /%, /\ х z) Для источника [X, ц] есть
飞ё = /7(八)十/?(頂)一"(心x力
Ненадежность есть величина
似厶)一凡i = /z(7\xz)-/?(Tz),
на которую эта скорость меньше энтропии источника [X, ц]. Мы ставим перед собой задачу разыскания кода, при котором скорость высока (ненадежность мала), игнорируя при этом, как уже отмечалось, проблему, заключающуюся в восстановлении х по z.
Простое обращение
Следующий результат является частным случаем теоремы 17.3.
Теорема 17.1. Если код ср обратим по отношению к ц, то /?к 式 J Следовательно, при h > Сs не существует кода, обратимого /ю отношению к 卩，для которого 启卩=力.
Доказательство. По определению стационарной пропускной способности скорость передачи по каналу [У,寸屮 ZJ для источника [У, щр"1] есть величина
九(Ту) + /z (Tz) — ^ (Ту х z),
не превышающая С§.
Следовательно, достаточно доказать равенство
似厶)+ " (Tz) 一 方(厶 x z)=九(分)+ h (%)-h(TYX z).
(Здесь сдвигу Tz соответствует мера 展・)Так как по предположению код ф обратим, то сдвиги Тх и Ту изоморфны и, следовательно, Л (Тх) = h (7'г). Таким образом, нужно только доказать, что
h(TXxZ) = h(TYxZ).
Но если 7\ изоморфен TY относительно тройки (Хо, У。，(р0), то, как легко видеть, 7\ х z изоморфен Ту х z относительно тройки (X()X Z,%)X Z,业)，где 中()(尤，")=(%居 之)，и теорема доказана.
В случае когда [У, v^, Z] —канал без шума, теорема 17.1 сводится к теореме 15.1. И снова для доказательства необходимо инвариантное определение энтропии.
Если мы предполагаем, что 卩 эргодична, то и 卩屮一 эрго- днчна, и в этой теореме можно заменить Cs на Се. Заметим, что мы не предполагали, что ф — код без предвосхищения.
На практике проблема декодирования заключается в восстановлении х по 2, а не по //, ибо предположение обратимости в теореме 17.1 неестественно. В теореме 17.3 это предположение снимается.
Комментарии к прямой теореме для канала без памяти
Нам представляется соблазнительной попытка доказать для канала без памяти )хловный результат, подобный „тео- реме“ 15.2. Наше предположение таково:
Гипотеза. Источник, [X,卩]имеет энтропию А, 〃 сдвиг Тх с мерой 卩 изоморфен любому сдвигу Бернулли с энтропией h.
Ясно сознавая, что нам не удастся дать для нижеследующей „теоремы" ни условного, ни безусловного доказательства, мы все же сформулируем утверждение и исследуем возникающие весьма поучительные трудности.
Напомним, что структура канала без памяти задается (s X /)-матрицей (с^, описанной в § 16, и пропускная спО' собность С = Се = С§ дается максимумом величины (16.5). /
„Теорема44 17.2. Пусть имеется канал без памяти, источник [X, ц] удовлетворяет высказанной гипотезе
и А ^С. Тогда существует такой обратимый по отношению к ц код ф, что скорость передачи А* "о сложному каналу равна А.
Рассмотрим сначала специальный канал без памяти [У,、*, Z], для которого можно провес и доказательство,— канал из примера 16.3. Пропускная способность этого канала равна In 3. Если /г ^ In 3, то дл я /;)= 0 н подходящим образом выбранных рь 小 н Рз величины (16.9) и (16.10) принимают одинаковое значение h. Пусть у — мера на пространстве У, которая делает сдвиг Ту сдвигом Бернулли (卩㈠/%). Тогда h (Ту) = /z, скорость передачи по каналу [Y, v^, Z] для источника [У, у], равна h и ненадежность исчезает. По предположению существует код 屮(из X в У), обратимый по отношению к ц, такой, что 丫 =卜冲〕Из обратимости кода ф следует, как и в доказательстве теоремы 17.1, что скорость передачи по сложному каналу для источника [X, ц] имеет то же значение А, что скорость передачи по каналу 3, Vg, Z] для источника [У, цф_,].
Это рассуждение работает, если только канал обладает тем специальным свойством, что при Л ^ С существует на У мера у, удовлетворяющая условиям:
Ту~~ сдвиг Бернулли относительно меры у;
2)忆 у] имеет энтропию h\
скорость передачи по каналу для источника [У, у] равна Л (или, что эквивалентно в силу условия 2, ненадежность равна 0).
Этим свойством обладает канал из примера 16.3 и любой канал без шума („теорема44 15.2), но им не обладает общий канал без памяти — например, в случае, когда вес 「丿六 строго положительны.
Для общего канала без памяти можно доказать, что при 九式。существует мера у па пространстве У, удовлетворяющая условиям 2 и 3. Однако для того, чтобы провести наше доказательство полностью, необходимо при невыполнении условия 1 усилить основную гипотезу таким образом, чтобы обеспечить изоморфизм сдвигов 7\ (с мерой 卩) и Ту (с мерой у). Для того чтобы превратить „теорему4' 15.2 в настоящую теорему, скажем, для перемешивающего марковского источника [无 М нужно потребовать полноты энтропии для перемешивающих сдвигов Маркова. Для того чтобы превратить „теорему1* 17.2 в настоящую теорему для того же источника, нужно потребовать полноты энтропии для некоторого более широкого класса сдвигов — достаточно широкого, чтобы включить сдвиг Ту с мерой у.
Эти замечания предлпгают некоторую возможную программу доказательства прямой теоремы кодирования для канала без памяти. Параграфы 18 и 19 молкло рассматривать как конечное конструктивное прпближение к этой программе: мы построим меру % приближенно удовлетворяющую условиям 2 и 3, п затем построим почти обратимый код <р, переводящий 卩 в у.
Усиление обращения *
Теорема 17.1 показывает, что если между источником и передатчиком действует обратимый код, то скорость передачи от источника к приемнику не может превышать пропускной способности капал а. Интуитивно ясно, что это утверждение должно быть справедливо п в случае необратимого кода, и в случае случайного кода. Случайный код — это просто канал [X, J, /]; если его ядро 二力•)есть единичная масса в точке фх, то мы имеем снова обычный код q〕. Сложный капал, который получается в результате введения случайного кода, — это канал [X, В*, 2], где ядро В“(・) определяется форл!уло11
Рл (С) = / 員(力/) v;/ (С).
Y
(Заметим, что 図.(С) — пзмеримая функция от ,г.) Мы покажем, что скорость передачи но каналу [X,院，Z] для источника [X,卩]не мо>кет превышать скорости передачи по каналу [У,也，Z] для источника [/, л], где 入(*)=[卩(<7尤)厶(笈); разумеется, это вторая скорость нс может превышать стационарном пропускной способности С s капал а [У, 丫夕 Z],
Определим меру Р па X X У X Z формуло1!
Р(АХ в X C)^ I j (I ("Q 二、(4〃) v〃 ("z)= 在力C
=/ ^((1х)^^У)^,(С). (17.2)
入°'厶入°'厶[Если код [X, g” Y] не случайны!!, то (17.2) сводится к (17.1 Пусть I— иоле событии, наб/иодавшпхея в момент времени для пространства X, вложенного в произведение X X Y X
入°'厶
入°'厶
т. е. ( I — конечное подполе поля ,2’X 沙 X £ с атомами ((л\ 夕，//「.q=<Z /е?〃口产〃io пуст/〉.彳 н 乎一 тюл八 собы
тий, наблюдавшихся в момент времени 0, соответственно для
（9 7 ［）'（%人*一刃分日=0代人。%人毋分0
oih *иэжвяои ни итгэд
（S'ZI） ，（％ Л .另 I 另）〃 =（% ^^ ^^\^и
egjOHOHed AaioqiroiBEBMoV x вэиШоаэ вившее вон ох
,（°/2 Л °^ Л _幺1幺）" W（°?A _幺I 幺）"
§ £0 （СЭ）?口工州。日3 Ами。а мех мв^
1%人.幺I幺）4 W（°ZA 一刃幺）4
А&1знанв（1ан ошнэь'вниняе （д*д）人典。丄& 一011 （疹 I 疹）〃 = （/ '£,）?/ и （_尸1夕），=（/ 讶）2/，п0нохен
.（-81翁// + （%A _幺I幺）〃=（_另人一位丨幺A扬）Н =（丄‘2八銷
OHhHJOITEHy
,（_Г I 歹）" + （°方 Л _幺 I 幺）"=（一幺A ? I 幺 Л 歹）〃 =（/，幺 A 歹）2/
£ 210w。dooi ou eno丄•黑"八=_幺 н ггД a =-^0口 '（一幺八 _歹1幺人夕）〃 =（/ '幺 Л%。"/ woowh（9NI）кино g ■（□）ял чхээ （г ，万 号）o>ihoi я （片£［） usiionoHud ijoioeh ijoaair и goHedu эинэьвне aomgo 01 'J X A X V = IV н〃оа ；（&"［） £〃 词?乂 •。工收日 ЧиэономдЕИ Ан丄dijomj ooiniiuoirBiiu ^ипэшопюоэ oxg
⑴Zl）・H F {%廿v}d = {味 Л 乜II w}d
ox ‘°% 三力V низ。oih 'zo、i, я вэ1эвьо11гяве *иэХе -чтгоиэи him 屮qdoiox «хиф hoiihohoq •広 iHMOirVEHiidu у qVj *7 ХЛ X V BVH8 Н1ЭЭЖ0НИ ЕИ 1И0Ю0Э °/ 'do典ndHEH *01h *IAIIIX
oo — =Woo—=2，co— =
-0WB£ :%/ 八 =0爲 H 龙"（ Д =0后％/=°/ qioKu
（£21）.а’医）?/-（"*.я д ^） У < （J ,F）J/ - （J '2 Д у）"
м boiiiVogo 30doio〉i〃）U^
^ （г <— X）^/ 0ПНЭШОНЮ0Э ООНЗВ ОПЩИпХшП CUB£E>IOV ИИ10Х 14\\：
Q '幺 Л 乡）7 - （/ '另）// +（Z 历）?/ = （n — 〃） M
红'幺 Л 夕）V - U '幺）V +（（'歹）?/ = （z *- X） M
4130 H丄30doХЗ ЭПНЧЫ ВЭЭИШ8ЕН
-имопЛ onV o.l '（（乙21） !!。1认网（1。巾 noiino^oVodno *d H^d。代 n） Z X / X X ?H JnsiVo — 7 iu/fu 纟 X 4 X Y н кнпиожоия 'z и ,y
S8【S8【IVOIVAIH 3 VlfVIIVM KWU BIIlIVHOcIIlVON VlVJ-lOJl 71
S8【
S8【
где 穹-'= V 小方, то справедливость соотношения (17.5)
—"《а < о
будет следовать из теоремы 12.1. Но в силу свойства (С) из § 12 соотношение (17.6) представляется в виде
Н 侈 V @f 17“ V %)— 〃 侈一"I %'。V %)=
И, наконец, в ciuy (17.4) имеем
〃(皆一"10。V 九)=〃 (&-" I %) и
〃 v ，“ v %) = 〃 (& v 皆一"I %).
Мы доказали следующий результат.
Теорема 17.3. Для любого случайного кода R(%f 之)& 《R(yf 之)式 С\. Если h —энтропия источника [X, ^ — превышает С$, то не существует случайного кода, для которого R“f а) = /г.
Замечание. Теоремы 17.1 и 17.3 по существу содержатся в результатах Пинскера [1].
ТЕОРЕМА ФАЙНСТЕЙНА
Вернемся теперь к анализу прямой теоремы кодирования для канала с шумом. Ограничимся рассмотрением канала без памяти. Сама теорема приводится в § 19. Здесь мы докажем два предварительных результата, принадлежащих Файнстейну.
Решающая схема
Канал без памяти задается (s X /)-матрицей (c,Q из § 16. Его пропускная способность С = Сs^ Се есть максимум выражения (16.5).
Теорема 18.1. Рассмотрим канал без памяти с пропускной способностью С. Если 0<е<С, то существует такое положительное целое число Ь} (е), что (/ при Ь^ Ь[ (е) состоит из N различных точек /zb 〃犷,а т" распадается на ^ нсчгересекающихся множеств 卜卜...,VN, где ut и Vt таковы у что
Р{(2|,2〃)三 V,\{y&)=，〃}> 1-е, / = 1, .... N, (18.1)
N>eb 8N>eb 8(18.2)(18.2)U
N>eb 8
N>eb 8
(18.2)
(18.2)
Если 〃, = (/[, 储三 о", то левая часть неравенства (18.1) есть просто
工C/血• . . 庐ь，
где сумма берется по наборам 的，•・.，&) из подмножества VI множества т°. Следовательно, условные вероятности определяются только каналом, так что теорема применима к любой мере у на входе У.
Сущность этой теоремы состоит в следующем. Допустим, посланное сообщение (у^ . . ., у^ получено в виде сообщения (之 1， .. ., /)• Если известно, что (办,...,Уь} — один из наборов «!，..., 〃川,a (zH ...,之力)принадлежит Vh то в силу (18.1) представляется разумным предположить, что (pi, ..., yj есть действительно набор ut. И если источник может кодироваться обратимым или почти обратимым образом, причем так, что переданное сообщение с большой вероятностью принадлежит {〃卜...,〃％}， то посланное источником сообщение должно с хорошей точностью восстанавливаться по полученному, и, следовательно, ненадежность должна быть vajioii. Наборы 〃, и VI дают схему для решения вопроса о том, каково было переданное сообщение. (См. обсуждение скорости и ненадежности в § 16.) Эта идея лежит в основе теоремы кодирования следующего параграфа.
Идея доказательства теоремы 18.1 такова. Предположим, что алфавит о содержит ровно две буквы, скажем, 0 и 1. Пусть b — четное число,刀= 2〃，и пусть последовательность и} состоит из а нулей, за которыми следует а единиц, а последовательность 〃2 состоит из Q единиц, за которыми следует Q нулей. Если Л велико и 匂卜...,у^ = и\, то с высокой условной вероятностью частоты в (гь . .., гй) почти совпадают с первой строкой матрицы (匸必)，в то время как частоты в (之о”，...,之/)) почти совпадают со второ!! строкой матрицы. Если 匂[,...,у6 = н?、то верно то же самое, но две первое строки матрицы (“々)меняются местами. Так как эти две строки различны (если только пропускная способность не равна 0), то распределение^!, ...,z&) при условии у力=小 сильно отличается (при большом Ь) от распределения при условии (yh .. ., //ь) = 〃2 в силу того, что нули и единицы расположены в 〃】и 〃？ не одинаковым образом; и это позволяет нам найти непересекающиеся множества И( и И2, для которых имеет место (18.1). Доказательство опирается на тщательный анализ условных распреде/юпип па выходе для большого класса различиых входных последовательностей.
Так как заключение теоремы 18.1 тем сильнее, чем меньше е, то, доказывая ее, можно предполагать, что
О V £ V }・
Поскольку результат пе зависит от того, какова входная мера у, можно выбрать ее так, чтобы упростить доказательство. Выберем меру у так, чтобы уп были независимы относительно у, причем у {仇=/} = р；, где 〃，.. ., ps выбраны так, чтобы функция г (рь . . ., р$), определспная формулой (16.5), была максимизирована. Тогда в силу теоремы 16.2
0 = "(0)一，(。1/),
где q^ 2 р屮泳、величина
'Я(О) = ^Т]Ы
/г
—энтропия па одну букву на выходе капала, а.
〃(。|/)= £ 〃川(с%)
—условная энтропия на выходе при фиксированном входе. (Везде в доказательстве индекс / пробегает алфавит о, а индекс 心 пробегает алфавит г.)
Выберем Л так, что
大 >1, ^г<у,(18.3)
где s — объем алфавита о. Далее, выберем К так, что
-3s#£ln%<K(18.4)
и
一(18.5)
/А
где суммы берутся только по тем 厶，для которых qk > 0, и по тем (/,九)，для которых %•血 >0. Наконец, выберем положительное целое число %(£)так, что при Ь^ Ь{ (е) (что мы в дальнейшем будем предполагать)
1,'性"；竺丄[5 < е.(18.6)
Обозначим символом「I меру на о" X т", индуцированную набором (//н 勿，G，…，〃)：
П(£) = Р{@[,…•，％，之，马)三 £}，Е и и" X тЛ (18.7)
Мера П приписывает точке 仏，...,/力，自，…，kb) массу рj門& … c/也」 Если Зи(т"[сит" будем писать П(В) [П (С)] вместо П (В X т/;) [11 (ab X С)]; это не должно привести к путанице. Наконец, для Сит" и 〃三о" мы пишем
HJC) = Р{便 1, • •・，互)eC|S，几)= 〃}•(18.8)
Если 〃 = (/,,…，力工 то очевидно, что П〃(С) есть 工也勺…c/网, где суммирование ведется по всем 优卜...,&) из С.
Для 〃三 о" и j w о пусть N (/ I //) обозначает число компонент набора % равных /; аналогично для и 三 т" и /сет пусть N (k\v) обозиачает число компонент набора и, равных /г; наконец, для 〃三 o', uwt° / е а и 々Вт пусть Af (jk Iuv) есть число тех /, 1忘/式瓦 для которых /-е компоненты наборов и и V равны соответственно j и /г. Тогда
П(и) = ехр £ 乂 仇 I и) In qk(18.9)
и
口J。)= exp 2 N {jk |〃u) In c川(18.10)
Говорят, что 〃 есть ^-последовательность, если \N(j\u)-bPj\< к^Ь
для всех j w о; говорят, что последовательность и порождена последовательностью “， если
\N(jk\uv)~N(/1«)cyJ<^/WN
для всех /вон /cwt.
Нам потребуются следующие четыре леммы, из которых первые две непосредственно вытекают из неравенства Чебышева и условий (18.3).
Лемма 1. Если S — множество р-посаедовательностеИ, то
П (S) > 1 — у у .
Лемма 2. Если G” 一 множество последовательностей из т^, порожденных последовательностью 〃, то
Лемм а 3. Если последовательность и порождена некоторой рчюследовительностью, то
Лемма 4. Если Ва ~ число элементов множества G/p то для каждой р-последовательности 〃
凡《决"(0⑺+К%.
Для доказательства леммы 3 заметим, что если 〃 порождает У, то
Аф I и) = В М (两 I 〃и) >^[N{j\u) cjk-九 JWf^]， в то время как если и есть ^-последовательность, то bpj — К JZ式^ (/1 //)式6р/ +九丿石式2九仇 так что
^ (й I у) ^ ft 2 PjCjk — sK^ b — 2s九％ 丿厶》bqk — 3$九％ ]/ 氏
Отсюда и из (18.9) и (18.4) следует лемма 3.
Для доказательства леммы 4 заметим, что если 〃 есть ^-последовательность и она порождает и, то
N(jk\uv)^N (j\u) cjk + 九 V N (j|〃)£ 式(l)Pj + /- Vb ) С/ + xVbpj + 九丿匕 & < l)PjC 计 + 3力厶]'7j ,
так что в силу (18.10) и (18.5)
H“®»e"/9/)-KiT
Так как「L/G”)式 1, то лемма доказана.
Для доказательства самой теоремы 18.1 рассмотрим элементы "[,...,〃 v нз о" и подмножества V!} . . ., VN из т", удовлетворяющие следующим четырем свойствам:
каждая 〃/ есть ^-последовательность;
Пц； (Vz) > 1 — е для каждого /;
каждое подмножество V[ состоит из последовательностей, порожден пых последовательностью ц( н не содержащихся в lzi U • - • U V;r], т, е. К；= GUI - (Г)U U Vi^\
не с^-чцсствуст 〃л*! и 1'、” таких, что 〃【,...,иjV+1 и V^ ..., |/“” удовлетворяют условиям 1, 2 и 3.
В силу лемм 1 н 2 такие и{ и 1々 существуют (быть может, при ^ = 1). Затем если и есть p-последователь- ность, не принадлежащая множеству 〃卜〃川，то
L(G〃n(匕 U …U 以))》£•(18.11)
В противном случае мы могли бы взять 〃Л，+[ = 〃 и
九+i"-(%U・・・U『N),
противоречащие условию 4, так как по лемме 2 Пп v+j (，川+丿= = L(GJ — L 亿 n(%U ・一 и 八))>1一"2 —g/2=l—£. С другой стороны, если и принадлежит множеству //,,.一，〃川， скажем, " = то п〃(% П (叭 U …U 八)))口以储)=1山,(%)> > 1 —е>е/2. Таким образом, неравенство (18.11) выполняется для любой ^-последовательности и.
Поэтому
П(%и …Ul/J》£l】(a)LSU …九)》~|H(S)>*
в силу леммы 1. Из леммы 3 следует, что число элементов в объединении I^i U • • • U Идг не меньше
^.еън(о)~кУТг
Но в силу леммы 4 число элементов Vi U • • • U Идг не больше^еЬН(О\])+кУЬг
Комбинируя эти оценки и используя (18.6), получаем
_L 或52K Uf〉gb (Ст),_L 或52K Uf〉gb (Ст),
_L 或52K Uf〉gb (Ст),
_L 或52K Uf〉gb (Ст),
чем доказательство завершается. (Если множества Vt не исчерпывают всего т", дополним одно из них.)
Применения
Вспоминая еще раз, что теорема 18.1 справедлива при любой входной мере у на пространстве У, предположим, что для входной меры
尸{(//1 > • • *» Уъ) ® {〃i，•…，〃川}}=
=Y{(%，力)三{〃1，〃川}}= L (18.12)
Наш ближайший результат состоит в том, что в такой обстановке переданному сообщению (外 …，九)отвечает лишь малая неопределенность, если полученное сообщение ("】,...,之力) известно. Остается проблема конструирования почти обратимого кода, для которого свойство (18.12) выполняется.
Теорема 18,2. Для //； и к, из теоремы 18.1 сиривсд- ливо неравенство
н (〃，...，yb\zb .... гй)<1](е) + т](1 - е) + е In/*(18.13)
при условии, что выполняется свойство (18.12) 〃 е< 1/е.
Доказательство. Вспомним, что объем алфавита т равен t. Мы должны ограничить сверху величину
"(/Л马)="(%'曾)，
где .穹'— конечное подполе пол я 少 X 妄 с атомами {(У，а)：®1, •…，％) = 〃}, 〃三 о", а ^ — конечное подполе с атомами {(//, 2):(引，...，〃)=и}, и w 7A Пусть имеет атомы Bt = {(//, 2)： (//), ...» //；,) = «/}, / = 1, .. ., N. На самом деле эти множества исчерпывают У X Z с точностью до некоторого множества меры 0; объединим это множество меры 0 с одним из множеств В； (это не внесет измененип в вычисления). Наконец, пусть 皆 имеет атомы & = {(//，之)：(4,-..,之匕)三卜)， / 1 j .. >, N、
В силу (18.12) каждый нетривиальный атом поля .^ отличается на множество меры 0 от некоторого нетривиального атома поля，羽 и обратно. Отсюда и из того факта, что 皆 и ^, получаем
"(勿以氏，…，%)= "(%1名‘)="(团皆‘)其"(团片).
(18.14)
Для любого / в силу (18.1) имеем P(Ct\Bj)> 1 —8. Из этого следует, “то ^ Р (Bt) Р (С； | Л;) < е, и по теореме 6.2
〃(％l@)W^g) + H(l -£)+ е1п(№- 1),(18.15)
при условии, что £ так мало, что функция i] (/) не убывает иа [0, е] и не возрастает на [1 — е, 1], что справедливо при £<1/е. Для того чтобы получить (18.13), воспользуемся теперь неравенствами (18.14) и (18.15).
Замечание. OaiiiicTeiiH [1, 2] первый доказал результаты этого параграфа (для каналов с конечной памятью). Приведенное здесь доказательство теоремы 18.1 содержится у Вольфовица [1]. Помимо обобщенш'! теоремы 18.1, детальное исследование Вольфовица содержит результаты, обратные этой теореме, гласящие, что если (18.1) справедливо, то ^ не может превышать некоторой верхней грани. С по- моп1.ыо этих результатов Вольфовиц получил обратную теорему кодирования.
БЛОКОВЫЕ КОДЫ
Определение
Рассмотрим канал из предыдущего параграфа — канал без памяти —вместе с эргодическим источником [X, ц] с энтропией /г. Цель настоящего параграфа — показать, что если h<C и 6>0, то существует такой код 屮 без предвосхищения (из X в У), что если сообщение х посылается по сложному каналу, то скорость превышает /г —6.
Мы докажем теорему в терминах Ь^блоковых кодов. Пусть для любого “
^п =(尤zib+1，• • •» (%п力+Ь)；
тогда х = (..., x-ь 尤о，尤 1， ...) есть элемент пространства X последовательностей элементов из р". Аналогично определим //, У, z, Z. Под /^-блоковым кодом ф мы понимаем отображение ф： Xf У, определяемое (измеримым н стационарным) кодом 0: Xf У с помощью формулы
((Ф-^)пй+1» • * • j ^^}nb-¥b^ ~ (Ф-^)п*
Заметим, что /^-блоковый код измерим, но не вполне стационарен, будучи стационарным только для блоков длины Ь, т. е. фГхх = Гуфх. Если ф — код без предвосхищения, то /^блоковый код ф также называют кодом без предвосхищения. (В этом случае передатчик должен запаздывать по времени на b единиц по сравнению с источником. Если даны ...,х〃от, xnbi т. е. известны ..., хп_2, хп_ь то кодирующее устройство может выдать блок 歹也川 кодированного сообщения II буквы //(„_])&+1> ..., упЬ этого сообщения могут быть переданы в течение следующих b единиц времени.) Код, который мы пол учим, зависит только от настоящего в том смысле, что (小£)也 зависит только от ,vn.
Так как код 屮 нестационарен, предыдущие определения скорости, ненадежности и т. д. непосредственно неприменимы. Мы определим эти величины для х, у,之，разделив на b соответствующие величины для 元，/у, z, хотя нетрудно видеть, что такие пределы, как lim л~*Я(2ь ...,之也),сущест- вуют в любом случае.
Прямая теорема в терминах блоковых кодов
Теорема 19.1, Рассмотрим канал без памяти « некого^ рый эргодический источник. [X, ц]. Пусть С — пропускная способность канала и Л — энтропия источника. Если Л < С
13 Зак. 149]
и 6>0, то для некоторого b существует такой Ь-бдоковый код ф, что скорость передачи сообщения х по сложному каналу превосходит " — 8.
Доказательство. Выберем е так, что
/% + € V С — £,
Н (е) + т] (1 — е) + е 1н / < 等，
е In г <-у , е< —.
(Как всегда, г и / — объемы алфавитов р и т.) Все вычисления основываются на вероятностях
Р (4 X 8 X С) =/ %(*)(°) N (d%),
人П旷%
где Vy — ядро рассматриваемого канала и <р — тот блоковый код, который нужно построить.
Если b превосходит 瓦(£) из теоремы 13.2, то независимо от того, каков код ф, алфавит р" распадается на два множества 〃 н 厶 так, что
Р{(%"/)三厶}Ve и
Р {(Х[, х^ = w}>e~b {h+E>(19.1)
для любого 侬巨 〃. Если b превосходит Ь{ (е) из теорем 18.1 и 18.2, то
"匂 1，以⑵，…，〃)eн(g)+ h(1-8)+ 动也九(19.2) если только код 屮 таков, что (/л，.. ., у) с вероятностью 1 принадлежит множеству элементов 〃匕...,uN из о". Напомним (см. (18.2)), что
Выберем и зафиксируем некоторое число Ь, превышающее и Ь{} (е), и Ь[ (е). Далее, из (19.1) следует, что число элементов множества Н меньше, чем eb {h+R) < еь {С~е} N. Поэтому существует отображение 屮,переводящее рй в о" так, что множество Н отображается взаимно однозначно на собственное подмножество 屮(〃) множества {〃〔，..., 〃川} и все элементы множества L отображаются на некоторый эле-
мент 〃八 не принадлежащий 屮(〃). Определим ф (а следовательно, и ф) формулой
(0元)"="(疯).
По построению 力=屮(爲)принадлежит множеству {辽卜...，〃川}, так что в силу (19.2)
Н (^i|2i)<T)(e) + н(1 -E)-hE.b\nt <~.(19.3)
Если 歹1 принадлежит множеству 屮(〃)， то тем самым х{ полностью определен; следовательно, если 〃三屮(〃)，то это означает, что величина
S ^{^\ = w\y{ = ii})(19.4)
侬三pb
обращается в нуль. Так как р" содержит г" элементов, то (19.4) во всяком случае не больше In г". Из соотношения Р {〃1 三屮(〃)} = Р “I w 〃} следует
〃(爲历 i)《eln/W^.(19.5)
Далее,
〃負I备)W"(片，У^ = Н(у^ + Н{х{\11„ %)&
《"伉画 ) + "(爲历I).
Применяя теперь (19.3) и (19.5), получаем
H{x}\z()<bb.
Но п
W 勺 〃 (*|引)=пН (爲®),
так что
Переходя к пределу, мы видим, что ненадежность для ^-блокового процесса (х переходит в 2 no сложному каналу) меньше чем Ь8. Разделив на Ь、получаем, что ненадежность при передаче самого х меньше чем 6. Поэтому скорость превосходит 力一6.
Заметим, что построенный код 屮，вообще говоря, необратим. Так или иначе это несущественно, ибо проблема декодирования состоит в возвращении от 之 к х, а не от у
х. Мы достигли нашей цели, состоявше!! в оценке ненадежности сложного канала величиной д.
На протяжении 9Toii главы мы и !мер>1лп эффективность кода, связывающего источник с каналом, посредством скорости передачи информации от источника к приемнику. В § 17 мы игнорировали проблему использования информации в приемнике для восстановления посланного сообщения. С другой стороны, в теореме 19.1 мы теоретически строим эффективный код, явным образом сталкиваясь с указанной проблемой и используя при этом теорему ФаСшстейна. Однако реальное построение кодов в практическо/! ситуации производится совершенно иначе. .
Очевидно, что теоремы 17.1 и 17.3 о несуществовании некоторых кодов могут быть также сформулированы в терминах ^-блоковых кодов. С другой стороны, не ясно, как переформулировать теорему 19.1 таким образом, чтобы обойтись без блоковых кодов.
Замечание. Эти теоремы принадлежат Шеннону [1], хотя его доказательства были неполными. Фанпстейн [1] дал первое полное доказательство. См. также Фанпстейн [1], Хинчин [3], Такано [1], Добру шин [1] п Пинскер [1]. Более широкие исследования в теории связи см. у Реза [1] и Мейер-Эпплера [1].
Литература *)
Абрамов 几 М
Энтропия производного автоморфизма, ДАН СССР、128, № 4 (1959), 647—650.
Об энтрогши потока, ДАН СССР, 128, № 5 (1959), 873—875.
Энтропия автом(1р(|)изма соленоидальной группы, Теория вероятн. и ее примен., 4Т нып. 3 (1959), 249—254.
Некоторые вопросы метрической теории динамических систем, Диссертация, МГУ, 1959.
Абрамов 几 М., Рохлин В. Л.
Энтропия косого произведения преобразований с инвариантной мерой, Вестник ЛГУ, сер. мат. и мех., 7, вып. 2 (1962), 5—13.
Адлер (Adler R. L.)
Ergodic and mixing properties of infinite memory channels, Proc. Amer. Math. Soc., 12 (1961), 924—930.
Он a conjecture of Fomin, Proc. Amer. Math. Soc., 13 (1962), 433—436.
A note on the entropy of skew product transformations. Proc. Amer. Math. Soc.t 14 (196 3), 665—669.
Адлер, Коихейм, Мак-Эндрью (A d 1 ег R. L., К о nh е im A. G,, McAndrew М. Н.)
Topological entropy, Trans. Amer. Math. Soc.t 114 (1965), 309—319. Биллингслей (Billingsles' P.)
Hausdorff dimension in probability theory, /〃. J. Math.t 4 (I960), 187—209.'
Hausdorff dimension in probability theory. П, 111. /. Math., 5 (1961), 291—298.
On the coding theorem for the noiseless channel, Ann. Math. Statist., 32 (1961), 594—601.
Б и p к г о(I)(В i г k h о f f G. D.)
Proof of the ergodic theorem., Proc. Nat. Acad. USA, 17 (1931), 656—660.
Б л io м, Хансон (В 1 ti m J, R., Hanson D. L.)
On the isomorphism problem for Bernoulli schemes, Bull. Amer Math.
Soc., 69 (1963), 221—223.
I) Литература, отмеченная звездочкой, добавлена про переводе.— Прим. ред.
Браун (Brown Т. А.)
Entropy and conjugacy, Ann. Math. Statist., 84 (1963), 226—232, Б p e й м а и (B r e i ш a n L.)
The individual ergodic theorem of information theory, Ann. Math. Statist. 28 (1957), 809—811. Поправка к статье в Ann. Math. Statist., 31’ (I960), 809—810.
On achieving channel capacity in finite-niemory channels, 111. /, Math., 4 (I960), 246—252.
В о .п ь ф о в к ц Дж.
Теоремы кодирования теории информации,《Мир》，М., 1967.
Г е в и с А. Л.
Метрические своИстпа эндоморфизмов /i-мерного тора, ДАН СССР, 138, № 5 (1961), 991—993.
Грейвс (Graves R.)
The Greek myths, v. 1, II, Penguin Books, 1955,
Г уд (G о о(1 1. J.)
~ 1. The fractional dimensional theory of continued fractions, Proc. Camb. Phil. Soc., 37 (1941), 199—228.
Г у p с в n ч Б. M.
Энтропия потока орициклов, ДАН СССР, 136, № 4 (I960), 768—770.
Гуревич В., В о л м э к Г.
Теория размерности, ИЛ, AV, 1948.
Д а и ф о р 〃 Н., Шварц Дж. Т.
Линейные операторы. Общая теория, ИЛ, М., 1962.
Д ё б л к н (D о е b 1 i n W.)
Keinarqiies sur la thcorie metrique des fractions continues, Compo- sitio Math., 7 (1940), 353—371.
Добрушии P.几
Общая формулировка основной теоремы Шениона в теории информации, У МН, 14, выи. 6 (1959), 3—104.
Ду б Дж. Л.
Вероятностные процессы, ПЛ, AV, 1956.
Зигмунд А.
Трпгопометрпческие ряды, т. 11, «Мир», At, 1965.
К а ц М.
Статистическая независимость в теории вероятностей, анализе и теории чисел, ИЛ, М., 1963.
К и и ни, Питчер (Kinney J. R., Pitcher Т. S.)
The dimension of some sets defined in terms of /-expansions, Z. Wahr.y 4, № 4 (1966), 293—315.
Колмогоров A. H.
Основные понятия теории вероятностей, М., 1936. (Впервые на немецком языке, 1933).
Ыовыii метрический инвариант транзитивных динамических систем [I автоморфизмов пространств Лебега, ДАН СССР, 119, № 5 (1958), 861—864.
Об энтропии на единицу времени как метрическом инварианте автоморфизмов, ДАН СССР, 124, № 4 (1959), 754—755.
Кузьмин Р. О.
Об одной задаче Гаусса, ДАН CCCPt сер. 4 (1928), 375—380.
Леви (L ё V у Р.)
Sur les lois de probabilite dont dependent les quotients complets et incoinplcts d'une fraction continue, Bull. Soc. Math., 57 (1929), 178—194.
Theorie de「addition des variables a!6atoires, Paris, 1937.
Макмиллан (McMillan В.)
The basic theorems of information theory, Ann. Math. Stat., 24, (1953), 196—219.
Мейер-Эпплер (Meyer-Eppler W.)
Grundlagen und Anwendungen dor Informationstheorie, Kommuni- kation und Kybernetik in Einzeldarstellungen, 1, Springer, 1959.
M e ш а л к и к Л. Д.
Один случай изоморфизма схем Бернулли, ДАН СССР、128, № 1 (1959), 41—44.
Нейман (von Neumann J.)
Proof of the quasiergodic hypothesis, Proc. Nat. Acad. USA, 18 (1932), 70-82.
Einigc Satze fiber niessbare Abbikhingen, Ann. Math,, 33 (1932), 574—586.
П и н с к e 1)M. C.
Информация и пиформациопная усюйчивость случайных величии и процессов, 11зд-во АН СССР, М., 1960.
Дшшмнческис системы с вполне положительной и нулевой энтропией, ДАН СССР, 133, № 5 (I960), 1025—1026.
Райт (редактор) (W right 1;. В.)
Ergodic theory, New York, 1963.
Реза (Reza T. M.)
An introduction to information theory, New York, 1961.
P e н ь и (R ё n у i A.)
Representations of real numbers and their ergodic properties, Acta Math. Acad. Sci. Hungar., 8 (1957), 477—493.
Dimension, entropy and information, Transactions of the Second Prague Conference on Information Theory, Statistical Decision Functions, Random Processes, 1959, стр. 545—556,
Рисе (R i e s z F.)
Snr la theorie ergodique, Comm. Math. Helvetici, 17 (1945), 221—239. Розепблат (Rosenblatt M.)
Random processes, New York, 1962.
Рохлин В. A.
Об энтропии метрического автоморфизма, ДАН СССР, 124, № 5 (1959), 980—983.
Новый прогресс в теории преобразований с инвариантной мерой, У МН, 15, вып. 4 (I960), 3—26.
Точные эндоморфизмы пространства Лебега, Изв. АН СССР, сер. мат., 25, № 4 (1961), 499—530.
Об энтропии автоморфизма компактной коммутативной группы. Теория вероятн. 〃 ее примен., 6, № 3 (1961), 351—352.
Аксиоматическое определение энтропии преобразования с инвариантной мерой, ДАН СССР, 148, № 4 (19G3), 779—781.
*6. Избранные вопросы метрической теории динамических систем, УМН, 4, вып. 2 (1949), 57—125.
*7. Об основных понятиях теории меры, Матем. сб., 25(67), № 1 (1949), 107—150.
Рохлин В. А., С п к а 口 Я. Г.
Пос!роение н свойства инвариантные изморимых разбиений, ДАН СССР, 141, № 5 (1961), 1038—1041.
Рыль - На рдж с в с кнй (Ryll-Nardzewski С.)
On the ergodic theorems. Il, Stadia Math., 12 (1951), 74—79.
Синап Я Г,
1 О поляIин siripoiiiiii динамической системы, ДАН СССР. 124, № 4 (1959), 768—771.
О потоках с конечной энтропией, ДАН СССР, 125, № 6 (1959), 1200—1202.
Динамическйе системы и стационарные марковские процессы, Теория вероятн, и ее примен., 5, № 3 (I960), 335—338.
Геодезические потоки иа многообразиях отрицательной постоянной кривизны, ДАН СССР, 131, № 4 (i960), 752—755.
Геодезические нотоки на компактных поверхностях отрицательной кривизны, ДАН СССР, 136, № 3 (1961), 549—552.
Динамические системы со счетнократиым .лебеговским спектром, Изв. АН СССР, сер.用о?., 25, № 6 (1961), 899—924.
Вероятностные идеи в эргодической теории. Int. Congress of Math. (1962), 540—559.
Слабый изоморфизм преобразований с инвариантной мерой, ДАН СССР, 147, № 4 (1962), 797—800.
. О слабом изоморфизме преобразований с инвариантной мерой, Матем. сб., 63(105), № 1 (1963), 23—42.
Такано (Takano К)
On the basic theorems of information theory, Ann. Inst. Stat. Math.t 9 (1958), 53-77.
T о м а с я и (T li о m a s i a n A. J.)
An elementary proof of the AEP of information theory, Ann. Math. Statist., 31 (I960), 452—456.
Успенский (U s p e n s k i J. V.)
Introduction to mathematical probability, New York, 1937.
Ф а й н с т e й н A. (F e i n s t e i n A.)
A new basic theorem of information theory, IRE, Trans. PG1T, Sept. 1954, 2—22.
Основы теории информации, ИЛ, М., 1960.
Феллер В.
Введение в теорию вероятностей и ее приложения, т. I, II, «Мир». М., 1967.
Фюрстенберг (Furstenberg Н.)
*1. Disjointness in ergodic theory minimal sets and a problem in Diophantine approximation. Math. Syst. Theory, I, № 1 (1967), 1—50.
X а л м о ш П. (H a 1 m о s P. Rj
Measurable transformations, Bull. Amer. Math. Soc„ 55 (1949), 1015—1034.
Теория меры, ИЛ, M., 1953.
Лекции по эргодической теории, ИЛ, М., 1959.
Entropy in ergodic theory, мимеографические записи, The University of Chicago, 1959.
Новый прогресс в эргодической теории, сб. Математика, 6:3 (1962) 17—27.'
Харди, Райт (Ы а г d у G. Н., Wright Е. М.)
An introduction to the theory of numbers, Oxford, 1959,
X a p p и с (H а г r i s T. E.)
1 On chains of infinite order, Pacific 丄 Math., 5 (1955), 707—724.
X и и ч и н А. Я.
Metrische Kettenbruchprohlemc, Compasitio Math., 1 (1935), 361—382.
Zur metrischen Kettenbruchtheorie, Compositio Math. 3 (1936) 275—285.'
Об основных теоремах теории информации, УМ", 11 ： 1 № 67 (1956), 17—75.
Цепные дроби, Фнзматгпз, М, 1961
X о п ф Э.
Эргодическая геория, УМН, 4, вып. 1 (1949), 113—182,
Чжун Кай-лай (С h u п g К. L.)
A note on the ergodic theorem of iiiforination theory, Ann. Math. Statist., 32 (1961), 612-614.
Шеннон К. Э.
Математическая теория связи, 1948, стр. 243—332.
Эгглстон (Eggleston Fl. G.)
The fractional dimension of a set defined by decimal properties, Quart. J. Math. Oxford Ser., 20 (1949), 31—36.
Якобс (Jacobs К.)
Neuere Methoden und Ergebnisse der Ergodentheorie, Springer, 1960.
Lecture notes on ergodic theory, University of Aarhus, 1962—1963,
Указатель примеров
Пример 1.1 (стр. 11). Двусторонний сдвиг Бернулли.
Q: (о = (..., (От, со。, (о1( . ..), где хп(со) =(оя — элемент конечного множества р,
Ts = (•…,%,砌,со?,・・・),т. е.今(Ts)=必+i (s), n + k—\
P{(0： ,((0)= £厶 〃《/《孔 + 左}= ]I Pi ,
Свойства： обратимый (стр. 13); эргодический (стр. 22); перемешивающий (стр. 22); Л (Г) = —S Pt In Pi (стр. 80 и 102).
Пример 1.2 (стр. 13). Общий двусторонний сдвиг.
Q: (о = (...,(0-1, со。, (0], ...)» где хп (со) =(оп — элемент конечного множества р,
Т(о = (..., %,(0], со?, •• J, т. е. %п(Т(о) = хп+1 (со),
Р — любая вероятностная мера, сохраняющаяся при преобразовании Т.
Свойства： обратимый.
Пример ].3 (стр. 14). Нециклическая перестановка.
Q = {а,力，％ d, е},
Т = (а,仇 с) (d, е),
Р (а) = Р (力)=Р (с) и Р (d) = Р (е).
Свойства: преобразование обратимое; неэргодическое, если только Р (а) = Р (b) = Р (с) не равны 0 или Р (d) = Р (е) не равны 0 (стр. 16); не перемешивающее (стр. 22); h (Т) = 0.
Пример /•/ (стр. 14). Циклическая перестановка.
Q = {а,仇 с, d, е},
Т = (а,仇 с, % е),
Р (а)=尸(b) = Р (с) = Р (d) = Р (е) = у.
Свойства: обратимое; эргодическое (стр. 16); нс перемешивающее (стр. 22); А (7) = 0.
Пример 1.5 (стр. 15). Поворот окружности.
й — единичная окружность в комплексной плоскости, Т(о = с(о, где с — элемент из Q,
Р — нормированная круговая мера Лебега.
Свойства: обратимое; эргодическое в том и только том случае, если с не является корнем из единицы (стр. 18); не перемешивающее (стр. 22);九(7) = 0 (стр. 103 и 104).
Пример 1.6 (стр. 15). Диадическое преобразование.
Й = [0, 1]
Г(о = 2s (mod 1), Р — мера Лебега.
Свойства： необратимое; эргодическое (стр. 20 и 119); перемешивающее (стр. 22); А (Т) = In 2.
Пример 1.7 (стр. 28). Сдвиг для вещественнозначного процесса.
Q: (о = (..., со，!, со。, (0], ...), где x〃(s) = s〃 — точка вещественной прямой,
Т(о = (.・.，(о0, ®,(о2, . . .), т. е. %"(Ts) = x〃+i(9),
Р — любая вероятностная мера, сохраняющаяся при преобразовании 7\
Свойства: обратимое.
Пример 3」(стр. 41). Сдвиг Маркова.
Частный случай общего двустороннего сдвига (пример 1.2), задаваемого формулой
Р{з: хп+ь1 (<о) = zz> /= 1曾=〃|〃山... Pt кт%, где р/ для матрицы вероятностей перехода (р“) стационарны и строго положительны.
Свойства： обратимый; эргодический в том и только том случае, если матрица (夕打)неприводима (стр. 42, 43, 131 и 138); перемешивающий в том и только том случае, если матрица (р“)неприводима и иепериодичпа (стр. 44 и 140);力(7)== =—；〃 Р〃 111 Р〃(стр. 102).
Пример 3.2 (стр. 44). Общий односторонний сдвиг.
Q: (о = ((О],(о2» •••)， rne xn(w)= «п — элемент конечного множества р,
Т(о = ®2,吗，…)т・ е・，％/Ts) = “+i(s),
Р — любая вероятностная мера, сохраняющаяся при преобразовании Т.
Свойства： никогда не обратим; свойства эргодичности н перемешивания, а также значения энтропии совпадают с аналогичными свойствам” и значениями для соответствующего двустороннего сдвига.
Пример 3.3 (стр. 45).
Частный случай общего двустороннего сдвига (пример 1.2), в котором исходы независимы, но каждьн! повторяется.
Свойства: обратимый; эргодический (стр. 45); не перемешивающий (стр. 45); h(T) = — ^^pt\n pi (стр. 103).
i
Пример 3.4 (стр. 45). г-адическ,ое преобразование.
□ = [0, 1),
7\о = ro)(mod 1),
Р — мера Лебега.
Свойства: необратимое; эргодическое, перемешивающее; h(T) = In г.
Пример 3.5 (стр. 46).
◎ = [0, 1),
Ts = r(D(mod 1),
Р — любая вероятностная мера, сохраняющаяся при преобразовании Т.
Свойства： необратимо.
ДОПОЛНЕНИЕ
Алгебраические автоморфизмы тора 〃 цепи Маркова
Л1. Гуревич 〃 а. Г. Синай
Как отмечено в предисловии редактора перевода, важность изложенной в книге теории объясняется не только ее связями с теорией вероятностей, по и возможностью успешного применения к изучению динамических систем, порождаемых диффеоморфизмами и векторными полями на гладких многообразиях. В этом дополнении мы подробно рассматриваем один весьма популярный пример такого рода — алгебраический автоморфизм тора — и устанавливаем, что с точки зрения эргодической теории он изоморфен марковскому автоморфизму (см. стр. 41) с конечным или счетным пространством состояний. Читателю предоставляется возможность самому судить, какая из областей — алгебра или теория вероятностен — от этого больше выигрывает.
ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ ОБ АВТОМОРФИЗМЕn-МЕРНОГО ТОРА
Тор М получается из n-мерного евклидова пространства А", рассматриваемого как топологическая группа, факторизацией по целочисленной решетке Z". Геометрически тор можно представлять себе как единичный /i-мериый куб {° 式仍式 i； 2 = 1, 2,.…，力 с мерой Лебега ц, у которого отождествлены противоположные (п— 1)-мерные грани. Расстояние d(x\i х2) между точками 尤卜 х2^ М определяется равенством
к?) = р(&工(1)
где р — метрика в R", а СХ1, СХ2 — классы смежности R" по отвечающие точкам хн х2.
Любая целочисленная матрица А порядка п переводит решетку Z" в себя. Если, кроме того, | det X | = 1, то Г обладает тем же свойством и, следовательно, { отображает Z" и а себя взаимно однозначно. В таком случае матрица А индуцирует групповой автоморфизм тора М = R)Z", сохраняющий меру ц. Всякий групповой автоморфизм тора получается описанным здесь способом.
Будем обозначать л естественную проекцию (естественный гомоморфизм) пространства Rn на тор, т. е. отображение, сопоставляющее каждой точке gwR" содержащий ее класс смежности по подгруппе Z". Если Лт ~ матрица, индуцирующая автомор(})изм Т, то пАту = Тпу, 〃三 R". Формула (1) с помощью л может быть записана в виде
dg, .о)= niin p(//i,乡2)・
Пусть Aj, Л2, . . ., ^s — собственные значения матрицы Ат и 冷1,几2, • - •, лЛ — их 1<1)атности. Так как матрица вещественна, то каждому вещественному 九？ отвечает комплексносопряженное число 九/ = %, имеющее ту же кратность, что и
儿. Приведя матрицу Лг к жордановой форме, мы получим для каждого вещественного Л,-几-мерное инвариантное подпространство 〃j пространства R" и в 〃》базис, в котором Ат
О• Если 九/, % —О• Если 九/, % —1 儿 имеет вид жордановой клетки .
О
• Если 九/, % —
О
• Если 九/, % —
01儿
пара комплексно-сопряженных собственных зна чепий, то можно найти 2п-мерное инвариантное подпространство "/ и в нем базис, в котором матрица имеет вид жордановой клетки
А/
£ Л； О
£( Re%0)
0F Л/
Назовем расширяющимся подпространством и обозначим 〃р прямую сумму подпространств Н, по тем Z, для которых I % |> L Аналогично сжимающееся подпространство Нс есть прямая сумма тех Н「для которых |%|VL Из определения видно, что Нр н Нс инвариантны относительно Лг. В дальнейшем мы будем рассматривать лишь такие матрицы Аг, которые не имеют собственных значений, равных по модулю единице. Это условие, очевидно, эквивалентно равенству
%㊉& = *・
Так как | det%、|= 1, т（）оба подпространства "卩 и //с в рассматриваемом случае нетривиальны.
Пусть Л = Ц |%1 н цр, [ic — лебеговы меры соответ- ственно на Яр и Нс. Пользуясь каноническим видом матрицы 4丁， заключаем, что для любых измеримых множеств Вр и Яр и В, и Нс
mф （/Т稣）=九卩p （稣）,卩С （/Г筑）=九ие （Ю. ⑵
Выясним теперь поведение длин векторов в пространствах 〃р и "с под действием степеней матрицы Ат. Длину вектора y^Rn будем обозначать | у |.
Лемма 1 *）. Существуют такие константы 厶，〃р,九сVI, 九р>1, что 。力兄 любых векторов //"三〃口 У 三 Н^ и любого натурального m
I 蜉* I & 厶戒 I * I, MTV I < a^'\y\. ⑶
Доказательство. Так как подпространства Нс и / меняются ролями при замене 人丁 на А^, достаточно доказать первое из неравенств （3）. Воспользуемся каноническим представлением матрицы Ат в подпространстве Нс. Возьмем любое q声0 и сопоставим клеткам
Л/
1 %0
£ А/0
1・
и
Е・
0
1 %
0Е А/
в этом представлении соответственно клетки
17°炉17°炉ЕQ0Q2ЕQ0Q2
1
7°
炉
1
7°
炉
Е
Q0
Q2
Е
Q0
Q2
0*00*0
0*0
0*0
!） Из этой леммы вытекает, что если матрица 4丁 пе имеет собственных значений, по модулю равных единице, то автоморфизм Т является У-системой в смысле Аносова （см. [2]）.
где Q = qE、Матрица, состоящая из этих клеток, приводит Ат к виду, получающемуся из канонического заменой элементов 1 尸 £ соответственно на(/ п Q. Пусть 句，&, . . ., е左一 базис, в котором Лт имеет только что описанный вид. Введем в 〃с новую норму, положив II yff ||2 = 2 с；，если『=£ с^,.
t=1 Пользуясь тем, что все собственные значения, относящиеся к 〃с, по модулю меньше единицы, нетрудно проверить, что если q достаточно мало, то || Лг ||< ^ (в подпространстве Яс). Другими словами, можно так подобрать Kc<lt чтобы для любого у" м Нс
II "19/1 /Я1 и, следовательно,
II Ат у" II < ^ II у" II， m = 0, 1
Интересующее иас неравенство (3) вытекает теперь из эквивалентности любых двух норм в конечномерном линейном пространстве.
Рассмотрим в пространстве Rn гиперплоскости, параллельные подпространству //р, и назовем их расширяющимися. Преобразование Лт переводит расширяющиеся гиперплоскости друг в друга. То же самое можно сказать и о сжимающихся гиперплоскостях, параллельных подпространству 〃_ Образы при отображении л гнперплоскостей каждого семейства будем называть соответственно расширя ющ ими с я и ежи мающимися слоями (на торе). На ,™6cii расширяющейся пли сжимающейся гиперплоскости отображеппе л взаимно однозначно. Достаточно проверить 刁то для расширяющихся гиперплоскостей, так как сжимающиеся гиперплоскости являются рас- ширяюш,имися но отношению к ЛД Очевидно, можно ограничиться подпространством %,. Пусть у；, у^ — векторы из 〃卩 и лу[ = пу^. Зти значит, что z/j = z/j —~ целочисленный
вектор, также принадлежащий "卩. По лемме 1 | ^у^ | —> 0 при mf — 8, что невозможно, если 弘，0 (в этом случае Ат — ненулево11 и,елочислеш1Ы11 вектор). Тем самым наше утверждение доказано.
Лемма 2. Любой расширяющийся или сжимающийся слой всюду плотен на торе.
Доказательство. Здесь снова достаточно рассмотреть слой л//р. Пусть л;//р —его замыкание. Множество л//р является замкнутой связной подгруппой тора М, инвариантной отно-
сителыю автоморфизма Т. Факторгруппа М/пН^ имеет тогда, как известно, вид МЕН, где Н — замкнутая подгруппа группы Rn, содержащая Нр и целочисленную решетку Z" и инвариантная относительно /『. При этом обе группы М/пН и R'7〃 изоморфны тору некоторой размерности k<n (см. [4, г』.7, § 1, п. 5]). Покажем, что 々 = 0.
Введем метрику р‘ в группе R"/", положив расстояние между двумя ее элементами равным расстоянию в R" ^жду соответствующими смежными классами. Пользуясь инвариантностью подгруппы Н относительно 4丁，перенесем это преобразование в R?H, где оно останется гомеоморфизмом. Возьмем любые два смежных класса & и С2 из R“lН. Нетрудно найти точки У[ е С{ и у2^ С2, проекции которых на 〃р совпадают. Отсюда следует (см. лемму 1), что
рЧ^гСь Л7С2)—> 0 при m —> оо.
Но в силу компактности группы RnjH это возможно лишь в случае, когда множество I^jH состоит из одной точки, что и требовалось доказать.
МАРКОВСКИЕ РАЗБИЕНИЯ И ЭРГОДИЧЕСКИЕ СВОЙСТВААВТОМОРФИЗМОВ ТОРА
В этом параграфе мы введем марковские разбиения и докажем с их помощью ряд эргодических свойств автоморфизмов n-мерного тора. Существование марковских разбиений будет установлено в следующем параграфе. Напомним еще раз, что по предположению все собственные значения рассматриваемой матрицы Ат не равны по модулю единице.
Пусть V\ V" — измеримые ограниченные множества в подпространствах 〃р и Нс соответственно, Int У\ Intk" —их открытые ядра (по отношению к //р и //с) и dVr = И7 \ Int V\ 0“ =仅"\ Int ” — их границы (черта обозначает замыкание). Назовем множество
，= "'，，")=仅m内：y=旷+V，y‘三н,『巨VQD
параллелограммом в R", если 卩卩(dVf)=卩с (。，”) = 0. Образ параллелограмма UuR" при отображении л будем также называть параллелограммом, если л на множестве V является
')Здесь у, % у" обозначают п-мерные векторы. В дальнейшем будет употребляться запись £/=(//', у"),
14 Зак. [491
гомеоморфизмом. В этом случае
⑷⑷Н(яЮ = УНр(Ине(ГЭ,
⑷
⑷
где у — константа, зависящая от угла между подпространствами Нр и Н「Легко видеть, что пересечение двух параллелограммов в R" есть снова параллелограмм.
В дальнейшем мы будем пользоваться следующей леммой, доказательство которой несложно и предоставляется читателю.
Лемма 3. Пусть 6 = 1пах(|Лт' I» I ^?11) 〃 S，U2 — связ* ные параллелограммы на торе, диаметры которых меньше 1/46, причем 〃2 =冗廿2， аОе И2 — связный параллелограмм в R". Тогда найдется такой связный параллелограмм % uR", что U{ = nVh U{C\ Ти2 = ^(У\Г\ЛТУ2)卫 на множестве V\ U ЛГУ2 отображение л является изометрией 〃, следовательно, гомеоморфизмом. Утверждение останется справедливым, если за・ менить 6 нем Т и Ат соответственно на Т~[ и /八
Граница dV параллелограмма UuR" совпадает с объединением множеств 匕(卜)=(匕 dVff) и Гс (V) == (dV\ V"). Первое из этих множеств будем называть расширяющейся границей^ второе — сжимающейся. Аналогично множества лГр(1/) = Гр(лИ) и лГс (И) = Гс (лИ) образуют соответственно расширяющуюся и сжимающуюся границы параллелограмма лУ.
Будем называть расширяющимся слоем параллелограмма V иА" пересечение любой расширяющейся гиперплоскости с И и граничным расширяющимся слоем — пересечение расширяющейся гиперплоскости с Гр(1/). Аналогично определим сжимающийся слой и граничный сжимающийся слой парал" лелограмма И. Отображение л переводит все указанные слои в одноименные слои параллелограмма U — лУ.
Определим теперь разбиение тора на параллелограммы. Так мы будем называть конечную или бесконечную последовательность а параллелограммов и^М, удовлетворяющую трем условиям: 1) (J S = 〃，2) Int U川 Int U, = 0 при 学八 3)卩(J Int U” = 1. Заметим, что а не является, вообще говоря, разбиением в строгом смысле слова. В частности, его элементы могут пересекаться. Однако все их пересечения содержатся в множестве F(a) = UdU厶 имеющем нулевую меру. В случае когда а конечно, условие 1) можно записать в виде
uе=Л1, а необходимость в условии, 3) отпадает, так как оно вытекает из 1) и определения параллелограмма. Положим
「р (а) = U'р(")『с (а) = U'с (S).
I
В случае конечного а очевидно, что
「р (а) = U「р (“)Fc(a) = U「c(UJ
Определение (см. [5]). Разбиение а на параллелограммы называется марковским, если Г (Т^а) и Гр (а), Гс(Га)сГс(а).
В следующем параграфе мы покажем, что рассматриваемый автоморфизм Т обладает конечным марковским разбиением с элементами произвольно малого диаметра. Отсюда вытекает утверждение, на котором будет основано дальнейшее изучение автоморфизмов тора.
Теорема 1. Для всякого е>0 существует марковское (по отношению к Т) разбиение 0, элементы которого Bz связны, открыты и удовлетворяют условию diamB^&e, i = 1, 2,
Доказательство. Пусть U — произвольный элемент конечного марковского разбиения а. Открытое ядро Int U параллелограмма U также является параллелограммом. Разобьем множество Int U на связные компоненты, их может быть конечное или счетное число. Нетрудно проверить, что каждое из получившихся множеств — открытый параллелограмм и эти множества образуют разбиение тора на параллелограммы. Обозначим это разбиение р. Тот факт, что оно марковское, вытекает из марковского свойства разбиения а и соотношений Гр (р) = Гр (а), Гс (р) = Гс (а).
Основной результат этого параграфа содержит
Теорема 2. 1) Автоморфизм Т изоморфен сдвигу Маркова с конечным или счетным множеством состояний. 2) А (71) = In X /напомним, что 九= Ц 九,].3) Т является ^автоморфизмом (см. определение на стр. 111).
Док аз ател ьство. 1) Пусть р — марковское разбиение, описанное в теореме 1, Вь 丛，• • • ~ его элементы, являющиеся открытыми связными параллелограммами, причем
diam Вг < 1/26, z = 1, 2, ... (6 определено в лемме 3). Введем
матрицу пересечений S = (s“), J 1, если ( 0, еслиматрицу пересечений S = (s“), J 1, если ( 0, еслигде
матрицу пересечений S = (s“), J 1, если ( 0, если
матрицу пересечений S = (s“), J 1, если ( 0, если
以"斗=0,
и рассмотрим в пространствеи рассмотрим в пространствеQ бесконечных в обе стороны
и рассмотрим в пространстве
и рассмотрим в пространстве
последовательностей натуральных чисел множество ◎$, состоящее из тех последовательностей s = {s/J, для которых
s%%= 1，s%%= 1，—оо < й < оо. Нетрудно проверить, что % изме
s%%= 1，
s%%= 1，
римо, т. е. принадлежит а-алгебре 召,порожденной цилиндрическими множествами, и инвариантно относительно сдвига Г, переводящего последовательность (о={(о^} в (У={(о；}, где 再=吗7.
Покажем, что для любого /п ^ 0 и любой последовательности 虫={(0々}巨£2$ в Rn найдутся такие параллелограммы С% =(С&, Сйо), Cfi)m = (C% С^^, что
8(0。=冗 С%, в(0т =冗 Cg,紋(5)
П TkB^k = п(С&,留 CZJ A手％ и 鑑。.
々=0
Пусть m = 1. Пользуясь леммой 3, найдем в R" параллелограммы С(о0 —(C(ooj Cg) И Co). = (СсО[, Сео), ДЛЯ КОТОрЫХ
В® =冗 0伽，Вд =冗 Сй)], ，8g П Т 8® = Я (С/ А ^т^^^)
и на CWo U АтС^ отображение л является гомеоморфизмом. Тогда множества С^, С], АТС^ 4『С^ связны и открыты (в соответствующих подпространствах) и Си0 П ЛТС^ ^ 0, С«о f] АтС^ 5^ 0. В силу марковского свойства разбиения 0
「с(5и：Гс(Р), а потому
д(АтС^^С^ = 0.(6)
Отсюда следует, что
В самом деле, если это не так, возьмем любую точку из 鑑оГ)(〃р \ 74d) и соединим ее непрерывной кривой, лежащей в С^, с какой-нибудь точкой из СМГ)4『С1. На этой кривой
обязана найтись точка из 4(0爲)=<5(及或)， что противоречит равенству (6).
Аналогичные рассуждения, но с использованием условия Гр (厂七伽)и Гр(р), показывают, что
⑻⑻4以,u國"
⑻
⑻
Из (7) и (8) вытекает, что
Сзе п ЛгСт, = (с； п АтС^,鑑。п АтС^) = (с；,小鑑工 (9)
т. е. при m = 1 наше утверждение справедливо. По индукции легко доказать его для любого m > 0, пользуясь инвариантностью множества ◎$ относительно Т.
Совершенно так же устанавливается, что в R" существуют параллелограммы D^ — ^D^ 乂) и。丝欣=(£)［疗 °2J， для которых
8% =冗Q%，8j=冗九一疗
A 7®产碎戸dQ, %, ATDZ,n с： %. (10)
При этом можно считать, что Ой)0 = СШо. Заменив обозначение Ds—m на С%紋 комбинируя (5) и (10), получим равенство
Q Tk BMfe = л (X?mCw_m, ArCa^t из которого следует, что
множество Вгп (со)= 八 丁⑵喙непусто и diam Bm((o)
k=^ — m
& (@с九『+ Qp九「)/26 (см. леммы 1 и 3). Тогда 八 Вгп (со)— единственная точка тора М, и мы можем определить отображение ф множества й5 в М, положив
<p(w)= П Bm (<О),<0 е Qs-
I т I < с»
Это отображение удовлетворяет условию
(р(Г(о) = Т(р((о), со в Q$・(1 О
Покажем, что оно измеримо. Пусть Вт — замкнутое множество вида Q Т’В%, где 8々尸 —m ^ f ^ m, — произвольные НI < ^—
элементы разбиения р. Если вот ^ 0, то в ◎$ найдется точка со, для которой 8m(3)=8欣.Поэтому diam Bm = =diam 8欣(①)&€欣，где em = {а^ + ар^рт)/26. Занумеруем
при фиксированном m множества 8尹 в последовательность Вщ, Вт» • • • И ПОЛОЖИМ Сщ = Вщ> Ст = Вт \ Ст,・Ст ~
=8^ \ U С±Множества С^,々=1, 2, не Пересе-
каются и образуют разбиение множества (J Вт на конечное или счетное число борелевских подмножеств, диаметры которых не превосходят ет. Так как ц и敬=1, то множество
М \ U В^п можно разбить на счетное число борелевских 九=1
подмножеств произвольно малого диаметра. В итоге мы получаем разбиение 自欣 тора М на счетное число борелевских множеств, диаметры которых не превосходят ет> причем lim 8欣=0・ Из определения (р видно, что при любых т и k множество(р-1 (Вт) есть пересечение некоторого цилиндра с %, т. е.屮-'(^幫)三砂・ Отсюда следует, что прообраз любого элемента разбиения 自巾 принадлежит 每，и для доказательства измеримости (р достаточно установить, что совокупность элементов всех 自加,т= lt 2, ..., порождает а-алгебру % борелевских подмножеств тора. Но это непосредственно вытекает из доказанной в книге леммы 3 § 5】).
Итак, отображение (р измеримо, но, как легко понять, не взаимно однозначно. Однако для ф можно найти обратное отображение, если предварительно выкинуть из тора некоторое множество меры 0. В самом деле, объединение U 8丸 элементов разбиения 0 есть открытое множество меры 1.
Поэтому множество D = 八 T‘U&，инвариантное относи' I Z I < ОО 左=1
тельно Т, является борелевским и также имеет меру I.
Если ввести а-алгебру ^0, атомами которой служат параллелограммы 8卜 В2, ... и множество М \ U 鸟々,то доказанное утверждение
можно сформулировать в виде равенства \/ \/ Т‘箔о 土箔(оиределе- к t—h
ние символа 竺 см. на стр. 104).
В силу измеримости qp отсюда следует, что Ь = ср"1 (£)) е ^. Заметим, что любая точка а>^ D имеет единственный прообраз ф"1 (со) е Qs. Поэтому на D можно определить отображение 屮，обратное к <р и переводящее Z) в 力. Это отображение измеримо, так как для любого цилиндра 尸 множество ■фт (? п 5) == <р (F П Ь) = ф (?) П ф (Ь) = <р (尸)n D является боре- левским.
Зададим на а-алгебре 豆 меру ц формулой 口位)= а(аП力)=卩3出1方))，分W泵
Мера ц инвариантна относительно f и сосредоточена на инвариантном множестве D. Вместе с равенством (11) это означает, что преобразования (Г,総、卩)и (Т,箔,«) изоморфны (см. определение на стр. 66).
Покажем, что f — сдвиг Маркова. Пусть В；=冗С八 &=(&，G')，%(£)=%，&(&')=%' и plMbj, %=b?s〃/九”. Из (5) с учетом (3) и (4) вытекает, что если В； Q ТВ：声 0, то
"(8亦ТВ) = ^凡(С：)氏(С；)=財鸟)計点=М4)危，
т. е. для цилиндра 户={①：(о0 — /, 肉=j}
口 (户)=卩3(斤n力))=以吆户川(pS))=_
=卩(中(戶)n Q)=卩3 (户))=卩(8川T田)=PtPtr Отсюда, суммируя по /, заключаем, что матрица Р = (рц) стохастическая.
/ m\*(у% =кП>；%/ m\*(у% =кП>；%(12)(12)Чтобы доказать нужное нам утверждение, достаточно проверить для любых элементов в；о, B；j( .,., Bim разбиения 0 равенство
/ m\*
(у% =кП>；%
/ m\*
(у% =кП>；%
(12)
(12)
которое, как мы уже видели, справедливо при m = 1. Если s^^ = 0 хотя бы при одном k<m, то обе части равенства (12) обращаются в 0. Если же s““ 】=1 при 论=0, 1, .... m—1, то правая часть равна N^ib^K m, а левая в силу (5) есть 卩(冗(С《，』?《/) = у底或九？ Тем самым равенство (12) доказано.
Чтобы вычислить энтропию /г(Т), вернемся к конечному марковскому разбиению а. Если его элементы U], 〃2，・・.,(J§ достаточно малы, то всякое пересечение вида 八丁"〃“(j = 0, 1;々=1, 2 ...) представляет собой паралле- i = l
лограмм. Пусть х — произвольная т-очка инвариантного множества в и U (х, /) — элемент разбиения а, содержащий Т’х. Рассмотрим параллелограмм С/ (х) = (J T^lU (х, z). По лемме 1 при 々~> оо диаметр любого расширяющегося слоя этого параллелограмма стремится к нулю, а потому множество С/ (%) = П с，(") содержится в сжимающемся слое паралле- лограмма T~fU (х, j), проходящем через точку х, С другой стороны, из соотношения между марковскими разбиениями аир вытекает, что СДх) содержит проходящий через х сжимающийся слой того элемента разбиения 丁刁自 в котором лежит х.
С помощью проекции л, которая, как мы знаем, взаимно однозначна на каждой сжимающейся гиперплоскости, перенесем меру Лебега с этих гиперплоскостей на соответствующие сжимающиеся слои, сохранив для получившейся меры на слое обозначение цс. Из построения множеств С / (х) видно,
что каждое такое множество измеримо на содержащем его сжимающемся слое и функции цу (х) = цс (С/(х)), / = 0, 1,
определенные на множестве полной меры, измеримы. Рассмотрим алгебру Л подмножеств тора, атомами кото
рой служат параллелограммы Ui, t/2, ..., U& и множество
Л1 \ (J U，・ При всяком I = 1, 2, ..., s условная мера
мом деле, согласно теореме 11.2, достаточно проверить, чтомом деле, согласно теореме 11.2, достаточно проверить, чтопочти всюду равна 卩с (U, П С\ (%))/卩】(％). В са
мом деле, согласно теореме 11.2, достаточно проверить, что
мом деле, согласно теореме 11.2, достаточно проверить, что
почти всюду
丿里卩® I±f ・(13)
В любой точке х ^ В условная мера 卩(U/| V 7“院)совпадает с }i[Ui I С?(X)). Если при всех 瓦 начиная с некоторого, множества Ul и Cf (.г) не пересекаются, то обе части равен-
儿也川讨⑴）HcW «）儿也川讨⑴）HcW «）"(UJ Cf (х)) ="(UJ Cf (х)) =ства (13) равны нулю. Предположим, что U^ Cf (х)^0 при бесконечно многих k. Так как х ^ В, то х —внутренняя точка параллелограмма t/厶 Поэтому при достаточно большом k любой расширяющийся слой параллелограмма С^ (х), пересекающийся с Uh содержится в U卜 Отсюда следует (см. (4)), что
儿也川讨⑴）
HcW «）
儿也川讨⑴）
HcW «）
"(UJ Cf (х)) =
"(UJ Cf (х)) =
где L*(х) — сжимающийся слой параллелограмма С『(х), про- ходящий через точку х, и так как С\ (х) = РЛ?(х), то функ-
/г
ЦИИ氏(d(x)) и n^U^LU^ сходятся при kf g соответственно к |ic (Ci (х)) = Ц1 (х) и цс (t// П С[ (х)). Тем самым равенство
小矶&厂'金=吗%陋
доказано.
Теперь заметим, что по построению С0(х) = ТС{ (.Т^х) при 尤三 8 и и川&(尤)=c0(尤)при х w в П U Ё. Поэтому при х ^ В f] U]
卩（u/纟7初卩（u/纟7初同（y）="1（厂"） 因⑴一九"1 （%）同（y）="1（厂"） 因⑴一九"1 （%）
卩（u/纟7初
卩（u/纟7初
同（y）="1（厂"） 因⑴一九"1 （%）
同（y）="1（厂"） 因⑴一九"1 （%）
Отсюда, пользуясь соотношением (12.2) (см. стр. 141), получим
h(T,儿)=力(院I V 厂‘院)=-f In 川，? 4t = In 儿 +\ i = I / J 儿必(％)
+ J (in p,| (x) — In Ц[ (T1'1^)) d\i.
Левая часть этого равенства конечна, так как Л (Г,儿Ж &Н(贫)• Значит, функция g^^f^xj — ftT^x), где f(х)= =In g! (х), интегрируема. По теореме Биркгофа левая часть равенства
N — I
52 gg)=%(f(?z %)-№%)) / = 0
ммммпри ^^> ОО сходится почти всюду к функции g (х), для которой [^(x)d]i= j g(x)d% Правая же часть, как нетрудно
м
м
м
м
понять, может сходиться только к нулю. Следовательно, Jg(%)如=0,九院)=1口九.
В заключение установим, что
力(7; 院)= /i(T).
Рассмотрим конечную алгебру 儿=\/ Т‘晓，1, 2, £=■ —丸
Любой атом этой алгебры, имеющий положительную меру, очевидно, представим в виде (J T‘U“・ Пусть dk — максималь- i ——k
ный из диаметров таких атомов. Если параллелограммы 〃, 〃2，• •〃$ достаточно малы, то, повторяя рассуждения пре
дыдущего пункта, можно показать, что lim6^ = 0 и V 後丸土箔.
fe->OOk= I
Поэтому (см. следствие 1 на стр. 105) h(T) = lim /i(r, 院々), fe->-oo
и для завершения доказательства остается заметить, что 九(Т, Л^= Л (7,院)при любом k. В итоге получаем
' h(T) = h(Tt 院)=1口九.
Для того чтобы доказать, что Т является /С-автомор- физмом, рассмотрим вместо Т сдвиг Т. Если марковское разбиение р конечно, то, согласно § 11 книги, достаточно проверить неприводимость и апериодичность матрицы Р, То же верно и при бесконечном 0.
В самом деле, для неприводимой апериодической матрицы Р выполняются соотношения lim pf) = р, (Z, /= 1, 2, ...), где р^ —элементы матрицы Р”(см. [6, стр. 384 — 385]). Отсюда, пользуясь свойствами цепи Маркова и теоремой Дуба (см. стр. 138), нетрудно вывести, что если 或 есть а-алгебра событий, з^зпсящпх от поведения рассматриваемой цепи Маркова в моменты />々，a F — произвольный цилиндр, то почти всюду lim 口 (尸 | 或^) = « (户)・
Пусть В — любое множество из ст-алгебры 每陵^八 勿汽 и /^ — его характеристическая функция. Для А (как и для
всякого измеримого множества) можно подобрать такую последовательность множеств Bki что каждое Bk есть объединение конечного числа непересекающихся цилиндров и почти всюду /方&f /方 при &f 8, т, е, почти всюду
旣 £(伉俾 8)=е(/з1~<)=^
По доказанному Е (/方々 | 行^) = 口 (А/. Это означает, что почти всюду /g=N (与)и, следовательно, ц (В) = 0 или 1. Таким образом, Т является /f-автоморфизмом, если матрица Р неприводима и апериодична.
Заметим, что оба эти условия заведомо выполняются, если для любых Bh 8/ найдется такой номер 々о(£, /), что BtCT^Bj 方 0 при всех &》品亿 j)・ Существование для нашей матрицы чисел 标亿 j) с указанным свойством мы установим, опираясь на лемму 2. Из нее вытекает, что для всякого е>0 найдется такое число R^, что любой шар радиуса Rei лежащий в расширяющемся слое】), является е-сетью для тора. В самом деле, пусть L — какой-нибудь расширяющийся слой. Так как по доказанному он всюду плотен на торе, шары радиуса' е/2 с центрами в точках слоя L образуют покрытие тора. Выделив конечное подпокрытие, мы получим конечную (е/2)-сеть, состоящую из центров выделенных шаров. Шар О'(х), лежащий в слое 厶， с центром в заданной точке х^ L и достаточно большого радиуса R(x, е/2), содержит эту (е/2)-сеть, а потому и сам является (е/2)-сетью. Для любой точки х ^ М обозначим L (х) расширяющийся слой, проходящий через точку х. Пусть хь %2， *. •, X/ — произвольная конечная (е/2)-сеть и Ог — шар радиуса R = Rg= max R(xk, e/2) с центром в произвольной точке х, лежащий в слое L (х). Найдем точку хА, для которой d(x,尤尼)&£/2. Шар Of (х^)у лежащий в слое L (хА), образует (е/2)-сеть. Из неравенства R ^ R(xkt е/2) следует тогда, что шар О' образует е-сеть. Наше утверждение доказано.
Пусть теперь 8“ В； — любые элементы разбиения р. Каждое из этих множеств, будучи открытым, содержит некоторый шар. Обозначим эти шары соответственно О/ и 0〃 а их центры — хг и %八 Пересечение шара О/ с расширяю-
1) Так естественно называть множество вида лО, где О — пересечение л-мерного шара радиуса R& с расширяющейся гиперплоскостью, содержащей центр этого шара.
щимся слоем 厶(尤/) есть некоторый шар О} лежащий в слое 厶(％) Пусть е = 〃2, где г — радиус шара Oh Найдем соответствующее R£. На основании леммы 1 существует такое й0, что при 々>々0 множество Т龙О； содержит шар радиуса Ret лежащий в слое 丄(丁"尤/). По доказанному этот шар является е-сетью и, значит, пересекается с шаром О八 Но О, и 8, и Т*О；иТ切/• Следовательно, при k>kQ пересечение В/Т'б/ непусто. Теорема полностью доказана.
СУЩЕСТВОВАНИЕ МАРКОВСКОГО РАЗБИЕНИЯ
Марковские разбиения для Т и Гт, Мы назвали разбиение а на параллелограммы марковским для автоморфизма Т, если оно удовлетворяет условиям Гр(71"1а)сзГр (а), Гс (Га) с: Гс (а). Прежде чем строить такое разбиение, заметим, что достаточно найти марковское разбиение а' для Тт при каком-нибудь m > 0т). В самом деле, пусть
Гр (}%') и Гр (а'), Гс (?%') и Гс (а‘).(14)
Множества вида
rm^Ui , n Tm^Ui п ... г-т+2 1 1
где Uik — произвольные элементы разбиения а\ очевидно, также образуют разбиение тора на параллелограммы. Для этого разбиения введем обозначение а = Т~т+[а У ... V^W V V а' V Та' V . .. V「吁".Легко проверяются следующие соотношения между границами а и а'：
т— Im —1
Гр(а)= (J 匕(「％')，几(。)=U Г。％)(15)
Из (14) и (15) вытекает, что а — марковское разбиение для Т, причем размеры его элементов не превышают размеров соответствующих элементов разбиения а'・
Разбиение, полученное из покрытия. Построим какое- нибудь конечное покрытие тора параллелограммами, т. е.
】)Подпространства "р и //с, а вместе с ними параллелограммы и границы параллелограммов, очевидно, от /п не зависят.
систему 辽 параллелограммов Uh t/2, ..., USi дающих в сумме весь тор. Такая система получится, если включить каждую точку тора в какой-нибудь открытый параллелограмм, а затем выделить в случае необходимости конечное подпокрытие. Данный способ позволяет получить покрытие, размеры элементов которого произвольно малы.
Опишем теперь один общий способ перехода от покрытия к разбиению, который в дальнейшем будет неоднократно применяться. Пусть т = {Xz, z = 1, 2, ..., s} — произвольное конечное семейство подмножеств некоторого множества X и ^ — разбиение этого множества, состоящее из двух элементов: X, и Х\Х,. Сопоставим семейству т разбиение 自(т), где 乳т)= V 三丿).Взяв в качестве т совокупность и параллелограммов U,, ，= 1} 2, ..., s, образующих покрытие тора, мы получим разбиение 自(〃). Элементы этого разбиения уже не обязаны быть параллелограммами.
Построим, исходя из покрытия и, разбиение тора на параллелограммы. Пусть Ui~ произвольный элемент нашего покрытия и t/匕,U厶,...,t/^ — элементы покрытия, пересекающиеся с。八 Если размеры элементов покрытия и достаточно малы, то в пространстве R" найдутся такие параллелограммы 匕= (%/7), k = (н］，小彳)% =(匕，匕} что Ui = nVj Ui^nVi^ ..., U% = nVt и отображение л на множестве И/ U ^^ U •… U И^ является гомеоморфизмом. Отсюда, в частности, следует, что каждое множество из семейств 壮={必П%,/= 1,2,.../} и V： =\y"il^\V，；, /= 1, 2, ...,k} непусто. Построим описанным уже способом разбиение 自(吟 множества У； и разбиение 三(и?) множества V；. Пусть О— произвольный элемент первого из этих разбиений, а С"— второго. Легко видеть, что 卩р (ОС)=氏(ОС") = 0, и мы получаем некоторое разбиение 4, параллелограмма Р, на параллелограммы вида С = (Cz, С"). Разбиение параллелограмма Ui = лУ/, образованное параллелограммами вида лС, обозначим 加
】)Если &【,&2， •・•， ^ — разбиения множества X, то произведение s
V Е, есть по определению разбиение множества X, образованное миоже-
ствами вида Q 。月订 где Сд — произвольный элемент разбиения |/.
Любой элемент разбиения 自(〃)， содержащийся в парал-, лелограмме Uh состоит из элементов разбиения »,・ Другими словами, каждый элемент разбиения q содержится в некотором элементе разбиения 三(〃). Действительно, пусть точки 尤и %2巨 Ug принадлежат разным элементам разбиения *(〃) h х^лу^ 马=吗2，弘，%巨匕，川=例，У1)> % =(弘，%')• Зt0 значит, что среди параллелограммов 卜八,Р%, ..., Vik найдется такой параллелограмм V/, что либо у}^У^ У2 壬 V/, либо у厚％ y2^VJ. В каждом из случаев либо точки 外，％ принадлежат разным элементам разбиения 自(и；), либо точки у?, у^ — разным элементам разбиения 自(и：> Но тогда точки Ук у2 принадлежат разным элементам разбиения ^ и, следовательно, точки хь х2 — разным элементам разбиения 刀广
Пользуясь доказанным утверждением, рассмотрим на каждом элементе С^ (й) разбиения *(〃) произведение разбиений 用 по тем 詳 для которых С^ (f/) с: U^ Полученное таким образом разбиение тора на параллелограммы обозначим а (и). Заметим, что а(〃) является разбиением в строгом смысле слова, но некоторые из его элементов могут не иметь внутренних точек. Выбросив эти элементы и взяв открытые ядра остальных, мы можем при желании получить разбиение тора на открытые параллелограммы в смысле § 2. Это разбиение также будем обозначать а(〃).
Границы разбиения а (а). Пусть Гр(м) = (J Гр {и^ Гс (и)=
=(J Гс (и；) — соответственно расширяющаяся и сжимающаяся границы покрытия и. Сейчас мы установим связь между Гр(〃)，「с (红)и соответствующими границами Гр (а (и)), Гс (а (и)) разбиения а (и).
Предположим, что элементы покрытия 〃 и элементы разбиения а(м) — открытые множества. Тогда связь между Гр (и) и Fp(cc(〃)) выражается следующим образом: Гр (а(и)) состоит из всех граничных расширяющихся слоев элементов покрытия и и тех расширяющихся слоев, которые пересекаются с граничными расширяющимися слоями. Аналогичное утверждение относится к сжимающейся границе. Очевидно, доказательство достаточно провести лишь для Гр(а(м)).
Включение Гр(и)сзГр(а(и)) следует из того, что по построению Гр (U}) cz Гр (t)z) с: Гр (а (и)) для любого L Покажем, что любой расширяющийся слой параллелограмма Uit пере-
секающийся с граничным расширяющимся слоем некоторого .параллелограмма U/( также входит в Гр(а(/7)). Вместо U^ U, будем рассматривать параллелограммы Vh V/. Пусть 2,= =(VJ у：), ^/ = (^/» ///)" соответствующие расширяющиеся слои. Тогда %’= у； и 匕 |"|1/；抬 0. Из построения видно, что точка у" = У； = У； принадлежит границе одного из элементов разбиения 自®?), а множество 匕 состоит из элементов разбиения 自(%)• Поэтому всякая точка слоя 厶/=(!/% у") принадлежит Гр(^) и, следовательно,冗厶 и ；(师)и Гр(а(〃))・
Обратно, пусть хеГр(а(и)) \ Tp(/z). Тогда х ^ UiQ Гр(т|г) при некотором /, и если у = (у\ уг/) = л"1% — соответствующая точка параллелограмма 匕，то у^^? (^). Отсюда вытекает, что точка угг принадлежит границе некоторого элемента разбиения &(?：)• Значит, среди параллелограммов Vi[t Vi2)...»，勿, пересекающихся с Vh найдется такой параллелограмм ，/ = =(У/, У/), что『三 dV：. Но тогда расширяющийся слой Lf = (]/J у"), содержащий точку 弘 пересекается с граничным расширяющимся слоем А/ =(I//, у"). Тем самым наше утверждение доказано.
Марковское разбиение и марковское покрытие. По аналогии с марковским разбиением введем понятие маркое- ского покрытия. Покрытие и тора параллелограммами мы будем называть марковским, если
11P (L〃)uFp(〃)，I\(T〃) ul\(〃)・
В предыдущих пунктах описан метод, позволяющий перейти от покрытия параллелограммами к разбиению на параллелограммы. Выясним теперь, при каких условиях этот метод приводит к марковскому разбиению.
Рассмотрим покрытие 〃 =(。卜 4, …，SJ тора Л1 параллелограммами достаточно малого диаметра. Пусть х ^ Ui и 厶р(х, z), Lc (х, i) — соответственно расширяющийся и сжимающийся слои параллелограмма Uh содержащие точку х. Назовем покрытие и правильным относительно 7\ если при некотором е > 0 оно удовлетворяет двум условиям: '
для любой точки х ^ М найдется содержащий ее параллелограмм Uh такой, что
d(x, 0Lp(x, i)) > е, d(x, dLc (x, z))>e;
ДЛЯ любого Z = 1, 2, ...» 5 И любой ТОЧКИ Х^. Ui diam(T~[Lv(х, /)) < е, diam(71Lc (х, i)) <е.'
Покажем, что если и — правильное марковское покрытие, то а (и) — марковское разбиение.
Здесь, как и раньше, достаточно проверить лишь одно из требуемых включений, например Гс (7а(и))(= Гс(а(^)) или, что то же самое, ГГС (а(и)) с: Гс (а (и)). Если х е Гс (и), то включение Тх е Гс(а(//)) очевидно, так как Гс(и) с: Гс(а(и)) и покрытие и — марковское. Пусть х е Гс (а(и)) \ Гс (//). Пользуясь результатом предыдущего пункта, найдем параллелограмм U, и в нем сжимающийся слой L{ = Lc (х, z), содержащий х и пересекающийся с граничным сжимающимся слоем L, некоторого другого параллелограмма t/厂 В силу правильности покрытия и для точки Тх найдется такой параллелограмм Uk и в нем сжимающийся слой /頂，что Тх е Lk и d(Txt dL^ > е. Отсюда видно, что TL^uTL^ (так как diam(TLj<£) и, значит, TLj[\Lk^ 0. Но в силу марковского свойства покрытия и любая точка множества ТЕ/ принадлежит некоторому граничному сжимающемуся слою. Это означает, что Lk пересекается с таким слоем. Следовательно, слой &, а с ним и точка Тх, содержится в Гс (a(z/)).
Таким образом, мы свели вопрос о существовании марковского разбиения для автоморфизма Т к вопросу о существовании правильного марковского покрытия. Однако условия 1) и 2), определяющие правильное покрытие, до некоторой степени противоположны друг другу, и это затрудняет построение правильного марковского покрытия непосредственно для Т.
Выход подсказывается результатом пункта 1, согласно которому достаточно получить марковское разбиение для автоморфизма Тт при каком-нибудь m > 0, что в свою очередь сводится к построению для Т'“ правильного марковского покрытия. .
Построение правильного марковского покрытия для Тп. Пусть % — любая точка тора и у = (/, ytr} — один из ее прообразов при отображении 冗.Рассмотрим при достаточно мз- лом е>0 параллелограмм Ое (у) =(Ое, ОГ) cr R'\ где О；, О；'— открытые шары радиуса е в подпространствах Яр, 〃с с центрами в точках 叭 у" соответственно. Параллелограммы вида лОе (у) образуют открытое покрытие тора. Выделии из него конечное подпокрытие 乳。巳匂6, яО^ (//□), лОе (у^ и после этого заменим каждый параллелограмм Ое (z/z) параллелограммом Vi = О2е (Vz)» ，=1, 2, ..., s. Тогда параллелограммы Ut = nVh 2, .. s, также образуют покрытие тора, которое удовлетворяет первому из требований, предъ-
являемых к правильному покрытию. Теперь можно, пользуясь леммой 1, подобрать настолько большое 他，что покрытие 〃 = (Ui，UJ станет правильным по отношению к автоморфизму Тт (выбор 〃z мы в дальнейшем еще уточним). ■
Остается превратить наше покрытие в марковское для Тт, не нарушив его правильности. Для начала заметим, что в проведенном построении точки % = (#, %') можно было выбрать так, чтобы выполнялось условие .
Р(0‘〃')<；е; (16)
это непосредственно вытекает из леммы 2. Каждый параллелограмм VI, а с ним и ArVi, пересекается тогда с подпространством Яр. Рассмотрим вместе с каждым Уг, z = 1, 2,...
s, все его сдвиги на целочисленные векторы. Получившиеся s семейств параллелограммов образуют в совокупности некоторое покрытие и пространства R", причем любое ограниченное множество в Rn пересекается лишь с конечным числом элементов этого покрытия. Покрытие и обладает, очевидно, теми же свойствами правильности по отношению к Л7, что и и (по отношению к Тт\ Поэтому для каждого параллелограмма AtVi = (AtV^ 4?у7) можно найти такие элементы V= (H<z,卜台)，/ = 1, 2, ..., s” покрытия и, что
Д^；с (J У；；, р(0, <5心 >е (17) /=1
и, следовательно, ArV^ с: V^ при каждом j=l, 2, . . ., s； в силу правильности v. По условию параллелограмм Vц получается из некоторого Vh 1 & /^s, сдвигом на подходящий целочисленный вектор 乙=(之］之：)，т. е. Vимеет вид 卜,+ 之厂 Сравнивая (16) и (17), получаем оценку
修卜先 (18)
Заменим теперь обозначение 匕 на 匕(0) и 匕/ на У<;(0). Пусть Vх (0) — совокупность множеств 匕(0), ^z(0) — совокупность множеств Vfif (0),，=1, 2,…，s, / == 1, 2,…，s「и 「3(0)) = U吗(0)，口叫0))= U叱/(。)・ Будем строить индуктивно последовательности W 他)} и {”(&)}, 々 = 0, 1,...,
где vz(fe) — совокупность множеств Р?(右)，，=1, 2, ..., s, wz (k) — совокупность множеств 匕『(&), / = 1, 2, …,s〃 и V1/(々)=匕(々)+ 之；Если М 色)и д'(&) уже построены, то положим
匕3 + 1) = 4”®尸/(4(19)
Из этого определения вытекает, что для любых z, / последовательности множеств {Р；(&)} н {И^(й)} возрастают. Пусть 匕(oo) = U 匕他)，匕/(8)= 0 匕/伏),^ (°°)— совокупность мно- kk
жеств V^ (oo) и г^л (oo) — совокупность множеств У^(оо).
Займемся изучением свойств построенных множеств. Для этого введем величины
d^k) = max diam V^(k)t 々 = 0, 1,8,
『(々) = max sup p(/A。匕(々))，k = Q, 1,..
которые, очевидно, связаны между собой неравенством Е(/е+ l)《d«盼+ 2X(初 По построению dz(0) = 4е. Из леммы 1 и соотношения (19) нетрудно вывести, что
/ (0)<4арЛрОТе,
/(k + D^a^r^k), 々 = 0, 1,・・・，
и, следовательно,
/肉& 4ё瞰，
/л
鼠(竹& 4е 1 +20р 2 3
\/ = 0
где 0Р = а^т. Выбором достаточно большого т можно добиться, чтобы было 0р<1/7. Тогда
/(8)= lim df(k) = 4е
А -> оо
и для любого i = 1, 2,s
di am С47nl3))式 9P diam(y^(oo))<e. (21)
Теперь покажем, что
Д^Г(vz(oo)) и Г(沙(8))(22)
и
阿(Г (°，(ОО ))) = 0.(23)
Включение (22) следует из соотношений
4?匕(оо) = U AtV{ (&) = (J U 心 3 — 1)=k=1k=\ /=i
?/ ООs,
=U U，'/ (々—1) = U 弘(°°)，
/ и 1 k= 1/= 1
A^diy'i^^d^V'i^^
=0 U'Z(8)) uUd(，Z(8)) U
Равенство (23) доказывается сложнее. Прежде всего заметим, что множество {戸Р；值)можно представить в виде
гДе *,明，…，z；宀-проекциигДе *,明，…，z；宀-проекциина Hr целочисленныхна Hr целочисленныхй_г Это легко проверить по ин-й_г Это легко проверить по ин-U (丿7(。)+ 司,。+ 4片К.1 + …+ /发"ё司,也Т), (24)
гДе *,明，…，z；宀-проекции
гДе *,明，…，z；宀-проекции
на Hr целочисленных
на Hr целочисленных
й_г Это легко проверить по ин-
й_г Это легко проверить по ин-
векторов 2/ n， 2/ I，・・・，2/.
，/, U f/.LIy,
дукции, вспомнив способ построения к；(右)(см. (19)). Равенство (24), очевидно, останется справедливым, если в левой его части заменить，？(&) на У；(&+1), а в правой к,(0) на У^(1). Отсюда и из (20) вытекает, что для любой точки у ^d^v'i{k+ 1)
Р(/, ^my；(fe))</(O)<40pe.
Пусть г (財 /)Пусть г (財 /)sup р(/, dA^V^ik^), Тогда при
Пусть г (財 /)
Пусть г (財 /)
всех kt I > 0
Г他/)&Г饱1)+ sup p(“ d/黑1匕依+1))《/ ^ A^mV^ (k^l)
《Г(財 l) + 6p sup p(“ d/”)m匕(々+ 1)) = Je衅+Dm匕但+,)
=r (k, 1) + 0pr (^ + 1, / — 1)=...
-..=г (й, 1) + ВрГ (々 + 1, 1) + ….+ 或'г (々 + / — 1, 1) &
4仇启 2
& 48pg(l + 8p 十...+ 0p~J V у—g^- V 冃 £•
Переходя к пределу при / —> оо и фиксированном 归,получаем г(財 8)= sup р®,。4产匕(&))&可凤 (25)
Вернемся к покрытию и пространства R". Пересечения элементов этого покрытия с //р образуют некоторое покрытие Vх подпространства //р. Построим разбиение 自(и‘) (см. п. 2). Из (16), (18) и (24) вытекает, что если /〃 достаточно велико, то при любых z,々 множество 4^V，(九)состоит из элементов 自(и‘)，Действительно, рассмотрим вместе с множеством Р'= =Vif (0) + ziv о + Ат^., 1 + … +/戸”嗅f/g параллелограмм k =厶,(0) + 之〃,0 +/法小 I + .…+ д? "仅27 户丸-i. в силу (18) |%о +/*，； 1 + …+ Л{т~^т21^ д-i I
其■^■g(1+瓦 + 染+ + ое l) ^ y е I _%，(26)
где 0с = а^ (см. лемму 1). Если m выбрано так, что 0С < 1/7, то в силу (16) и (26) У П 〃р 抬 0 и, следовательно, I/ |"| "р = Н. Остается вспомнить, что по определению разбиения 自(и‘) множество I/ П 〃р состоит из элементов этого разбиения.
Установим теперь еще одно необходимое нам свойство 乳и'): существует конечное число элементов разбиения Е(и'), сдвигая которые на векторы из 〃р, можно получить все остальные элементы этого разбиения.
Сначала заметим, что аналогичным свойством обладает покрытие и'. Именно, для любого его элемента Vf найдется такое г, 1 式，Ws, что 广=I/； (0)十之］где I/< (0) — шар радиуса 2е, принадлежащий системе и'(0), и z^ — вектор из Нр. Зафиксировав для каждого I/' так подобранное，и выделив элементы с одним и тем же z, разобьем совокупность элементов нашего покрытия на s классов, причем элементы одного класса будут получаться друг из друга с помощью сдвигов на векторы из 〃р.
Оценим снизу длины этих векторов и их разностей. Пусть Vh Р； и И/, Р/ — элементы соответственно z-го и j-ro классов. Тогда найдутся такие параллелограммы Vh R»,丿/, R/, являющиеся элементами покрытия и, что 4 = %1"卩，Vfi = Vi{\ НР9 匕= М/П〃Р， Vi^V^Hp, D, = % + Z„ Vi^Vj + Zj, где z, = (zj а?) и 之/ =(之；,zf^ — целочисленные векторы. Пользуясь тем, что все рассматриваемые параллелограммы пересекаются
с 〃р, а их проекции на Нс имеют диаметр 4е, легко проверить, что если векторы z] z｝纟；一之；ненулевые, то
®|》1-8е, |z]》l-8g, |"-z〃》l-16&(27)
Отсюда, в частности, следует, что при е< 1/12 элементы одного класса не могут пересекаться друг с другом.
Рассмотрим произвольный элемент С разбиения *(и) По определению С есть пересечение некоторых элементов покрытия и' с дополнениями к остальным элементам покрытия. При е< 1/16 элементы покрытия и', содержащие С, принадлежат разным классам. Значит, таких элементов конечное число, и их можно записать в виде последовательности 1/^, 1/；2, ..., к%， где индекс Zv (v = 1, 2, ..., k) — номер класса, которому принадлежит Vt . Из (27) следует, что при е< 1/20 элементы покрытия и', пересекающиеся с П^，у，также при- 1
надлежат разным классам. Пусть И/р 必，…，% — те эле- менты покрытия и', которые пересекаются с Q hJv, но не содержат С (/v — номер класса, которому принадлежит 也, v== 1, 2, ../). Тогда
\v=I / \v=l/
Таким образом, мы сопоставили каждому элементу С разбиения Е(и') символ /(C) = (z1( i^ ...» iki 九 了2,//), в ко
тором все индексы различны и принимают значения от 1 до s. Так как существует лишь конечное число таких символов, осталось доказать, что если элементам С и С отвечает один и тот же символ 1(С) = ЦС), то С получается из С сдвигом на вектор, лежащий в //р.
Пусть I(С) — I (С) = (i[t z2,&, /ь /*2> • • • > /(), т* е.
e = (6 (小心'V= 1/ \у=1/
\V™ I/ \уия 1/
где 兀：匕v + 九 v^^V^ + z^-,丸，z%w"p. Покажем, что все % и % совпадают с z；. Пусть у?,勿—любые точки
из 匕/ ，力 соответственно и 弘]= * + %,豆 =% +z； . Из определения множеств И； , к； следует, что тогда P(%j 勿、,)<8е, p&j 刃J<8e, а потому |%-z；J< 16е.
Если z； * 之；,то при е< 1/32 это противоречит последнему из неравенств (27). Аналогично доказывается, что zj = z'i，寸=1， 2,.k. Итак, С = C + 之(
Следовательно, при е < 1/32 разбиение 自(и‘) обладает нужным нам свойством.
Из доказанного свойства вытекает существование такого числа 片>0, что каждый элемент С разбиения *(?/), имеющий положительную меру цр, содержит некоторый шар О% (С) радиуса 勺，лежащий в Нр. При этом шар Ое)(С) для каждого С можно выбрать так, что если С — элемент разбиения 三®'), получающийся из С сдвигом на вектор dwHp, то 。、(色)=Oe](C) + z'・ Тогда найдутся такие числа
М%(С)ПС)"р ©М%(С)ПС)"р ©<6.<6.(28)(28)е2> 0 и 6< 1, что е2-окрестность De2(C) границы дС не пересекается с 5】(С) и
М%(С)ПС)"р ©
М%(С)ПС)"р ©
<6.
<6.
(28)
(28)
Пусть W{ (k) — объединение элементов разбиения 自(и‘), пересекающихся с 2е-окрестностью множества d/少匕(龙).В силу неравенства (25) dA^nVri(<x>)^Wi (fe). Из определения W{ (^) и оценки для г (女，1) вытекает, что
sup р(у, <М河/；®)&8р sup р(“ <М”〃忆仇))+ у^А-^^])〃三吃伍+D
+ sup р(/, Mrm^(fe))<60pe + 40pe= ЮОрБ (29) /三64笋%仅+1)
и, следовательно, ArnWi(k+ ]}<^.Wi (k)t если 0Р< 1/7.
Оценим отношениеОценим отношение%(4^匕仅 +1))
Оценим отношение
Оценим отношение
~” 5——-• Пусть С — элемент 氏(%(初 了
разбиения 自(『)， принадлежащий ^ (fe), и цр (С)>0. Если
множество A^nWt(k 4- 1) пересекается с С и пересечение не содержится в De (С), то в 力彳加旷/ (女 + D найдется такая точка /, что р (/, 5С)>е2. По доказанному d^Vi (k) содержится в объединении границ элементов разбиения Е(и')・ Отсюда
следует, что р(/, d碑加匕(论))>% Егце раз увеличив, если это необходимо, число т, можно добиться выполнения условия 1О0ре<е2. Неравенство (29) показывает, что тогда СП/L步J&+ DuQe/C). Используя (28), получим
NpSy+De%(左+i)) = %,(4了”吃伏+1)) <б<1联4产吃⑼一 -"p(%他))一，
а это значит, что lim р,р(A^mWi (fe)) = 0. Тем самым равенЕ > 8
ство (23) доказано, так как OP，(oo)czATkrnWi (fe) при каждом k.
Теперь можно утверждать, что множества (Иг (оо), Р： (0)), /=1,2, .., t s, являются параллелограммами. Взяв их образы при отображении л, мы получим некоторое покрытие й тора параллелограммами. Каждый элемент этого покрытия содержит соответствующий элемент покрытия 〃. Отсюда и из неравенства (21) вытекает, что й — правильное покрытие. В силу (22) = обладает одним из свойств марковского покрытия, а именно
Гс(Гтй)с=Гс(й).(30)
Чтобы получить настоящее марковское покрытие 〃 (одновременно правильное), достаточно повторить рассуждения этого пункта, отправляясь от й и поменяв ролями расширяющееся и сжимающееся пространства. В самом деле, построение, превращающее й в й, будет затрагивать лишь сжимающуюся границу покрытия, а потому для и вместе с вклю- ченнем Fp(T-齡〃)и「р(〃) будет выполняться и (30). Правда, число т при переходе от й к и придется еще несколько увеличить. Впрочем, из анализа изложенного доказательства видно, что подходящее т зависит лишь от начального покрытия 〃 и, значит, может быть выбрано заранее.
МАРКОВСКИЕ РАЗБИЕНИЯ В ДВУМЕРНОМ СЛУЧАЕ
Для автоморфизма двумерного тора можно построить конечные марковские разбиения, не прибегая к описанному выше процессу последовательных приближений. Это было замечено Адлером и Вейссом (см. [1]). Мы приведем здесь соответствующее построение. Пусть & = ]；；卜 Рассмотрим для простоты случай mq — пр = 1. Начало координат О есть неподвижная трчка преобразования 7\ Условие отсутствия
собственных значений, по модулю равных 1, в двумерном случае сводится, как нетрудно проверить, к наличию двух вещественных собственных значений Ас, | Хс |< 1, и ^р, | ^р |> 1, каждое из которых иррационально. Отвечающие им собственные направления имеют иррациональные тангенсы углов наклона.
Рассмотрим более внимательно расширяющийся и сжимающийся слои 2с и 厶р, проходящие через точку О. Допустим, что Лс > 0,九р>0 и что нам удалось построить такое разбиение а на параллелограммы, что Гс (а) = Гс есть отрезок слоя 厶с, содержащий О, а Гр(а) = Гр есть отрезок слоя Lp, также содержащий О. Такое разбиение непременно будет марковским, поскольку ГГС и I], Т~[Гр и Гр,
Мы сейчас увидим, что существуют разбиения тора на два параллелограмма с указанным свойством. Вообще говоря, таких разбиений счетное множество.
Будем считать слои Lc и Lp ориентированными. Рассмотрим два ориентированных отрезка Г^и/^ и Г2 с: Lp, выходящих из точки О и пересекающихся в точке О] *), причем О{ служит конечной точкой для обоих отрезков. Проведем затем из точки О в направлении, противоположном направлению Гн отрезок Г3 вплоть до первого пересечения с Г2. Пусть это пересечение произошло в точке О2- Ясно” что на Г2 точка О2 лежит между О и。卜
Пусть Гс = Г] J Г3. Заметим, что Гс — отрезок сжимающегося слоя, содержащий точку О внутри себя. Наконец продолжим Г2 в первоначальном направлении вплоть до первого пересечения с Гс (в точке О3) и полученный отрезок обозначим Гр. Нетрудно убедиться непосредственно, что отрезки Гс и Гр разбивают тор на два параллелограмма, которые мы обозначим U и U'. Расширяющиеся стороны одного параллелограмма суть отрезки OOi и。2。3，а другого — отрезки ОО2 и О[О3. В силу сказанного выше построенное разбиение а на два параллелограмма будет марковским.
Однако разбиение а не совсем удобно, так как элементы разбиений T~ka V •・・ V Т’а могут оказаться несвязными и их диаметры не будут стремиться к нулю при k, /оо. Чтобы исправить положение, введем разбиение 0, элементами которого служат связные компоненты элементов разбиения а V Та. Эти связные компоненты будут по-прежнему парал-
1) В топологической теории динамических систем такие точки, следуя Пуанкаре, называют гомоклиническими.
лелограммами, сжимающиеся границы которых содержатся в сжимающихся границах параллелограммов U, Uf. Разбиение р будет марковским (см. п. 1, § 3). Нетрудно показать, что при любых 々，/>0 элементы разбиения 協=厂节\/ .,. VT‘6 представляют собой связные параллелограммы, диаметры которых стремятся к нулю при &, Zf оо.
Замечание. Адлер и Вейсс [1] установили, что два автоморфизма двумерного тора, у которых совпадают модули собственных значений, метрически изоморфны. Известно, что существуют автоморфизмы двумерного тора с таким свойством, алгебраически неизоморфные. Из одной теоремы Арова [3] вытекает, что этот метрический изоморфизм можно установить только при помощи разрывного (но, конечно, измеримого) отображения тора на себя. Отметим, что не выяснено, к какому классу Бэра принадлежит это отображение. Перенесение результатов Адлера и Вейсса на многомерный случай является, по-видимому, трудной задачей.
ЛИТЕРАТУРА
Адлер, Вейсс (Adler R” Weiss В), Entropy, a complete metric invariant for automorphisms of the torus, Proc. Nat. Acad. Set. USA, 57, №6 (1967), 1573-1576.
Аносов Д. В., Геодезические потоки на замкнутых римановых многообразиях отрицательной кривизны, Труды МИАН, 90 (1967), 3-209.
Аров Д. 3., О топологическом подобии автоморфизмов и сдвигов коммутативных компактных групп, УМН, 18, 5 (1963), 133-138.
Бу р б а к и Н., Общая топология, Физматгиз, М.( 1958.
Синай Я. 「，, Марковские разбиения и У-диффеоморфизмы, Функц. анализ и его приложения, 2, 1 (1968), 64-89.
Феллер В.} Введение в теорию вероятностей и ее приложения, „Мир*\ М., 1964.
Алфавитный указатель
Адлер (Adler В. L,) 163, 180
Алфавит 164
Атом 74
Биллингслей (Billingsley Р.) 163, 170
Биркгоф (Birkhoff G. D.) 40
Борелевские множества 15, 82
Браун (Brown Т. А.) 107
Брейман (Breiman L.) 146, 153, 180
Буква 77, 164
Вариант 113, 124
Вероятностная мера 10, 11
Волмэн (Wallman Н.) 163
Вольфовиц (Wolfowitz J.) 192
Вращение 15, 17
Гаусса мера 55
一 проблема 61
Гильбертово пространство 30
Грейвс (Graves R.) 12
Гуд (Good I. J.) 163
Гуревич (Hurewicz W.) 163
Даниель (Daniell) 11
Данфорд (Dunford N.) 84
Деблии (Doeblin W) 62, 63
Диофантово приближение 57, 59
Добрушин Р. Л. 194
Дуб (Doob J. L.) 116, 123, 132, 133, 138, 140
Замкнутость 43
Зигмуид (Zygmund А.) 129
Изометрический оператор 30, 89
Изоморфизм 64, 65, 167
Ииварйант 72
Инвариантная функция 22
Инвариантное множество 16
Информация 76, 174
Источник информации 77, 164
Йенсена неравенство 129
Канал без памяти 172
потерь 177
предвосхищения 171
——шума 165
—с шумом 170
—сложный 181, 184
Каитора мера 48, 161
—функция 48
Канторово множество 156
Кац (Кас М.) 29, 63
Кинии (Kinney J. R.) 158, 163
Код 166
—без предвосхищения 168
—блоковый 193
—обратимый 166
—случайный 184
Кодирование 81, 164
Кодирования теорема для канала без шума
обратная 169
прямая 168
-一一 一g шумом
обратная 181
прямая 180, 182, 193
Колмогоров А. Н. 10, 73, 78, 80,
111, 123, 133
Колмогорова теорема 80, 100, 143, 169
существования 11, 14, 46, 49, 107
Конечное подполе 73
Кузьмин Р. О. 63
Леви (Levy Р.) 63, 140
Лидер 37
Липшица условие 151
Макмиллан (McMillan В.) 146, 153
180
Мартингал 138
Мейер-Эпплер (Merer-Eppley W,)
Мешалкин Л. Д. 109, 111
Монотонный класс 12
Морзе 77
Нейман (von Neumann J.) 40, 93
Ненадежность 175
Неопределенность 76
Непериодичиость 44
Неприводимость 43
Нормальное число 25, 46
Перемешивание 21
Пинскер М. С. 186, 194
Питчер (Pitcher Т. S.) 158, 163
Полный инвариант 73
Преобразование диадическое 15
—обратимое 10, 13
—пекаря 69
—связанное с непрерывными дробями 52
—сохраняющее меру 10
—эргодическое 16
Проблема полноты 107
Пропускная способность 178
канала 178
стационарная 178
эргодическая 178
Пространство состояний 9
Прямое произведение 106
Равномерная распределенность 25
Равнораспределенности свойство
152
Радона—Никодима теорема 115
Разбиение 73, 74
Размерность 153
Райт (Wright F. В.) 52
Реза (Reza Т. М.) 194
Реиьи (Renyi А.) 63, 163
Респект 26
Рисе (Riesz F.) 40
Розенблат (Rozenblatt М.) 52
Рохлин В. А. 29, 63, 107, 123, 146
Рыль-Нарджевский (Ryll-Nardzew- ski С.) 63
Сдвиг 13, 28, 45
—Бернулли 14
—двусторонний 45
—Колмогорова 110
—Маркова 41
—односторонний 45
Симметрическая разность 17
Синай Я. Т. 93, 107, 109, 111, 146
Сингулярная мера 49
Скорость передачи 173
Случайность 75
Сообщение 164
Сопряженность 70, 81
Спектральная эквивалентность 89
Стационарность 13, 166, 171
Стохастическая матрица 41
Стохастический процесс 13 ■
Строго инвариантное множество 17
Такано (Takano К.) 172, 194
Тихе 12
Томасян (Thomasian A. J.) 153
Траектория 15, 19
Условная вероятность 112
—энтропия 93, 141
Условное математическое ожидание 123
Успенский (Uspenski J. V.) 62
Файнстейн (Feinstein А.) 170, 175,
180, 186, 192, 194
Файнстейна теорема 186
Феллер (Feller W.) 41, 44
Фундаментальный интервал 54
Фюрстенберг (Furstenberg' Н.) 163
Халмош (Halmos Р. R.) 10, 12, 21,
90, 93, 107
Характеристическая функция множества 16
Харди (Hardy G. Н.) 52
Харрис (Harris Т. Е.) 52, 93
Хаусдорфова размерность 154
Хиичин А. Я. 52, 62, 170, 172, 180.
194
Хопф (Hopf Е.) 29
Цепочка 88
Цилиндр 11, 157
—тонкий 11
Чжун Кай-лай (Chung К. L.) 151
Шварц (Schwartz J. Т.) 84
Шеннон (Shannon С.) 73, 78, 93,
153, 170. 180, 194
Шеннона—Макмиллана—Бреймана теорема 146, 147
Эгглстои (Eggleston Н. G.) 156, 160, 163
Эквивалентность множеств 81
Эксперимент 75, 76
Экстремальная точка 51
Энтропия 73, 93, 141
Эргодическая теорема 22, 23
—— ——индивидуальная 31
максимальная 30, 35
—теория 10
Ядро 170
Якоби (Jacobi) 18
Якобс (Jacobs К ) 29, 93
旷-разбиение 73, 74
〃 32
L2 30
'•последовательность 89, 90
r-адический интервал 46, 157
r-адическое преобразование 46
卩-р-покрнтне 158
р-покрытие
а-поле 10
—тривиальное 62, 110
— хвостовое 61
Оглавление
ПРЕДИСЛОВИЕ РЕДАКТОРА ПЕРЕВОДА 5
ПРЕДИСЛОВИЕ К АНГЛИЙСКОМУ ИЗДАНИЮ 7
ВВЕДЕНИЕ 8
Глава /. Эргодическая теория 9
Преобразования, сохраняющие меру 9
Введение 9. Определения 10. Примеры 11. Эргодичность 15. Эргодичность вращений 17. Эргодичность диадического преобразования 20. Перемешивание 21. Формулировка эргодической теоремы 22. Следствия из эргодической теоремы 24.
Критерии эргодичности 26. Более сложный сдвиг 28
Доказательство эргодической теоремы30
Первое доказательство 30. Максимальная эргодическая теорема 35. Второе доказательство 38
Дальнейшие примеры41
Сдвиги 41. Меры на интервале 45. Теорема существования 49, Эргодичность и экстремальные точки 51
Применение к непрерывным дробям52
Преобразование 52. Мера Гаусса 55. Применение к диофантовым приближениям 59. Перемешивание и проблема Гаусса 61
Глава 2. Энтропия64
Проблема изоморфизма64
Изоморфизм 64. Инварианты 71. Энтропия 73. Изоморфизм н сопряженность 81. Изоморфизм [I спектральная эквивалентность 89
Свойства функций И (М) и /г (<4, Т) 93
Свойства функций Н и //(% | %) 91. Свойства функции 力(М, Т) 98
Свойства функции h (Т)100
Теорема Колмогорова 100. Вычисление энтропии 101. Некоторые обобщения 104
Проблема полноты107
Некоторые нерешенные задачи 107. Сдвиги Колмогорова 110
Глава 3. Условные вероятности и математические ожидания112
Условные вероятности112
Конечный случай 112. Общий случай 114, Свойства условных вероятностей 120, Функции и меры 122
Условные математические ожидания123
Определение 123. Основные свойства 126. Повторные условные математические ожидания 127. Неравенство Йенсена 129. Одна специальная формула 129
Теорема сходимости132
Теорема 132. Примеры 135. Убывающие а-поля 138
Глава 4. Сходимость энтропии141
Обобщение условной энтропии141
Определение 141. Свойства функции //（贺 | 伊）142. Две специальные формулы 144
Теорема Шеннона — Макмиллана — Бреймаиа146
Результат 146. Другие варианты теоремы 150. Свойство равнораспределенности 152
Связь с теорией размерности153
Классическое определение 153. Размерность в единичном интервале 156. Обобщенное определение 157. Основной результат 159
Глава 5・ Кодирование164
Теорема кодирования для канала без шума164
Обозначения 164. Канал без шума 165. Теоремы кодирования 168.
Канал с шумом170
Определения 170. Канал без памяти 172. Совместнее распределение на входе и выходе 172. Скорость передачи 173. Пропускная способность канала 178. Эргодичность процесса пере
дачи 179
Теорема кодирования для канала с шумом180
Проблема 180. Простое обращение 181. Комментарии к прямой теореме для канала без памяти 182. Усиление обращения 184
Теорема Файнстейна186
Решающая схема 186. Применения 191
Блоковые коды193
Определение 193. Прямая теорема в терминах блоковых кодов 193
ЛИТЕРАТУРА195
УКАЗАТЕЛЬ ПРИМЕРОВ202
Дополнение. Алгебраические автоморфизмы тора и цепи Маркова.
Б. 4/. Гуревич, Я. Л Синай205
алфавитный указатель234
П. Биллингслей
Эргодическая теория и информация
Редактор Л. Б. ШтейнпрессХудожник Я. Д. СмеляковХудожественный редактор В. Я. ШаповаловТехнический редактор Я. В, Соколова
Сдано в производство 18/Х 1968 г.Подписано к печати 6/V 1969 г.Бумага № 3 60x90%l7,5 бум. л.
15 усл, печ. л.
Уч,-изд. л. 12,33. Изд. № 1/4127
Цена 85 коп. Зак. 1491
ИЗДАТЕЛЬСТВО «МИР»
Москва, 1-й Рижский пер., 2
Ленинградская типография № 2имени Евгении СоколовойГлавполиграфпрома Комитета по печатипри Совете Министров СССР.
Измайловский проспект, 29
2 Зак. 1491
')В терминологии мы следуем Феллеру [1].
2) В отечественно!! литературе принят термин автоморфизм Мар нова. — Прим, ред.
Ч Носителем вероятностной меры Р является такое множество Л, что Р (Л) = 1, Две вероятностные меры сингулярны одна относительно другой или взаимно сингулярны, если у них существуют непересекаю- щиеся носители. Функции распределспия сингулярна, если соответствующая мера сингулярна относительно меры Лебега.
*) В отечественной литературе принят термин „остаточное о-поле“.— Прим. ред.
1) Мы применяем здесь теорему Радона — Никодима не в исходном пространстве с мерой (Q,炉，尸)，а в пространстве (Q,仔，尸)・ Это обеспечивает измеримость f относительно 伊.Хотя J / rfP есть тогда интеграл
а
от / в смысле (◎,艺 Р), нетрудно показать, что он совпадает с интегралом в смысле (Q Р).
I) Для ограниченной * это очевидно, поэтому (11.4) уже установлено. Следующее далее рассуждение соответствует второму из наших доказательств эргодической теоремы.
16. КАНАЛ С ШУМОМ
Определения
Рассмотрим теперь канал, в котором на передаваемые сообщения действует шум, т. е. канал, в котором полученное сообщение может не быть точной копией переданного. Здесь передатчик и приемник могут использовать различные алфавиты (рис. 7).
Для математической формализации этой схемы рассмотрим пространства (У, 3/) и (Z, W). Предположим, что для каждого у^У имеется некоторая вероятностная мера vy (•) на 2. Будем считать, по техническим соображениям, что для каждого множества С из 宕 мера vy (С) как функция от у измерима относительно ЗЛ Тройка [У,寸⑦ Z] называется каналом; функция vy (•) называется ядром канала. Идея состоит в том, что если сообщение у передается по каналу, то полученное сообщение, которое будет, вообще говоря, искажено каким-либо случайным шумом, находится с вероятностью Vy(C) в подмножестве С множества Z. В случае канала с шумом проблема состоит в кодировании данного
*) ?*xz AciiciByer ни формуле 7yxz (儿 г) ^\У' 了彳} Прим, рс)
п. БИЛЛИНГСЛЕЙ