' ь1. ВВЕДЕНИЕ

Рассмотрим граф G, вершинами которого являются буквы алфавита, а смежность вершин означает, что буквы могут быть перепутаны. Тогда максимальное число однобуквенных сообщений, которые можно послать, не опасаясь перепутать их, оче^ видно, равно a(G)— максимальному числу независимых вершин в графе G. Обозначим через a(G^) максимальное число /^-буквенных сообщений, которые можно послать, не опасаясь их перепутать (два ^-буквенных слова перепутываемы, если для каждого 1^/^А их t-е буквы перепутываемы или равны). Ясно, что существует по крайней мере a(G*) таких слов (образованных из максимального множества неперепутываемых букв), но их может быть и больше. Например, для пятиугольника С5 справедливо а(С5) = 5. Действительно, если ui, ..., 95 — вершин в графе G. Обозначим через a(G)^ максимальное число V2V3, V3V5, ^4^2 и и5У4 неперепутываемы...

Легко видеть, что кк

0(G) = sup Va(Gfe)= lim Va(Gfe).' кк->оо

Эта величина была введена Шенноном [6] и называется шенноновской емкостью графа G. Предыдущее рассмотрение пока-

9 Laszlo Lovasz. On the Shannon Capacity of a Graph, IEEE Transactions on Information Theory, IT-25, 1, 1979, 1—7.

© 1979 IEEE. Reprinted, with permission, from IEEE Transaction on Information Theory, vol. IT-25, No. 1, pp. 1—7, January 1979

© Перевод на русский язык, «Мир», 1983.

зывает, что 0(G) ^ a(G) и что в общем случае равенство не выполняется.

Вычисление шенноновской емкости является очень трудной задачей даже для очень простых графов с небольшим числом вершин. Шеннон доказал, что a(G)= 0(G) для графов, которые могут быть покрыты a(G) кликами (наиболее известными такими графами являются так называемые совершенные графы; см. [1]). Однако уже для простейшего графа, не подпадающего под этот результат, — пятиугольника — шенноновская емкость была до настоящего времени неизвестна. .

В [6] была также дана общая верхняя граница для 0(G) (эта граница подробно обсуждена Розенфельдом [5]). Припишем вершинам х графа G неотрицательные веса w^ так, чтобы

2 w(х)< 1, х е С

для любого полного подграфа С графа G такой набор весов называется дробной упаковкой вершин. Максимальное значение ^xW^, взятое по всем дробным упаковкам вершин, обозначается через a*(G). Из теоремы двойственности линейного программирования легко получить, что величина a*(G) может быть определена двойственным образом как минимальное значение 2с?(С), взятое по всем распределениям неотрицательных весов q(С) на кликах С графа G таким, что для любой вершины х

. I q(C)>L

Сэх.

В этих обозначениях теорема Шеннона утверждает, что0(G)<a(G).

В случае пятиугольника этот результат и замечание, сделанное выше, приводят к следующим границам:

7К<0(С5)<б/2..

Мы докажем, что нижняя граница является точной. Это будет достигнуто путем получения общей верхней границы для 0(G), Эта верхняя граница детально исследована и в известном смысле ее просто вычислять. Наши методы дадут также возможность вычислить или оценить емкость других графов, например показать, что емкость графа Петерсена равна 4.

ЕМКОСТЬ ПЯТИУГОЛЬНИКА

Пусть G— конечный неориентированный граф без петель. Будем говорить, что две вершины графа G смежны^ если они соединены ребром или равны.

Множество вершин графа G обозначается через V(Gy Дополнительный граф к графу G определяется как граф G с множеством вершин V(G) = V(G), в котором две вершины соединены ребром тогда и только тогда, когда они не соединены ребром в графе G. Разбиение V^G) на к подмножеств, каждое из которых независимо, называется к-раскрашиванием графа G. Отметим, что это соответствует покрытию к кликами вершин дополнительного графа. Наименьшее к, для которого граф G допускает 6-раскрашивание, называется его хроматическим числом.

Подстановка на множестве V(G) есть автоморфизм, если она сохраняет смежность вершин. Автоморфизмы графа G образуют группу подстановок, называемую группой автоморфизмов графа G. Если для любой пары вершин х, t/e V(G) существует автоморфизм, переводящий х в у, то группа автоморфизмов называется вершинно-транзитивной. Аналогичным образом определяется реберно-транзитивная группа. Граф называется регулярным степени d, если каждая вершина инцидентна d ребрам. Заметим, что граф с вершинно-транзитивной группой автоморфизмов является регулярным. Это не обязательно справедливо при реберно-транзитивной группе (как, например, в случае звезды). .

Для графов G и Н их сильное произведение G-Н опреде.- ляется как граф с множеством вершин V(G-H") = V(G)X К(Я), в котором (х, у) смежна с (х', у') тогда и только тогда, когда х смежна с V в графе G, и у смежна с у' в графе Н. Если обозначить через Gk сильное произведение к копий графа G, то a(Gfe) есть несомненно максимальное число независимых вершин в графе Gk. • '

Мы будем интенсивно использовать линейную алгебру. Относительно различных свойств матриц (в основном положительно определенных) см., например, книгу [4]. Все векторы рассматриваются как вектор-столбцы. Мы обозначаем через / единичную матрицу, через J квадратную матрицу, состоящую из одних единиц, и через j вектор, состоящий из одних единиц (размерность этих матриц и векторов будет ясна из контекста).

Кроме скалярного произведения векторов v, w (обозначаемого через v7w, где Т означает транспонирование), мы будем использовать тензорное произведение, определяемое следующим образом. Для векторов v = (vi, ..., и^ и w = (йуь ..., wm) через vow обозначается nm-мерный, вектор (vit^i, ..., U\wm\ V2W1, ..., vnWm)T. Простое вычисление показывает, что два этих вида произведения векторов связаны соотношением

(х о yY (v о w) = (xTv) ^yTw\

Рассмотрим граф G. Для простоты мы всегда будем предполагать, что его вершинами являются I, ..., п. Ортонорми- рованное представление графа G есть система (vi, ..., v^) единичных (т. е. длины I) векторов в евклидовом пространстве, такая, что если-вершины i и / несмежны, то векторы V/ и V/ ортогональны. Очевидно, что каждый граф имеет ортонормиро- ванное представление, например систему попарно ортогональных единичных* векторов.

Лемма 1. Пусть (ui, ..., un) и (vb ..., vm)—ортонорми- рованные представления графов G и Н соответственно. Тогда векторы u/оу/ образуют ортонормированное представление графа G-H.

Доказательство немедленно следует из (I).

Определим значение ортонормированного представления (ui, ..., un) как

.1

min шах

с 1</<п

где с пробегает множество всех единичных векторов. Вектор с, на котором этот минимум достигается, назовем ручкой представления. Пусть -0(G) обозначает минимум значений всех представлений графа G. Легко видеть, что этот минимум достигается. Назовем представление оптимальным, если его значение минимально.

Лемма 2. Ф(С-/7)^ й^й^Щ.

Доказательство. Пусть (ui, ..., Un) и (vi, ..., Vm')— оптимальные представления графов G и Н с ручками с и d соответственно. Тогда, согласно (I), cod есть единичный вектор и, следовательно,

О(G • Я)< max- ’ = max—*yJ— =^(О)^(Я).

Замечание. Ниже мы увидим, что в лемме 2 имеет место равенство.

Лемма 3. a(G) ^ Ф(С).

Доказательство. Пусть (ui, ..., u„)—оптимальное ортонормированное представление графа G с ручкой с. И пусть {1, ... ..., А}, например, есть максимальное независимое множество в графе G. Тогда векторы Ui, ..., u^ попарно ортогональны, и

таким образом справедливо

1 = с2 > £ (cruj2 > a (G)/0 (G).

Теорема. 1. 0(G) ^ -0(G).

Доказательство. Согласно леммам 2 и 3, a(Gfe) ^-©(G^) ^ ^^(G)\

Теорема 2. 0(C5) = V5-

Доказательство. Рассмотрим зонтик, ручка и пять ребер которого имеют длину I. Откроем зонтик так, чтобы максимальный угол между ребрами был равен л/2. Пусть Ui, u2, из, щ, из будут ребра и с — ручка, рассматриваемые как векторы, на^ правленные от их общей точки. Тогда Ui, ..., U5 образуют орто- нормированное представление графа G. Кроме того, легко подсчитать с помощью теоремы о сферических косинусах, что сги/ = 5-1/4 и, следовательно,

@ (С5) < Ф (С5) < max У у1 ,2 = V5.

Противоположное неравенство является известным, и тем самым теорема доказана.

ФОРМУЛЫ для 0(G)■

Чтобы иметь возможность применить теорему 1 для вычисления или оценки шенноновской емкости других графов, мы должны исследовать величину Ф(О) более подробно.

Теорема 3. Пусть G— граф с вершинами {1, ..., п}. Тогда величина Ф(6) равна минимальному среди наибольших собственных значений произвольных симметрических матриц (ац)" /=р таких, что ■■

ati = 1, если i = j или i и j несмежны.

• Доказательство.

Пусть (uj, ..., Un)—ортонормированное представление графа G с ручкой с. Определим матрицу (Л) = (#;/)", /=1 следую- шим образом:

тU;uy

аи — 1,

Тогда (2) выполнено. Кроме того,

' CL^j I Сг- I С *Т~Т г- I, I ^ /,

И

$ (G) а^ = I с ^ ) + | Ф (G)).

Эти уравнения означают, что матрица O’(G)/ — А положительно полуопределенная и, следовательно, наибольшее собственное значение матрицы А не превосходит O’(G).

Обратно, пусть А=Цац)—произвольная матрица, удовлетворяющая условиям (2), а X — ее наибольшее собственное значение. Тогда матрица XI —А положительно полуопределенная и, следовательно, существуют векторы Xi, ..., хп, такие, что

^и-аи^х^г

Пусть с — единичный вектор, ортогональный векторам xi, .., •.., хп. Положим

uz=-^-(c + xi).

Тогда

uz = t(1 + x/)=1’

а ддя несмежных / и / .

. иГи/=т(1 + хГх/) = 0-

Таким образом( Ui, ..., ил) есть ортонормированное представление графа G. Кроме того,

/7* \ П —~ X,I 1 , е • е , 72,

(с uz)

и отсюда 1Ц0)^Х. Это и завершает доказательство теоремы.

Отметим, что, как следует из доказательства, среди оптимальных представлений существует такое, что

Следующая теорема дает хорошее описание величины ^^G).

Теорема 4. Пусть G — граф с множеством вершин {I, ..., п}, и пусть B = ^bt^ i==x пробегает множество всех положительно полуопределенных симметрических матриц, таких, что

ьм = о

для любой пары I, / различных смежных вершин и

ТгВ=1.

Тогда.

-&(0) = maxTr BLв

Заметим, что Tr BJ есть сумма всех элементов матрицы В.

Доказательство:

Пусть , Л = (az/)"/=1 —матрица, удовлетворяющая (2), и ес наибольшее собственное значение равно 'O'(G), и пусть В — произвольная симметрическая матрица, удовлетворяющая условиям (3) и (4). Тогда, используя (2) и (3), имеем

Tr BJ = 2 Е ЬИ = £ X аИЬИ = Тт АВ - i=i/=i i=i/=1

и, таким образом

'»(G) - Tr BJ = Tr (^ (G) I - Л) В.

Здесь обе матрицы: AfG)/ — А и В являются положительно по* луопределенными. Пусть ei, ..., ел — множество ортогональных собственных векторов матрицы В с соответствующими собственными значениями М, ..., Хп 0. Тогда

Тг(О(6)7-Л)В= Е е[(»(С)7-Л)Ве< = .■1 = 1

= Е Я;е[(6(6)7-Л)е,>0.

1 = 1

Построим матрицу В, для которой предыдущее неравенство превратится в равенство. Пусть (<i,/i), ..,, (im,jm) ^<1^—ребра графа G. Рассмотрим (m + 1)-мерные век* торы

h = (h^, ..., himhim, (Е ^УУ,

где h = (^i, ..., hn) пробегает множество всех единичных век^ торов, и вектор .

z = (0, 0,0, ^(G))r.

Утверждение: вектор z лежит в выпуклой оболочке векторов h. Предположим, что это не так. Так как векторы h образуют компактное множество, то существует гиперплоскость, отделяющая z от всех h, т. е. существует вектор а и действительное число а, такие, что a7h < а при всех единичных векторах h, но a7z > а.

Положим а = (а,ат, yf.

Тогда, в частности, arh ^ а при h = (1, 0, ..., 0) и, следовательно, у ^ а. С другой стороны, arz > а влечет •&(G)y > а. Отсюда имеем у > 0 и а > 0. Мы можем предположить, что у = 1 и, таким образом, а < ^(G).

Определим теперь матрицу

'( 4-я» + 1, если {t, П = Уь iki,

«</ = )

в противном случае.

Тогда условие a7h ^ а может быть переписано в виде

Е Е «пйД <а. /-1/=1

Поскольку наибольшее собственное значение матрицы А = (а1^ равно

шах {хгЛх: | х |= 1},

это означает, что наибольшее собственное значение матрицы (ац) не превосходит а. Так как матрица (а//) удовлетворяет условию (2), это влечет Ф(6)^а. Полученное противоречие доказывает утверждение.

Согласно утверждению, существует конечное число единичных векторов hi, ..., h# и неотрицательных целых чисел ai, ... ..., ам» таких, что.

«! + «2 + . . . »N = I,

«Д + ... +«^=2.

Положим

hp = (йр> ь •.., hP.nY,

N

Ьц= Е ^phpihp^.

р-1

в=М

Очевидно, что матрица В симметрическая и положительно полу- определенная. Кроме того, условие (6) означает, что

^ = 0, й= 1, ..., т, и

TrB/ = ^(G),‘

в то время как (5) означает, что

ТгВ = 1.

Это завершает доказательство.

Лемма 4. Пусть (ui, ..., ил)—ортонормированное представление графа G и (vi, ..., vn)— ортонормированное представление дополнительного графа G. Тогда для произвольных векторов с и d имеет место неравенство

E(u[c)2(v[d)2<c2d2.

Доказательство. Согласно (1), векторы u/oyz удовлетворяют соотношению

(U, О Vlf (и, О V/) = (llfy) (v[V/) = 6ir

Таким образом, они образуют ортонормированную систему векторов, и мы имеем неравенство

‘п

(с ° d)2 > Е ((с о d)r (uz о vz))2,

которое есть в точности неравенство леммы.

Следствие 1. Если (vi, ..., v^y— ортонормированное представление G и d —произвольный единичный вектор, то

п

O(G)> g^d)2.

Следствие 2. ^G^tCP) ^ п.

Дадим теперь другую минимаксную формулу для величины ft(G), которая показывает весьма неожиданную двойственность между графом G и дополнительным к нему графом G.

Теорема, 5. Пусть (vi, ..., Vm) пробегает множество всех ортонормированных представлений графа G, a d — множество всех единичных векторов. Тогда

Ф (G) = max £ (drV/)2.

Доказательство. Согласно следствию 1, мы уже знаем, что неравенство ^ справедливо. Построим теперь представление графа О и единичный вектор d, для которых выполняется равенство. Пусть B=(6z/)—положительно полуопределенная матрица, удовлетворяющая условиям (3) и (4) и такая, что Тг BJ =

= -^^G). Поскольку матрица В положительно полуопределен- ная, то существуют векторы Wi, ..., wn, такие, что= -^^G). Поскольку матрица В положительно полуопределен- ная, то существуют векторы Wi, ..., wn, такие, что(7)(7)6z/ = w[W/.6z/ = w[W/.Заметим, что п £ W2=l, i-X 1Заметим, что п £ W2=l, i-X 1ПоложимПоложимV, = Wz/| Wz I,V, = Wz/| Wz I,Тогда, согласно условиям (7) и (3), векторы vt образуют орто- нормированное представление графа G. Кроме того, используя неравенство Коши — Шварца, получимТогда, согласно условиям (7) и (3), векторы vt образуют орто- нормированное представление графа G. Кроме того, используя неравенство Коши — Шварца, получимп/ п \ / п\/ п\2Е (d^.y - ( Е »=) (Е (d^y) > ( Е | w, I (d'-у,)) =п/ п \ / п\/ п\2Е (d^.y - ( Е »=) (Е (d^y) > ( Е | w, I (d'-у,)) =/ п<2/ п\2/ п\2= ( £ drwz) = dT£ wz) = ГЁ wJM-=l/\i-X/\i-X// п<2/ п\2/ п\2= ( £ drwz) = dT£ wz) = ГЁ wJM-=l/\i-X/\i-X/= »(G).= »(G).Этим доказательство завершено.Отметим, что так как в неравенстве Коши — Шварца имеет место равенство, то отсюда также следуетЭтим доказательство завершено.Отметим, что так как в неравенстве Коши — Шварца имеет место равенство, то отсюда также следует(8)(8)(dvz)2-^(G)w2 = e(G)V(dvz)2-^(G)w2 = e(G)V

= -^^G). Поскольку матрица В положительно полуопределен- ная, то существуют векторы Wi, ..., wn, такие, что

= -^^G). Поскольку матрица В положительно полуопределен- ная, то существуют векторы Wi, ..., wn, такие, что

(7)

(7)

6z/ = w[W/.

6z/ = w[W/.

Заметим, что п £ W2=l, i-X 1

Заметим, что п £ W2=l, i-X 1

Положим

Положим

V, = Wz/| Wz I,

V, = Wz/| Wz I,

Тогда, согласно условиям (7) и (3), векторы vt образуют орто- нормированное представление графа G. Кроме того, используя неравенство Коши — Шварца, получим

Тогда, согласно условиям (7) и (3), векторы vt образуют орто- нормированное представление графа G. Кроме того, используя неравенство Коши — Шварца, получим

п/ п \ / п\/ п\2

Е (d^.y - ( Е »=) (Е (d^y) > ( Е | w, I (d'-у,)) =

п/ п \ / п\/ п\2

Е (d^.y - ( Е »=) (Е (d^y) > ( Е | w, I (d'-у,)) =

/ п<2/ п\2/ п\2

= ( £ drwz) = dT£ wz) = ГЁ wJ

M-=l/\i-X/\i-X/

/ п<2/ п\2/ п\2

= ( £ drwz) = dT£ wz) = ГЁ wJ

M-=l/\i-X/\i-X/

= »(G).

= »(G).

Этим доказательство завершено.

Отметим, что так как в неравенстве Коши — Шварца имеет место равенство, то отсюда также следует

Этим доказательство завершено.

Отметим, что так как в неравенстве Коши — Шварца имеет место равенство, то отсюда также следует

(8)

(8)

(dvz)2-^(G)w2 = e(G)V

(dvz)2-^(G)w2 = e(G)V

Теорема. 6. Пусть Л пробегает множество всех матриц, для которых aij = 0, если i и j смежны в графе G, и пусть Х1(Л)^ ^ ... >%ДЛ) обозначают собственные значения матрицы А. Тогда

в(С) = тах{1-^}.

Доказательство.

Пусть Л произвольная матрица, такая, что ац = 0, если вершины I и / смежны в графе G. И пусть f = (/ь ..., fny собственный вектор, отвечающий значению Х1(Л) и такой, что f2 =—1/Хп(Л) (заметим, что так как ТгЛ=0, то наименьшее собственное значение матрицы Л отрицательно). Рассмотрим диагональную матрицу F=diag(fi, .... f„) и матрицу

, В — Р^А-КДА^ПР.

Очевидно, что матрица В положительно полуопределенная# Кроме того, bij = 0, если i и / — различные смежные вершины в графе G, и имеет место

ТгВ = -Хп(Л)ТгГ2=1.

Таким образом, по теореме 4

п пп.

О(G) > Tr BJ = £ £ а,^ - Хп (Л) £ f2 =

i-\i-\Z = 1.

п

-Т,ыад-ч№^=1—/=1

Факт достижения равенства может быть получен более или менее прямым обращением рассмотренных выше рассуждений, что здесь опущено.

Следствие 3 (см. Хоффман [3]). Пусть Xi ^ ... ^ Хп— собственные значения матрицы смежности графа G. Тогда хроматическое число графа G не меньше чем 1 — Х\/Кп.

Доказательство. Покажем, что хроматическое число графа G не меньше чем -0(G). Действительно, если (ub ..., ил)—орто- нормированное представление графа G, с — произвольный единичный вектор и Ji, ..., Ju — одноцветные классы в произвольном /^-раскрашивании графа G, то имеет место неравенство

пк&

Е(сЧ)2= Е 2 (^u^c Zi = а, Z—1m^iZe/mm=\

из которого, согласно теореме 5, и следует утверждение. Теперь матрица смежности графа G удовлетворяет условиям теоремы (с заменой G на G), из которой и вытекает искомое неравенство.

НЕКОТОРЫЕ ДАЛЬНЕЙШИЕ СВОЙСТВА 0(G)

Результаты предыдущего раздела позволяют довольно просто вычислять 0(G). Теперь получим некоторые следствия.

Теорема 7. O(G-77) = 0(G) О (77).

Доказательство. Мы уже знаем, что

0(0-77X0(0)0(77).

Для того чтобы доказать противоположное неравенство, рассмотрим ортонормированное представление (vb ..., Vn) графа О, ортонормированное представление (wb ..., ww) графа Н и единые векторы с, d, такие, что

пm

Ef (v[c)2 = О (G),Е (wfd)2 = О (Я).

Тогда векторы v,ow/ образуют ортонормированное представление графа G^H L(aTo следует из включения G-H^G-H и того,

что эти векторы являются ортонормированным представлением графа G-H). Кроме того, c°d— единичный вектор. Таким об’ разом, п тпт

fl (G • Я) > £ £ ((V, о W )г (с = d))2 = £ £ (v[c)2 (W/d)2 =

= 2 №2 2 (wfd)2 =о (G) о<н\

Теорема 8. Если группа автоморфизмов графа G вершинное транзитивная, то %^G^^G^ = п.

Следствие 4. Если группа автоморфизмов графа G вершинно-транзитивная, то 0(G)0(G)^ п.

Отметим, что теорема 8 и ее следствие справедливы не для всех графов, потому что -существуют графы, для которых a^G^a^G^^ п (например, звезда).'

Доказательство. Пусть Г — группа автоморфизмов графа G. Элементы Г можно рассматривать как пХ ^-матрицы подстановок. Пусть матрица В = (bij) удовлетворяет условиям (3) и (4) и Tr BJ = ^(G). Рассмотрим матрицу

в=ад=|ТтГ Е

ХРеГ/

Очевидно, что матрица В также удовлетворяет (3) и

TrB = I, Tr BZ = ^(G)

(здесь используется, что PJ = JP = J). Также очевидно, ч!о матрица В симметрическая, положительно полуопределенная и удовлетворяет соотношению Р-ХВР = В для всех Ре Г. Так как группа Г транзитивно действует на вершинах, из этого следует, что Ьц = 1 /п для всех I. Построив, как при доказательстве теоремы 5, ортонормальное представление (vi, ,.., ул) и единичный вектор d, получим, согласно (8),

(d^)2^-^-.

Таким образом, из определения 'fr(G) имеем

(G) < шах т-Л\5 = г™

и, следовательно,_

^(G)^(G)<n.

Поскольку, как мы уже знаем, справедливо и обратное неравенство (следствие 2), то теорема 8 доказана,'

Теорема, 9. Пусть G — регулярный граф, а Х\ ^ ^^ • • • ^ ^ Хп — собственные значения его матрицы смежности. Тогда справедливо неравенство

Если группа автоморфизмов графа G реберно-транзитивная, то имеет место равенство.

Следствие 5. Для нечетных п

' П' 1 + cos (л/п) ’

Доказательство. Рассмотрим матрицу I—хА, где значение х будет выбрано позже. Она удовлетворяет условию (2) теоремы 3, и, следовательно, ее наибольшее собственное значение не меньше ^(G). Обозначим через Ni собственный вектор матрицы А, соответствующий собственному значению Хь Тогда поскольку граф G регулярен, то Vi = j, и поэтому векторы . j, V2, ..., vn являются также собственными векторами матрицы J. Таким образом, собственные значения матрицы J — хА равны п — %М, —хХ^, ..., —хХп. Наибольшее из них либо первое, либо последнее, и оптимальный выбор есть х = п/(Х\ — Х„), когда они оба равны —пХп/кХ\— М- Это доказывает первое предложение.

Предположим теперь, что группа Г автоморфизмов графа G транзитивно действует на ребрах. Пусть C = (cz/)—произвольная симметрическая матрица, такая, что сц = 1, если i и j равны или несмежны, и ее максимальное собственное значение равно 'O'(G). Как и в доказательстве теоремы 8, рассмотрим матрицу - -'

РеГ

Тогда матрица С также удовлетворяет условиям (2) и, кроме того, ее максимальное собственное значение не больше ^G). По теореме 3 оно равно А (О). Кроме того, матрица С, очевидно, имеет вид J — хА. Отсюда вытекает справедливость второго предложения.

СРАВНЕНИЕ С ДРУГИМИ ГРАНИЦАМИ ДЛЯ ЕМКОСТИ

Теорема, 10. -0(G) ^ a*(G).

Доказательство. Мы воспользуемся теоремой 4. Пусть (щ) — ортонормированное представление графа С и с —единичный

вектор, такие, что

^= £ (С^)2-/=1

Пусть С — произвольная клика в графе G. Тогда множество {uz: i е С} есть ортонормированная" система векторов и, следова

тельно,

У (сЧ)2 < с2 = 1.

1еС

Отсюда веса (c7uz)2 образуют дробную упаковку вершин, и, таким образом,

»(G)=£ (cruJ2<aW

Z = 1

. Очень простой верхней границей величины 0(G) является размерность ортонормированного представления графа G.

Теорема 11. Предположим, что у графа G имеется ортонор- мированное представление размерности d. Тогда

Доказательство. Пусть (ui, ..., иЛ) — ортонормированное представление графа G в d-мерном пространстве. Тогда (щощ, и2°и2, ..., ил °ил) есть другое ортонормированное представление графа G. Пусть {ei, ..., е^}—ортонормированный базис и вектор ■

Ь = ^=г(е1ое1 + е2ое2+ ... + ed°edY

Тогда Ь2 = 1 и

d

dd6. ПРИЛОЖЕНИЯ6. ПРИЛОЖЕНИЯ(uz о Uif b = Л— у (е6 о eft)r (uz ° uz) =k=\

d

d

6. ПРИЛОЖЕНИЯ

6. ПРИЛОЖЕНИЯ

Поэтому O^G) ^ d.

Мы можем применить наши методы для вычисления шенноновской емкости графов, отличных от пятиугольника. Мы, конечно, будем иметь дело с такими графами G, для которых a(G) < a* (G), поскольку, если a(G)= a*(G), то 0(G)^=a(G)J согласно теореме Шеннона.

Теорема, 12. Если группа автоморфизмов графа G вершинно-транзитивная, то 0(G*G) = | 7(G) |. Если, кроме того, граф G самодополнительный, то 0(G) = Vl V (G) |.

Доказательство. «Диагональ» в графе G-G является независимым множеством, следовательно,

0(G • G)>a(G • G)>\V (G)|.

С другой стороны, согласно теоремам 1, 6 и 7, имеем

0(G- G)<»(G-G) = »(G)»(G) = 17(G)|.

Если граф самодополнительный, то

0(G-G) = 0(G2) = 0(G)2.

Это доказывает теорему. Из доказательства также видно, что в этих случаях 0 = Ф.

Теорема, 13. Пусть п^2г и К(п,г) обозначает граф, множеством вершин которого являются r-элементные подмножества п-элементного множества S, и два подмножества смежны, если и только если они не пересекаются. Тогда

W(n, г)) = ("-})•

Следствие 6. Емкость графа Петерсена, изоморфного графу К (5, 2), равна 4.

Следствие 7 (см. Эрдеш, Ко и Радо [2]).

Заметим, что */

г)) = ("Ш]

и это больше, чем I , |, если г не делит п.

Доказательство теоремы 13. Подмножества из г элементов, содержащие фиксированный элемент из S, образуют независимое множество в графе К^п, г) и, следовательно,

0(К(п, г»>а(К(п, г))>^_;).

Чтобы доказать противоположное неравенство, мы вычислим ^(Kin, г)). Так как группа автоморфизмов графа К.(п, г), очевидно, транзитивна и на вершинах и на ребрах, то можно

воспользоваться теоремой 9. Таким образом, следует вычислить собственные числа, соответствующие графу К(п, г). Очевидно, что вектор / является собственным с собственным значением Гп — г \ г

Пусть 1 ^ t ^ г и для каждого подмножества Т a S, такого, что |Т|=/, пусть хт обозначает действительное число, удовлетворяющее следующему соотношению: для любого подмножества U a S мощности 11/| = / — 1 выполнено

(9)(9)У хт = 0.

(9)

(9)

1 — I J I линейно независимых векторов \хт) такого типа. Для каждого такого вектора определим число

хА = £ хтТ^АхА = £ хтТ^АИМИМ

хА = £ хт

Т^А

хА = £ хт

Т^А

ИМ

ИМ

для любого подмножества A с$, |Д| — г. Нетрудно видеть (и это хорошо известно), что числа хт могут быть вычислены че* -(( п \»

рез числа хд, следовательно, имеется I )—) линейно

независимых векторов вида (Яд).

Утверждение. Каждый вектор (Яд) является собственным для матрицы смежности графа К^п, г) с собственным значением (— iVf^ Г ± 'Y В самом деле, для любого До с: S, такого, \ r — t / что | До | = г, имеем

ЛПЛо-0 ТПЛо=0 X Т I\I /

Чтобы определить эту величину, положим - Pz = Л Хт.

| ГПАо|-<

Тогда, суммируя (9) по всем UcS, таким, что ]С7| = /—1 и | U П Ло | = I, получим

a+i)₽z+i+(/-opz=o.

Это можно рассматривать как рекуррентное соотношение для величин Pz, что дает

Pz=(-Dz(i)po,

откуда

Ро = (—1/Р* = (—1/^А.,

что и доказывает утверждение.

С помощью этой конструкции мы нашли

1 +1 +±((7)-(,-а)-с)±((7)-(,-а)-с)

1 +

1 +

±((7)-(,-а)-с)

±((7)-(,-а)-с)

линейно независимых собственных векторов (с векторами, соответствующими разным значениям /, нет сложностей, так как их собственные значения различны). Поэтому мы имеем все собственные векторы, и, следовательно, собственными значениями матрицы смежности графа К^п, г) являются числа

(-ч^" rr_t9’ /=о’ь г*

Итак, наибольшее и наименьшее собственные значения равны — г \( п — г — \\п

г ) И " L г 1 ) соответственно» и теорема 9 дает

соотношениеЦШ г)) =соотношениеЦШ г)) =(п — 1 \кг-1 )(п — 1 \кг-1 )

соотношение

ЦШ г)) =

соотношение

ЦШ г)) =

(п — 1 \

кг-1 )

(п — 1 \

кг-1 )

ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ

Величина -0(6) была введена с целью оценить 0(G). Поэтому естественными являются следующие вопросы.

Задача 1. Справедливо ли равенство1) Ф = 0? Более скромно— найти другие графы, для которых Ф(О)= 0(G). В частности, верно ли для циклического графа с нечетным числом вершин равенство -0(0)= 0(G)?

Последний вопрос указывает на трудности, которые кажутся решающими. Во всех случаях точного определения величины 0(G), которые известны автору, существует некоторое к (на самом деле к = 1 или 2), такое, что a(Gfe)=0(G)\ Но если 0(G) = -0(0), например, для циклического графа с 7 вершинами, то такого к не существует, поскольку никакая степень ^(Су) не является целым числом.

9 Ответ на этот вопрос, а также вопросы задач 2 и 3 отрицательный, см. W. Haemers. On some problems of Lovasz concerning the Shannon capacity of a graph, IEEE Trans. Inform. Theory, IT-25, 2, 1979, 231—232. — Прим, nepee. -

Различные свойства величины ft(G), установленные в этой статье, приводят к новым задачам, которые могут быть решены при положительном ответе на первый вопрос задачи 1.

Задача 2. Справедливо ли равенство 0(О*Я) = 0(О)0(Я)? (Заметим, что неравенство 0 (G • Я) ^ 0 (G) 0(Я) очевидно.)

Задача 3. Верно ли, что 0(G) -0(G) ^ | V(G) | ?

Отметим, что положительный ответ на вопрос задачи 2 означает и положительный ответ на вопрос задачи 3, поскольку

0(G)0(G) = 0(G • G)>a(G- G)>| V(G) |.

Это в свою очередь повлекло бы положительный ответ на по* следний вопрос задачи 1:.

« < © (С„) 0 (С„) < О(С„) ^^ = п,

откуда 0 (CJ = ■& (С„) и 0 (CJ = »(CJ.

Следствие 7 показывает пример, когда вычисление ft(G) по могает нетривиальным образом вычислить a(G). Есть ли еще такие примеры?

Благодарности

Я искренне благодарен К. Вестергбмби и М. Розенфельду за неоднократные обсуждения предмета этой статьи. Я также благодарен Т. Немецу, А. Схрейверу и рецензентам, которые обратили мое внимание на некоторые ошибки и предложили ряд улучшений первоначального текста. Я хотел бы особо отметитц что А. Дж. Хоффман и М. Розенфельд также распространили основную идею (разд. II) на другие графы. В частности, Хоффман получил теорему 9, а Розенфельд вычислил ^(С^).

ЛИТЕРАТУРА

Berge С., Graphs and Hypergraphs. Amsterdam and London: North-Holland; New York: American Elsevier, 1973.

Erdos P., Ko C. and Rado R. Intersection theorems for systems of finite sets, Quart. J. Math. Oxford, vol. 12, pp. 313—320, 1961.

Hoffman A. J. On eigenvalues and colorings of graphs, in B. Harris, ed^ Graph Theory and its Applications. New York and London: Academic, 197Ц pp. 79—91.

Lancaster P. Theory of Matrices. New Yoork and London: Academic, 1969 [Имеется перевод: П. Ланкастер. Теория матриц. — М.: Наука, 1978.]

Rosenfeld М. On a problem of Shannon, Proc. Amer Math. Soc., vol. 18, pp. 315—319, 1967.

Shannon C. (Sept. 1956), The zero-error capacity of a noisy channel, IRE Trans. Inform. Theory IT-2, 8—19. [Имеется перевод: Шеннон К. Пропускная способность канала с шумом при нулевой ошибке. — В кн.: Работы по теории информации и кибернетике. — М.: ИЛ, 1963, стр. 464—487.]

Сравнение границ

Дельсарта и Ловаса1)

Александр Схрейвер

Граница линейного программирования Дельсарта (верхняя граница мощности клик в ассоциативных схемах) сравнивается с границей Ловаса (верхней границей 0(G) шенноновской емкости графа G). Обе границы могут трактоваться единым образом. Так, граница линейного программирования Дельсарта может быть обобщена до границы 0'(G) для числа независимости a(G) произвольного графа G, такой, что 0' (G) ^ 0 (G). С другой стороны, если множество ребер графа G является объединением классов симметрической ассоциативной схемы, то величина 0(G) может быть вычислена с помощью методов линейного программирования. Для таких графов произведение 0(G)-0(G) равно числу вершин графа G.

1. ВВЕДЕНИЕ

Цель этой заметки — сравнить две функции, являющиеся верхними границами величин, изучение которых в определенной степени мотивировано теоретико-информационными задачами: границу линейного программирования Дельсарта для мощности клик в ассоциативных схемах и границ Ловаса 0(G) шенноновской емкости графа G. Первая граница может рассматриваться как граница числа независимости a(G) для некоторых графов G, тогда как граница Ловаса ограничивает сверху ot(Gk) —число независимости графа, являющегося сильным произведением к копий графа G.

Вначале мы кратко изложим эти границы и историю вопроса (граф — это неориентированный граф без петель и кратных ребер).

Ассоциативные схемы и граница линейного программирования Дельсарта [2], [5]

Пара (X, ^?), где ^ = (/?о, • • •, Rn) есть разбиение XX X, называется (симметрической) ассоциативной схемой с числами

!) Schrijver A. A Comparison of the Delsarte and Lovasz Bounds. IEEE Trans, on Inform. Theory, IT-25, No. 4, July 1979.

© 1979 IEEE. Reprinted, with permission, from IEEE Transactions on Information Theory, vol. IT-25, pp. 425—429, July 1979

© Перевод на русский язык, «Мир», 1983

пересечений р^ Ц, j, 6 = 0, ..., п), если

Ro = ^x, х^хеХ);

Rk1 = {(у, х) | (х, у) eRk) = Rk для А = 0, ..., п;

и для всех I, j, к = 0, ..., п и (х,у)s Rk

| {z | (х, z) s Rt и (г, у) е R^ | = ркр

Таким образом, 1^} = P^i* Мы можем рассматривать пару (X, Ri) как граф (i = l, ..., п). Граф (X, Ri) является регулярным степени V; = р°ц (о0 = 1). Следовательно, p°(l — dtfv{. Пусть Di — матрица смежности графа (X,Ri); Do— единичная матрица. Поскольку в силу (3) симметрические матрицы Do, .... Dn перестановочны, то существует матрица Р = (,Р1к)к, я=о, такая, что числа Рк, ..., Ри есть собственные значения матрицы Dk (k = = 0, .... п) и для матриц Do, ..., Dn существует общий собственный вектор с собственными значениями Р“, ..., Рп соответственно (« = 0, ..., п). Можно считать, что Рк = ок для всех к. Положим

$ = -^Рк,

где ры— размерность общего для матриц Do, .**, Dn собствен-* ного подпространства с собственными значениями Р“, ..., Р^ соответственно (ц = 0, .,., п\. Можно показать, что

Е РЭД = ^ы и 5 Р№ = т • био, «=0&=0

где т=|Х|. Таким образом, матрицы Р и nvx-QT являются взаимно обратными.

В теории кодирования интересуются двумя семействами ассоциативных схем: так называемыми схемами Хэмминга и Джонсона. Пусть п и q натуральные числа, и пусть X есть множество n-мерных векторов с координатами из множества {0, ies, q — 1}. При 6 = 0, ..., п положим

Rk = Vkx, y)eXXX\dH(x, у) = к),

где йн^х, у) обозначает расстояние Хэмминга между векторами х и у, т. е. число координат, в которых х и у различаются. Пусть ^=(Ro, .... Rn). Как легко может быть проверено, пара (X, 5?) является симметрической ассоциативной схемой; схемы, получаемые таким образом, называются схемами Хэмминга. Для схем Хэмминга величины «к, ря и Рк задаются следую-

щими формулами:

(7)(7)р^к^-^-пЧу-хГ1^р^к^-^-пЧу-хГ1^

(7)

(7)

р^к^-^-пЧу-хГ1^

р^к^-^-пЧу-хГ1^

при к, и = 0, ..., п (Kk(u) — это многочлен Кравчука степени к от переменной и).

Второе семейство получается следующим образом. Пусть о и п — натуральные числа, и пусть X есть множество и-мерных (О, 1)-векторов, содержащих ровно п единиц (п ^ 1/2 и). При к = 0, ..., п положим

^ = {(Х, у^ХХХШх, у^ = к^

где dj (х, у) = I !UH (я, у)—расстояние Джонсона между векторами х и у. Пусть 9£=(Ro, ..., Rn). Тогда пара (X, Я) является симметрической ассоциативной схемой; построенные таким образом схемы называются схемами Джонсона. Их параметры таковы

для к, ц = 0, ..., п (Ек(и^ —это многочлен Эберлейна степени 2к от переменной и). .

(Сильно регулярные графы дают третье семейство симметрических ассоциативных схем. Это в точности те графы (X, Rx), для которых пара (X, 91^ является симметрической ассоциативной схемой, где ^ = №,^1,^2), ^2 = (^Х^)\(/?о11^1). Отсюда следует, что дополнительный граф к сильно регулярному графу также является сильно регулярным.)

Основная задача комбинаторной теории кодирования состоит в том, чтобы оценить максимальный объем любого подмножества

(кода) в схеме Хэмминга или Джонсона, обладающего тем? свойством, что в нем нет двух элементов, расстояние (Хэмминга] или Джонсона) между которыми меньше заданной величины dr Чтобы перевести эту задачу на язык ассоциативных схем, на^ необходимо понятие М-клики: для заданного множества М< 0eAlcz{0, ..., п} подмножество Y множества X является М-кликой, если (х, U^^\ik^MRk Для всех х, у е Y. Таким образом, задача теории кодирования состоит в определении максимальной мощности {0, d, d + 1, ..., n} — клики в схемах Хэмминга и Джонсона.

Чтобы получить верхнюю границу объема клики в симметрической ассоциативной схеме (X, ^), определим для Y а X внутреннее распределение (яо, ..., а^ множества Y следующим образом:

(10)(10)п _ |^П(ГХШ

(10)

(10)

а^гу-1

при к = 0, ..., п. Таким образом, ао = 1 и ^к=о ак = | Y |. Кроме того, если Y есть М-клика, то ак = 0 при к ф М. Дельсарт показал, что для внутреннего распределения произвольного подмножества У из X имеют место неравенства .

(Н)(Н)2 akQkк=02 akQkк=0оо

(Н)

(Н)

2 akQk

к=0

2 akQk

к=0

о

о

при и = 0, ..., п. Поэтому для любой М-клики Y имеет место неравенство

•( п

| У l^maxs ^ак\а0а„^0; aQ — 1; ак = 0 для к^М;

I fe=0

п

Z akQl>0\

к=0)

пп

^Ъи\Ьь&„>0;&0=1; Z№u<0 и=0.и=0

для &^Л1\{0}}.

Равенство в (12) следует из теоремы двойственности линейного программирования. Получаемая граница для объема клики называется границей линейного программирования Дельсарта. Методы линейного программирования можно применить для вычисления этой величины (относительно приложений в теории кодирования ср. [1]).

Следующий результат Дельсарта показывает, что граница линейного программирования является уточнением известной в теории кодирования границы Хэмминга. Пусть (X, 5?) есть сим-

метрическая ассоциативная схема с $, = Ц^ ..., Rn), и пусть Ое М с {О, ..., п) и М = {0} U ({0, ..., п}\Л4). Тогда

произведение значения границы линейного программиро- (13) вания для ЛГ-клик и значения границы линейного про

граммирования для М-клик не превосходит | X |.

Следовательно, |У|-|2|^|Х| для М-клики У и ЛЬклики Z. Взяв для схемы Хэмминга M={0, d, d + 1, ..., п}, получим границу Хэмминга.

Шенноновская емкость и граница Ловаса

Ловас [4] ввел для произвольного графа G число 0(G), которое является верхней границей «шенноновской емкости» 0(G). Пусть a(G) есть максимальное число независимых (т. е. попарно несмежных) вершин графа G, и пусть G-H обозначает сильное произведение графов G и Н, т. е. множеством вершин графа G-H является декартово произведение множества вершин графов G и Н, и две различные вершины графа G-H смежны, если и только если в обеих координатах элементы равны или смежны. Произведение к копий графа G обозначается через Gk.

Шеннон [9] ввел число кк

0 (G) = sup л^оДО^ = lim V^TC^),

кк->оо

называемое теперь шенноновской емкостью графа G. Если рассматривать вершины графа О как буквы алфавита, так что две вершины смежны, если и только если они «перепутываемы», то величину a(Gft) можно интерпретировать как максимальное число ^-буквенных сообщений, таких, что любые два из них не- перепутываемы по крайней мере в одной координате.

Поскольку a(G)6^a(Gft), отсюда следует, что a(G)^ ^ 0(G). В общем случае равенство не имеет места: например, a(Cs) = 2, тогда как а (С|) = 5 ^ 0 (С5)2. Ловас показал, что 0(С5) = Уб. В действительности Ловас дал следующую общую верхнюю границу для величины 0(G).

Для графа G =(V, Е) с множеством вершин V={1, ... ..., п} положим

6(G) = min {lev Л | Л = (о,,) — симметрическая

п X«"матрица, такая, что аг/=1, если {i, /} ^ Е}, где lev Л обозначает наибольшее собственное значение матри цы Л. Если a(G) = A, то каждая матрица Л, удовлетворяющая условиям, упомянутым в (15), содержит главный k X А-минор

из одних единиц (с наибольшим собственным значением А) и, следовательно1), lev А ^ к. Поэтому a(G)^0(G). Ловас доказал, что 0(G-//)= 0(G)0(//) для всех графов G и Н. Отсюда следует a(G*) ^ 0(G)\ что приводит к более сильному неравенству 0(G)^0(G) (Хэмерс [3] показал существование графов G, для которых 0(G) < 0(G)). Кроме того, Ловас показал, что

0(G) = шах^ij Ьц\В = (Ьц) — положительная полуопреде- (16) ленная матрица, такая, что ТгВ=1 и blj = 0)

если {/, /} е EY

Итак, величину 0(G) можно рассматривать и как максимум, и как минимум, что делает функцию 0 более простой для вычислений. Ловас установил в числе других результатов, что для графа G с п вершинами

0(G)-0(G)^n (где G — дополнительный граф), причем (17)имеет место равенство, если граф вершинно

транзитивный,

6 (О) ^ -^ ^^ ■, если граф G регулярен (где ^и^~

08)наибольшее и наименьшее собственные значения

матрицы смежности графа G), причем имеет место равенство, если граф реберно-транзитивный.

В качестве следствия (18) получается следующий результат. Пусть и^^п, и пусть К (и, п) есть граф, множеством вершин которого являются n-подмножества некоторого фиксированного ^-множества, и две вершины соединены, если и только если подмножества не пересекаются. Такие графы называются графами Кнезера. Тогда

0(^(°> ")) = („_! )

(согласно (18) достаточно вычислить собственные значения матрицы смежности графа K(v, п)), что обобщает теорему Эрдеша — Ко — Радо, согласно которой

a(K(v, «)) = ("_[)•

Теории Дельсарта и Ловаса, как оказалось, имеют некоторые общие черты, такие, как оценивание клик или независимых

Здесь используется тот факт, что lev А = max {хгЛх[хгх = 1}. — Прим, перев.

множеств в графах, использование техники собственных значений матриц, определяемых графами, установление отношений между графом и его дополнением, и возможность приложения к таким родственным структурам, как равновесные коды и графы Кнезера. Цель этой заметки — продвинуться дальше в изучении этой взаимосвязи.

Очевидно, что границу линейного программирования Дельсарта можно понимать как верхнюю границу величины a(G) для графов G, чье множество вершин является объединением классов Ri симметрической ассоциативной схемы (Х,5?). Мы покажем, что границу Дельсарта можно расширить до границы 0х (G) величины a(G) для произвольных графов G; описание границы 0х (G) имеет много общих характерных черт с границей Ловаса 0(G). Будет показано, что 0х (G)^ 0(G) (в общем случае 0X(G)=# 0(G)). С другой стороны, если множество ребер графа G есть объединение классов симметрической ассоциативной схемы (Х,^, то величина 0(G) может быть вычислена как решение задачи линейного программирования, получаемой из задачи (12) отбрасыванием ограничений неотрицательности для а0, ..., ап. Из этого следует, что для таких графов G также имеет место равенство 0(G)-0(G) = |X| (ср. (13) и (1"7)).

. СРАВНЕНИЕ ГРАНИЦ ДЕЛЬСАРТА И ЛОВАСА

Вначале напомним следующую усиленную форму теоремы двойственности линейного программирования. Пусть С и D— замкнутые выпуклые конусы в пространствах Rfe и Rm соответственно, а С* и D*—двойственные им конусы (т. е. С* состоит из всех векторов Rk, скалярное произведение которых со всеми векторами из С неотрицательно). Пусть М — действительная m X /г-матрица, и пусть s е R^. Тогда.

шах ^сх | х ^ С; d — Mx ^ D^ = min Vyd | у ^ D*; уМ — с^ С*} при условии, что эти множества непусты и замкнуты. Отметим, кроме того, что двойственным конусом к замкнутому выпуклому конусу действительных симметрических положительно полуопре- деленных пХ ^-матриц, рассматриваемых как п2-мерные векторы, является множество действительных п X ^-матриц G, таких, что yTUy ^ 0 для всех вещественных n-мерных векторов у. (Таким образом, симметрические матрицы в двойственном конусе являются положительно полуопределенными.) Для удобства мы будем использовать следующее обозначение скалярного произведения п X n-матриц А = ^1^ и В = (6//):

А*В = 2 aifiih

т. е. А^В = Тг(ДгВ). Таким образом, Д*/ = ТгД и Д*/ =

Е

п

j = l СЦр

Пусть G— граф с множеством вершин {1, .... «}. Ловас определил функцию

6(G) = max {2г, / bti | В = (6е/) — симметрическая положительно полуопределенная «X «-матрица, такая, (22)что ТгВ=1 и Ьц = 0, если {/, /)еВ} =

— min {lev А | А = (аг/) — симметрическая п X «• матрица, такая, что 0^=1, если {i, Д^ЕУ

Теперь определим функцию 9'(G) следующим образом:

9' (G) = max {2г, / Ьц | В = (Ь^ — неотрицательная симмет- (23)рическая положительно полуопределенная п X «-

матрица, такая, что ТгВ=1 и btj = 0, если

Это определение отличается от (22) тем, что рассматриваются только неотрицательные матрицы В.

Теорема 1. a(G) ^ 9'(G) ^ 9 (G).

Доказательство. Очевидно, что 9'(G) ^ 9(G). Пусть У(Ус с{1«}) является независимым множеством из a(G) = /?

элементов. Положим Ьц = \/к, если i, j^Y, и 6,;=0 в противном случае. Тогда матрица В =(&,/) неотрицательная и положительно полуопределенная со следом 1, причем Ьц=О, если (г, /}еЕ. Кроме того, 2ь/Ьц = к. Следовательно, a(G)^^^ C9'(G).■

Теорема 2. 9'(G) = min (lev Л | Л = (a,/) — симметрическая п X п-матрица, такая, что ац "^ 1, если {г, /}^ В}.

Доказательство. Согласно определению,

9х (G) = max {В * J | В = (6^) — симметрическая положи- (24)тельно полуопределенная п X «-матрица, такая,

что В *7=1, В*Ец = 0 для {г, /} е Е, и В*Ец^ ^0 для {/, /} ^ В),

где Ец это (0, 1)-матрица порядка п, в которой 1 стоит только на (г, /) и (/, t) местах. Из упомянутой выше формы теоремы двойственности следует, что этот максимум равен

min {X е /? | М = (т;/) — симметрическая п X «-матрица;

niij^O, если {г, /}^В; матрица XI-^M—F является положительно полуопределенной}.

Полагая А = J — М и используя тот факт, что для симметрической матрицы А ее наибольшее собственное значение равно минимальному значению X, при котором матрица XI — А является положительно полуопределенной, получаем, что

, 0Z (G) = rnin {lev А | А = (az/) — симметрическая пХп-

'матрица, такая, что а^^1, если {/, П^ЕУ ■

Поскольку наибольшее собственное значение матрицы не возрастает при уменьшении диагональных элементов, можно считать, что минимум достигается на некоторой матрице А с единицами на диагонали.

Теперь мы докажем, что для графов, получаемых из симметрических ассоциативных схем, величина 6Z(G) совпадает с границей линейного программирования Дельсарта.

Пусть (X, Й) — симметрическая ассоциативная схема с 52 = = (/?о, ..., Rn), и пусть 0еЛ1с:{0, ..., п). Рассмотрим граф G=(X, £) с множеством ребер E=\3i^mRi- Очевидно, что понятия Л1-клики в ассоциативной схеме и независимого множества в графе G совпадают.

Теорема 3. Величина O'(G) равна значению границы линейного программирования для М-клик в схеме (X, 52).

Доказательство. Согласно определению, значение границы линейного программирования равно (ср. (12))

max {SLo^ko» ..., ап^0; aQ— 1; ак = 0 для к ^М;

^«ou^Qk^O для и = 0, .п\

Пусть максимум достигается на ао, ..., ап. Положим .п

W-S"E^D‘’

где m, о* и Dk определены, как в разделе 1. Тогда матрица В удовлетворяет условиям, упомянутым в (23); матрица В положительно полуопределенная, поскольку в силу перестановочности матриц Do, ..., Dn она имеет собственные значения

пп

<29>Е^р«“-Етк«

fe=0Rfe=0 tt

при и = 0, ..., п. Так как Dk*I = *Ukem, то отсюда следует, что В*1 =i Ьц = iLk. ак. Поэтому значение границы линейного программирования не превышает О'(G). Чтобы доказать обратное

утверждение, предположим, что минимум в (12) достигается на &о, ..., bп> и положим X = ^u Ьи- Определим матрицу

пп - п

А = Х1- У hLQ"k.Dk-V-J = XI-y(Y^Quk-\YDk. к, u=0к=0 \и=0/

Так как матрица XI — А имеет собственные значения п , п^п

оч Х(1т:®-4'PZ”E

к=0 \и=0/и=0

(и = 0, ..., п), то наибольшее собственное значение матрицы А не превышает к Кроме того, согласно (4) и (12), ац ^ 1, если {/,/}^Е. Поэтому минимум в (12) не меньше, чем минимум, содержащийся в формулировке теоремы 3, или, другими словами, значение границы линейного программирования не меньше 0'(G).■

Если (X, й)—это схема Джонсона с п классами (см. Дель- сарт [2]) и М = {0, ..., п— 1}, то G = К^и, п). Так как Ловас показал, что

e(K(v, n))=(„_J.

то из границы линейного программирования Дельсарта также следует теорема Эрдеша — Ко — Радо.

Применяя рассуждения, подобные тем, что были использованы в доказательстве теоремы 3, можно доказать следующий результат относительно симметрических ассоциативных схем (X, й) и графов G, связанных таким образом, как это указано перед теоремой 3.

Теорема 4. 0(G) = max {^=о^|б2о= 1; ^ = 0 для кф.М\ Hk=oakQk>O для и = 0, ..., п^ = min {£и-о Ьи 160, ..., 6п>0; 6о= 1; Уи-оЬиРк = О для Ье=М \{0)}.

Таким образом, для графов, полученных из симметрических ассоциативных схем, это дает более простой способ вычисления величины 0. В качестве обобщения результата Дельсарта (13) получается следующая

Теоремд 5. Пусть множество ребер Е графа G=(V,E) является объединением некоторых классов симметрической ассоциативной схемы. Тогда 0(G)-0(G) = |X(.

Доказательство. Ловас доказал, что для всех графов G справедливо неравенство 0(G)0(G)^]X|. Предположим теперь, что

множество Е есть объединение некоторых классов ассоциативной схемы, как это описано перед теоремой 3. Тогда, согласно теореме 4, 0(G) = 2&а* Для некоторых а0аП) где а* = 0

для к е М и X* akQk ^ О Для и = 0> • • • > п- Положим

п

2 ак ^к

(32)(32)А — fe=0

(32)

(32)

0 (G)

Тогда 6о, ..., 6„^о и 60 = 1- кроме того, для кфМ (ср. (5)) имеем

п11а • ш

(33) X № = 0 ^ • ^ aiPiQk = g^ • ^ at • m • &ы=& (G) =0.

u=0и, II

тым в ш того,(34)Так как,тым в ш того,(34)Так как,Следовательно, 6o, • • • > bn удовлетворяют условиям, упомяну- следней строке теоремы 4 с заменой G на б. Кроме

тым в ш того,

(34)

Так как,

тым в ш того,

(34)

Так как,

Tj Ьц = еТёТ ‘ X ак^к = eW X ак' X ®к и=0к, ик и

V . _ л _ 1^1“0(G) * 2jak* Ш* °к00(G) •

к

согласно теореме 4, Т^и bu^^(G)» то мы показали,

что 0(G)-0(G)<|X|.

Поскольку существует много сильно регулярных графов, которые не являются вершинно-транзитивными (ср. Зайдель [8]), то теорема 5 не следует из (17). М. Р. Бест нашел следующий пример графа G, для которого 0х(G) < 0(G). Вершинами графа G являются векторы в {0, I}6, и два вектора считаются смежными, если и только если расстояние Хэмминга между ними не больше 3 (таким образом множество ребер является объединением некоторым классов схемы Хэмминга). Тогда 0х((/^ = 4, в то время как 0(G) = 16/3.

После завершения этого исследования мы узнали, что частично похожие результаты были получены независимо МакЭлисом, Родемичем и Рамсеем [7] (ср. [6]). Их функции ai(G) и 0l(G) равны 0'(G) и 0(G) соответственно.

ЛИТЕРАТУРА

Best М. R., Brouwer А. Е., MacWilliams, Odlyzko А. М., Sloane N. J. А. Bounds for binary codes of length less than 25, IEEE Trans. Inform. Theory, vol. IT-24, pp. 81—93, Jan. 1978. [Имеется перевод? Бест M. Р., Брауэр А. Е., Мак-Вильямс Ф. Дж., Одлижко А. М., Слоэн Н. Дж. А. Границы

для двоичных кодов длины меньше 25. — В кн.: Кибернетический сбор-> ник, вып. 17. — Мл Мир, 1980.]

Delsarte Р. An algebraic approach to the association schemes in coding theory. Philips Res. Reps. Suppl. 10, 1973. [Имеется перевод: Дельсарт Ф. Алгебраический подход к схемам отношений теории кодирования. — Мл Мир, 1976.]

Haemers W. On some problems of Lovasz concerning the Shannon capacity of a graph, IEEE Trans. Inform. Theory, vol. IT-25, no. 2, pp. 231—232, March 1979.

Lovasz L. On the Shannon capacity of a graph, IEEE Trans. Inform. Theory, vol. IT-25, no. 1, pp. 1—7, Jan. 1979. [Имеется перевод: Ловас Л. О шенноновской емкости графа. — См. наст, сб.]

MacWilliams F. J., Sloane N. J. A. The theory of error-correcting codes. Amsterdam: North-Holland and New York: Elsevier North Holland, 1977. [Имеется перевод: Мак-Вильямс Ф., Слоэн Н. Теория кодов, исправляющих ошибки. — Мл Связь, 1979.]

McEliece R. J. The bounds of Delsarte and Lovasz, and their applications to coding theory, presented at the International Centre for Mechanical Sciences, Udine, Italy, Summer, 1978.

McEliece R. J., Rodemich E. R., Rumsey H. C., Jr. The Lovasz bound and some generalizations, J. Combinatorics, Inform. Syst. Sci., vol. 3,1978,

pp. 134—152. (Имеется перевод: Мак-Элис P. Д., Родемич Е. Р., Рамсей Г. С. Граница Ловаса и некоторые обобщения. — См. настоящий сборник.)

J. J. Seidel, Graphs and two-graphs, in Proc. 5th Southeastern Conf. Comb., Graph Theory and Computing. Winnipeg: Utilitas, 1974, pp. 125—143.

Shannon С. E. The zero-error capacity of a noisy channel, IRE Trans. Inform. Theory, vol. IT-3, pp. 3—15, 1956. (Имеется перевод: Шеннон К. Пропускная способность канала с шумом при нулевой ошибке. — В кн.: Шеннон К. Работы по теории информации и кибернетике. — Мл ИЛ, 1963, с. 464—487.)

Граница Ловасаи некоторые обобщения)

Р. Мак-Элис, Е. Родемич, Г. Рамсей

Недавно Ловас [5] предложил удивительно простое решение чрезвычайно трудной комбинаторной задачи («нахождение емкости пятиугольника»), поставленной Шенноном [8] в 1956 г. В этой работе мы покажем, что идеи Ловаса в сочетании с некоторыми нашими идеями приводят к очень мощному и общему методу решения комбинаторных задач упаковки, который мы изложим на языке теории графов В частности, граница линейного программирования Дельсарта [3] для клик в ассоциативных схемах окажется специальным случаем границы Ловаса.

ВВЕДЕНИЕ

Пусть V ={vi, • ••> Un^ — конечное множество из N элементов, а Е — совокупность двухэлементных подмножеств V. Множество G, состоящее из элементов {vj из V и элементов Е, называется графом) на V. Элементы V называются вершинами, а элементы Е— ребрами графа G. На рис. I изображен граф, представляющий для нас особый интерес:

G = {{0}, {1}, {2}, {3}, {4}, {0, 1}, {1, 2}, {2, 3}, {3, 4}, {4, 0}}.

Вершины здесь представлены точками на плоскости, а ребра — линиями, соединяющими соответствующие пары вершин. (Для дальнейших ссылок обозначим этот граф через С5. Это и есть «пятиугольник», упомянутый выше.)

Подмножество Y = \у\, ..., ум)^ V называется независимым множеством, если никакая пара ^yi, у^, i^ j не является ребром графа G. Мощность наибольшего независимого множества в G обозначается a(G):

a(G) = max{ |У |: Y — независимое множество в G). (1.1) Например, а(С5) = 2, и множество У ={0,2}, обведенное кружками на рис. 1, является максимальным независимым множеством.

Для любого целого п ^ 2 определим п-ю прямую степень G, обозначаемую через Gn, следующим образом. Множество вершин Gn— это декартова степень Vn, т. е. множество всех Nn ^-последовательностей v = (иь ..., уп) элементов из V. Множество ребер Gn состоит из всех пар {v, v'} из Vn, таких, что

у1 Рис- Г Граф Сб;а(С5) = 2. (Это также

Лграф Q5 из примера 3 разд. 4.)

з*®*

{ц., x)^^G для всех L Заметим, что если А — матрица смежности графа G, т. е. следующая N X ^-матрица, столбцы и строки которой занумерованы элементами множества I/,

Л (о, t/) =Л (о, t/) =I, если {и, u^eG или и = и',

Л (о, t/) =

Л (о, t/) =

О в противном случае,

то матрицей смежности графа Gn является п-я прямая (кронекерова) степень матрицы А.

Емкость графа G, обозначаемая через 6(G), определяется следующим образом:

e(G) = supa(G")1/".(1.2)

п

Это понятие 9 было введено Шенноном [8] в связи с проблемой нахождения пропускной способности дискретного канала без памяти при нулевой вероятности ошибки. Шеннон разработал методы, которые позволили ему вычислить емкость многих, но не всех графов.

Например, он показал, что если существует отображение ф множества V в независимое множество графа G, такое, что из {и, у'}0 G следует {^(v), Ф^^ф G, то a(G”) = a(G”) для всех п и, следовательно, 6(G)=a(G).

Он также получил с помощью линейного программирования следующую верхнюю границу для 6(G). Пусть Р— распределение вероятностей на V, т. е. Р^^О, У VP^Y ^ е У}= 1. На подмножества X ^ У распределение Р доопределяется по аддитивности: Р (X) = У {Р(х): х ХУ Подмножество X называется кликой в G, если {х, x^^G для всех х, х'^Х. Шеннон доказал, что 6(G)^ V1, где.

X = minmax{P(X): X — клика},(1.3)

р

!) На самом деле Шеннон определял емкость как логарифм введенной нами величины 6(d).

и минимизация в (1.3) берется по всем возможным вероятностным распределениям.

Эти два результата позволили Шеннону вычислить емкости всех графов с пятью или меньшим числом вершин, за исключением графа С5, изображенного на рис. 1. Для Сб его результаты 9 давали только _

7б<е(С5)<5/2. (1.4)

21 год спустя Ловас установил, что 6(C5)^V5; это в сочетании с нижней границей (1.4) показывает, что 6(C5) = V$* Кратко опишем метод Ловаса нахождения верхней границы для 6(G).

Ловас определяет ортонормированнов представление G как реализацию G, в которой множество вершин V является множеством единичных (т. е. длины 1) векторов в евклидовом векторном пространстве, обладающих следующим свойством: если и-х/ =# 0, то {v, yz}^ G.

Если G имеет такое ортонормированное представление и 6 — произвольный единичный вектор, то граница Ловаса имеет вид

e(GX(min(v • б)2)-1. (1.5)

UE V

Ловас применил (1.5) к графу Сб, рассмотрев «зонтик» с пятью ребрами {vi, ..., ^5} единичной длины. Если зонтик открыт так, что угол между несмежными ребрами равен 90°, то (vi, ... ..., ^5) — ортонормированное представление G в трехмерном евклидовом пространстве. Если ручка зонтика b— также единичный вектор, то легко показать, что 6-£/ = 5~1/4 для всех i и, следовательно, согласно (1.5), 6(С5)^ V^-

Ловас также указал много других следствий из (1.5), которые мы сейчас не приводим. Однако заметим, что некоторые примеры разд. 4, приведенные ниже, фигурируют также в работе Ловаса и были получены им ранее. (Мы дадим ссылки на теоремы работы Ловаса в соответствующих местах разд. 4).

Настоящая статья возникла из попыток перенести результаты Ловаса на более общий случай. Думаем, что нам это удалось, но в нашем решении ортонормированные представления полностью исчезли. Тем не менее все границы, которые мы получили (по крайней мере границы для 6(G)), могут быть получены из ортонормированного представления, поэтому мы и называем их границами Ловаса. (В приложении А содержатся доказательства эквивалентности нашего метода и метода Ловаса.)

!) Нижняя граница в (1.4) является следствием того факта (также установленного Шенноном), что а(С^ = 5.

В разд. 2 мы приведем наш вывод границ Ловаса. Как будет видно, вычисление этих границ для фиксированного графа G требует решения определенной задачи нелинейного программирования.

В разд. 3 мы покажем, что для достаточно симметричного графа G (точный смысл этого выражения дан в разд. 3) эта задача нелинейного программирования превращается в задачу линейного программирования.

В разд. 4 мы применяем наши более общие результаты к некоторым примерам. Сначала мы приводим очень простую границу для 0(G), которая применима к любым регулярным графам. Затем вычисляем границу Ловаса для двух бесконечных семейств графов: циклических графов CN и квадратично-вычет- ных графов Qp, которые являются двумя различными обобщениями графа С5. Нам не удалось вычислить емкости графов Cn для нечетных N, N ^7, но для любого простого р, р = 1 mod 4, мы покажем, что 6(QP)= V/7- Далее рассматриваются три специальных графа: граф Петерсена, графы икосаэдра и додекаэдра. Мы также рассматриваем очень интересный регулярный граф на 7 вершинах.

В разд. 4 в качестве последнего примера будет показано, что принадлежащая Дельсарту [3] граница «линейного программирования» для клик в ассоциативных схемах есть частный случай наших результатов.

2. ВЕРХНЯЯ ГРАНИЦА ЛОВАСА

В этом и следующем разделах G будет обозначать фиксированный граф. Мы постоянно будем иметь дело с векторами и матрицами, компоненты которых помечены множеством вершин V графа G. Если х— такой вектор и и е V, то у-я компонента х будет обозначаться через л: (у); если Д— такая матрица, то ее (у, у')-я компонента будет обозначаться через А (и, и').

Будем также рассматривать квадратичные формы, ассоциированные с такими векторами и матрицами. Если х есть вектор-столбец и Д — симметрическая матрица, то квадратичная форма хтАх определяется как

хтАх = 2 х(у)х(у') А (у, V\ ' (2.1) (и, у') е V2

Мы также будем рассматривать хтАх как функцию от компонент вектора х.

Следующая теорема без сомнения выглядит совсем тривиальной, и все же это наш главный результат. Остальная часть статьи будет посвящена главным образом изучению его следствий.

Теорема, 1. Пусть А— симметрическая действительная матрица, такая, что

Л(и, и')=Г, если е = хЛ

Л (и, и') ^ 0, если {v, t/} ^ G.

Тогда если и=О1) обозначает вектор из одних единиц, то

inf ^хтАх\ х • и= 1} ^«(G)”1*(2.2)

Доказательство. Пусть У^У—максимальное независимое множество в G, т. е. | У | = a(G). Определим вектор у как у^ = = a(G)-1, если оеУ, и у^ = 0 в противном случае. Тогда ясно, что у-и = 1, а в силу (2.1) утАу ^ a(G)-1. Это и доказывает (2.2).■

Обозначим через Х(Л) значение левой части (2.2):

Л (Л) = inf \хтАхх х-и=\^(2.3)

Теорема 1 дает верхнюю границу для a(G), а именно а(С)^Х(Л)-1 при условии, что Х(Л)>0. Ясно, что, для того чтобы применять эту границу, необходимо иметь больше сведений о функции Х(Л). Для дальнейшего мы перечислим теперь некоторые из наиболее важных ее свойств. Везде предполагаем, что матрица А—действительная и симметрическая (Доказательства этих свойств можно найти в приложении В.)

Прежде всего отметим, что Х(Л) отрицательно, если матрица А не является положительной полуопределенной (сокращенно п. п. о.), т. е. если не выполняется хтАх 0 для всех х:

Х(Л)^0, если и только если Л —п. п. о. матрица. (2.4)

Предполагая, что А — п. п. о. матрица, обозначим через £ь ..., ^n полное ортонормальное множество собственных векторов А, т. е. ^-^/ = 6// и А^, = Х^. Так как А — п. п. о. матрица, то все собственные значения Х7- неотрицательны. Пусть и = цх^х -|~ ... + un^n — разложение и в этом базисе.

Тогда

Х(Л) = 0, если и^О, Л/ = 0 для некоторого /,(2.5)

Х^А^ — ^и^Х^ 1 в противном случае, (2.6)

где суммирование в (2.6) ведется только по индексам j, таким, что X, > 0. (Можно считать, что (2.6) включает (2.5) как особый случай, если мы расширим суммирование на все j и условимся, что оо-1 = 0, ц2/0 равно 0, если и = 0, или равно оо, если и ^ 0.)

Если и сам является собственным вектором А с собственным значением о, то Х(Д) вычисляется намного проще:

А(Д) = ог/М, если Аи = ои и А — п. п. о. матрица. (2.7)

Существует полезная двойственная формулировка определения (2.3) для п. п. о. матриц:

А(Д) = тах(Л: Д —V —п. п. о. матрица}, (2.8) где J обозначает матрицу из одних единиц.

Наш последний вспомогательный результат состоит в том, что функция Х(Д) мультипликативна на п. п. о. матрицах:

X (Д X 5)==Л(Д)Л(В), если А и В — п. п. о. матрицы}, (2.9) где А X В обозначает прямое произведение матриц Д и В.

Согласно (2.4), теорема 1 дает нетривиальную информацию о a(G), если только А— п. п. о. матрица. Это приводит нас к определению следующих двух множеств матриц.

Определение 1. Множество Q(G) определяется как множество всех матриц Д =(Д (у, у')), занумерованных вершинами графа G и удовлетворяющих условиям:

А является п. п. о. матрицей,(2.10)

Д(у, у) = 1 для всех у g У,(2.11)

Д(у, у')^0, если (у, у'} ^ G.(2.12)

Определение 2. Аналогично, Qo(G) определяется как множество матриц, удовлетворяющих (2.10) и (2.11), а условие (2.12) заменяется более сильным

Д(у, у') = 0, если {у, у'} ^ G.(2.12х)

Значение класса Q(G) очевидно из теоремы 1 и (2.4).

Теорема, 2.

а(С)^Л(Д)-1 для всех A^Q(G).

Важность класса Qo(G) определяется следующей теоремой, которая по существу эквивалентна границе Ловаса (1.5). (Доказательство этой эквивалентности см. в приложении А.)■

Теорема. 3. 9(G) ^ Х(Д)-1 для всех А е Q0(G).

Доказательство. Ключом к доказательству является тот факт, что если Дей0(С), то п-я прямая степень ДИ = А X А X ... ... ХА (^сомножителей) принадлежит Q0(Gn).

Чтобы показать это, заметим вначале, что матрица ДИ, будучи прямым произведением п. п. о матриц, является п. п. о.

матрицей. Далее, если v = (и,v„)и v' = (Up ..., v'„) —

вершины графа G", то по определению прямого произведения

п

дм(у, ¥') = П^(РГ «;).(2.13)

Отсюда непосредственно следует, что Д^Цу, у)=1 для всех vg Gn, так как каждый из сомножителей в правой части (2.13) равен 1. Если {v, v'} ^ Gn, то существует по крайней мере один индекс /, такой, что ^vp и'} G. Поскольку Дей0(С), из (2.12') следует, что А^ир и') = 0 и, значит, Д^(у, v') = 0. Следовательно, ДИ удовлетворяет (2.10), (2.11) и (2.12') и, таким образом, принадлежит Qo(G”).

Так как Qo(G”)e Q(G”), то можно применить теорему 2 к матрице Д^ и сделать вывод, что a (G”) ^ Л (Д[п]) . Но в силу (2.9) Х(ДИ) = Х(Д)”. Следовательно, a(G”) ^ Х(Д)~л для всех п, и, таким образом, из определения (1.2) величины 6(G), получаем, что 6(G)Х(Д)-1.■

Исходя из теорем 2 и 3, введем теперь границы Ловаса ai(G) и 6l(G):

<4(G) = min^M)'1: A eQ(<(2.14)

9L(G)= тЩЦЛГ1: 4eQ0(G)}.(2.15)

В теоремах 2 и 3 мы показали, что a(G)^a/.(G), 6(G) ^ ^6l(G). К сожалению, мы не знаем ни одного эффективного алгоритма вычисления ai(G) и 6l(G) для произвольного графа. Однако мы сейчас покажем, что можно использовать симметрии графа G для некоторого упрощения вычислений. В разд. 3 мы расширим идеи и покажем, что если граф G весьма симметричен, то границы oll^G) и 6l(G) могут быть вычислены с помощью линейного программирования.

Симметрия графа G— это подстановка на множестве вершин V, сохраняющая множество ребер £ инвариантным. Таким образом, подстановка л на множестве V является симметрией графа G, если и только если {л(и), л(у')}е£ Для {у, у'} е £. Заметим, что симметрия графа G является также симметрией дополнительного графа G\ имеющего множество вершин V и множество ребер Е\ состоящее из пар, не принадлежащих Е.

Пусть Р— группа симметрий G, а Еь ..., Es — орбиты Е под действием Р. Аналогично, пусть £{, ..., Et—орбиты Е'. Два ребра, лежащие в одной и той же орбите, назовем эквивалентными,•

Предположим теперь, что Ле1Ж) или Q0(G). Тогда легко видеть, что матрица А, определенная следующим образом:

Л (и, И = 777 X Л(я(у)> л(у'))>(2.16)

л е Р

также лежит в том же множестве. Кроме того, матрица А обладает тем свойством, что Д^, vi) = А (и2, у2), если {ир и^ и {и2, ^2} ™ эквивалентные ребра. Покажем дополнительно, что Х(Д)^Х(Д). Обозначив через л(Д) матрицу с элементами А (л (у), л (у')), для любого значения X имеем

Л-V—^- £ («(Л)-^/)^-^ 2 л(Л-и).леРл е Р

Если положить Х = Х(Д), то в силу (2.8) матрица А — М является п.п. о. матрицей и, следовательно, таковой является каждая из матриц л(Д — М). Таким образом, А — М— п. п. о. матрица и из (2.8) следует, что Х(А)^ Х(Д).

Обозначим через Bj, / = 1, 2, ..., s, матрицы смежности орбит Ej

5/(и, v') =5/(и, v') =если {и, и'} е Е^

5/(и, v') =

5/(и, v') =

О в противном случае.

Аналогично определим матрицы Bk, & = 1, 2, ..., t, как матрицы смежности орбит Е\ Тогда, согласно предыдущим рассуждениям, матрица А может быть представлена в виде линейной комбинации этих матриц и единичной N X N матрицы /:

+(2.17)

Мы показали таким образом, что для произвольной матрицы Лей(О) (соответственно £2o(G)) можно построить матрицу А вида (2.17), лежащую в том же классе и такую, что Х(Л)^ ^Х(Л). Это означает, что при вычислении границ aL(G) и Ol(G) можно без ограничения общности рассматривать только матрицы вида (2.17). Более формально определим

Q(G) = (п. п. о. матрицы вида (2.17) с ик ^0, к = 1, 2, ..., /}, Q0(G) = {n. п. о. матрицы вида (2.17) с и& = 0, к=\, 2, ...,/}. Тогда имеем более простое для вычислений определение границ Ловаша_

a^(G) = т1п{Л(Л)-1: Ле Q(G)},

9l (G) = min {Л (Л) ': Лей0(С)}.

ГРАНИЦА ЛИНЕЙНОГО ПРОГРАММИРОВАНИЯ ДЛЯ оДО) и 0(G)

В этом разделе будет показано, что для достаточно симметричного графа G вычисление границ аЦО) и 0l(O) может быть значительно упрощено.

Требуемая степень симметричности будет заключаться в том, чтобы матрицы смежности {S/} {S^} в (2.17) были перестановочны друг с другом. То, что это фактически является утверждением о группе симметрий графа G, можно увидеть следующим образом.

Пусть Р— группа симметрий G. Каждому л е Р сопоставим соответствующую матрицу подстановки л*:

( 1, если л (и) = о', л* (у, ог^ = \ л

( 0 в противном случае.

Естественно, орбиты {ЕД, {ЕД левоинвариантны по отношению к симметриям леР; в терминах соответствующих матриц смежности это может быть выражено следующим образом:

л*В, = В,л* для всех / = 1, 2, ..., s; л е Р,

,(3 1)

л*В^ = В^л* для всех k = 1, 2, ..., t; л е Р. х *

Пусть Р* обозначает группу всех матриц подстановок, соответствующую подстановкам группы Р, и пусть Z^P*^—центра- лизаторное кольцо группы Р*, т. е. множество всех матриц, которые перестановочны со всеми л* е Р*. В соответствии с (3.1) матрицы {В/), {ЕД принадлежат Z(В*).

Если известно, что кольцо Z(B*) коммутативно, то из этого немедленно следует, что матрицы В/, В^ перестановочны друг с другом. К счастью, этот случай часто осуществляется. Действительно, можно показать ([10], гл. 5), что для транзитивной группы Р кольцо Z(B*) коммутативно тогда и только тогда, когда комплексное представление группы Р, порожденное группой матриц Р*, разлагается в сумму неэквивалентных неприводимых представлений. В частности, если Р содержит транзитивную абелеву подгруппу или если для любой пары (у, у') различных вершин в группе Р существует элемент, переставляющий их, то это условие выполняется.

Исходя из предыдущих рассуждений, представим теперь наши результаты в следующем обобщенном виде.

Пусть V—конечное множество, содержащее N элементов, и пусть {Ei, Е2, • •> ЕД— разбиение совокупности Е всех двухэлементных подмножеств V. Для каждого / = 1, 2, ..., п обозначим через А, матрицу смежности Ер.

( 1, если {у, уД s

А До» у')^ л

'( 0 в противном случае.

Пусть Ло обозначает единичную NX N матрицу. Предположим, что матрицы {Д/: / = 0, 1, ..., п} перестановочны друг с другом. В итоге наши предположения состоят в том, что Д/ суть матрицы из 0 и 1, удовлетворяющие следующим условиям:

Ао = 1,^А, = /.(3.2)

Все матрицы Aj симметрические.(3.3)

AjA^ = A^Aj для всех /, & = 0, 1, ..., п. (3.4) Для фиксированного подмножества С множества {1, 2, ... ..., п} через Gg будем обозначать граф с множеством вершин V и множеством ребер

Ес = U Е,.(3.5)

/еС

Наша цель состоит в том, чтобы дать верхнюю границу «линейного программирования» для a(Gc) и 0(GC) (теоремы 4 и 5 ниже). Однако, чтобы сформулировать эти результаты, необходимо некоторое предварительное обсуждение.

Заметим, что в силу (3.2) и (3.4) любая матрица Д/ перестановочна с матрицей J из одних единиц и, следовательно, все п + 2 матрицы I, До, Дь ..., Ап попарно перестановочны. Поскольку эти матрицы, кроме того, симметрические, следовательно, они одновременно диагонализуемы, так как по известной теореме линейной алгебры (см. [4], гл. 6, теорема 4) для этих п + 2 матриц существует множество {^}^и1 линейно независимых общих собственных векторов.

В частности, ^т являются собственными векторами для J:

Ш = 1, 2, . N,(3.6)

где {X™}—множество собственных значений J. Но собственными значениями J являются только значения {0, Af}, и простое вычисление показывает, что если J^ = N^ то вектор g должен быть кратен вектору и из одних единиц. Таким образом, можно считать, что gi = и.

Теперь для всех /, пг определим собственные значения X/, m следующим образом:

Ailm=4mlm, j = 0, 1. п; m=\, 2, ..., п. (3.7)

Мы подошли к нашим границам «линейного программирования» для a(G) и 0(G).

Теорема 4. Пусть щ, Ц2, ..., Рп — действительные числа, такие, что

Р/^0, если j^C(3.8)

UТогдаUТогдапI + ^ V-j^h m^ ОпI + ^ V-j^h m^ Оm=I, 2, ..., N.m=I, 2, ..., N.(3.9)(3.9)// па(Ос)<^Д1 +ЕнЛ,1// па(Ос)<^Д1 +ЕнЛ,1

U

Тогда

U

Тогда

п

I + ^ V-j^h m^ О

п

I + ^ V-j^h m^ О

m=I, 2, ..., N.

m=I, 2, ..., N.

(3.9)

(3.9)

// п

а(Ос)<^Д1 +ЕнЛ,1

// п

а(Ос)<^Д1 +ЕнЛ,1

Теорема. 5. Пусть piр„ удовлетворяют (3.9) и

ТогдаТогдаР/ = 0 для j^C.(3.8')Р/ = 0 для j^C.(3.8')e(Gc)<We(Gc)<Wп1 + ^ НАмп1 + ^ НАм

Тогда

Тогда

Р/ = 0 для j^C.(3.8')

Р/ = 0 для j^C.(3.8')

e(Gc)<W

e(Gc)<W

п

1 + ^ НАм

п

1 + ^ НАм

Доказательство. Для данных констант {<л/} определим матрицу

Л = / + ^ Н/Л/.

Ясно, что векторы {£т} являются собственными для Л, так как

пГ П\

Л^т = Sm “Ь 2 Н/ЛД^ = ( 1 "Ь У НА/» m ) ^пг*/-1X/=1/

Более того, предположение (3.9) гарантирует, что собственные значения {1 + У нА/, ^) матрицы Л неотрицательны, и, следовательно, Л— п. п. о. матрица. Условия (3.8) и (3.8') теперь означают, что матрица Л принадлежит Q(GC) или Q0(Gc). Таким образом, из теорем 2 и 3 получаем, что a(Gc) < Х(Л)-1, 0(Gc)^ МЛ)"1.

1 + Z нА/.ь а, согласно (2.7), МЛ) = (1 + У H/MiV^» от‘куда и следуют теоремы 4 и 5.■1 + Z нА/.ь а, согласно (2.7), МЛ) = (1 + У H/MiV^» от‘куда и следуют теоремы 4 и 5.■Для вычисления МЛ) заметим, что ^\ = и является собственным вектором Л с соответствующим собственным значением п

1 + Z нА/.ь а, согласно (2.7), МЛ) = (1 + У H/MiV^» от‘куда и следуют теоремы 4 и 5.■

1 + Z нА/.ь а, согласно (2.7), МЛ) = (1 + У H/MiV^» от‘куда и следуют теоремы 4 и 5.■

Для того чтобы получить наилучшие возможные границы среди границ, приведённых в теоремах 4 и 5, нам по существу п

требуется максимизировать линейную функцию У р-А/, i ПРИ линейных ограничениях (3.8) или (3.8') и £3.91. Это задача линейного программирования (если известны собственные векторы и собственные значения матриц Л/), и, следовательно, нам удалось показать, что границы Ловаса o-l^G^ и 0l(G) могут быть вычислены с помощью линейного программирования при условии, что матрицы смежности Bj, Bk орбит Е^ Ей перестановочны.

НЕКОТОРЫЕ ПРИМЕНЕНИЯ

В этом разделе мы опишем некоторые из многих возможных применений предыдущих результатов. В частности, мы получим первоначальный результат Ловаса о емкости графа С5 и границу «линейного программирования» Дельсарта для клик в ассоциативных схемах..

Пример 1. Регулярные графы. Говорят, что G— регулярный граф, если число ребер, содержащих данную вершину у, есть константа г, не зависящая от у. Число г называется валентностью графа G.

Следствием регулярности графа G является то, что матрица смежности В, соответствующая множеству ребер Е, перестановочна с J; JB = BL Очевидно, что матрица В, перестановочна также с единичной матрицей / и, следовательно, матрицей Bf = J — / — В, которая является матрицей смежности ребер дополнительного графа. Таким образом, можно применить теорему 5. Опуская очевидные подробности, получаем

где Xmin — наименьшее собственное значение В (которое с необходимостью отрицательно, если Е не пусто).

Более того, если к тому же группа симметрий графа G переставляет ребра транзитивно, то из наших результатов следует, что Ol(G) равна правой части (4.1), т. е. (4.1) является наилучшей возможной границей такого типа. (Граница (4.1) эквивалентна теореме 9 Ловаса.)

Пример 2. Графы CN. Обозначим через CN циклический граф на N вершинах, т. е. V = {0, 1, ..., Af — 1}, Е = { {Z, Z + 1}: Z = О, 1, ..., N — 1}, где индексы берутся по модулю N. Все эти графы регулярны, а циклическая группа порядка N переставляет ребра транзитивно, таким образом, мы можем вычислить Ol(C^) по формуле (4.1).

Для нахождения собственных значений матрицы инцидентности В заметим, что векторы х(£) = (1, £, ..., ^“9, гДе £ — произвольный комплексный корень N-й степени из единицы, образуют независимое множество собственных векторов для В. Действительно,

Отсюда собственные значения В равны {(£ + £-1)} = = {2cos(2n£/Af): k = 0, 1 L^V/2J}.Очевидно, что наимень

шее собственное значение равно —2, если N четное, и 2 cos (л — n/N) = —2 cos (л/А^), если N нечетное и N ^ 3. Таким

образом, ввиду (4.1) имеем

N — нечетное, N ^N — нечетное, N ^(4.2)(4.2)г Л7/2, N — четное, 0(<Ж//,-1

N — нечетное, N ^

N — нечетное, N ^

(4.2)

(4.2)

1^/(1 + cos (л/N) ,

Для четных N или N = 3 эта граница является точной, но эти результаты совсем элементарные и были известны уже Шеннону.

Однако для нечетных N ^ 5 эти границы нетривиальны (они содержатся в работе [5], следствие 5). Например, при N = 5 имеем 0(С5)< V^ • Для нечетных W ^ 7 верхние и нижние границы для O^Cn) не совпадают. Ниже приводится таблица верхних границ (4.2) и наилучших известных нижних границ [1] для нечетных N, 7 < N < 19:

73/5 = 3.21410 < 0 (С7) <3.31767

811/3 = 4.32675 < О (С9) < 4.36009

1481/3 = 5.28957 < 0 (Сп) < 5.38630

2471/3 = 6.27431 <0(С13) < 6.40417

3801/3 = 7.24316 <0 (С15) < 7.41715

45131'4 = 8.37214 < 0 (С17) < 8.42701

7666^ = 9.35712 < 0 (С19) < 9.43477

Пример 3. Квадратично-вычетные графы. Пусть р— простое число, такое, что р == l(mod4). Граф Qp имеет множество вершин V={0, 1, ..., р — 1} и множество ребер Е{{у, t/}: *о — *0* является квадратичным вычетом по модулю р}. (Заметим, что Qs изоморфен графу «пятиугольника» С^ Граф Qp регулярен с валентностью (р —1)/2. Матрица смежности задается следующим образом:

fl, если у — о' является квадратичным вычетом, р ’ ( 0 в противном случае.

Легко проверяется, что р-векторы %(§) = (!, g, ..., g^-1), где g — произвольный комплексный корень р-й степени из 1, являются собственными векторами для Вр и что собственное значение вектора х^) равно ^{ga: а — квадратичный вычет}. Хорошо известно (например, ср. [9] гл. 3 § 11), что эти суммы принимают только три различных значения (р — 1)/2, (— 1 ± Vp)/2- Отсюда наименьшим собственным значением матрицы Вр является (—1—д/р)/2, и из (4.1) следует, что 0(QpXVp- О другой стороны, если b — фиксированный квадратичный невычет по модулю р, то р упорядоченных пар

(v, би), we V, образуют независимое множество в Qp и, следовательно, a (Qp) ^ р._Эти два неравенства устанавливают тот факт, что e(Qp) = VР лля всех Р, PBl(mod4). Ввиду этого результата ясно, что графы Qp представляют собой более подходящее обобщение пятиугольника, чем графы CN. (Эти графы не фигурируют в работе Ловаса, но в теореме 12 он показы-

Рис. 2. Граф Петерсена.Рис. 2. Граф Петерсена.

Рис. 2. Граф Петерсена.

Рис. 2. Граф Петерсена.

вает, что если граф G самодополнительный и группа симметрии графа G транзитивна на вершинах, ToO(G) = Vn^T- Этот пример, таким образом, есть частный случай теоремы 12 Ловаса.)

Пример 4. Разные реберно-транзитивные графы. Здесь мы применим границу (4.1) к трем очень интересным графам. В каждом случае существует только один класс эквивалентности

Рис. 3. Граф икосаэдра.Рис. 3. Граф икосаэдра.Рис. 4. Граф додекаэдра.Рис. 4. Граф додекаэдра.

Рис. 3. Граф икосаэдра.

Рис. 3. Граф икосаэдра.

Рис. 4. Граф додекаэдра.

Рис. 4. Граф додекаэдра.

ребер, так что полученные границы равны 6l(G). В каждом случае 0l(G) строго меньше, чем любая граница, которую можно получить методами Шеннона.

Граф Петерсена. Это регулярный граф с N = 10, г = 3 (рис. 2).

Минимальное собственное значение здесь оказывается равным —2, и в силу (4.1) имеет место 0(G) ^4. С другой сто-

роны, a(G) = 4 (см. четыре обведенные кружками вершины на рис. 2) и следовательно, 0(G) = 4. (Этот результат является частным случаем теоремы 13 Ловаса.)

Граф икосаэдра. Этот граф имеет N = 12, г = 5; его вершины и ребра образованы из вершин и ребер правильного икосаэдра (рис. 3).

Здесь минимальное собственное значение равно — Уб. Поэтому из (4.1) следует, что 0(О)^3(У5 — 1) = 3,7802. С другой стороны a(G) = 3, так что имеет место) 3 ^ 0(G) ^ 3,7082.

Граф додекаэдра. Это граф правильного додекаэдра с N = = 20, г = 3 (рис. 4).

Здесь так_же Л,тщ = —Уб. Поэтому из (4.1) следует, что 0(G)< 15 УГ- 25 = 8,5410. С другой стороны, как показано на рисунке, a(G) = 8. Таким образом, 8 ^ 0(G) ^ 8,5410.

Пример 5. Специальный граф на 7 вершинах. Рассмотрим граф, изображенный на рис. 5.

Это регулярный граф с N = 7, г = 4. Минимальное собствен-

Аби2ЛЛ Л A

ное значение равно 4 cos — cos —= —2,2470, и, следователь-

Рис.Рис.5. Регулярный граф на семи вершинах.5. Регулярный граф на семи вершинах.но, в силу (4.1) 0(G) ^2,5178. Однако, под действием симметрий графа, его ребра разбиваются на два класса эквивалентности: ребра вида {t, i + 1} и ребра вида {t, i + 2} (сложение по модулю 7). В этом случае граница из (4.1) строго больше, чем граница Ловаса 0l(G), и для вычисления 0l(G) необходимо непосредственно воспользоваться теоремой 5.

Рис.

Рис.

5. Регулярный граф на семи вершинах.

5. Регулярный граф на семи вершинах.

Пусть До — единичная 7X7 матрица, Д1 — матрица смежности для ребер типа {t, f+1}, Д2— для ребер типа V» i + 2} и Д3 —для

ребер типа V> t + 3} (которые не являются ребрами G).

Легко проверить, что матрицы {До, Д1, Д2, Дз} удовлетворяют условиям (3.2) —(3.4). Для С = {1,2} граф Gc является графом

на рис. 5. Семь векторов вида х(£) = (1, £, .£6), где £— комплексный корень седьмой степени из 1, образуют множество общих собственных векторов матриц А;

А^х (£) = х (£),

Ах^^ + Г1)*^),А,х^ = ^НГ2)х^A^W^H^x^-

Таким образом, согласно теореме 5, если pi и р2 удовлетворяют условию 1 + W (£ + £-1) + №(£2 + £-2) ^0 для всех корней седьмой степени из 1, то 0(G) ^ 7/(1 + 2pi + 2р2). Для получения наилучшей такой границы необходимо максимизировать функцию pi + р2 при условии, что указанные выше неравенства выполнены. Это легко делается вручную1), и наибольшее возможное значение достигается при ри = 0,8020, р2 = 0,3569. В результате получаем границу 0(6)^ 2,1098. (Этот граф является дополнительным к циклическому графу С?, мы запишем это как 6 = С?.) Теорема 8 Ловаса утверждает, что если G — произвольный граф с группой симметрий, транзитивно действующей на вершинах, то Ql(G)-Ql(G') = N. Таким образом, из примера 2 следует, что 0l(C^)= 1 + (cos-у) при нечетных N. Мы включили этот альтернативный вывод только для того, чтобы дать нетривиальный пример нашего подхода с позиций линейного программирования.

Пример 6. Границы «линейного программирования» Дельсарта. В [3] Дельсарт получил границы «линейного программирования» для клик в ассоциативных схемах. Здесь мы дадим набросок доказательства того, что эти границы являются частным случаем нашей теоремы 4. (Недавно Схрейвер [7] получил аналогичные результаты.)

Пусть V—конечное множество и /?={/?0, Ri, Rn}—семейство из п + I подмножеств его декартова квадрата V2. Множество Rj является отношением на V и может быть описано своей матрицей смежности

4у (у, и') =4у (у, и') =I, если (и, v')^Rh 0 в противном случае.

4у (у, и') =

4у (у, и') =

Пара (V,/?) называется (симметричной) ассоциативной схемой, если выполнены следующие условия:

Al: R является разбиением V2 и /?0— диагональ, т. е.

Яо= {(v, v): V е V}.

А2: Отношения {R^ симметричны, т. е. из (и, v'^eRj следует (o', v)^ Rj.

АЗ: Существуют числа p^j — р'^р такие, что для всех i, / = = 0, 1п '’’.

Если М— подмножество множества {0, 1, ..., п}, причем 0g Д то непустое подмножество Y ^ V называется М-кликой относительно R, если

/?уП^2 = ^ для всех j^M.

Дельсарт [3] получил верхнюю границу для числа точек в М-клике, которая является решением определенной задачи линейного программирования. Но мы в равной мере можем применить теорему 4 к той же проблеме, поскольку для матрицы {А/} ассоциативной схемы условия (3.2) — (3.4), конечно, выполняются (заметим, что так как р^\ = р^\, то условие (А.З) значительно сильнее, чем (3.4)). Если мы положим С = {/: j ^ М^, то определенная выше М-клика является независимым множеством в Gc, и поэтому верхняя граница теоремы 4 является верхней границей мощности любой М-клики. На самом деле можно показать, что эта граница совпадает с границей Дельсарта. Следовательно, теорема 4 является более общей, чем граница Дельсарта, так как она применима ко многим объектам, не являющимся ассоциативными схемами.

Приложение А. Эквивалентность теоремы 3 и границы Ло- васа

Для данного ортонормированного представления графа G определим матрицу А следующим образом:

А (и, и') = и • и'.

Ясно, что A<=Q0(G). Если b— вектор длины 1 и X = min{(u-6)2: v е V}, то А — V является п. п. о. матрицей !). Это так, потому

9 Матрица 4 — XJ в случае произвольного ортонормированного представления, вообще говоря, не является п. п. о. матрицей. Например, для двумерного представления графа СДсч = (1, 0), и2 = (—1, 0); v3 = (0, 1), и4 = (0, —1)} и вектора Ь = (Д,д/2, l/V^) величина X равна 72, но матрица А — 1/2/ не является п. п. о. матрицей, так как ^ (яуу/ — 1/2) х (и) х (у') = = —8 < 0 для х = (1, 1, 1, 1). Однако матрица А — XJ будет п. п. о. матрицей, если ограничиться «равноугольными» представлениями, т. е. представ-

что А — V = 5 + С, где матрицы В и С определены следующим образом:

В (у, у') = (у — (у • 6) 6) • (у' — (у7 • 6) 6),

С (у, и') = (у • Ь) (и' • 6) — X.

Матрица В является п. п. о. матрицей, так как она является матрицей скалярных произведений некоторого множества векторов. Матрица С также п. п. о. матрица, так как для любого множества действительных чисел {х(у): у е V}

хтСх = (£ х (у) (у • 6)у — X (^ х ( у))2 > О,

поскольку (у • 6) ^ V^ Для всех у- Таким образом, матрица А — V, будучи суммой двух п. п. о. матриц, также является п. п. о. матрицей.

Так как AeQo(G) и А — XJ— п. п. о. матрицы, то из (2.8) следует, что Х(А)^Х и, следовательно, по теореме 3 0(G)^ ^ X-1 =(min{(v-6)2: у eV})-1. Таким образом, из теоремы 3 вытекает граница Ловаса (1.5).

Обратно, для Лей0(О) положим Х = Х(А). Тогда матрица А — XJ является п. п. о. матрицей, и по известной теореме ([2], гл. 9) существует матрица В, такая, что ВТВ = A — XL Обозначив через {w(y): уеВ) вектор-столбцы матрицы В, имеем

, хлС 1 — А, если у = у7,

w (у) • w(y ) = А (у, у ) — X = <,. м

I — X, если (у, у } ^ G.

Пусть теперь t — вектор, ортогональный ко всем векторам w(y)\ причем |t|2 = X (если необходимо, увеличиваем размерность основного пространства). Положим

х(у) = w(y) +1.

Длина векторов х(у) равна 1, так как

х (у) • х (у') = А (у, у7).

лениями, для которых (Ь, и^ = л/Х при всех и С другой стороны, для произвольного ортонормированного представления (оь ..., On) и единичного вектора b существует «равноугольное» представление с тем же X (достаточно увеличить размерность представления, добавив ортонормированные векторы /1, .,., fn, и рассмотреть новое представление

“ (6. »z) + V (», »а2 V"

Поэтому граница Ловаса (1.5) действительно следует из границы теоремы 3. — Прим, перев.

Граф ортогональности, определяемый векторами х, является, таким образом, подграфом (то же множество вершин, но подмножество ребер) Н' графа G.

Более того, определив вектор b как Ь = ^|у , имеем х(у)Х Xb=|t|=V^ Для всех y^V. Следовательно, по границе Ловаса (1.5) 0(tf')^ V^^A)-1. Но ясно, что 0(G) ^0(Я'), и поэтому из результатов Ловаса следует теорема 3.

Приложение В. Доказательство утверждений (2.4) — (2.9)

Напомним, что А является действительной симметрической N X А^-матрицей и что

(ВЛ)(ВЛ)X (А) = inf \хгАх\ х • и = 1},

(ВЛ)

(ВЛ)

где ц=(1, 1, ..., 1)—вектор из одних единиц. По теореме о главных осях ([2], гл. 9 и 10) существует множество {£i, ... ..., ^} из N ортонормированных собственных векторов матрицы А:

если 1 — 1,

= 0, если i#=j;

А^ = Х^Ь /=1, 2, N.(В.З)

Таким образом, для x = xi£i+ ••• + XnIu и У = У\Ъ + ••• • • • + Ун^н имеет место N-

x-y=Lxjyj,(В.4)

N

хт Ау = £ ^х^.(В.5)

Если одно из собственных значений X/ отрицательно, то можно следующим образом построить вектор х, удовлетворяющий условиям х-и = \ и хтАх < 0. Пусть и = у^ + ... + vn^n— фиксированный вектор, такой, что v-u = L Для любого действительного р определим вектор

(В.6)(В.6)Р^ + у

(В.6)

(В.6)

Х — рМ/ + 1 ’

где и = и\£>\ + ... + Un^n — разложение вектора и. Ясно, что х-и = 1, а из (В.5) вычисляем

х лх (^ +1)2х лх (^ +1)2Nх^ + гр^+^М/-1

х лх (^ +1)2

х лх (^ +1)2

Очевидно, что это выражение будет отрицательно, если 0 достаточно велико, так как выражение в скобках доминируется членом — | ^/1Р2- Утверждение (2.4) доказано.-

Таким образом, мы предполагаем, что матрица Л является п. п. о. матрицей, т. е. все собственные значения {X/} неотрицательны. Если для некоторого / имеем X/ = 0, но ц/ ^ 0, то, положив х = и^р получим х-и — 1, хтАх ~ 0. Этим утверждение (2.5) доказано.

С другой стороны, если Uj = 0 всякий раз, когда X/ = 0, то, воспользовавшись неравенством Шварца, получим

(Е х^У < (Z Vb (Z Ч^У(В.7)

где суммирование ведется только по индексам, для которых X/> 0. Так как, согласно (В.4) и ^.5) ^ х^^ х • ии^^1^== = хтАх, то из (В.7) сразу же следует, что если x-u = V то хтАх ^ (X V^/) =^. С другой стороны, выбирая xi = и^ГХХ для всех /, получаем х-и = 1 и хтАх = X. Это доказывает (2.6).

Если и является собственным вектором матрицы А с собственным значением or, то в разложении и = U\ti + • • • +un^n коэффициент Uj должен равняться нулю, за исключением Х/=а. Следовательно, Л (Л) = (or-1 ^ ^) =ог/А^, так как ^и^=и-и= = N. Это доказывает (2.7).

Чтобы доказать (2.8), заметим, что

хт^А — М)х = хт Ах — К^х • ц)2 =2XjX2j — X(^xjUjY. (В.8)

Сравнивая это с (В.7), видим, что это выражение будет неотрицательно для всех х тогда и только тогда, когда х<(Е^7*Ы/), т. е. X ^ Х(Д). Это доказывает (2.8).

Наконец, обратимся к (2.9). Предположим, что £ь ..., Хм—1 главные оси матрицы А с соответствующими собственными значениями {X/} и что т)ь ..., т]м — главные оси матрицы В с собственными значениями {рД. Предположим далее, что и^ = = Ц^+ ... +u^Nt и^ = и\в\ + ... + и^т\м есть разложение векторов из одних единиц по этим двум базисам.

Из известных результатов (см. [6], гл. VII) следует, что MN векторов £/ X Лб являются главными осями матрицы Л X S с соответствующими собственными значениями %/^. Более того, очевидно, что разложение МА^-мерного вектора из одних единиц по базису {£/ X л4 имеет вид

Таким образом, согласно (2.6),

МД X в)= (2 (^)-1 [«^Г)" * = ЦЛ) % (5), что доказывает (2.9).

ЛИТЕРАТУРА

Baumert L. D. et al. A combinatorial packing problem, pp. 97—108, in Computers in Algebra and Number Theory, SIAM-AMS Proceedings, Vol. IV, American Mathematical Society, Providence, 1971.

Birkhoff G., MacLane S. A. Survey of Modern Algebra, MacMillan, New York, 1960.

Delsarte P. An algebraic approach to the association schemes of coding theory, Philips Research Reports Supplement, No. 10, 1973. [Имеется перевод: Дельсарт Ф. Алгебраический подход к схемам отношений теории кодирования.— М.: Мир, 1976.]

Hoffman К., Kunze R. Linear Algebra, Prentice-Hall, Inc., Englewood Cliffs, 1961.

Lovasz L. On the Shannon capacity of a graph, IEEE Trans. Inform. Theory, T-25, No. 1, 1979, 1—7. [Имеется перевод: Ловас Л. О шенноновской емкости графа. — См. наст, сб.]

MacDuffee С. The Theory of Matrices, Chelsea, New York, 1956.

Schrijver A. A comparison of the bounds of Delsarte and Lovasz, IEEE Trans. Inform. Theory, IT-25, No. 4, 1979, 425—429. [Имеется перевод: Схрейвер А. Сравнение границ Дельсарта и Ловаса. — См. наст, сб.]

Shannon С. The zero error capacity of a noisy channel, IRE Trans. Inform. Theory, IT-2, 8—19, 1956. [Имеется перевод: Шеннон К. Пропускная способность канала с шумом при нулевой вероятности ошибки. — В кн.: Работы по теории информации и кибернетике. — М.: ИЛ, 1963, стр. 464— 487.]'

Weyl Н. Algebraic Theory of Numbers (Annals of Math, Studies No. 1), Princeton University Press, Princeton, 1940. [Имеется перевод: Вейль Г* Алгебраическая теория чисел. — М.: ИЛ, 1947.]

Wielandt Н. Finite Permutation Groups, Academic Press, New York, 1964.

Последовательности комплексных чиселс низкой периодической корреляционнойфункцией1)

В. Оллтоп

В работе указаны три семейства последовательностей комплексных чисел, имеющих почти минимально возможную величину корреляции, причем эти последовательности нс содержат нулевых элементов. Для некоторых пар последовательностей периода N = (р — 1)/2, р — простое число, все непиковые корреляционные коэффициенты имеют величину, близкую к (2М)”1/2.

ВВЕДЕНИЕ

Периодические последовательности используются при построении систем сигналов для радаров с широким спектром и для систем связи. Главной целью при построении таких последовательностей является минимизация величины боковых лепестков автокорреляционной и взаимно-корреляционной функций. В настоящей работе рассматривается только случай периодических корреляционных функций.

Велч [1] показал, что для семейства М различных комплекснозначных последовательностей, каждая из которых имеет период N и единичную норму на периоде, величина

(®^гГ О)

является нижней границей максимального непикового значения корреляционной функции. Это означает, что хотя бы один из MN— М автокорреляционных боковых лепестков или один из (М2— M)N взаимно-корреляционных коэффициентов имеет величину, не меньшую, чем 5(M, W). Таким образом, величина (2W)-1/2 служит нижней границей для пары последовательностей, тогда как в случае, когда число последовательностей М растет вместе с N, нижняя граница равна примерно N~x/2.

Используя характеры группы единиц кольца ZN вычетов по модулю N, Шольц и Велч [2] построили семейство последовательностей периода N, которые обладают желательными корре-

9 Alltop W. О. Complex Sequences with Low Periodic Correlations, IEEE Trans. Inform. Theory, vol. 26; No. 3; pp. 350—354, May 1980.

© 1980 IEEE. Reprinted, with permission, from IEEE Transactions on Information Theory, vol. IT-26, No. 3, pp. 350—354, May 1980

© Перевод на русский язык, «Мир», 1983

ляционными свойствами. Каждая из этих последовательностей содержит ф(А/) ненулевых элементов на периоде, где ф(А^) — число единиц в ZN; ф(А0 чаще называют ф-функцией Эйлера [3]. При простом N эти последовательности имеют автокорреляционные боковые лепестки, равные по модулю 1/(V—-1) и взаимно-корреляционные коэффициенты, равные либо 0, либо Nx/2/(N — 1). При составном N автокорреляционные боковые лепестки могут достигать ф(б/)-1 для некоторого делителя d числа N. (Следует заметить, что последовательности в [2] имеют норму ф(А0, а не 1, вследствие чего величины корреляции приобретают другой вид.) Голд [4] построил семейства двоичных последовательностей периода N = 2m — X, которые имеют максимальную величину корреляции, близкую к 2N-X/2 и 2X/2N-X/2 при m = 2 (mod 4) и нечетном m соответственно.

В разд. III и IV приведены три типа семейств последовательностей, которые почти достигают границы (1). Все элементы этих последовательностей равны по модулю N-1^, тогда как непиковые значения корреляционной функции по модулю не превышают N-x/2. Семейства, приведенные в разд. III, содержат р — 1 или р последовательностей, где р — наименьший простой делитель числа N. Семейства, приведенные в разд. IV, содержат М последовательностей, где MN + 1 — простое число. Пары (М, V), порождающие эти семейства, связаны с одним частным типом циклических разностных множеств в аддитивной группе Zp — кольца вычетов по модулю р, р = MN + 1. Непиковые корреляционные коэффициенты этих последовательностей равны по модулю примерно сМ-^2, где с = ((М —- 1)/М)1/2, М = 2, 4, 8. Чакрабарти и Томлинсон [5] использовали простые числа р вида MN + 1 для построения последовательностей комплексных чисел периода р, а не N. Некоторые сдвиги этих последовательностей дают последовательности с малой апериодической корреляцией. Гауссовы суммы типа той, которая вычислена в лемме 1, рассматриваются в [6].

ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ

Пусть ЗЕ означает семейство {/zx: 1 ^ X ^ М} последователь* ностей комплексных чисел периода N. ^-й элемент h^ есть h^W, а один период hx есть (Ах(0), ..., h^(N — 1)). ZN обозначает кольцо вычетов по модулю V, так что Zp изоморфно конечному полю GF(p), когда р— простое число. Корреляционный коэффициент с номером т между Ах и Ац определяется следующим образом:

Д N-1

Н^ = Е^ + т)/^)*,

где hp.^* — число, комплексно сопряженное с hp,^). Аргументы к + т и к в hx и Ац должны быть приведены по модулю N к одному из чисел 0, 1, ..., N — 1. Если рассматривать бесконечные в обе стороны последовательности с периодом N, то приведение по модулю N необязательно. Предполагается, что все последовательности имеют единичную норму на периоде, т. е.

ИМ2= £ IAxWP=l.

&=о

Отсюда вытекает, что все корреляционные пики Н^О) равны единице. Мерой величины корреляции, представляющей наибольший интерес, является

шах^) = шах {| НКр, (т) |: Л#=ц или т#=0}.

Таким образом, max(J$f) есть максимум модуля всех M2N— М непиковых корреляционных коэффициентов. Граница Велча (1) показывает, что

Каждое hx будет представлять собой последовательность корней из единицы, умноженных на ISH^2, т. е.

где юп = ехр(2л//и), a f — функция из ZmXZn в Zn. Для последовательностей разд. Ill n — N, тогда как в разд. IV предполагается п = MN + 1 = р.

Например, положим M = N = n"^2 и пусть f(X, &) = Х&. Период кх есть

м-МЧ»0

и сопряжен с Х-й строкой матрицы NX N дискретного преобразования Фурье. В этом случае

{

О, если Х#=ц,

если Х = ц.

Все взаимно-корреляционные коэффициенты равны нулю, тогда как автокорреляционные коэффициенты равны по модулю единице и, следовательно, max (<%’) = 1.

ПОСЛЕДОВАТЕЛЬНОСТИ С КВАДРАТИЧНОЙИ КУБИЧЕСКОЙ ФАЗОЙ

Для нечетного целого числа N (N > 2) Х-я последовательность с квадратичной фазой определяется как

axW” N <йц ,

а Х-я последовательность с кубической фазой как

Последовательности с квадратичной фазой аналогичны последовательностям Чу [7].

Пример 1. Для N = 5

а\ 5 ^2 (1, ®5, ®5, ®5, (Об),

#2 = 5-1/12 (1, (О2, СО5, (Об, (Об),

аз = 5"1/12(1, <о^ (о^> со?, со^

#4 = 5 1/12 (1, <Об, (Об, (Об, (Об),

a5==5-V2(1> b ь 1? 1)?

61 = 5"1/2 (1,005, 1, 1, coi),

62 = 5-1/2 (1, (о3, (Об, (о3, (О2),

6з = 5 -1/2 (1, а>5, (05, (о5, (о5),

64 = 5-1/2(1, 1, со5, 005, 1),

65 = 5 ^2 (1, 0Э5, (о3, (05, (05).

max(^5) = max(^5) = 5-1/2, где

^5 = {аь а2, а3, а^,{^Ь ^2, 63, 64, 65}.

Последовательность а3 не используется из-за своей постоянной автокорреляции; в действительности период а3 равен единице, а не пяти. Все боковые лепестки Ди(т), т=#0, семейства <5^5 равны нулю, а все взаимно-корреляционные коэффициенты ^хц(т), X #= р, этого семейства равны по модулю 5~1/2. Обозначив через 5хц(т) корреляцию между Ьх и 6Ц, получаем

" 1, если X = р, т = О,|B^(T)| = J 0, если Х=#р, т = 0,г -1/2

к 5 в противном случае.

Семейство ^5 обобщается на все нечетные целые числа, тогда как ^5 обобщается на все простые р ^ 5, в результате чего получаются семейства последовательностей, которые достигают границы N-1^ для величины корреляции. Для нечетного N ^ 3

определим ^N следующим образом:

А*

^ = {«1«р-11,

где р есть наименьший простой делитель N.‘

Теорема, 1. Для нечетного А ^ 3 s&n есть семейство, состоящее из р — 1 последовательностей с квадратичной фазой, причем тах^^ = N~x/2, где р —наименьший простой делитель N. Точнее, корреляционные коэффициенты АХц(т), О^т^М —1, I ^ X, р ^ р— 1, удовлетворяют следующему соотношению;

1АД*)1=1АД*)1=10N^'210N^'2при Х = ц, при Х = ц,при Х = ц, при Х = ц,т = 0, т^О,т = 0, т^О,в остальныхв остальныхслучаях.случаях.

1АД*)1=

1АД*)1=

1

0

N^'2

1

0

N^'2

при Х = ц, при Х = ц,

при Х = ц, при Х = ц,

т = 0, т^О,

т = 0, т^О,

в остальных

в остальных

случаях.

случаях.

Для нечетного простого р положим

А

$Р=\ЬХ, Ь2, ..., bPY

Теорема 2. Для каждого простого числа р ^5 ^р есть семейство из р последовательностей с кубической фазой, причем max^p) = р-х/2. Точнее, корреляционные коэффициенты ВХц(т), 0 ^ т ^ р — I, 1 ^ X, р ^ р, удовлетворяют следующему соотношению;

' I при Л = р, т = 0,

, р~Х12 в остальных случаях., р~Х12 в остальных случаях.1#Ш (*)! = < 0 при Х^р-, т = о,

, р~Х12 в остальных случаях.

, р~Х12 в остальных случаях.

Теоремы I и 2 доказываются с помощью преобразования и вычисления некоторых тригонометрических сумм. Используя определение АХ|1(т), ах и а^, получаем

N—1

Ад W = ^ ^ (^ + т) а^ (k)* =к=0

N-X

= 4т У to^^to^ =

N / у N N

&=0

N-\

АналогичноАналогично^^.^ ^to^-vx,) k42X%kek^Q

Аналогично

Аналогично

N-X

V) = ^V Ю£+Хт 2®3/Ч(Х^+№)Й.к-0

Отсюда вытекает, что

I ^хц 00 I= ■у I Qn (^ Н» 2Лт) |,(2)

где

1 SXtl(T;) | =-^| Q^ (Зт;, X — ^ + Зт2) |,(3)

Д N-X

Qn (Л, <т) = Ео toWk.(4)

Следовательно, модули корреляционных коэффициентов могут быть определены с помощью величин | Qw (т], о) |.

Лемма 1. Предположим, что N — нечетное число и 6 = = (т], N)—наибольший общий делитель ц и N. Тогда

I Qn (л, ») Р = |I Qn (л, ») Р = |Nb, о,Nb, о,если д делит or, если 6 не делит or.если д делит or, если 6 не делит or.(5)(5)

I Qn (л, ») Р = |

I Qn (л, ») Р = |

Nb, о,

Nb, о,

если д делит or, если 6 не делит or.

если д делит or, если 6 не делит or.

(5)

(5)

Доказательство. По определению

I Qn (л, <т) Р = Qn (Л, с) (Qn (Л, о)У =

= I X <й^кЧок ) I У to-TV’-*" I = У toW-r^+o (6-г) U-0 N Ar-0 N )^ г N•

где пара (к, г) пробегает множество Zm X Zn- Тогда пара (к, s), где s = к — г, также пробегает все множество ZN X ZN. Используя эту замену в знаке суммирования, получаем

| Qn (Л. ») |2 = Е о^" 'к+гН^ =

’N—XN- 1

= У (0s (П (26—»)+<т) = У Qj-ijs’+crs у

М Ns—О N ^о N ‘

Так как toN — примитивный корень N-й степени из единицы, то ^ . .( N, если 2r)s = 0 (mod NY

) 0)2^= J ’1 v”

^ I 0 в противном случае.

Следовательно,

Р„(Л,< = МЕ<»;А+а$,

где суммирование распространено на те значения s, для которых 2t]S = 0 (mod N) и 0 ^ s ^ N — 1. Используем теперь тот факт, что N—нечетное число. Так как (2, Л^)=1, то сравнение 2t]S = 0(modN) эквивалентно сравнению r]S = 0(modN). Таким образом, , '

(у-пзЧоз — toas) если 2t)s = 0 (mod №).

Отсюда следует, что

I Qn (л. ^ I2 = N Е ®ЛП

где суммирование проводится по тем значениям s, для которых т]$ = 0(mod^), 0 ^ s ^ N — 1. Множество тех s в ZN, для которых r]s = 0(mod^), есть {0, т, 2т, ..., (6 —1)т}> где б = — (л,N), т = N/b. Следовательно,

iQwCn, <т)| = ^ [1+®^ + ®^+ ... +^-«”>] =

{

М5, если от а 0 (mod N), О, если orm^O (mod N\

Поскольку от = 0 (mod N) тогда и только тогда, когда б делит о, то лемма доказана. *

Доказательство теорем 1 и 2. Для ах и а^ из <5^^ X и р, являются взаимно простыми с N. Более того, X — р также взаимно просто с N, за исключением случая X = р. Следовательно, значения |АХ|х(т)|, указанные в теореме I, получаются в результате применения соотношения (5) к равенству (2).

При т ф 0 число Зт взаимно просто с р, р ^ 5. Следовательно, |ВХ|х(т) |2 = ^!, если только т=#0. Из (3) и (5) следует, что Вхц(0) = 0, если X =# р, что и доказывает теорему 2.

Возможность увеличения семейства ^N или использования последовательностей с кубической фазой при составных N заслуживает дальнейшего обсуждения. Как и ранее, обозначим через р наименьший простой делитель N. Если (X, N)—d, то |Ахх(т)|=1, где m = N/d. Следовательно, X должно быть взаимно просто с N для каждой последовательности ах из .s^n- Если s^n содержит р различных последовательностей ах, причем каждое X взаимно просто с ^ то в нем должны быть две последовательности ах и ау., для которых Х = p(modp). В этом случае \AXv,(d) \ = (d/Ny/2, где d=(X —р, N)^p. Следовательно, для того чтобы max ^n^ не превосходили АН/2, семейство s^n должно содержать не более р — I последовательностей ах, для которых все X и X — р взаимно просты с N. Конечно, такие семейства из р — 1 последовательностей существуют, причем отличные от {б?1, а^ ..., ap_\Y Например, max(«s^) = 35-1/2, когда ^ = {04, 08, 012, 01б}, N = 35.

Для любой последовательности Ьх с кубической фазой имеет место \Вхх(р) | = (.p/NY^ когда N делится на р и не делится на 3. Таким образом, автокорреляция превосходит N-x/2 для всех Ьх. Аналогично ведут себя последовательности характеров [2].

ПОСЛЕДОВАТЕЛЬНОСТИ СТЕПЕННЫХ ВЫЧЕТОВ

Пусть 7 обозначает примитивный корень в конечном поле Zp, где p = MN-\-\. Положим Р = 7м, так что р и у есть примитивные корни из единицы в Zp степени N и р — I соответственно. N различных степеней P(modp) образуют подгруппу в Zp — мультипликативной группе ненулевых элементов поля Zp. Обозначив эту подгруппу через ^n, получаем разбиение Zp на М смежных классов:

z;=^uy^Uy2^u ... Uym"^

с представителями 1, 7, 72, ..., 7м-1.

Определим Х-ю последовательность (Л4, N) степенных вычетов следующим образом:

Пример 2. Для р = 19, М = 3, N = 6, 7—2 получаются три различные последовательности (3.6) степенных вычетов:

л —1/2/8718 11 12\

Уй — 6(й)19, (019, to19, С) 19, ®19, ^19/,

У\ = 6 1/2 (й)19, СоЦ, ®19> ®19, СО 19, (019),

У2 = 6-1/2 (<А>19, СОЦ, (019, ®19, ^9, <019).

Для ^3,6 ={уо, У\, У^ имеет место шах (^3,в) = 0,418. В действительности все 51 значение непиковых коэффициентов корреляции Ухц(т) заключено среди

s

Sx = 6-1/2Z ух^, 0<%<2, &=0

So = — 0,204, s,= 0,418, s2 = — 0,381.

В общем случае пусть <^M>N = {t/o, t/i, ..., Ум-i^ и

(т) = Д Ух№ + т) уи (k)*

для 0 ^ X, ц ^ М — 1 и 0 ^ т ^ N — 1, где р = MN + 1 — простое число.

Лемма 2. Все непиковые коэффициенты корреляции семейства ^м, n степенных вычетов принимают одно из М значений sq. Si, ..., sM-1, еде

A N-X

Sx = N-^yKW.

A—0

Точнее,

{

1, если Х = ц и т = 0, $л в противном случае,

где т] — такой вычет по модулю М, 0 ^ ц ^ Л1 — I, что у--п (уАрт __ уц) = рг зЛЯ некоторого г, т. е. уп и ухРт — 7^ лежат в одном смежном классе группы Zp по подгруппе ^n, порожденной р = Vм.

Доказательство. По определению Ущ(т), Ух и у у, имеем

FXu (т) = £ ух (/? + т) ух (£)* ==

N-lN-1

= — У (qvV+^o-Y11^ —— У юар6N р р N Z_i р

&=0k—о

где а = ух'Рт — у^. Показатель в сумме пробегает весь класс o^n. Если a^O(modp), то ol^n = T^n для единственного т], удовлетворяющего условию 0 ^ ц ^ М — I. Следовательно,

N— \N— \

&=0&=0

если только a e Z*p. Остается рассмотреть только случай a = = 0(mod/?). Здесь 7 Ар* = 7 ц и рт — у^-А. так как у0, yi, ..., 7м-1 суть представители различных смежных классов по ^, то ц = X и рт = 1 (mod pY Таким образом, при a = 0(mod р^ рассматриваемая корреляция совпадает с пиковым значением, что и доказывает лемму.

тах(^м, n) есть наибольшее из следующих М чисел | So |, |si|, ..., | Sm—11. Из определения sx и yx(k) вытекает, что

isxF^-M Z^wll Е^м)

\fe=o/ k,r

= n"2 у ^k^4r=n-2 £ ef ”pr,

k, rk,r

где ex — exp (2nj^/p), а пары (&, у) пробегают все N2 пар в Zn X Zn. Последнее эквивалентно тому, что

I SX I = N~2 Е {ег€: (ц, с) е ^ X ^n\,(6)

т. е. показатель Pft — рг пробегает все № разностей р — £, ц г е^№ ^г^м, когда (А, г) пробегает ZnXZn. В исключитель-

ных случаях, когда все №—N ненулевых разностей равномерно распределены по р — 1 классам вычетов в Zp, все |sx| имеют одинаковую величину и max(^M, n) почти оптимален. Это происходит, когда ^n является разностным множеством в аддитивной группе Zp.

Циклическое разностное множество (V, К, Л) есть подмножество 3 циклической группы Zy, удовлетворяющее следующим условиям: 3 содержит К элементов, каждое ненулевое г из Zv допускает ровно Л представлений 2 = ц — £ парами (ц, £) из 3 X 3).

Пример 3. Множество 3 = {1, 2, 4} есть (7, 3, 1)-циклическое разностное множество в Z7

1=2 — 1, 4=1 -4, 2 = 4-2, 5 = 2-4, 3 = 4-1, 6=1 -2.

Пример 4. Множество 3 = {0, 1,3, 9} есть (13, 4, 1)-циклическое разностное множество в Zi3.

Основы теории циклических разностных множеств можно найти в [8] и [9].

Элементарный подсчет показывает, что необходимым условием существования циклического (V, ^, Л)-разностного множества является выполнение равенства

^_^ = Му -\\ (7)

Дальнейшие необходимые условия на параметры I/, /<, Л могут быть установлены с помощью более глубоких теоретико-числовых и алгебраических методов [8], [9].

Основной интерес представляют здесь циклические (р, N, Л)- разностные множества 3 при простом р = MN + 1 и 3 = ^м, являющемся мультипликативной группой вычетов Д4-й степени BaZp. (7,3,1)-разностное множество {1,3,4} примера 3 есть ^з, тГ е. множество ненулевых квадратичных вычетов в Z7. Для соответствующей пары последовательностей (2,3) степенных вычетов _ __

$о = (- I+/V7)/6, s, = (-l-/V7)/6,max (^2, з) = I so I = I $i | = V2 /3.

Множество {0, 1,3,9} примера 4 есть ^з, к которому добавлено число 0. Для у=2 в Zi3 параметры (4, 3)-последовательностей

степенных вычетов есть

So = $* = 0.217 + 0.174/, $i = $з = о.384 + 0.575/,

| $о | = | $21 = 0.278 = ((5 - УТз )/18)1/2,

max (%, 3) = | $, | = | s31 = 0.691 = ((5 + УТз )/18),/2.

Величины Sx, 0 ^ X ^ 3, не все равны, так как ^3 не является циклическим разностным множеством в Zi3.

Предположим, что ^n есть циклическое (р, N, Л) -разностное множество в Zp, р = MN + 1. N2 показателей в (6) содержат 0 точно N раз и каждый ненулевой элемент в Zp точно Л раз. Таким образом, (6) принимает вид

/ р-х Ч

М=лг2 а + л £ еН = №(А-л),(8)

\к=\/

так как 0Х есть комплексный (примитивный) корень p-и степени из единицы. Подставляя параметры (р, N, Л) вместо (!/,/(, Л) в (7), получаем.

№-N = Mp- 1) = XMN и

N = (N — l^M.(9)

Из (8) и (9) следует, что

1^-«-'+-т + +Г

Тем самым доказана следующая теорема.

Теорема, 3. Предположим, что р = MN + 1 есть простое число и множество ^n ненулевых вычетов М-й степени образует циклическое (p,N, Л)-разностное множество в аддитивной группе Zp. Тогда множество последовательностей ^m^n (,М, Постепенных вычетов состоит из М различных последовательностей ух периода N, для которых

{

1, если Х = ц и т = 0,

^’1/2^l — ^f + л^у") в противном случае.

Известен только один бесконечный класс пар (ЛГ, N), к которому теорема 3 может быть применена. Это класс

■^ = {(2 ,Л^): N — нечетное, 2W + 1 — простое}.

Каждый представитель ^ дает пару ^2, к последовательностей степенных вычетов периода N, для которых

max (%, „) = А"1/2 (1 + ^)1/2 ~ (2А)"1/2.

Первый нетривиальный случай возникает из (7,3,1)-циклического разностного множества примера 3:

Разностные множества, ассоциированные с ^, являются множествами Пэли — Адамара квадратичных вычетов в конечном поле Zp, р = 3 (mod 4).

Другие известные разностные множества степенных вычетов, к которым может быть применена теорема 3, существуют для М = 4 или 8. Если р = 4п2 + 1, п — нечетное, то ^n — циклическое разностное множество в Zp при N = п?. Каждое из таких множеств производит семейство из четырех последовательностей периода N. Подходящими значениями для N, меньшими 10 000, являются З2, 52, 72, 132, 272, ЗЗ2, 372, 452, 472, 552, 632, 652, 672, 732, 752, 852. При М = 8 известны лишь случаи, когда р = 8п2 + 1 = = 64m2 + 9, где п и m— нечетные числа. Первые два таких простых числа есть 73 и 140 411 704 393 (см. [8], стр. 124).

Сравнение (1) и (10) показывает, что тах(^м, ^) близок к минимуму всякий раз, когда ^n — разностное множество, в частности

шах ^м, „)<[!+ ^„J В VI, N).

Отметим, что тах(^м, n) может быть меньше ЛН/2 и в случае, когда ^N не является разностным множеством. Если р е= = l(mod4), то ^n не является разностным множеством при W = (р — 1) /2, но в этом случае

So = (—1 + Vp)/(P — 1), s, = (— 1 — Vp)/(P — 1), max(%, w) = | Si | = (1 + Vp )/(P — 1) < ( p^x^ = N~XP’ если только p ^ 13, p = 1 (mod 4). Другими примерами с ^, не являющимся разностным множеством, и М > 2 являются тах(^4,2?) = 0.1878; тах(^4,6э) = 0.1201; max (^4,8?) = 0.0994; тах(^4,эз)= 0.1016; тах(^4,127)= 0.0814.

V. РЕЗЮМЕ

В работе рассматривались три типа семейств комплексных периодических последовательностей, обладающих желательными корреляционными свойствами: последовательности с квадратичной фазой, с кубической фазой и степенных вычетов. В каждой нормированной последовательности периода N все элементы равны по абсолютной величине ЛН/2.

Последовательности с квадратичной и кубической фазой почти достигают границы Велча (1). Для каждого нечетного N

существует семейство из (р — 1) последовательностей с квадратичной фазой, которые имеют максимальную непиковую корреляцию, равную N~x/2, где р— наименьший делитель N. Более того, все автокорреляционные лепестки каждой последовательности с квадратичной фазой равны нулю. Последовательности с кубической фазой имеют ненулевые автокорреляционные лепестки и достигают границы W-1/2, только когда N простое.

Семейство из М последовательностей степенных вычетов периода N было построено при MN + I = р, где р— простое число. Эти последовательности порождаются мультипликативной группой ^ы ненулевых Л4-х степеней в конечном поле Zp. Когда ^n— циклическое разностное множество в аддитивной группе Zp, получающееся семейство последовательностей степенных вычетов почти достигает границы Велча. Для каждого простого числа p = 3(mod4) группа ^, являющаяся разностным множеством Пэли — Адамара, порождает пару последовательностей периода N с максимальной величиной непиковой корреляции, лишь несколько превосходящей (2А/)~1/2, N = (p — 1)/2. Для больших р = l(mod4) справедлив аналогичный результат.

В этой работе основное внимание было сконцентрировано на изучении достижения границы Велча небольшими (т. е. М ^ W) семействами периодических последовательностей. Обобщение предложенной здесь конструкции приводит к другим интересным семействам последовательностей. Например, к семействам последовательностей степенных вычетов, имеющим величину корреляции, близкую к АН/2, для которых ^n не является циклическим множеством. Последовательности с квадратичной и кубической фазой определяются некоторыми полиномами второй и третьей степени соответственно. Полиномы более высокой степени будут порождать большие семейства последовательностей. Например, р2 полиномов четвертой степени &4 4-Ак2 + ц^, 0 ^ ^ X, ц^р — 1, определяют р2 циклически отличных друг от друга последовательностей периода р. Расчеты на ЭВМ показали, что при p = 2(mod3) эти последовательности имеют величину корреляции, не превосходящую 2р-х/2.

Благодарности

Автор благодарен Брюсу Мак-Клангу за его помощь при проведении тестов на ЭВМ для последовательностей с биквад- ратичной фазой, отмеченных в разд. V.

Добавление

Недавние результаты Сарвэйта [10] появились после подготовки настоящей работы к публикации. Наша теорема 1 по

существу является теоремой 3 работы [10]. Для нечетного N последовательность и^ Франка — Цадова— Чу из [10] отличается от последовательности ах с квадратичной фазой только нормирующим множителем W1/2.

ЛИТЕРАТУРА

Welch L. R. Lower bounds on the maximum cross correlation of signals. IEEE Trans. Inform. Theory, 1974, IT-20, 397—399.

Scholtz R. A., Welch L. R. Group characters: Sequences with good correlation properties. IEEE Trans. Inform. Theory 1978, IT-24, 537—545.

Le Veque W. J. Topics in Number Theory. Addison-Wesley, 1956.

Gold R. Optimal binary sequences for spread spectrum multiplexing. IEEE Trans. Inform. Theory, 1967, IT-13, 619—621.

Chakrabarti N. B., Tomlinson M. Design of sequences with specified autocorrelation and cross correlation. IEEE Trans. Commun., 1976, COM-24, 1246—1252.

Landau E. Elementary Number Theory, New York, 1958.

Chu D. C. Polyphase codes with good periodic correlation properties. IEEE Trans. Inform. Theory, 1972, IT-18, 531—532.

Baumert L. D. Cyclic Difference Sets. Lecture Notes in Mathematics, No. 182. Berlin, Heidelberg, New York, Springer-Verlag, 1971.

Hall M., Jr. Combinatorial Theory. Blaisdell, 1967.

Sarwate D. V. Bounds on crosscorrelation and autocorrelation of sequences. IEEE Trans. Inform. Theory, 1979, IT-25, 720—724.

. В. И. Левенштейн. Границы максимальной мощности кода с ограниченным модулем скалярного произведения, ДАН СССР, 1982, 263, № 6, 1303—1308.

. Sarwate D. V., Pursley М. В. Cross-correlation properties of pseudo-random and related sequences. Proc. IEEE, 1980, v. 68, № 5, p. 593—619.

. Hardy G. H., Littlewood J. E. The trigonometrical series associated with elliptic 6-functions. Acta Math., 1914, v. 37, p. 193—238.

. Potter H. S. A. On diophantine approximation and generalized elliptic theta function. Quart. J. Math. Oxford Ser., 1938, p. 161—175.

. Fiedler H., Jurkat W., Korner O. Asymptotoc expansions of finite theta series. Acta Arithm., 1977, v. 32, p. 129—140.

ДОБАВЛЕНИЕ ПЕРЕВОДЧИКА

Приведем некоторые дополнительные свойства построенных в статье последовательностей с кубической фазой.

Рассмотрим множество Eq векторов x=(xi, ..., хп^ где

/а{ \.

Х/ = —7=-ехр( 2ш — L си = 0, ..., q — 1; /=1, ..., п.

пXq /

множествамножестваОбозначим через М (Eq, р) максимальную мощность

множества

множества

ппW Eq, для которого

п

п

шах

х, yeW; х^у

9 Литература, отмеченная звездочкой, добавлена переводчиком.

В работе [II] было отмечено, что на множестве, состоящем из р последовательности bKW, Х= 1, ..., р, с кубической фазой и их циклических сдвигов, достигается граница

при п = q = р ^ 5.

Отсюда, в частности, следует, что построенное в статье множество из р последовательностей с кубической фазой имеет максимально возможную мощность в классе множеств последовательностей, для которых максимум модуля всех непиковых корреляционных коэффициентов не превышает р-1/2.

Отметим также, что апериодическая функция взаимной корреляции каждой последовательности с кубической фазой имеет порядок О(р~1/2), что на логарифмический множитель лучше, чем для всех известных ранее последовательностей (см., например, [12]). В самом деле для неполной суммы Гаусса известна

оценкаоценкашахK^^p-шахK^^p-NУ ^АкЧВк к=0 рNУ ^АкЧВк к=0 рсрх1\срх1\1 <Л<р- I, 0<В<р- I,1 <Л<р- I, 0<В<р- I,

оценка

оценка

шах

K^^p-

шах

K^^p-

N

У ^АкЧВк к=0 р

N

У ^АкЧВк к=0 р

срх1\

срх1\

1 <Л<р- I, 0<В<р- I,

1 <Л<р- I, 0<В<р- I,

где с некоторая абсолютная постоянная (см. [13] или более доступные работы [14—15]). Отсюда вытекает, что при 1^т^ ^р-1

Р-1-ТР-1-Тр—1—тр—1—тZ ь^ + ^ь;^ =р^ z ^^ к=0к=0 рZ ь^ + ^ь;^ =р^ z ^^ к=0к=0 рСр~1/2.Ср~1/2.

Р-1-Т

Р-1-Т

р—1—т

р—1—т

Z ь^ + ^ь;^ =р^ z ^^ к=0к=0 р

Z ь^ + ^ь;^ =р^ z ^^ к=0к=0 р

Ср~1/2.

Ср~1/2.

О глубине формул1)

Э. Шамир, М. Снир

Institute of Mathematics, Hebrew University of Jerusalem and Computer Science Department, Edinburgh University

Задача минимизации глубины формул с помощью эквивалентных преобразований формализуется здесь в общеалгебраическом плане. Для одной специфической алгебраической системы So разработаны в духе динамического программирования специальные методы получения нижних оценок глубины. Из этих нижних оценок для 50 автоматически вытекают точно такие же нижние оценки для двух систем: (i) класса арифметических выражений, содержащих только сложение и умножение, и (ii) класса выражений над конечными языками, содержащих только операции объединения и конкатенации. Получены следующие нижние оценки глубины: (i) для перманента — 2п—о (л), (ii) для симметрических многочленов— (0,25 + о (1)) log2 n, (iii) для формул специального вида сложности п— 1,16 log п.

ВВЕДЕНИЕ

Нахождение нижних оценок сложности вычисления конкретных функций и предикатов — это одно из наиболее интересных .направлений теории вычисления, в котором многие гипотезы и задачи все еще противостоят продолжающимся попыткам найти решение. Нехватка методов и слабость результатов бросается в глаза, даже когда класс рассматриваемых вычислений ограничен, например в случае монотонных булевых вычислений.

В связи с этим важно разрабатывать методы получения нижних оценок и для других ограниченных классов. Здесь рассматриваются «монотонные» вычисления, использующие только «сложение» и «умножение», в пределах системы аксиом 20. Система So сильнее системы S/?— обычной арифметики над положительными числами с операциями сложения и умножения, а также сильнее (т. е. имеет больше тождеств) системы SL— алгебры над словами с операциями объединения и конкатенации. Поэтому нижние оценки, полученные для функций в системе So, остаются справедливыми для функций того же вида в системах 2/? и SL.

В системе So можно получать экспоненциальные нижние оценки для числа операций, как это было сделано авторами в

*) Shamir Е. and Snir М. On the depth complexity of formulas. Mathematical Systems Theory, 13, No. 4, 301—322, 1980.

S

1980 by Springer-Verlag

Перевод на русский язык, «Мир», 1983

[9, 17] (см. также [4] для случая SL). В настоящей статье мы интересуемся глубиной (т. е. временной задержкой при параллельных вычислениях), которая лучше поддается точной оценке с помощью более тонких методов. При монотонных вычислениях (т. е. в системе So) окончательная формула накладывает сильные ограничения на промежуточные вычисления (на возможные подформулы). Устанавливая подходящие ограничения и рассматривая процесс построения формулы как процесс выбора операндов и операций (+ или *), мы можем свести поиск оптимальной по глубине формулы к одной из задач динамического программирования, решение которой дает оптимальную глубину, а иногда и оптимальные формулы.

Приводится несколько применений метода. В системе So даются весьма точные нижние оценки глубины для перманента, симметрических функций и некоторых других специальных функций, которые естественным образом возникают в арифметических и комбинаторных вычислениях.

Хотя монотонные вычисления и имеют некоторые преимущества, например такое, как абсолютная устойчивость численного решения [5, 6], они обычно непрактичны для функций, которые можно значительно эффективнее вычислить, используя вычитание (или отрицание в булевом случае). Тем не менее вычисления в пределах ограниченной монотонной системы, такой, как So, оказываются весьма практичными при перестроении (или упрощении) выражений обгцего вида, которое проводится с целью минимизации глубины (или другой характеристики формулы). В действительности, по-видимому, нереально внедрение систем, которые вводят дополнительные члены с целью их поглощения, так как это расширяет область, в которой ведется поиск оптимальной формулы, до необъятных размеров.

Доказывать любые нижние оценки, в том числе NP— трудность проблемы упрощения, обычно труднее в системах, содержащих больше тождеств. В нашей ограниченной системе So нам удалось доказать [11], что проблема упрощения (в отношении числа умножений или сложности неветвящегося алгоритма или глубины) является WP-трудной. '

В разд. 9 мы применяем нашу технику к другой проблеме упрощения выражений в системе So, а именно мы получаем нижнюю оценку для перехода от оптимальной сложности формулы к оптимальной глубине. Имеется несколько статей, посвященных соответствующим верхним оценкам [1, 7], а некоторые нижние оценки в булевых системах с сильными ограничениями можно найти в [2, 3]. Нижние оценки для соотношения между сложностью и глубиной, затрагивающие члены низших порядков, в монотонных и немонотонных булевых системах были

недавно получены в [21, 22] (см. последний абзац в разд. 9).

Мы хотели бы поблагодарить рецензентов за их ценные замечания, поправки и рекомендации.

КОНГРУЭНТНОСТЬ ФОРМУЛ

Цель разд. 2 и разд. 3 дать четкое и строгое определение формул, отношения конгруэнтности и семантики формул (которая, как обычно, дается посредством интерпретаций). Однако читатель может положиться на свои собственные формальные или даже интуитивные представления об этих понятиях и перейти прямо к разд. 4.■

Пусть Q ={0, 1}*— множество конечных слов из 0 и 1. Обозначим через Л пустое слово, а через rs конкатенацию слов г и s. Множество Q является частично упорядоченным с отношением порядка <(, которое определяется следующим образом: r^s тогда и только тогда, когда существует такое слово /, что ri = s. Если не выполняется ни соотношение г < s, ни соотношение s <( г, то слова г и s называются независимыми. Множество Тгй называется двоичным деревом (для краткости деревом), если пеТ^геГ и гО^Т тогда и только тогда, когда ri е Т. Назовем элементы множества Т вершинами. Вершина г^Т называется концевой, если гО^Т, и внутренней, если гО^Т. Длиной дерева Т (обозначение /(Г)) называется число его концевых вершин. Известно, что | 7^| = 2/(7") — 1. Глубиной дерева Т (обозначение d(Т)) называется максимум длин слов из Т.

Пусть С — некоторое множество констант, X — бесконечное множество переменных, + (сложение) и * (умножение) — символы двух двуместных операций. Формулой (над <С, X, +, *>) называется функция F; Q -> С U X U{+, *}, У которой областью определения (обозначение Dom(jF)) является дерево, такая, что Fr^{+,*}, если г — внутренняя вершина, и ^г ^ С U ^, если г—концевая вершина. Глубина и длина формулы это соответственно глубина и длина ее области определения. Пусть F\ и F^ — формулы, 0е{+,*}. Тогда

х л А (6, если г = Л,(Fx9F2) = X, где V = <..

( FiS, если г = is.

Кроме того, когда это не вызывает путаницы, мы будем обозначать через а, где a^CVjX, формулу X, которая равна а, если г=Л. Подформула формулы F, соответствующая слову г, определяется равенством F/r = K, где Xs = F(rs). Множество подформул формулы F обозначим через Sb(F). Пусть F и G— формулы; формула, получающаяся из F подстановкой G вместо

подформулы, соответствующей слову г, имеет следующий вид:

F(r<-G) = X,F(r<-G) = X,{Gt, если s = rt, Fs в остальных случаях.

F(r<-G) = X,

F(r<-G) = X,

Это определение можно распространить на множество взаимно независимых вершин следующим образом:

F^r<-Gt; гг^ = Р,

F(r<-Gr: г ^ R\j ^ = F (г <- Gr: г ^ R)(s<-Gs).

Пусть F, G и /( — формулы; формула, получающаяся из F заменой G на К, имеет следующий вид:

F(G<-K) = F(r<-K: r^Vs: F,s = G^.

Пусть S — семейство взаимно независимых формул (ни одна из них не является подформулой другой). Тогда по определению

F(G<-Kg: Ge^ — F^KFir: г ^ {s: F!s^^\

Отношение = между формулами называется конгруэнтностью, если оно является отношением эквивалентности и из соотношений F\ = F^ G\ = G2 следует, что для любого х е^ имеет место F\\x^- Gi) = F^x-^- G^. Мы будем интересоваться главным образом конгруэнтностями, порожденными применением последовательности базисных правил преобразования. Каждое базисное правило заменяет одну подформулу другой. Формально система преобразований состоит из множества S пар формул (называемых схемами). Подстановка любых формул вместо переменных, выполненная одновременно в паре формул из схемы, дает аксиому. Таким образом, (Ft, F2) является аксиомой тогда и только тогда, когда Fft = Ft (x<-Gx: x^X), i = I, 2, a <Fx, Fa) является схемой.

Будем писать F -^Fr, если F/u = G, <G, Gz) является аксиомой и Fr = F^u •<- G'). Обозначим через -^> рефлексивное и транзитивное замыкание отношения ->fтогда отношение А будет минимальным по включению отношением конгруэнтности, порожденным системой S. Это отношение будем обозначать через = 2.

Упрощение формулы F относительно отношения конгруэнтности = 2 это поиск либо более простой формулы G = ^F, либо самой простой формулы при некотором критерии оптимальности. В этой статье таким критерием будет глубина. Обозначим через d^F) минимальную глубину такой формулы G, что G = " ^F»

ИСТИННЫЕ И ПОЛНЫЕ ИНТЕРПРЕТАЦИИ -

Интепретации формул над <С, X, +, *> введем обычным образом. Пусть D — множество с двумя двуместными операциями: сложением (+) и умножением (*). Функция v: C^D называется интерпретацией совокупности <С, X, +, *> с областью определения D. С каждой формулой F ассоциируется функция Fv. Dx D, определяемая индуктивно:

cv = v(c) при сеС,х^ = х при хе I,IF-VG^ = F^-VG^

-(^F * G)v = Fv * Gv.

Система S называется истинной для интерпретации v, если F =2 G Ф Fv = Gv; система S называется полной для интерпретации V) если F^ = Gv <=> F = 2 G.

Если система S полна, то d^F^ это в точности минимальная глубина формулы, реализующей функцию F^ которая совпадает с минимальной задержкой параллельного вычисления функции Fv при условии, что используются только сложение и умножение и каждая операция выполняется за единицу времени, причем нет конфликтных ситуаций в памяти и нет программных задержек.

Мы приведем две интерпретации с полными системами.

А. Обозначим через /?+ множество неотрицательных действительных чисел с обычными сложением и умножением. Тогда 5/? будет состоять из следующих схем (здесь х, у, г — переменные, 0 и 1 — константы):

1.

(х +y) + z

= х + (у + г)

2.

x-Vy

^у + х

3.

(х * у) * 2

= хЦу *2)

4.

х*у

= У*х

5.

х * (у + 2)

= Х* у + Х*2

6.

(Х + У)*2

= Х * 2 + У *2

7.

0 “{“ х

= Х

8.

0 * х

= 0

9.

х * 0

= 0

10.

X * 1

= х

11.

1 * X

= X ‘

При любых at b е С и 6 е{+, *} имеет место а^Ь = с.

Обозначим через ^r интерпретацию с областью определения R^, согласующуюся со всеми схемами вида 12 (т. е. если а9Ь = = с, то v(a)0v(6) = v(c)).

Лемма 3.1. Система SR полна для интерпретации vr.

В. Пусть В — конечный алфавит. Обозначим через L множество конечных языков над алфавитом В с операцией объединения в роли сложения и операцией конкатенации в роли умножения. Положим С = В U{0, 1}. Тогда SL будет состоять из схем 1—3, 5—11 и схемы

х + х = х.

Обозначим через vl интерпретацию, при которой каждая буква дЕВ означает язык {£}, состоящий из одного слова, символ 0 означает пустой язык 0, а символ 1—язык {Л}, состоящий из одного пустого слова Л.

Лемма 3.2. Система SL полна для интерпретации vl.

Обе леммы устанавливаются путем доказательства того, что каждый класс конгруэнтности содержит единственную «каноническую» формулу (ср. с теоремой 4.1) и что неэквивалентные канонические формулы реализуют различные функции.

СИСТЕМА So

Начиная с этого момента, сосредоточим наше внимание на системе So, состоящей из следующих схем («аксиом») (х, у, z— переменные, 0 и 1 — константы):

1.

(х + у) + z

-= X + (у + z)

2.

х + у

= У"\-х

3.

(х* у) *2

= x*(y*z)

4.

Х*у

= У *Х

5.

Х*(у4-2)

= х* у 4-x*z

6.

х 4- х

= X

7.

х + о

= х

8.

х*0

= 0

9.

X * 1

= х

Для любой константы а ф 0, имеет место равенство а = 1.

Будем обозначать через г (без индекса 20) конгруэнтность, определяемую системой So, и положим D (F) = d^AF) (минимальная глубина формулы G, конгруэнтной формуле F).

Если система S слабее системы So (So сильнее 5) в том смысле, что из соотношения F =2 G вытекает соотношение F = = G, то тогда у формулы F меньше конгруэнтных ей формул относительно системы S. При этом d^F) ^ D(F) (аналогичное неравенство имеет место и для других характеристик формул). Заметим, что обе приведенные в § 3 системы: S^, которая полна для 7?+ со сложением и умножением, и 2L, которая полна для семейства конечных языков L с операциями объединения и конкатенации, слабее системы So. Поэтому все нижние оценки, которые в дальнейшем будут доказаны в пределах системы 20> останутся также справедливыми и для параллельных вычислений в 7?+ и в L.

Заметим еще, что подстановка константы 1 вместо всякой отличной от 0 константы делает So наиболее сильной из возможных систем в том, что касается тождеств, содержащих константы. Единственная интерпретация U, для которой система So истинна, это булево кольцо {0, 1} с операциями И и ИЛИ. Тем не менее для интерпретации U система So не полна: х2 ^ х в So. Таким образом, для нижних оценок в системе So имеются: только аналоги с содержательным смыслом.

к

Пусть Fx, ..., Fk — формулы. Обозначим через Д ^ Ф°р- i = l

мулу С-ЛР\ *Е2)* ... Fk} (аналогичным образом введем к Ч

^ FtV Примем естественный порядок для символов, встре- i = 1/

чающихся в формулах. Формулы упорядочим лексикографически. Условимся считать F (стандартным) одночленом, если F =

к

= 1 или F = Hxz, гДе *ь •••> хк — переменные, расположен- i = l

к ные по порядку. Стандартный многочлен имеет вид: F = £ Ftl i = l

где Fi, ..., Fk — различные одночлены, расположенные по порядку. Справедлива следующая теорема о стандартном представлении.

Теорема, 4.1. А. Каждой формуле F соответствует единственный многочлен ^полином) poly(F), такой, что F = poly(F).

F = G тогда и только тогда, когда poly (F) = poly (G).

Мы опускаем несложное доказательство этой теоремы.

Обозначим через Mon(F) множество одночленов (monomials) многочлена poly(F), через w(F)—вес формулы F, т. е. мощность множества Mon(F), и через deg(F) —степень формулы F^

т. е. максимальную длину одночлена из Моп(/7). Очевидно, что

HW^w^ + w^);(4.1)

w(Ft * /^ ®№)1 w (F2);(4.2)

deg(F, + F2) = max deg (Fz);(4.3)

t = l, 2

deg(F1*F2) = deg(F1) + deg(F2). .(4.4)

Функция g, определенная на формулах, называется ^-инвариантной, если из F\ е= F^ вытекает, что g^Fy) = g(F2) (т. е. если одна из частей равенства определена, то определена и другая и равенство выполняется). По теореме 4.1.В степень и вес являются So-инвариантными функциями.

Формула F называется однородной, если все ее одночлены имеют одинаковую степень. Если формула F является однородной, то однородными являются и все ее подформулы.

ФУНКЦИИ РОСТА'

Вес формулы, т. е. число одночленов в соответствующем многочлене, дает грубую нижнюю оценку для глубины. Из (4.1) и (4.2) сразу следует, что D(F)^ flog^(/?) ] + 1. В этой статье логарифмы берутся по основанию 2, fx] означает наименьшее целое, не меньшее чем х, [xj означает наибольшее

п

целое не большее чем х. Пример формулы riX-i + ^i) по- i = l

называет, что в общем случае эту оценку нельзя улучшить. Однако мы приведем ряд формул, главным образом формул, встречающихся в комбинаторных вычислениях, для которых эту оценку можно значительно улучшить, и получим для них достаточно точные оценки величины D(F). Нижние оценки для D^ в этом случае основаны на том, что в процессе вычисления F в пределах системы So вес не может расти слишком быстро, поскольку это привело бы к появлению нежелательных одночленов. Ключевая идея связана с понятием функции роста формулы, которая должна быть So-инвариантной.

Пусть F — некоторая формула, а р— некоторый одночлен. Дополнением р в пределах F называется множество одночленов Сот/?г(р) = {^: p-q^ NVon^F^ (через p-q обозначен одночлен poly (p*q)). Функция роста формулы F определяется соотношением

WF^ = max max |CompF(^)|,deg (р)=£ q ® Comp^ (р)

где р и q — одночлены. Если формула F однородна, то функцию WF можно определить так:

WF (&) = max{| Compete) |: deg (</) = deg (Z7) — к\

Пусть G — подформула формулы F; тогда F = G * Н + К. Пусть, далее, g eMon(G) и /1еМоп(//); тогда й е CompF(g-) и Mon(G) ^ Сотрг(Л). Отсюда следует, что WF(k) является верхней оценкой для числа одночленов в любой подформуле формулы F, содержащей одночлен степени к. Заметим, что 1^г(0)= 1 ^ и что если формула F содержит одночлен степени к, то тогда WF(k) = w(F). Функции w( ) и deg( ), а также функция роста IFf( ) являются So-инвариантными. Эту инвариантность в пределах системы So можно использовать для получения нижних оценок для величины D(F)>

Обозначим через WF(k,j) максимум веса подформул степени к и глубины / в формуле F (если таких подформул нет, то WF(k, j) = 0). Из (4.1) и (4.2) легко увидеть, что

(1, если &^1, ^р (k, 0) = <

( 0 в противном случае

И

WF(k, j + lXmax[2ITF(&, j), max WF (Z, /) • WF (k — i, /)]. (5.1)

Q<i<k

Кроме того,

WF(k, n<WFW(5.2)

и

WF(k, n) = WF(k),(5.3)

где к = deg (F), n = d (F).

Мы можем теперь сформулировать основную лемму 5.1 и более общую теорему 5.2 о мажоризации.

Лемма 5.1. Пусть Т(kJ)— функция, определяемая следующем образом;

Т(к, 0) =Т(к, 0) =если к 1,

Т(к, 0) =

Т(к, 0) =

л(5.4)

0 в противном случае,

Т (к, /+ 1)= min (№F (к), шах[2Т(&, /), max Т (I, j) • Т(к — I, /)]). ККк

(5.5)

Положим

t(k) = xw\nV* T(kJ) = Wp(k)Y

Тогда

. Wp (к,1Х Т (k,j),

. D(F)>t(6eg(F)V

Это верно, если ни один из одночленов не является частью другого, например если формула F бесповторна. — Прим, перев.

Доказательство, к. Доказывается индукцией по j; утверждение справедливо при j = 0, переход от j к / + 1 получается применением (5.1) и (5.2).

Непосредственно вытекает из инвариантности функции WF ( ), утверждения А и соотношения (5.3).■

В некоторых приложениях было бы полезно использовать другие функции, связанные с весом и степенью. К тому же удобнее обращаться с логарифмом веса. Общая теорема о мажоризации, в которой налагаются естественные условия на со— логарифм веса и на б — степень, показывает, как могла бы в процессе вычисления при изменении степени А и глубины j возникать максимально возможная величина логарифма веса №(#,/), и утверждает, что эта величина действительно является мажорирующей для любого конкретного вычисления формулы F. Точная формулировка дается ниже.

Теорема, 5.2. Пусть F — некоторая формула. Пусть со: Sb(F)-> R такая функция, что

co(G)<0, если G^C^X,(5.6)

со (G х + G2) ^ max со (GJ + 1(5.7)

i = l, 2

U

со (Gj * G2) ^ со (GJ + со (G2).(5.8)

Пусть 6 Sb(F)-+ N такая функция, что

d(G1 + G2)>maxd(GJ(5.9)

i = l, 2

U

6 (G^ G2)>d(GJ + d(G2).(5.10)

Пусть W: N-^ R такая неубывающая, принимающая лишь неотрицательные значения функция (функция роста), что

со(G)^ IF (5(G)), если co(G) определено, (5.11) и

to(F)=W(6(F)).'(5.12)

Определим функцию Т; N X N R соотношениями

Т(к, 0) = 0,(5.13)

Т (к, j + 1) = min (W (к), max [7 (к, /) + 1,

max (T(i,iHT(k-i, /))]}.(5.14)

0<i<k•

(5.15)(5.15)Определим пороговую функцию t: N-^N соотношением

(5.15)

(5.15)

/W-min{/: T(kJ) = W(k)b

Тогда

к. Функция Т не убывает по каждой переменной.

Для любой подформулы G^Sb(F) выполняется соотношение'. to^G^T^^yd^y

dU^tl^y

Если функции со и 6 являются ^-инвариантными, то тогда оич^цаду

Отметим, что при со( ) = log®( ), 6( )=deg( ) и 1Г( ) = = max(0, log Wf( )) из этой теоремы извлекается лемма 5.1.

Доказательство. А. Поскольку ЦА, ‘h^Wt,ky справедливо соотношение

Т (k, j + 1) > min (Г (Н Т (k, j) + 1) > Т (£, фр

Итак, функция Т не убывает по второй переменной. Если / = О, то T(k -j- 1, 0) = 0 = Т(&, 0). При />0 неравенство Т(&+1, /) ^ ^ Т (k, j) устанавливается индукцией по к + /. Действительно,

Т (*+1, /+1 )=min {Г (k + 1У

max[T(A+l,/)+l, max (Г(1, ]НТ(>Н-1, /))]}> 0<1<к+1

>min{r (k), max [Ш /) + 1,

,max (T(i, h+T(k-/,/))]} = T(M+O

0<1<к

(неравенство здесь следует из условия неубывания функции Ц7(&) и из предположения индукции).

В. Доказывается индукцией по построению формулы. Рассмотрим следующие случаи:

G е CU X. Тогда со (О) ^ 0, 6(G) ^ 0 и d(G) = 0. Поэтому

. Т (6 (G), d (G))> Т (0, 0) = 0 > со (G).

G = О^Сг- Пусть ^ = 6(G), j = d(G) и ^ = 6(G,), ji = = d^Giy i = 1, 2. При этом j = max j, + 1.

2a. G — Gi + G2. Тогда k ^ max ki и

T (k, h= max T (k, / + О >(в силу A)

>maxmin{r(fe), T^, M+1}>(в силу (5.14))

i

> min ^W (k), max T ^kb jt) + 1} >(в силу A)

>тт{№ ЦУ), maxco(G/)+OXno предположению индукции)

><цоу

2b. G = G1*G2. Тогда А^А^^ и

Т^П^Т^^^ Г»Т^П^Т^^^ Г»>min{I^),mJ) + 74^^>min{I^),mJ) + 74^^>min{r(£),T(Mi) + 7X^^>min{r(£),T(Mi) + 7X^^(в силу А) (в силу (5.14))(в силу А)(в силу А) (в силу (5.14))(в силу А)

Т^П^Т^^^ Г»

Т^П^Т^^^ Г»

>min{I^),mJ) + 74^^

>min{I^),mJ) + 74^^

>min{r(£),T(Mi) + 7X^^

>min{r(£),T(Mi) + 7X^^

(в силу А) (в силу (5.14))

(в силу А)

(в силу А) (в силу (5.14))

(в силу А)

> min {IF (А), со (GJ + со (G2)} ^ (по предположению индукции)

С. Из (5.14), утверждения В и (5.12) следует, что

W (6 (Т7)) > Т (6 (Т7), d (F)) ><ЦР)=№(6 (Т7)).

Теперь утверждение следует из определения функции t

D. Непосредственно следует из утверждения С. .■

Теперь перед нами задача дискретного динамического программирования: дана неубывающая функция W^k), требуется вычислить функцию /(&), определяемую соотношениями (5.13) — (5.15). Другая точка зрения — это точка зрения с позиций оптимального управления: какая комбинация сложений и умножений, приводящая к построению множества Моп^), при ограничивающей функции 1F(&) дает формулу F минимальной глубины? На самом деле функция 1F(&) представляет собой лишь часть действительных ограничений. Однако в ряде случаев она весьма точно определяет оптимальную глубину и в значительной мере оптимальную формулу в конгруэнтном классе. В плане динамического программирования задача становится интересной, когда начинает играть роль ограничение Т^к, j) ^ 1F(A), из-за которого функция Т на некоторых шагах должна увеличиваться лишь на «+1»> что означает для исходной задачи неизбежность чередования умножений со сложениями. Это имеет место в том случае, когда функция 1F субаддитивна, т. е.

Ю) + Г(/)<г(/) + г(/).

Г([&/2_|)—О, тоГ([&/2_|)—О, то(5.21)(5.21)Теорема, 5.3. Пусть W — субаддитивная, неубывающая функция, принимающая лишь неотрицательные значения. Определим функции Т и t соотношениями (5.13) — (5.15). Тогда если

Г([&/2_|)—О, то

Г([&/2_|)—О, то

(5.21)

(5.21)

в противном случае

t(lt^ min {max[/(z),/(£-/)] +ГАГ (МЛ (5.22) 0<i<&

(.здесь /^W^.i^W^- W(k- ()- Г(i)).

Доказательство. Если Г( [&/2J ) = 0, то тогда

T^J+^-mmtW^K.fe.h+l)

и очевидно, что (5.21) выполняется. Если Г( [&/2 J ) > О, то тогда

Г(1Л^, 1)+T(W21, о — г^пм)

и существует такое максимальное / ^ /(^), что при некотором I

T{k,i)^Ta,i~\X+T(k-l,j-\X

Рассмотрим два случая:

А. Пусть / = <(£). Тогда T(k, j) = W(k) и

II?W = T(M<7’(/J-l) + 7’(к -zj-l)<

< W (z) + W (к - z)<г ЦгХ

а значит, Ar(fe,i) = 0, 7(z, /-l)=r(i) и Г(А — t, /-!) = = W(k-i).

Таким образом, / — 1 = max[Z(z), Цк — z')] и

t (k) = max [Z (z), t (fc - z)] + АГ (&, z) + 1.

В. Пусть j < f(&). Тогда Т^к, j + 1) ^ T(&,/)+ 1. Если бы оказалось, что / < Z(z) или j<tOt— i), то тогда выполнялось бы неравенство

T(z,/)>T(z,/-l)+l.

или неравенство

T(k-i, h^Kk-i, /-!) + 1,

а значит, и неравенства

та, /) + Т(к - г, п>та, i-l') + T(k-i,j-\HV>

^T(k,j)+\^T(k,j + lX

Это противоречит определению числа j. Следовательно,

/ > max V a), t (k — z)].(5.23)

Поскольку T(k, j) ^ IF (z) + W (к — z) и T(k, j + mX^ T (к, j) + + m, отсюда следует, что

t^>i-VNW [k, Г),

а это вместе с (5.23) дает (5.22).■

Отметим, что если W, а значит, и Т принимают лишь целые значения, то тогда из неравенства / ^ ta) вытекает неравенство T^i, i)^ Та, / — 1)+ 1- В этом случае утверждение В можно усилить, доказав вместо (5.23) соотношение

/ = max [Z а\ t (к — z)] + 1

и соответственно неравенство

t (А) > max [/ а\ t (к - z)] + 1 + АГ (к, i).

Следствие 5.4. Если к условиям теоремы 5.3 добавить условие о целочисленности значений функции W, то будут выполняться следующие соотношения*.

t^ = W^k\ если r(L6/2J) = 0,(5.24)

t (k) = min {max \t (Z), t (k - Z)] + kW {k, Z) + 1}.(5.25)

0<i<k

Из (5.25) легко увидеть, что t — неубывающая функция, так что (5.25) можно упростить до •

t^ = min (/(/) +АГ (6, Z) + 1).(5.26)

Ш<1<к

Теорема 5.3 дает прямое определение функции t. Из нее следует, что оптимальная стратегия для исходной задачи состоит в том, чтобы для каждого к строить подформулы степени к с максимальным весом посредством повторяющихся сложений произведений подформул степени Z и к — i при некотором конкретном Z.

В ряде случаев можно упростить определение функции / еще дальше, показав, что дихотомическое разбиение является оптимальным..

Рассмотрим разность первого порядка АГ(6)= Г(6 + 1) — — W(k) функции W. Будем называть функцию W выпуклой, если АГ(6) является неубывающей функцией. Легко проверить, что если W — выпуклая функция и Г(0)^0, то функция W субаддитивна.

' Лемма 5.5. Пусть W— выпуклая функция, принимающая целые неотрицательные значения, такая, что Г (0) = 0. Пусть / — функция, определяемая соотношениями (5.24), (5.26). Тогда если W ( [6/2 J ) > 0, то

/ (6) = / (Гб/21) + АГ (6, Г6/2П) + 1.

Доказательство. Пусть Z— максимальное такое число, что

0<Z<6/2 и

/(6) =/(6 — Z) + АГ(6, Z) + 1.

Если t{k — i)~ W(k — Z), то тогда также и /([6/2]) = = Г( [6/2] ), так что

t ([6/2]) + АГ (6, Г6/2]) + 1 = Г (6) - Г ([6/2J) < <Г(6)-Г(0 + 1=/(6),

и таким образом 1= [6/2]. В противном случае рассмотрим такое число j, что

0 </^(6 — Z)/2

И

Цк -i) = t(k-i- j) + ^W(k-i9 iH 1. Положим

Их, th = ww-w^-w^-w-x-yHt^^

Тогда Ц^П — t(k) и по определению функции t

Цц /) = rnin{f(x, yY 0<х^к)2, 0<y^(k~x)/2}. (5.27)

Предположим, что i < j. Легко проверить, что 0 < / ^ к/2 и 0<Z^(6 —/)/2. Кроме того, f (j,i) = f(i, j), а это противоречит максимальности числа i. Следовательно, j ^ L Допустим, что I < [ ^/2] . Тогда

Hi+V J — X^ — tU» /) = Д^(/-1)-Д№(0<0.

Если / > 1, то тогда пара чисел (Z + 1, / — 1) удовлетворяет неравенству (5.27), а это противоречит определению числа L Если же / = 1, то тогда

Ж /)>/(/+!, 0) = r(Z>)-r(Z+l)-^(0)-F(fe-Z-l) +

+ / (& — Z — 1) 4- 2 ^Z (fe — Z — 1) + AW (fe, i- 1)+ \>Цк\

Это противоречит определению числа Z.■

Отсюда следует, что 1 = \к/2"\, как и утверждает лемма.

Если функция U7 может принимать нецелые значения, то функцию Z, удовлетворяющую соотношениям (5.21), (5.22), мы можем оценить снизу функцией ?, определяемой аналогичными соотношениями

H\) = W^Y(5.28)

Z (&) = min {max [Z (Z), i (й - Z)] + A IF (^, Z)}(5.29)

0<i<k

или эквивалентным образом (поскольку функция t не убывает)

H^ = min VUiH^W^iW(5.30)

№<i<k

Если W — выпуклая функция, то те же рассуждения, что при доказательстве леммы 5.5, показывают, что

Цк) = Ц№Н^^ \k!Y\Y(5.31)

МОНОТОННЫЕ ВЫЧИСЛЕНИЯ ПЕРМАНЕНТА

Мы можем теперь использовать технику, развитую в разд. 5, для доказательства нижних оценок для конкретных формул.

Первой функцией, которую мы исследуем, будет перманент

Рп^ХИ) = £ Цх/ащ,-о е Sn i = 1

где Sn — группа перестановок на множестве {1п).Пер

манент Pn(xtj) является однородной формулой степени п веса «I с п2 переменными.

Теорема, 6.1. D(Prt) = 2n — 0,25 log2 п + О (log п).

Доказательство. Функцией роста для Рп является №?(&) = = к\. Действительно, пусть р, q— одночлены, deg(p)=n — к, deg (<?) = & и p-q е Моп(Рп). Тогда q является членом перманента некоторого минора порядка к X к, определяемого одночленом р. Таким образом, | CompPn (р) | = к\.

Положим W(k) = log Wp(k)= log^l. Тогда U7(0) = 0 и разность первого порядка ^W(k)= W(k + 1)— W(k) = log (А + 1) функции W будет возрастающей функцией.

Определим ? соотношениями (5.28), (5.30). При этом ?(!) = = Г(1) = 0,■

i (к) = i (Г&/2]) + A IF (к, Г&/2]) = ЦГ^/21) + log С[ 6/2 Т

Пользуясь формулой Стирлинга, получим

' log сН72^ А:-0,5 log Й +0,5(1 - log л) + О(1/к).

Решением рекуррентного соотношения будет

t (6) = 26 - 0,25 log2 k - О (log к\

В силу леммы 5.1 и теоремы 5.3

D(Рп) ^t (п) — 2п — 0,25 log2п + О (logп\

Верхняя оценка дается формулой Лапласа для перманента, которая определяется индуктивно., Пусть X = (хц) — квадратная матрица порядка 2п. Пусть N = 1, ..., 2п и I с N, | /1 ===== п. Обозначим через Р/ перманент минора порядка я X л матрицы X, построенного на первых п строках и множестве / столбцов, а через Р/—аналогично определяемый перманент на последних п строках. Тогда.

Р2п(Х)= Е Pi*Pn\i.

I с N, |7 \=п—

Случай матрицы нечетного порядка рассматривается аналогично.

Обозначим через s^ глубину определенной выше формулы для перманента Рп. Имеем

,$(1) = 0,.'

s^ = 8(Гп/21) + Rog стпп№з 1+1.

Из сравнения индуктивного определения функции s с индуктивным определением функции t ясно, что

s(^ = i (я) + О (log п\

Это завершает доказательство.■

УМНОЖЕНИЕ НЕКОТОРЫХ МАТРИЦ

Следующая задача, которую мы рассмотрим, это умножение р матриц порядка пХ^- М = Хх* ... Хр ^Хг = ^х\кЙ. Эта задача часто встречается при вычислении линейных рекуррентных соотношений. Имеем

m =£ хх -х21■ хР s>

rS 1<Z,< ... Ci^ =£n r‘l ‘1‘2lP-i

что представляет собой многочлен степени р веса пр-1 с п2 (р — 2) + 2п переменными. Будут получены близкие верхняя и нижняя оценки для D(,mrsY

Теорема, 7.1. D^mre)^ Г log pl log и.

Доказательство. Легко показать, что функцией роста для mrs является WmW = пь-х. Поэтому

r(A) = logrmW = (A-l)logn,

Г(1) = 0 и

АГ ^ = W^k-V 1) —Г (&) = log/г, так что Г — выпуклая функция. Определим / соотношениями f(l)= Т (1) = 0,

' /(£) = ЙГ&/21) + АГ(£, Г*/21) = /ЧГ^+Ь^^

Отсюда следует, что

i(^) = Rog &llog« и, таким образом,■

D (tnrs) > Цр) = [log pl log п.■

Замечание. Прямым вычислением функции t можно улучшить полученную выше оценку и показать, что

DVnrsY> flog pl [log пД.

С другой стороны, очевидно, что

Z)(mrs)< Hog pl(Dog л| + 1).

Следствие 7.2. Если n = 2q, то D (mrs) = flog pl (logn + 1)-

Доказательство. Верхняя оценка очевидна. Нижняя оценка доказывается с помощью следствия 5.4.

СИММЕТРИЧЕСКИЕ МНОГОЧЛЕНЫ

Рассмотрим теперь формулы, определяющие симметрические многочлены от п переменных Xi, ..., хп:

°h(XV Хп) =^П^,

где ^={l, ..., п\. Это пример задачи, когда обычная функция роста не помогает. Необходимо воспользоваться теоремой 5.2 во всей ее общности.

Многочлен, определяемый формулой ог^, обладает линейностью по каждой переменной. Это свойство по определению является So-инвариантным. Кроме того, если этим свойством обладает формула F, то им обладает и любая ее подформула. Формула является к тому же однородной.

Теорема 8.1. £) (ог^) = 0,25 log2 n + O(logn).

Доказательство. Обозначим через y(G) число различных переменных, встречающихся в формуле G. Функции 6 и со с областью определения Sb (о2п) определим с помощью соотношений:

6(G) = deg(G),

со (G) = log w (G) — и (G) + deg (G).

Если G^C, то тогда ^(G)=l, u(G) = 0 и deg(G) = 0, так что co(G) = 0. Если G^X, то тогда ^(G)=l, y(G)=l и deg(G)=l, так что снова co(G) = O. Таким образом, если G <= е С (J X, то co(G) = 0.

Если G = Gi+ G2, то тогда ^(GX^tGJ-H w (G2), a(G)> >maxy(Gz) и deg (G) = deg (Gt), z=l, 2, так что co(/QX i = b 2.,

< max co (G,) + I.

i = l, 2

Если G = Gi*G2, to тогда w(G) ^ w^Gi)-^(G2), y(G) = = y(Gi)+ y(G2) (Gi и G2 не имеют общих переменных, так как иначе формула G не была бы линейной) и deg(G) = deg(Gi)+ + deg(G2). Таким образом, co(G) ^ co(Ci)+ w(G2).

Функции б и со удовлетворяют условиям теоремы 5.2. Обе эти функции являются So-инвариантными.'

Положим W (&) = log С^к — к. Докажем, что для любой подформулы G^Sb(F), где Р = о^, выполняется соотношение: cd(G)^ IF(6(G)). В самом деле, пусть d = deg(G), y = y(G). Очевидно, что О ^ d ^ п и d ^ и ^2п. Кроме'того, w^<^ С^. Требуемое соотношение будет доказано, если мы покажем, что при любом у, d ^ у ^ 2п, выполняется неравенство: logC^ — — у + d < logC^ — d. Но ведь функция f (у) = logC^ — у + d принимает максимальное значение при у = 2d и это значение равно log C^ — d.

Заметим, что 1^(1) = 0 и что функция A№(&) = W (k + 1) — — W (k} = log(2& + 1) — log(^+l) является возрастающей. Теперь можно применить теоремы 5.2, 5.3. Как обычно, определим

/(1) = №(1) = 0,

t ^ = i (Г&/21 ) + ^W^ \кГ2Д ) = Ц Г&/21) +

+ log С^ — log С[ г ^/2 1 — log С2 Lfe/2 J =

= i (Хк^Л) + 0,5 log к - 1 + 0,5 log л + О (1/^).

(Окончательный результат получается с помощью формулы Стирлинга. Заметим, что линейные члены взаимно уничтожают друг друга, а добавок 0,5 log к происходит от членов второго порядка.)

Решением этого рекуррентного соотношения является

t ^ = 0,25 log2 к + с log к + О (1), где с = —0,75 + 0,5 log л = 0,07575 ... . Поскольку В^п^^Цп\ мы получаем

D №) > °’25 1о§2 п + с log п + 0 (!)•

Верхнюю оценку 0,25 log2 п + О (log п) для D (а2^ легко вывести из работы Пиппенджера [8], в которой для а2п построены формулы ДЛИНЫ ^°,25 log/г+О(1) 1)е g ЭТ0Ц КОНСТРУКЦИИ В ПОЛНОЙ мере используется идемпотентность сложения. Если такой возможности нет, то обычное построение по индукции

к

^к (XP * е е ’ ^2n) = 2q а^ (хр • • • , Xn) * °k-j (Хп+Р * * * > Х2п)

дает для ог2п формулу глубины 0,5 log2 п + О (log п)\■

*) Этот результат раньше был получен Л. С. Хасиным в работе [23].— Прим, перев.

Приводим без доказательства следующее усиление предыдущей теоремы.

Теорема 8.2. £) (a^n) ^0,25 log2/г+(с—0,5 log (&/&—1)) • log я+ + log^ + 0(1), где с = 0,5(logл —0,5) = 0,5757 ... .

2-3-ДЕРЕВЬЯ С ЧЕРЕДУЮЩИМИСЯ ЯРУСАМИ

Хорошо известно, что любую формулу F длины п, пользуясь ассоциативностью, коммутативностью и дистрибутивностью, можно преобразовать в эквивалентную формулу, имеющую глубину О (log/г). Лучший результат в этом направлении принадлежит Мюллеру и Препарате [7] и состоит в следующем: если ЦР) = п, то тогда D (F) ^ с log гц где с = 2,08, ... . Манро [14] поставил проблему — доказать, хотя бы в ограниченной системе, нижнюю оценку, которая была бы выше, чем log п + + 0(1) (тривиальной нижней оценкой является log п). Мы покажем, что это можно сделать по крайней мере в пределах ограниченной аксиоматической системы So или системы более слабой. Рассмотрим семейство формул ТП) /г = 1, 2, ... . Формулу Тп можно представить равномерным 2-3-деревом, в кото

ром ярусы трехместного сложения чередуются с ярусами дву

местного образом:местного образом:Ч*66k> 6&+iЧ*66k> 6&+i(*— ярус),(*— ярус),умножения. Индуктивно Тп определяется следующим

местного образом:

местного образом:

Ч*6

6k> 6&+i

Ч*6

6k> 6&+i

(*— ярус),

(*— ярус),

2

<::::Й=£Д:::::«1:;Л« (+-ярУо. IrvQ=(J 1К К К

Тп=А\ (Л — пустое слово, Тп приписано корню дерева). Формулу Тп можно также получить из Тп_х (или из Тп_ку подставляя вместо переменных копии формулы Тх (или соответственно формулы Тку не имеющие общих переменных.

Формула Тп содержит 6" переменных ^’ уу ^ где е/е е{0, 1}, б/ е{0, 1,2}, 1 i ^ п, кгж^ак из которых встречается в Тп один раз. Поскольку для каждого трехместного сложения требуется два шага, глубина формулы Тп равна Зп. Каждый одночлен р е Моп(7\) имеет вид

Чд’

где 6/^(0, 1,2}, причем б/ удовлетворяет определенным ограничениям. Действительно, если посмотреть на *-ярус в формуле

ТП) то можно заметить следующее: если две переменные в одночлене р имеют одинаковые значения индексов еь ..-, е^, то тогда они имеют одно и то же значение индекса 6&+1 и тем более индексов 6^, ..., 6i; значение 61 одно и то же для всех переменных из одночлена р. Таким образом,

т = У ТТ хер 828«

gn б1 (Л)’ б2 (е1)бп (ег — еп-1Г

Сумма берется по всем возможным наборам значений Si (Л), 62(61), ..., 6п(еь ..., Sn-i), каждое из которых пробегает множество {0, 1,2}. Общее число свободных индексов вида б в одном одночлене /?^Моп(Тп) равно 1+2 + ... +2n~1=2n—1, и, таким образом, w(Гп) З2 (По-другому это равенство можно получить, заметив, что при переходе от Тп к Tn-v\ вес умножается на З2 .Формула Тп однородна и deg(7n) = 2Л.)

Лемма 9.1. Функция роста для формулы Тп имеет вид

2 Lfe/2ZJ

wTn^ = y^ е(9J)

Доказательство. Индекс 6(ei, ..., 8/) встречается у 2П~^ переменных одночлена р^Моп(Тп). Выбирая одночлен q степени т=2п-- к так, чтобы он был частью одночлена р, мы фиксируем т переменных и, следовательно, не менее [т/2] индексов вида 6(ei, ..., Sn-i), не менее [т/4] индексов вида б(еь ... ..., 8^—2) и т. д. При этом общее число индексов, оставшихся свободными, не превосходит

2" - 1 - 2 Гт/2‘1 = 2" - 1 - £ Г(2" - &)/2‘1 = t = 1i = 1

ппп

= 2” - 1 - Ё 2”-/ + Ё L&/2ZJ = Ё L^/2'j,

1 = 11 = 11=1

причем эта оценка достигается.

Каждый из оставшихся свободных индексов можно выбрать тремя способами из множества {0,1,2}. Поэтому максимальное число одночленов степени к, дополняющих q, дается соотношением (9.1), как и утверждается в лемме.■

Теорема, 9.2. £)(Гп) = 3/г.

Доказательство. Формула Тп имеет глубину Зп. Для оценки D(Tn) снизу мы пользуемся почти теми же рассуждениями, что в теореме 5.3, только мы должны более аккуратно проанализировать случаи, возникающие при различных значениях Z^W^k, i)r

где W^k), как обычно, определяется соотношением

w W = log И7Гд W = с'Д ЮТ

в котором c = log23=l,58 Для величины &W(k, i) =

= W(h)- W(i)- W-i^ имеем

All? (&, 0 = с E (L^/2mJ - L?/2mJ - [ (& - iW\) > 0,(9.2)

АИ7(й, г)^с, если i, k — i<2r, k^2r(9.3)

(благодаря члену при m = г),

AIF(^0>2c, если i<2r, k-i<2r~\ k>2r (9.4)

(благодаря членам при m = г, г — 1).

Определим Т (i, j) и t^, как в теореме 5.2.

Лемма 9.3. А. Если 2Г ^ к, то Цк) ^ Зг.

В. Если k<2r+t и t.^ = 3r, то №(/?)-TXMW-1)5? 0,5 (т. е. последнее приращение величины Т^к, ) не меньше чем 0,5).

Заметим, что утверждение А при к = 2п содержит в себе утверждение теоремы, которую мы доказываем. Дополнительное утверждение В требуется для индуктивного перехода.

Доказательство ведется индукцией по к. В случае к ^ 2 все очевидно. Пусть 2Г ^ к < 2r+1. Так же как в доказательстве теоремы 5.3, выбираем такое максимальное число /^ t^kY что при некотором i ^ к/2 выполняется соотношение

Т (к, n<T(i, j-ЦШ"1, j-W (9.5)

Имеем i ^ 2r-1, так что t^>3r-3.

Теми же рассуждениями, которыми мы доказали (5.23), доказываем, что

j>m = max [/ (i), Цк — 0L так что

Т^ j)=W(i), ТЧк-i, j)^W(k-i) и

t(k)>j + f^(k, 01-

= W^i) и Т^к — /, / — 1) = W (k — /), так что / — 1 ^ ЦП ^ Зг и снова / (&) ^ Зг + I-

Допустим, что ^W(,k, i)=c. Рассмотрим несколько слу: чаев.

2а. Пусть 2r ^ I. Тогда по предположению индукции ЦГ)*^ ^ Зг и Цк) ^ Зг + 2.

2Ь. Пусть 2Г~1 ^ I < 2Г. Тогда в силу (9.4) к — I ^ 2Г-1 и Цк — П^Зг — 3.

2b 1. Если либо m ^ Зг — 2, либо / ^ m + L то тогда / ^ ^ Зг — 2, /(&) ^ / + 2 ^ Зг, что доказывает утверждение А.

Если при этом /(&)>3г, то справедливо и утверждение В. Если же Цк) = 3г, то предыдущие неравенства обращаются в равенства: j = Зг — 2 = Цк) — 2. Отсюда следует, что

Т^к, 1^-2^ = !^, ])<T(i, j-l^T^-i, /~ IX

< W (i) + W(k-i)^W (&) - c.

T^k, t{k)-\^W{k)-c+ !<№(&)-0,5,

что и доказывает утверждение В.

Нам осталось рассмотреть случай 2Ь 2. / = m = Зг — 3 =t(i) = t(k — /).

В силу части В индуктивного предположения

Т^ j) = W(i)>T(i, / — 1) + 0,5 и

Т^к-ц j) = W(k-i)^T(k-it j-lHO^.

Таким образом,

Hi, П + Пк-!, П>Т(к, П+1 =7^ /+1).

Это противоречит определению числа j. Значит, этот случай невозможен. ■

Если kW(k, П ^ 2с, то тогда / (&) ^ j + 4 ^ Зг + I, что и завершает* доказательство.■

Следствие 9.4. Для любого п существует формула F длины 1 = 6П1 для которой не существует эквивалентной формулы глубины меньше чем с log Z, где с = 1,16 ....

Доказательство. Такой формулой является ТП) поскольку /(?„) = 6\ D^TH = ^n и 3n/log6" = 3/log26 = l,16 ... .■

Мы предполагаем, что многочлен, определяемый формулой ТП) нельзя вычислить меньше чем за clog/ шагов, даже если допустить использование вычитания.

Для соотношения между сложностью и глубиной формул были бы интересны даже значительно более слабые нижние

оценки глубины, затрагивающие лишь члены низших порядков, такие, например, как

log п + О (log logn), '

где п— сложность формулы. Подобные результаты были недавно установлены [21] для схемы Горнера в случае монотонных булевых операций (И, ИЛИ) и даже в более слабой форме для немонотонных базисов [22].

ЗАКЛЮЧЕНИЕ И НЕКОТОРЫЕ ГИПОТЕЗЫ

Мы получили весьма близкие верхние и нижние оценки глубины для ряда формул в случае, когда при их упрощении используется только ограниченное множество преобразований. Тривиальным образом эти результаты дают оценки сложности формул при тех же ограничениях. Пользуясь простым рассуждением о разветвлении на входе операции и результатом из [7], мы устанавливаем, что L(F)—минимальная сложность формулы, эквивалентной формуле F, удовлетворяет неравенствам

2dwc<;L(<FX2d^f\ -

где С = 2,08 ... . Таким образом для перманента сложность формулы экспоненциальна, а для симметрических функций сверхполиномиальна. В сущности близкие верхние и нижние оценки сложности формулы можно получить, если тот подход, основанный на идеях динамического программирования, который использовался здесь, применить непосредственно к сложности [15].

Связь между D(F)—глубиной и C^F)—минимальным числом операций (сложений и умножений) 9, требующихся для вычисления формулы, эквивалентной формуле F при тех же самых ограничениях, слабее. Очевидно, что D(F) ^ C(F), если же формула F представляет собой однородный многочлен степени пси переменными, то тогда D(F) с log n-log С(/7) + + log у, где с — некоторая константа (Хияфил [13]), причем эти неравенства нельзя существенно улучшить. Действительно, поскольку симметрические функции можно вычислять с помощью О(п2) операций, второе неравенство бывает точным (с точностью до постоянного множителя), а вычисление хп оказывается тем случаем, когда точным является первое неравенство. Известно, что для вычисления перманента требуется

9 Подразумевается, что результаты операций можно использовать многократно. — Прим, перев.

0(п2") операций [17]. Мы предполагаем, что для умножения р матриц порядка m X m требуется О^рт^ операций.

Может показаться удивительным, что рассмотренные функции можно вычислять быстрее, если допускать взаимное уничтожение членов. Однако при использовании вычитания перманент можно вычислить за п + 2 log п + 0(1) параллельных шагов (Райзер [16]). Неизвестно, дает ли выигрыш использование вычитания при последовательных вычислениях. Результат Валиан- та [12] о P-полноте задачи вычисления перманента внушает мысль о том, что надежда на существенный выигрыш невелика (и о том, что доказательство нетривиальной нижней оценки в общем случае — это очень трудное дело).

Еще более впечатляющая ситуация сложилась для определителя (формула для которого в системе So формально эквивалентна формуле для перманента). В то время, как определитель можно вычислить за О (log2/г) параллельных шагов при условии, что допускается взаимное уничтожение членов (Ксан- ки [18]), к нему применима нижняя оценка, полученная для перманента, и, таким образом, в случае когда взаимное уничтожение членов не допускается, для его вычисления требуется 2п—О^п) параллельных шагов.

Хотя вычитание можно использовать для построения более быстрых неветвящихся алгоритмов, вычисляющих симметрические функции или произведение матриц, авторам неизвестно, можно ли с его помощью построить более быстрые параллельные вычисления. Авторам неизвестен также ни один метод уменьшения числа шагов, требующихся для вычисления 2-3-дерева Тп. Авторы предполагают, что установленные здесь результаты останутся справедливыми, если допустить и взаимное уничтожение членов, причем задача о 2-3-деревьях должна быть одной из наиболее легких.

Другой интересный вопрос — это глубина рассмотренных формул, если их интерпретировать как булевы формулы (т. е. сложение интерпретировать как ИЛИ, а умножение как И). В полном базисе для формулы сложности п можно построить эквивалентную ей формулу глубины О (log/г) [19] и формулу, эквивалентную перманенту глубины О (log3 п) [20]. До сих пор авторам неизвестно ни одного результата, показывающего, что полученные здесь нижние оценки не сохраняются, если ограничиться монотонными булевыми формулами (хотя имеются примеры, когда нижние оценки глубины, справедливые для системы So, не переносятся на монотонный булев случай).

Наконец, было бы интересно получить близкие верхние и нижние оценки для относительной силы системы So по сравнению с полной системой, использующей для упрощения беспо- вторных формул взаимное уничтожение членов.

ЛИТЕРАТУРА

Brent R. Р. The parallel evaluaton of arithmetic expressions in logarithmic time, Complexity of Sequential and Parallel Numerical Algorithms, Academic Press, New York, 83—102, 1973.

McColl W. F. Some results on circuit depth, Ph. D. Thesis, University of Warwick, 1977.

McColl W. F. The circuit depth of symmetric Boolean functions, JCSS 17, 108—115, 1978.

Goodrich G. B., Ladner R. E. and Fischer M. J. Straight-line programs to compute finite languages, Proc, of a conference on Theoretical Computer Science, University of Waterloo, 221—229, 1977.

Miller W. Computational complexity and numerical stability, SIAM J. Computing 4, 97—107, 1975.

Miller W. Computer search for numerical stability, J. ACM 22, 512—521, 1975.

Miller D. E., Preparata F. P. Restructuring of arithmetic expressions for parallel evaluation, J. ACM 23, 534—543, 1976.

Pippenger N. Short monotone formulas for threshold functions, IBM Tech. Rep. RC 5405, 1975.

Shamir E., Snir M. Lower bounds on the number of multiplications and the number of additions in monotone computations, IBM Tech. Rep. RC 6757, 1977.

Shamir E., Snir M. Lower bounds on depth complexity in monotone arithmetic computations, IBM Tech. Rep. RC 7055, 1978.

Snir M. On the complexity of formula simplification (готовится к печати).

Valiant L. G. The complexity of computing the permanent, Theor. Comp. Sci. 8, 189—201, 1979.

Hyafil L. On the parallel evaluation of multivariate polynomials, SIAM J. Computing 8, 120—123, 1979.

Munro J. I. The parallel complexity of arithmetic computations, Proc, of the 1977 Internatinal FCT-conference on Fundamentals of Computations Theory, Springer, Berlin, 466—475, 1977.

Snir M. On the size of monotone formulas, University of Edinburgh Tech. Rep. CSR-46-79, 1979.

Райзер Г. Дж. Комбинаторная математика. — М.: Мир, 1966.

Jerrum М., Snir М. Some exact complexity results for straight-line computations over semirings, University of Edinburgh Tech. Rep. CSR-58-80, 1980.

Csansky L. Fast parallel matrix inversion algorithms, SIAM J. Computing 5, 618—623, 1976.

Muller D. E., Preparata F. P. Bounds to complexities of networks for sorting and switching, J. ACM 22, 195—201, 1975.

Valiant L. G., личное сообщение.

Commentz-Walter В. Size-depth tradeoff in monotone Boolean formulae, Acta Inform. 12, 227—243, 1979.

Commentz-Walter B., Sattler J. Size-depth tradeoff in non-monotone Boolean formulae, Acta Inform, (в печати).

Хасин Л. С. Оценки сложности реализации монотонных симметрических функций формулами в базисе V, &, 1 , ДАН СССР 189, № 4, 752—756, 1969.

Сложность моделированиянеравномерных распределений)

Д. Кнут, Э. Яо

Computer Science Department, Stanford University, Stanford, Calif. 94305, U. S. A.

Целью настоящей работы является введение в теорию сложности моделирования случайных величин с неравномерными распределениями, исходя из имеющегося источника равнорас- пределенных случайных битов). Мы рассмотрим процедуры, которые минимизируют среднее число случайных битов, необходимых для моделирования случайных величин с произвольными распределениями в произвольных системах счисления.

В разд. 1 представлены некоторые неформальные примеры алгоритмов и наброски теорем, которые более детально будут рассматриваться в последующих разделах. Оптимальные алгоритмы моделирования дискретных распределений изложены в разд. 2. В разд. 3 введено понятие общей системы представления вещественных чисел, а в разд. 4 на основе этого понятия конструируется оптимальная процедура моделирования произвольного распределения. Количественные аспекты подобного построения анализируются в разд. 5.

Раздел 6 содержит некоторые теоретические результаты, не имеющие непосредственного отношения к задаче моделирования случайных величин; в нем показано, что для вычисления первых к двоичных знаков значения произвольной монотонной функции, отображающей [0,1] в [0,1], в среднем требуется знание менее чем /г+ 4 первых двоичных знаков аргумента, когда усреднение проводится по всем значениям аргумента из [0,1].

Поскольку оптимальные алгоритмы моделирования случайных величин, построенные в рамках неограниченной модели в разд. 1—6, как правило, являются непрактичными, в разд. 7 обсуждается важный специальный класс алгоритмов с конечным числом состояний. Несколько более сильная модель, чем

Knuth D. Е., Yao А. С. The Complexity of Nonuniform Random Num- Ьгг Generation. Algorithms and Complexity. Academic Press, New York, 1976, 357—428.

) To есть независимых случайных величин, принимающих значения 0 и

устройство с конечным числом состояний, используется при моделировании экспоненциального распределения в разд. 8.

В разд. 9 обсуждаются некоторые возможные направления дальнейшего развития этого нового раздела теории сложности, изложение которого в силу его новизны авторы старались сделать замкнутым 1).

1. ПРЕДВАРИТЕЛЬНЫЕ ПРИМЕРЫ

Предположим, что вы хотите сыграть в кости, но единственное, чем вы располагаете, — это монета, подбрасывая которую можно получить «случайный бит», равный 1, если монета падает гербом вниз, или 0 в противном случае, так что результат серии подбрасываний монеты может быть представлен в виде цепочки нулей и единиц. Если ваша монета идеальная, то каждое ее подбрасывание обеспечивает получение 0 или 1 с одинаковой вероятностью; кроме того, результаты подбрасываний будут независимы друг от друга. Задача состоит в получении результатов, эквивалентных бросанию двух правильных костей, так чтобы суммарное количество выпавших очков (2, 3, ..., 6, 7, 8, ..., 12) встречалось соответственно с вероятностями (1/36, 2/36, ..., 5/36,6/36,5/36, ..., 1/36).

Один из возможных путей решения поставленной задачи может состоять в трех последовательных подбрасываниях монеты, так что исходы (001, 010, 011, 100, 101, ПО) можно интерпретировать как представленное в двоичной системе счисления число очков (1, 2, 3, 4, 5, 6), выпавших при бросании кости. Если результатом трех последовательных подбрасываний монеты является 000 или 111, то процесс подбрасывания должен быть повторен до получения трех неидентичных исходов. Затем аналогичным образом осуществляется имитация процесса бросания второй кости.

Подобная процедура имитации бросания кости посредством троекратного подбрасывания монеты может быть представлена в графической форме (рис. 1). Каждый кружок обозначает одно подбрасывание монеты, которое имеет два исхода, показанные стрелками справа от кружка; каждый квадратик обозначает «концевой узел» с приписанным ему числом выпавших очков.

Легко видеть, что в данном случае среднее число Т подбрасываний монеты в точности равно 4, поскольку эта величина

2

удовлетворяет уравнению Т = 3 + -g- Г. Можно вычислить это

9 При переводе специальных терминов мы руководствовались терминологией, принятой в отечественных Изданиях многотомной монографии Д. Кнута [5, 6, 8]. — Прим, перев.

среднее значение менее специальным способом, который будет использоваться позже при решении других задач. Пусть рт— вероятность того, что необходимо ровно т подбрасываний, и

Рис. 1. Имитация бросания одной кости путем троекратного подбрасывания монеты.

пусть qm = рт-и + Рт+2 + • • • — вероятность того, что потребуется более чем m подбрасываний монеты. Тогда среднее значение (1.1) S ^•Рт== 2 2 Рт^^ 2 2 Рт== 2 41-

т>1 т^Ю^/<т />0т>/ />0

(Изменения порядка суммирования законно, поскольку каждое рт^О.) Следовательно, для процедуры, изображенной на рис. 1, среднее число подбрасываний равно

и сумма этого ряда равна 4. В общем случае легко видеть, что для каждого алгоритма, основанного на подбрасывании монеты,

справедливо равенство

Ят = -^-,

где целое /(zn)^O равно числу «живых» (неокончившихся) ветвей в алгоритме после того, как произведено т подбрасываний. Можно представить себе расширение диаграммы, изображенной на рис. 1, в бесконечное бинарное дерево с корневым узлом на уровне 0 и /(тп) узлами разветвления на уровне /и.

Заметим, что существует возможность продвижения по дереву, изображенному на рис. I, без достижения когда-нибудь концевого узла. Это обстоятельство должно иметь место для любой корректной процедуры имитации бросания правильной кости посредством подбрасывания идеальной монеты, поскольку 6 ни при каком m не является делителем 2'71. Если не существует бесконечных путей в бинарном дереве, то, согласно «лемме о бесконечном дереве» (см., например, [5], разд. 2.3.4.3), существует такое пг, что qm = 0; следовательно, вероятность

Рис. 2. Более эффективный способ имитации бросания одной кости.

каждого исхода в таком дереве должна быть кратна Х/й™. Поэтому анализ сложности алгоритмов, связанных с подбрасыванием монеты, не должен основываться просто на времени выполнения 9 алгоритма в наихудшем случае. К счастью, необходимость в осуществлении большого числа подбрасываний на рис. I чрезвычайно мала — вероятность того, что потребуется более чем 3/71 подбрасываний, равна только (2/8)w; на практике подобная процедура всегда завершается, за исключением, возможно, в книгах и пьесах [10]. В данной статье подобные процедуры, в том числе и бесконечные, мы называем «алгоритмами», хотя выражаясь более точно, их следовало бы называть «вычислительными методами», поскольку алгоритмами традиционно называются конечные процедуры.

!) Здесь и далее время выполнения алгоритма является синонимом необходимого числа, подбрасываний монеты (случайных битов). — Прим, перев.

Читатель, возможно, уже заметил источник неэффективности на рис. I: когда получаются три идентичных исхода подбрасываний монеты, мы могли бы использовать этот общий результат в качестве исхода следующего подбрасывания, поскольку исходы ООО и III равновероятны. Таким образом, мы получаем процедуру, представленную в графической форме на рис. 2, ко-

2

торая требует в среднем только 3-^ подбрасывания монеты1).

Если же использовать эту процедуру для имитации каждого из двух бросаний кости, то в среднем потребуется 7 у подбрасывания монеты. На самом деле возможно значительное улучшение этой процедуры, поскольку нам не нужна полная информация об индивидуальном количестве очков, выпавшем в результате бросания каждой отдельной кости; все, что нам требуется, — это суммарное количество выпавших очков вне зависимости от того, является ли, например, результат, рав

ный 7, суммойный 7, суммойилиили

ный 7, суммой

ный 7, суммой

или

или

Можно показать, что процедура, представленная в графической форме на рис. 3, обеспечивает правильные вероятности исходов бросания двух костей и для ее выполнения требуется в среднем только 4 -у подбрасывания монеты.

В разд. 2, в котором исследуются общие вопросы получения выборочных реализаций из произвольного дискретного распределения, будет показано, что рис. 3 соответствует оптимальному алгоритму моделирования исходов бросания двух костей среди всех алгоритмов, основанных на подбрасывании монеты, причем «оптимальность» понимается в самом сильном смысле. Пусть qm — вероятность того, что для выполнения процедуры, изображенной на рис. 3, потребуется более чем m подбрасываний монеты, и пусть Qm — соответствующая вероятность для любого пригодного для этой цели алгоритма; тогда Qm ^ qm. В частности, алгоритм, соответствующий рис. 3, минимизирует каждый член ряда (1.1), поэтому он имеет минимальное среднее время выполнения среди всех пригодных для этой цели алгоритмов.

Если мы захотим имитировать бросание одной кости, то рис. 2 предоставляет нам оптимальную процедуру для этой цели. Однако если мы захотим собрать полную информацию о каждом из 36 равновероятных исходов двух последовательных бросаний кости, то существует лучший способ, чем просто

!) Поскольку эта величина является решением уравнения Г = 3 + у (Г —

— 1). — Прим, перев.

Рис. 3. Оптимальная процедура моделирования распределения суммы очков, выпавших в результате бросаний двух костей.

применение процедуры, представленной на рис. 2, дважды! Из результатов разд. 2 будет следовать, что два бросания кости можно имитировать путем подбрасывания монеты в среднем образа. Более того, можно имитировать процесс к бросаний кости в среднем с помощью менее чем 2-|- & logs 6 подбрасываний мо*

неты; например, при 6 = 3 оптимальное среднее число подбра- 35

сываний равно 8 -^-.

Обратимся теперь к следующей задаче, которая, несмотря на свое кажущееся различие, в действительности тесно связана с предыдущей: в отличие от дискретного случая рассмотрим случай моделирования непрерывной вещественнозначной случайной величины X, имеющей функцию распределения

(1.3)(1.3)F(x) = P^X<x\F(x) = P^X<x\— ОО— ООX < + ОО.X < + ОО.

(1.3)

(1.3)

F(x) = P^X<x\

F(x) = P^X<x\

— ОО

— ОО

X < + ОО.

X < + ОО.

Поскольку мы не имеем возможности получать бесконечно много цифр значения случайной величины X в конечное время на ЭВМ, будем иметь дело с алгоритмами, которые доставляют последовательные двоичные знаки случайной величины X до тех пор, пока в этом есть необходимость; таким образом, если алгоритм выполняется достаточно долго, то в результате можно получить искомое значение со сколь угодно большой степенью точности. Задача состоит в моделировании подобных случайных величин, используя только источник равнораспределенных случайных битов, например подбрасывая идеальную монету достаточно много раз.

Предположим, например, что случайная величина X имеет функцию распределения

(1.4)(1.4)Т^ =Т^ =О, х2, 1,О, х2, 1,х < 0, 0<х< 1, X > 1.х < 0, 0<х< 1, X > 1.

(1.4)

(1.4)

Т^ =

Т^ =

О, х2, 1,

О, х2, 1,

х < 0, 0<х< 1, X > 1.

х < 0, 0<х< 1, X > 1.

Один из способов моделирования этой случайной величины состоит в присвоении X-^-aJU, где U — случайная величина, равномерно распределенная между 0 и 1, поскольку

Р(Х<х) = Р(д/и ^x) = P(U^x2) = x2, 0<х<1.

Следующая процедура, написанная на специально приспособленном для наших целей диалекте Алгола, доставляет последовательные двоичные знаки результата, используя вариант

9 В отечественной литературе функция распределения обычно определяется как F^ = Р(Х<_ху, по поводу соответствия между обоими определениями см. разд. 4. — Прим, перев. •

обычного «школьного» правила извлечения квадратного корня.

begin integer гц г;

п^-г^-о\

while true do

begin r<-4X^ + 2 XHip + flip; n^^X^ if r > n then begin r<-r — n — 1; n<-n + 2;

output (1) end ,

else output (0);

end;

end;

Здесь flip означает входной случайный бит, равный 0 или 1, а результатом операции output является очередной знак двоичной дроби X. Корректность этого алгоритма вытекает из рассмотрения следующих соотношений, связывающих вход и выход алгоритма с величинами п и г в начале цикла while:

если входом алгоритма является цепочка двоичных знаков, состоящая из 2& нулей и единиц, которая определяет целое число пг в двоичной записи, то выходом алгоритма является двоичная цепочка длины к, которая определяет целое число LVmJ; кроме того п = 2 [VmJ и г = m — /г2/4.

В качестве примера выполнения этого алгоритма предположим, что исходы первых 10 подбрасываний монеты образуют цепочку 1010011100; тогда первые пять битов результата равны 11001 и действительно квадратный корень из (.1010011100 .. .)2 равен (.11001 . ..)2. Таким образом, алгоритм А использует два входных бита для получения каждого выходного бита.

Изучающие моделирование случайных величин знают, что существует другой способ моделирования распределения (1.4), который состоит в выборе наибольшей из двух независимых равномерно распределенных между 0 и 1 случайных величин U и V, поскольку

Р(шах^, УХх^Р^и^х, V^x) = x\ 0<х<1.

Этот факт позволяет в большинстве случаев использовать менее чем 2к входных битов для получения к битов результата; действительно, достаточно нескольких первых битов U и V, чтобы выяснить, что (J #= V, и затем можно использовать оставшиеся биты наибольшего из чисел в качестве остальных битов результата. Таким образом, можно применять следующий ал-

горитм:

begin integer и, и;

и*- у *- 0;

while и — у do

begin ««-flip; v«-flip;

output (max («, u));

end;

while true do output (flip);

end;

Среднее число 7\ входных битов, необходимых для получения к битов результата с помощью этого алгоритма, удовлетворяет рекуррентному соотношению

Г6 = 2 4-1т6_1 + 1(^-1), 6>1, Го = О,

откуда следует, что Тк = к + 2 — 21-А

Более детальный анализ алгоритма В показывает, что он может быть улучшен, если использовать первое из двух подбрасываний монеты для решения вопроса о том, равны или нет и и и; если и ^= v, то второе подбрасывание является излишним. В результате мы получаем более простой алгоритм

begin integer и;

U<-0;

while и = 0 do

begin u«-flip;

if u=l then output (1) else output (flip) end;

while true do output (flip);

end;

Среднее число Тк подбрасываний монеты, необходимых для получения с помощью этого алгоритма к битов результата, является решением уравнения

^ = |^+|(2 + ^-1). ^о —0, а именно

Tk = k + 1 — 2-ft.

Ниже будет показано, что алгоритм С реализует оптимальный способ моделирования случайной величины X с распределением (1.4), где оптимальность понимается в самом сильном смысле: при любых целых к и m среди всех пригодных для моделирования этого распределения алгоритмов алгоритм С минимизирует вероятность того, что потребуется пг или более подбрасываний монеты, прежде чем будет получено к битов результата. Кроме того, в дальнейшем будет конструктивно

показано, что оптимальные в указанном смысле алгоритмы существуют для любого распределения F.

Задача имитации k бросаний кости, ^ = 1, 2, 3, ..., может рассматриваться как задача моделирования вещественнозначной случайной величины между 0 и 1 в системе счисления по основанию 6, исходя из последовательности случайных битов. В действительности существует общий подход, который включает в себя оба типа задач в качестве частных случаев. В разд. 3 будет обсуждаться идея общей системы представления для вещественных чисел, которая включает в себя в качестве спе циальных случаев как двоичную, так и системы счисления по смешанным основаниям и даже такие формы представления чисел, как система с «плавающей точкой» и представление в виде непрерывных дробей. В результате общая задача моделирования неравномерных распределений превращается в задачу моделирования случайной величины X с данным распределением F в конкретной системе представления, и в дальнейшем мы будем строить оптимальные методы для всех вариантов этой общей задачи. Задача моделирования дискретных распределений, рассматриваемая в разд. 2, представляет собой просто получение всех значащих цифр представления соответствующей случайной величины.

Прежде чем перейти непосредственно к рассмотрению дискретного случая, заметим, что Аренсом в [1] предложен несколько отличный от изложенных выше метод моделирования случайной величины X с распределением (1.4). В принятой нами форме записи алгоритмов его так называемый метод «втискива^ ния бита» выглядит следующим образом:

D: begin integer Z, /;

/<-0;

while flip = 0 do /<-/+1;

for Z<-1 step 1 until j do output (flip);

output (1);

while true do output (flip);

end;

Эта процедура весьма похожа на алгоритм С, за исключением того, что она удерживает первые j битов результата; среднее число подбрасываний монеты, необходимых для получения к битов результата, равно

А: + 1Ч-2-\

что несколько больше, чем (1.5) '). Таким образом, метод Аренса не является оптимальным с нашей точки зрения. Однако с

практической точки зрения /, как правило, очень мало, величина к обычно не меньше 10 и алгоритм D может быть очень эффективно реализован на двоичной ЭВМ с использованием операций сдвига. Поэтому алгоритм D в действительности является более практичным, чем оптимальный алгоритм С!

Как всегда мы должны быть осторожными по отношению к нашим теоретическим результатам по сложности алгоритмов. Теория очень полезна для локализации узких мест в задаче, для обнаружения новых алгоритмов и установления границ их применимости, однако не надо забывать при этом, что мы имеем дело лишь с упрощенной идеализацией действительности (см. [7] для дальнейшего обсуждения последствий злоупотребления теорией).

МОДЕЛИРОВАНИЕ ДИСКРЕТНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

Предположим, что случайная величина X принимает различные значения xb х2, ..., хп соответственно с вероятностями Рь р2, ..., рп, где

Р1 + й+ Рп=1,

причем п может быть бесконечно. Мы будем изучать класс таких алгоритмов моделирования случайной величины X с этим распределением вероятностей, которые реализуют процесс подбрасывания монеты так, как это обсуждалось в разд. 1. Каждый такой алгоритм может быть представлен в виде бинарного (как правило, бесконечного) дерева, содержащего узлы двух типов:

узлы разветвления, которые имеют двух потомков и означают «подбросить монету и перейти к одному из потомков в зависимости от исхода бросания»;

концевые узлы, которые не имеют потомков; они помечены одним из значений Xi и означают «получить в качестве результата Xi и закончить выполнение алгоритма».

Диаграммы на рис. 1—3 представляют собой примеры подобных деревьев, если их очевидным образом расширить до бесконечных деревьев. Будем считать, что корень подобного бинарного дерева имеет уровень.0, а потомки узлов уровня m имеют уровень m+ 1. Если //(т)— число концевых узлов уровня т, которые помечены значением х^ то для каждого i должны выполняться равенства

Z tAmW = Pi.

m>0

Если эти условия выполняются, то мы будем говорить о ПДР- дереве (дереве, порождающем дискретное распределение) 1), а соответствующие алгоритмы будем называть ПДР-алгоритмами. Целью настоящего раздела является изучение таких ПДР-де- ревьев, которым соответствуют наиболее быстродействующие алгоритмы.

Пусть

t (m) = (m) +t2 (m) + ... + Z„(m)

— общее число концевых узлов ПДР-дерева уровня пг. Из равенств (2.1), (2.2) и (2.3) следует, что

Z(rn)/2m=l,

m >0

следовательно, ПДР-алгоритм завершается с вероятностью 1.

Как отмечалось в разд. 1, среднее время выполнения подобного алгоритма (среднее число подбрасываний монеты) равно

^Чт-^Д^.

т>0т>0

где qm — вероятность того, что потребуется более чем т подбрасываний монеты и /(т)—количество узлов разветвления уровня т. Мы будем искать нижнюю границу для среднего времени выполнения алгоритма путем определения нижней границы для каждого /(т)._

Решение этой задачи очень простое. Во-первых,

/(о) + /(о)=1,

*I (т) +1 (m) = 2/ (m—1) при m^l,

так как каждый узел разветвления уровня т — 1 имеет двух потомков. Кроме того,

W = 2

\х,>т

(это соотношение справедливо при т = 0 на основании (2.4), а при т ^ 1 следует по индукции из (2.6)). Далее .

£ tA# = Pi- Z ^(р.)/2ц^ (2mpz}/2m,

где {х} = х — [х J = x(mod 1) означает дробную часть х, так как левая сумма неотрицательна, а правая кратна 2-т. Комбинируя (2.7) и (2.8), получаем искомую нижнюю границу

I (m) > (2mpJ + {2mp2} + • - • + {2mp„}.

9 В оригинале DDG-tree (discrete distrubution generating tree)i.— Прим, nepee.

Подстановка (2.9) в (2.5) показывает, что среднее время выполнения любого ПДР-алгоритма по меньшей мере равно

(2.Ю)v(p1) + v(p2)+ ... + v(p„),

где «новая» функция

v(x) = £ {2'"x}/2'",0<х<1.

m>0

Если п = оо, то (как мы увидим далее) нижняя граница (2.10) может быть бесконечной, и в таких случаях все ПДР-алгоритмы будут в среднем выполняться бесконечно долго.

Если же нижняя граница конечна, то ПДР-алгоритм будет достигать ее тогда и только тогда, когда в (2.8) имеет место равенство при всех I и пг; это означает, что

2 /г(1х)2"”ц = 12трг],

0<ц,< пг

т. е. ti\m) при m = 0, 1, 2, ... просто является значением т-го бита в двоичном представлении рь

Поскольку нам часто придется иметь дело с двоичными разложениями, воспользуемся функциями Бореля

em (х) = |2mxJ (med 2),

которые определяют коэффициент при 2~т в обычном двоичном представлении числа х, так что

т

при —оо < х < оо, где суммирование осуществляется по всем целым значениям пг. Предыдущее обсуждение привело, нас, таким образом, к заключению, что ПДР-алгоритм имеет минимальное среднее время (2.10) тогда и только тогда, когда

Zz(m) = em(pz)

при всех I и пг.

Обратно, мы должны показать, что для любых распределений вероятностей (pz, рг, • • ■, Рл) существуют ПДР-деревья, удовлетворяющие (2.15). Определим величины Цт) и Цт}, как в (2.15) и (2.3), так что имеют место (2.2) и (2.4). Ясно, что ПДР-дерево с подобным определением t^m) существует тогда и только тогда, когда целые /(/и), определенные в (2.6), неотрицательны. Но из (2.4) и (2.6) следует (2.7); следовательно, /(т)^0 и оптимальные ПДР-деревья, удовлетворяющие (2.15), существуют.

В качестве примера рассмотрим распределение, определяемое трансцендентными вероятностями

р1=1/л = (0.010100010111110 ...)2,

р2 =1/е = (0.010111100010110 . ..)2,

р^ = 1 — Р1 — р2 = (0.010100000101010 ...)2.

Одно из оптимальных ПДР-деревьев для этого распределения показано на рис. 4. Данное дерево существенно бесконечно — оно не может быть получено путем расширения конечной диаграммы, как в случаях, которым соответствуют рис. 1—3. Ясно, что алгоритмы с конечным числом состояний имеют место тогда и только тогда, когда все вероятности рациональны1). С другой

Рис. 4. Оптимальное ПДР-дерево, порождающее события (А, В, С) в соответствии с вероятностями (2.16).

стороны, алгоритм оптимального моделирования любого дискретного распределения может быть легко построен в виде функции (бесконечных) двоичных представлений данных вероятностей.

Следующая теорема резюмирует полученные результаты по моделированию дискретных распределений.

Теорема, 2.1. Пусть (р\, р2, ..., рп)—распределение вероятностей, причем п может быть бесконечно, и пусть ^ есть ПДР- алгоритм для этого распределения. Тогда среднее время T(.s^ выполнения этого алгоритма (т. е. среднее число случайных битов, необходимых для выполнения ^ удовлетворяет неравенству

Т ^ > v (pD + v (р^ + ... + v(p„),

где функция v(x) определена в (2.11). Следующие утверждения эквивалентны*.

при любом пг^О среди всех ПДР-алгоритмов для данного распределения алгоритм ^ минимизирует вероятность того, что для их выполнения потребуется более чем m случайных битов*,

9 И, очевидно, их число конечно. — Прим, перев.

при каждом пг^ О и 1 ^ i ^ п ПДР-дерево, соответствующее алгоритму s^, имеет в точности ът (pz) концевых узлов уровня пг, помеченных значением Xt, где ет(х) обозначает коэффициент при 2~т в двоичном представлении х.

Кроме того, если Т (<s£) конечно, то утверждение

7’(^) = v(p1) + v(p2) + ... +v(p„)

также эквивалентно утверждениям (а) и (б).■

Перейдем теперь к изучению функции v(x), которая фигурирует в формуле для оптимального среднего времени. Имеем

v(x) = 2 ( 2 etl(x)/2,l-my2m= 2 £ е^х^ m>0\u,>m/'ц>00<т<ц

= X № W/^ при 0 ^ X ^ 1.

Удобнее доопределить v(x) для произвольных вещественных не* отрицательных чисел х так, что

v (х) = У тгт ^[2т при х > О,

т

где суммирование производится по всем целым значениям т от —оо до +°°- Таким образом, эта функция оказывается определенной для любого фиксированного х, поскольку ет(х) будет равна 0 при всех достаточно больших отрицательных значениях т.

Когда х является степенью 2, то v(x) = Н (х), где

#(x) = xlog2(l/x), х>0; //(0) = 0.

Кроме того, легко видеть, что равенство

v №b>) = hx^ + v (x)/2fc

справедливо также и для Н(х). Отсюда следует, что, по-види- мому, v(x) приближенно равна Н^х), и это действительно так.

Теорема, 2.2. Н(х) ^ v(x) < /7(х) + 2х для всех х > 0, и эти границы являются неулучшаемыми.

Доказательство. Ясно, что у(0) = Я(0). Пусть х>0 такое, что 2~т ^ х < 21-'" *). Тогда

v (х) = 2 Н8ц W]^ ^ Е log2 (1Д) 8ц (х)/2ц = Н (х) ц>ту,>т

9 При остальных х утверждение теоремы справедливо на основание (2.21). — Прим, перев..

и

tf(x) + 2x-v(x) = Z (log2(l/x) + 2 — ^«^(а:)^ \x>m

2 km^x-^t#-^"1- 2 ^-m-\^w№w

W^-mn>zn+2

2~m - 2 р/2и+,"+1 = 0,'

ПОСКОЛЬКУ emW— 1-

Утверждение, что эти границы неулучшаемы, вытекает из рассмотрения значений х = 2~т и х = 2I“/n — y-m-k,у

Следствие. Пусть Н(рХ) р^ ..., рп) = Н(pi) + Н^-\- ... ... -VH^pn) — энтропия распределения вероятностей (pi, р^ ... ...,pnY Тогда среднее время выполнения оптимального ПДР-алгоритма для этого распределения заключено между Н^рх, р2, Рп) и Н^рх, р2, рп) + 2.■

Вероятно, наиболее известным свойством Н(х) является фундаментальное неравенство

Н(х) -VH^^H (х + у) + ^ + у,

которое превращается в равенство тогда и только тогда, когда х = у. Функция v(x) не удовлетворяет этому соотношению (например, при х=1/3 и у = 2/3 v(x)=8/9, v(y)=10/9 и v(x + y) = 0), однако v(x) удовлетворяет родственному равенству

v (х) + v (у) = v (х + у) + (х А у),

гдех А у является таким двоичным числом, в котором единицы встречаются ровно там, где происходят переносы при сложении х с у:

х А у = z k^tn U + у) + ^rn W + 8т (у)) (mod 2)/2m. m

Равенство (2.23) следует из того факта, что величина v сокращается на 2~т, когда происходит перенос в позицию с номером ш, так как

km + l)/2m+1 + km + l)/2m+1 = m^ + l/2m.

Заметим, что

x ф у ^ 2 kx + у),~

поскольку, если 2т ^ х + у < 2m+1, то х (^ у ^ 2т -ф 2т~1 -(-, _L2'n-2-|- ... = 2m+1,

Закончим настоящий раздел определением экстремальных значений среднего времени выполнения оптимального алгоритма.

Теорема. 2.3. Пусть м^р\, ргРл) = V(pi) +v(p2)+' ... ... + v (рп) будет «новой энтропией» распределения вероятностей (рь р2, .• Рп). Тогда

v(p„ р2pj^riog2144n- l)^1062"1"1.

Кроме того, если все pi строго положительны, то

v(pb р2р„)>2-22"",

и эти границы являются неулучшаемыми.

Доказательство. Справедливость верхней границы следует из

{2mpJ + {2тр2} + ... + {2mp„} < min (2m, п - 1)

при всех m ^ 0 (далее используется (2.10)); левая часть неравенства (2.28) равна 2т— I^PiJ — ••• — L2mpnJ, т. е. целому числу, меньшему чем п. Когда п = 6, эта граница может быть достигнута, если, например, в двоичной системе счисления

р,= .ОО1 111110 111110 111110 ...

р2 = .001 111101 111101 .111101 ...

р3 = .001 111011 111011 111011 ...

р4=.ООО 110111 110111 110111 ...

■ р5=.ООО 101111 101111 101111 ...

р6=.000 011111 011111 011111 ... .

Аналогично, в случае произвольного п можно положить

'

1 ( 2"-2^’ -1\07 l_ 1

= М 2-_l)■ 2+ 1

где q = [log2nl. Заметим, что если 0 = flog2nl — log2(ra— 1), то 0 < 01 и

Rog2 nl + (n - 1 )/2rlogz = log2 (« - 1) + 6 + 21-6.

Так как функция 0 + 21-9 ^ 2 при 0 ^ 0 ^ 1, то

v (pb p2p„) < log2 (n — 1) + 2,

причем равенство возможно, когда п — 1 является степенью 2.

Перейдем теперь к рассмотрению нижней границы. Ясно, что нижняя граница может быть достигнута только в том случае, когда ПДР-дерево имеет наименьшее число концевых узлов, а именно п. В этом случае существует п —- 1 узлов разветвления и известно, что v(pi, рг, ..., Рп) имеет минимальное значение, когда дерево вырождено (см. [8], упр. 6.3—37, где эквивалентный факт приводится без доказательства). Используя обозначения, принятые при доказательстве теоремы 2.1, из (2.15) и (2.18) следует, что для оптимального дерева всегда выполняется равенство

v(pb р2р„) = 2 m<(m)/2m,

m > 1 что в свою очередь 9 равно

2 т^Цт- 1)-/(т))/2т = £ /(m)/2m.

m> 1т >0

Поскольку в рассматриваемом случае У, Цт^ = п — 1, ясно, т>0

что (2.32) достигает минимума, когда /(0) =/(!)= ... ... = (Дп— 2)= 1. Эта нижняя граница достигается, например, для распределения

( 2"у,1</<п,

(2-33)"“Ь-”.■

Когда п бесконечно, мы можем, используя теорему 2.2, подобрать такое распределение вероятностей, что v(pi, р^ ..-)=оо. Вероятно, наиболее интересный пример подобного рода может быть получен, если положить р\ = 0 и

ру ^ис^ГП+ТТЛ^^ ^2е

Любопытно проверить, что в этом случае Spy = 1 и Sv(py)'= оо. Поскольку каждое ру обратно степени 2, то оптимальное ПДР- дерево может быть довольно легко построено.

ОБЩИЕ СИСТЕМЫ ПРЕДСТАВЛЕНИЯ

Прежде чем приступить к моделированию непрерывных распределений, рассмотрим довольно общую модель для представления вещественных чисел.

Пусть (возможно, неограниченный) интервал R вещественной оси разбит на один или более непересекающихся интервалов, скажем

fi = /?[n]LW+l]U ... IWL

где а и b либо целые, либо равны ±оо, а ^ b и /?[/] находится левее R [/] при i < /. Пусть далее каждый интервал R [/] разбит аналогичным образом на один или более непересекающихся интервалов так, что

/?[/] = /?[/, a^RVk a7+l]U ... \3RV1, ЬД.

Затем каждый интервал RYh,j2\ разбивается подобным же образом, и этот процесс продолжается счетное число раз. При этом требуется единственно, чтобы длины интервалов в конечном счете стремились к нулю, т. е., выражаясь формально, предполагается, что бесконечное пересечение

- R A R [Л] A R [Л, /2] A R Ui, /2, /з] А •. •

содержит самое большее одну точку для каждой бесконечной последовательности целых чисел /ь /г, /з, ....

Подобное дерево интервальных разбиений будем называть системой представления для R; согласно определению, каждое вещественное число xeR имеет единственное представление

•^ = (/ь /г> /з» • ••)>

которое определяется условием

х е /?[/ь /2, /3, ..., iA при любом г^1.

Если х < х\ то представление для х всегда будет лексикографически меньше представления для х', т. е. если x=<j\, j2, 1^ ...> и xf = (/р /2’ Vy ...), то найдется некоторое m^ 1, такое, что ]t = j't при 1 < г < m, но jm < Гт.

Существует много известных примеров таких систем представления.

(а) Пусть R — [0, 1), и пусть при 0 ^ /1, j2, ...» jr < d

r[/„ h. ...ал = [(M"' + V2 + ... + 1Ж,

Qvdr 1 "V hdr 2+ ... +/r+ l)/dr), что, разумеется, представляет собой стандартную систему счисления по основанию d для дробей.

Пусть R =(—оо, оо), и пусть

/?[—1] = (—оо, 0), /?[0] = [0, 0], /?[1] = (0, оо),

/^[1, z] = [2z, 2Z+1), /?[-1, -г] = [-2<+1, —2‘]

при всех целых I. Далее эти интервалы разбиваются следующим образом: полагается R [0, ..., 0] =/? [0] и

Я[+1, /, Л, .... /rl = [2zX(l./i ... /7)2,

2ZX((L/. ... /7)2 + 2-г)), ^[—1, г, Л/г1 = —ЯП,—<> 1 — Л1 — /7]

для всех О^/ь ..., jf ^ 1. Это двоичная система с плавающей точкой.

Пусть /? = (0, 1], и пусть при /1, /2, ./г ^ 1 /?[— /ь /2,..., (—1)7J—множество целых чисел, лежащих между

11(3.9)

1

1

(исключая эту границу) и

1

(включая эту границу). Пусть, кроме того, /?[—/ь /2, ... ..., (—1)г/г, 0, ..., 0] с одним или более заключительными нулями представляет собой единственное число l/(/i+l/(/2 + + l/(...+ l/(/r + l)) ...))• Например, /?[-3] = [1/4, 1/3); /?[—3, 1] = (1/4, 2/7]; R [—3, 0] = [1/4, 1/4]. Подобное представление является стандартным представлением в виде непрерывной дроби с небольшими изменениями, сделанными для согласования лексикографического порядка представления с обычным порядком.

Пусть R =(—оо, оо) и х = п + 0 для любого xeR, где п целое и О^0<1. Существует способ последовательного разбиения R на два подынтервала таким образом, чтобы на каждом шаге х было представлено п + 1 единицами и двоичным представлением 0, разделенными нулем, если п ^ 0, или (—п)’ нулями и двоичным представлением 0, разделенными единицей в противном случае. Таким образом,

/?[0] = (— оо, 0), /?[1] = [0, оо);

^[0) 0] — (—оо, — 1), /?[0, 1] = [—1, 0);

/?[1, 0] = [0, 1), /?[1, 1] = [1, оо)

и т. д. Это представление может быть названо «единично-двоичным» представлением х. (Заметим, что хотя мы проводили двоичные разбиения, так что каждое из них содержит бесконечные интервалы, тем не менее каждое бесконечное пересечение (3.3) будет иметь самое большее, одну общую точку. Существует бо-

лее «эффективный» способ кодирования произвольного целого п последовательностью нулей и единиц; этот вопрос изучался В [3].)

В соответствии с этими правилами числа 7/22 и 1/л имеют следующие представления:

7/221/л

Десятичная система:Двоичная система с плавающей точкой:Непрерывная дробь:Единично-двоичная система:Десятичная система:Двоичная система с плавающей точкой:Непрерывная дробь:Единично-двоичная система:(3, 1,8,1,8, 1,8, 1, ...)<1,-2, 0, 1,0,0,0, !,...>(-3,6,0, 0, 0, 0, 0, 0, ...)<1,0, 0,1,0, 1,0, 0,0, ...)(3, 1,8,1,8, 1,8, 1, ...)<1,-2, 0, 1,0,0,0, !,...>(-3,6,0, 0, 0, 0, 0, 0, ...)<1,0, 0,1,0, 1,0, 0,0, ...)<3,1,8,3, 0, 9, 8,8, ...)<1,-2, 0, 1,0, 0, 0, 1, ...)<-3, 7,-15, 1,-292,1,<1,0,0,1,0,1.0, о, 0, ...>,<3,1,8,3, 0, 9, 8,8, ...)<1,-2, 0, 1,0, 0, 0, 1, ...)<-3, 7,-15, 1,-292,1,<1,0,0,1,0,1.0, о, 0, ...>,

Десятичная система:

Двоичная система с плавающей точкой:

Непрерывная дробь:

Единично-двоичная система:

Десятичная система:

Двоичная система с плавающей точкой:

Непрерывная дробь:

Единично-двоичная система:

(3, 1,8,1,8, 1,8, 1, ...)

<1,-2, 0, 1,0,0,0, !,...>

(-3,6,0, 0, 0, 0, 0, 0, ...)

<1,0, 0,1,0, 1,0, 0,0, ...)

(3, 1,8,1,8, 1,8, 1, ...)

<1,-2, 0, 1,0,0,0, !,...>

(-3,6,0, 0, 0, 0, 0, 0, ...)

<1,0, 0,1,0, 1,0, 0,0, ...)

<3,1,8,3, 0, 9, 8,8, ...)

<1,-2, 0, 1,0, 0, 0, 1, ...)

<-3, 7,-15, 1,-292,1,

<1,0,0,1,0,1.0, о, 0, ...>,

<3,1,8,3, 0, 9, 8,8, ...)

<1,-2, 0, 1,0, 0, 0, 1, ...)

<-3, 7,-15, 1,-292,1,

<1,0,0,1,0,1.0, о, 0, ...>,

Заметим, что представления (а), (б) и (г) имеют такие последовательности </1, /г, /з, • • •>, которые соответствуют допустимым интервалам, но не представляют никакого вещественного числа; это случается, когда пересечение (3.3) пусто. Например, представление <9, 9, 9, 9, 9, .. .) никогда не встречается в десятичной системе счисления.

Всякий раз, когда шаг разбиения производит более двух подинтервалов, мы можем заменить его последовательностью двоичных разбиений. Например, R = /?i U R2 U Ra U Ra может быть заменено на R = R' U R", R' = RyU R2, R" = RaU Ra или на R = /?i U R\ R' = R2U R", R" = RaU Ra. Единично-двоичная система (3.10) иллюстрирует, как бесконечное разбиение R = = ... U U Ro U ^?i U • • • может быть представлено в виде последовательности двоичных разбиений так, чтобы каждое Rj получалось после конечного числа делений.

Если разбиения производят самое большее две части, так что все индексы р ограничены значениями 0 и 1, то будем называть результирующую систему двоично-кодированным представлением. Из предыдущего следует, что каждая система представления может быть «расширена» до двоично-кодированной в следующем смысле: для всех конечных последовательностей целых </ь ..., jr> найдется конечная последовательность (/р • ••, /^) нулей и единиц, такая, что интервал /?[/ь ..., /г] в данной системе представления равен интервалу /?[/р ./',] в двоично-кодированной системе, которая расширяет данную; кроме того, отображение (Д, ..., j^-^Qv • ••, 1^) сохраняет лексикографический порядок элементов последовательностей.

В заключение настоящего раздела приведем несколько определений, касающихся так называемых «граней» представления; полезность этого понятия станет ясна в разд. 4. Гранью ^ представления является любое множество непересекающихся интервалов этого представления, объединение которых есть R.

В частности, множество всех /?[/i, ..., jA, таких, что г имеет фиксированное значение к, всегда является гранью, которую мы будем называть к-гранью. Когда общее представление отображается в двоично-кодированное представление, ее 6-грани отображаются в грани двоично-кодированного представления. Образ (6 + 1)-грани, вообще говоря, является лучшим разбиением, чем образ 6-грани.

Говорят, что грань 3*' в двоично-кодированном представлении покрывается другой гранью 3", если 3*г совпадает с 3", за исключением одного из интервалов 1^3"\ который разбит на два интервала 1 = Г U Р\ где Г, Г ^3\ Каждая грань 3е двоично-кодированного представления может быть получена из последовательности граней ЗХ 3"\, 3* ^ ..., где ^’о={/?} и 3*j^i покрывает 3"f, если 3* конечна, то эта последовательность также конечна и заканчивается 3е, в противном случае счетная грань 3е получается естественным путем как предел счетной последовательности покрывающих граней.

МОДЕЛИРОВАНИЕ ПРОИЗВОЛЬНЫХ РАСПРЕДЕЛЕНИЙ

Пусть Г(х)—монотонная неубывающая функция, заданная на всей вещественной оси, такая, что F(—оо) = 0 и F(+oo) = 1. Тогда F определяет распределение вещественнозначной случай* ной величины X, если условиться, что

P(X^x) = F (х + 0) и Р(Х <х) = Г(х-0).

Как обычно, будем писать

F (+ оо) = lim F (n), F (— оо) = Пт F (—- п), Л->ООП->ОО

F(x + 0) = lim гГх + ^У ^(х-0)= lim f(x-4-).

Если F(x + 0)=# F(x — 0), то вероятность того, что X = х, отлична от нуля (и равна F (х + 0) — F (х — 0)).

Таким образом, как дискретные, так и непрерывные распределения соответствуют этой конструкции и нет необходимости требовать, чтобы F была непрерывной либо слева, либо справа.

Пусть / — некоторый интервал и Хр(П—вероятность того, что X е I; тогда■

Д, ((я, 6)) = F (Ь - 0) - F (а + 0),

АД(я, Ь]) = Е(Ь + 0)-Е(я + 0),А,([а, 6)) = Е(6-0)-Е(я-0),ДЩя, &]) = Е(Ь + 0)-Е(я-0).

(Будем считать, что в этих формулах Е(+°о— 0)=1, F(—оо -|- 0) = 0, если а или b бесконечны.)

В данном разделе мы будем заниматься алгоритмами, которые сколь угодно точно порождают случайную величину X (в том смысле, как это объяснялось в разд. 1) в некоторой заданной системе представления для R так, как это было определено в разд. 3. В частности, для любого непустого интервала ^[/ь •••> /г] системы представления мы будем получать представление, начинающееся с </ь .. ., }г\ с вероятностью kF(RVh> •••> М). ПДР-деревья из разд. 2 показывают, как моделировать вероятностное распределение, соответствующее r-грани для любого отдельного г; в настоящем разделе мы рассмотрим решение этой задачи для всех r-граней одновременно.

Основная идея заключается в уточнении (refinement) ПДР- дерева в соответствии с процедурой интервальных разбиений. Это можно пояснить следующим образом. Предположим, что имеется оптимальное ПДР-дерево для некоторого распределения вероятностей pi, р2, .••, рп, и мы хотим заменить значение Xi двумя различными значениями х' и хг\ которым соответствуют вероятности р' и р", такие, что

рх = р' + р".

В дальнейшем будет видно, что любое оптимальное ПДР-дерево для (pi, р2, • • •, рп) можно «уточнить» путем замещения всех концевых узлов | 4j соответствующими поддеревьями, которые порождают хг и х", так, что уточненное ПДР-дерево будет оптимальным для нового распределения вероятностей (р', р", р2, ... ..., рп). Если подобное оптимальное уточнение последовательно сделано для всех разбиений двоично-кодированного представления, то мы получаем дерево, которое является оптимальным одновременно для всех шагов процедуры моделирования.

Прежде чем формализовать эту идею, рассмотрим пример, иллюстрирующий процесс уточнения. Предположим, что р — pi в (2.16) должно быть заменено на р' + р", где

р' = 1/10 = (.000110011001100 ... )2,

р" ==(.001101111110001 . . .)2,

р = 1/л =(.010100010111110 ...)2.

На рис. 4 было изображено оптимальное ПДР-дерево, в котором узлы [Т| соответствуют единицам в двоичном представлении р; требуется заменить эти узлы поддеревьями, в которых узлы |^J и Q соответствуют единицам в двоичных представлениях р'

и р". Тот факт, что р' + р" = Р делает это возможным: мы должны, просматривая двоичные представления слева направо, удалять узел [л] всякий раз, когда в р встречается 1, и добав

лять узлы А* и (или)лять узлы А* и (или)А”А”всякий раз, когда 1 встречаетсявсякий раз, когда 1 встречается

лять узлы А* и (или)

лять узлы А* и (или)

А”

А”

всякий раз, когда 1 встречается

всякий раз, когда 1 встречается

в р' и (или) р"; после того как подобная процедура проделана с одним уровнем, мы переходим к следующему уровню, удваивая свободные узлы. В результате может быть получено уточ-

Рис. 5. Уточнение дерева, изображенного на рис. 4, с использованием вместо pt вероятностей р' и, р", определенных в (4.5).Рис. 5. Уточнение дерева, изображенного на рис. 4, с использованием вместо pt вероятностей р' и, р", определенных в (4.5).

Рис. 5. Уточнение дерева, изображенного на рис. 4, с использованием вместо pt вероятностей р' и, р", определенных в (4.5).

Рис. 5. Уточнение дерева, изображенного на рис. 4, с использованием вместо pt вероятностей р' и, р", определенных в (4.5).

ненное оптимальное ПДР-дерево, подобное тому, которое изображено на рис. 5.

При заданных р = р' + р" алгоритм оптимального уточнения может быть записан следующим образом.

begin set of nodes S, Г; integer m; node x;

m«-0; S *- empty;

while true do

begin if eOT (p) = 1 then включить узел p~| уровня tn в S;

if ^(p')™ 1 then исключить один узел из S и заменить его на Q ;

if еот(р") = 1 then исключить один узел из S и заменить его на |у ;

Т *- empty;

for all х е S do

begin заменить x поддеревом О^^л ; исключить х

из S; включить два новых потомка < в Г;

end;

S<-T; m+-m + 1;

end;

end;

Поскольку S не может содержать одновременно более трех узлов, то следовало бы заменить цикл «for all х е S» более простым правилом превращения S из одноэлементного множества в двухэлементное. (Число элементов в S во время выполнения этого цикла равно числу переносов в m-ю позицию, когда р' прибавляется к р,г, следовательно, оно всегда равно 0 или 1.) Однако алгоритм представлен в таком виде, чтобы показать, что он может быть легко обобщен на случай многократного уточнения, когда р заменяется суммой произвольного числа вероятностей р' + р" + р'" + ... = р. Результат многократного уточнения, по существу, аналогичен последовательным однократным уточнениям, однако мы можем предпочесть их одновременное выполнение. "

Приведенный выше алгоритм уточнения является недетерминированным, так как он не указывает, какой узел множества S должен быть удален и заменен на 0 или 0. Таким образом, в общем случае можно найти несколько способов уточнения. Наоборот, легко видеть, что каждое оптимальное уточнение может быть осуществлено с помощью некоторой детерминированной версии приведенного выше алгоритма.

Частным случаем процесса уточнения является построение из разд. 2: можно положить 1 = pj +(1—рх^ затем 1—р\ = = р2 +(1 — Р\ — Рг) и т. д. Даже когда существует бесконечно много вероятностей, подобные последовательные уточнения порождают естественным образом «в пределе» оптимальное ПДР- дерево.

Применим теперь изложенную идею уточнения к моделированию случайных величин. Предположим, что задано двоично- кодированное представление некоторого интервала R и распределение вероятностей F, сосредоточенное на R, т. е. Аг(/?) должно быть равно 1. Определим для этого распределения и двоично-кодированного представления понятие ПР-дерева (дерева, порождающего распределение) *). ПР-деревом называется (обычно бесконечное) бинарное дерево, содержащее узлы следующих двух типов.

Узлы разветвления, имеющие двух потомков и помеченные конечной (возможно, пустой) последовательностью нулей и единиц. Смысл узла разветвления таков: «получить эту последовательность нулей и единиц в качестве очередных битов представления X; затем подбросить монету и перейти к одному из потомков в зависимости от исхода бросания, равного 0 или 1».

Концевые узлы, не имеющие потомков, которые помечены бесконечной последовательностью нулей и единиц. Смысл

9 В оригинале DG-tree (distribution generating tree). — Прим, перев.

концевого узла таков: «получить эту последовательность нулей и единиц в качестве остальных битов представления X».

Алгоритм, определенный ПР-деревом в соответствии с тем смыслом, который приписан его узлам, будем называть ПР-ал- горитмом.

ПР-дерево должно гарантировать, что X имеет распределение F. Это означает, что если R\]\, ..., /Ч] —любой непустой интервал представления и если Ц]\, ..., jk\ ш)—число таких узлов уровня m дерева, что соответствующий ПР-алгоритм порождает последовательность <ji, ..., ]ь> и, возможно, дальнейшие биты, когда достигается этот узел, причем k-й бит порождается именно при достижении этого узла {а не раньше), то

^ t U\к; m)/2m = Др (Я [/„ ..., кА).'

m > О

В содержательном плане это громоздкое утверждение сводится к следующему простому условию: при всех /1, ..., j^ вероятность того, что моделируемая случайная величина^ имеет представление, начинающееся с ]\, ..., Ь, должна быть равна вероятности того, что случайная величина с распределением F принадлежит интервалу/?[/1 ... ,

На рис. 6,6 приведен пример ПР-дерева, соответствующего алгоритму С из разд. 1 моделирования в двоичной системе счисления распределения F(x)=x2, сосредоточенного на интервале [0, 1). В этом дереве отсутствуют концевые узлы и последовательность битов, приписанная каждому узлу, состоит самое большее из одного бита.

Существует возможность получения в качестве результата выполнения ПР-алгоритма последовательности типа (0.1111...)2, но это происходит с вероятностью 0. С практической точки зрения мы, разумеется, не знаем, возникает ли такая аномалия, так как не видим всю выходную последовательность.

Пусть tk^m)—сумма /(/ь ..., Д; т) по всем 0 ^/1, ... ..., jk ^ 1. Тогда tk^m)/2m равно вероятности того, что ПР-ал- горитм вычислит к-й бит представления X после того, как произведено ровно т подбрасываний монеты. Поскольку сумма всех Дг(/?[/ь .••> М) равна 1, то из (4.6) следует, что

£ tfe№m=l;

m > 0

другими словами, при каждом фиксированном к ПР-алгоритм будет порождать к и более битов X с вероятностью 1.

Среднее время выполнения ПР-алгоритма может быть определено так же, как и в разд. 2. Пусть

qM= 2 к№*

— вероятность того, что потребуется более чем m подбрасываний монеты для получения к-то бита X. Среднее число подбрасываний монеты тогда равно У, qk (m),_ и мы можем распро- tn >0

странить теорему 2.1 на ПР-алгоритмы.

Теорема, 4.1. Пусть F— некоторое распределение, и пусть задана двоично-кодированная система представления над R, где

Рис. 6. ПР-дерево 9", соответствующее алгоритму С для распределения р(^ = я2 в двоичной записи. В части (а) рисунка показана схема порождения полного дерева, начальные уровни которого изображены в части (б).

д/(/^у= 1. Тогда каждый ПР-алгоритм для этого представления и распределения F удовлетворяет неравенству

qk М> Е {2тД, (R Ub ..., kA )}/2"\ o^/i/^ ^ *

Кроме того, существует ПР-алгоритм, для которого при всех к и m в (4.9) имеет место равенство.

Доказательство. Неравенство (4.9) является просто частным случаем (2.9), поскольку ДИЖ/ь .... /л]) определяет дискретное распределение вероятностей. Остается показать, что существует ПР-дерево, для которого эта граница достигается.

Согласно теореме 2.1, это эквивалентно нахождению такого ПР-дерева, что

t (jx, ... ,Ы tn) = em (A, (Я [/b ..., /J))

при всех /ь ..., /^ и m.

Это ПР-дерево может быть построено индукцией по к, используя алгоритм уточнения ПДР-деревьев. Начнем с ПДР-де- рева для простого распределения вероятностей (AF(/?[0]), АИ^П])); это является ПДР-деревом, порождающим один бит. В ПДР-дереве, порождающем к битов, представим каждое kF(RVh, М) в виде суммы kF(RVh, ♦ Л, 0]) + + Дг(/?[/ь ..., А, 1]), получая, таким образом, ПДР-дерево, порождающее & + 1 битов. Концевым узлам для A^(Z?[/i, ... ..., jk, 0]) приписан нуль, а концевым узлам для kF(RVh, ••• ..., jk, 1]) — единица.

ПР-дерево является предельным деревом, полученным с помощью подобного построения при к-^оо; последовательность нулей и единиц), связанная с каждым узлом ПР-дерева, является последовательностью знаков, приписанных каждому узлу в процессе уточнения. Пример построения ПР-дерева будет дан ниже. Ясно, что если условие (4.10) выполняется, то в (4.9) имеет место равенство.■

Будем говорить, что ПР-алгоритм является оптимальным, если в (4.9) имеет место равенство при всех кит. Далее, как и в теореме 2.1, мы можем охарактеризовать оптимальные деревья на языке условия, накладываемого только на к.

Следствие. Пусть ^ есть ПР-алгоритм для распределения F и некоторого представления над R, и пусть Т^^ —среднее число случайных битов, необходимых для того, чтобы st породил по меньшей мере к результирующих битов. Тогда

TkW> ^ v (А, (/?[/,/ft]))).

°<ЛU<i

Если S& является оптимальным ПР-алгоритмом, то для всех к имеет место равенство. Обратно, если при всех к в (4.11) имеет место равенство, то ^ — оптимальный ПР-алгоритм.■

В качестве примера этого следствия снова рассмотрим алгоритм С из разд. 1, который соответствует ПР-дереву, изображенному на рис. 6. Мы знаем из (1.5), что 7^(С)= к.+ 1—2~^. Нижняя граница (4.11) для данного распределения в двоичном

представлении может быть установлена следующим образом:

(4.12)(4.12)X -»(WШ

(4.12)

(4.12)

D</1/^<1

^ v(AF([//26, (/+l)/26)))

^ v^/^-!)^)

VV0<Л/ft<lfe ■ fe+ 1 ।2 +40<Л/ft<lfe ■ fe+ 1 ।2 +4к22ft-lк22ft-lк

V

V

0<Л/ft<l

fe ■ fe+ 1 ।

2 +4

0<Л/ft<l

fe ■ fe+ 1 ।

2 +4

к22ft-l

к22ft-l

^J21A2W^J21A2W2W

^J21A2W

^J21A2W

-^+^-=/=+1-2-*-^+^-=/=+1-2-*(2A— l)/fcг»"1

-^+^-=/=+1-2-*

-^+^-=/=+1-2-*

Таким образом, утверждение об оптимальности алгоритма С доказано.

Поучительно рассмотреть процесс построения оптимального ПР-дерева для более сложного распределения F(,x) = x3, 0^ ^х^1, которое соответствует максимальной из трех равномерно распределенных случайных величин. Для этой цели мы будем использовать подход, намеченный в общих чертах при доказательстве теоремы 4.1, строя ПР-дерево путем суперпозиции соответствующих ПДР-деревьев для к = 1, 2На ^-м шаге существует 2* интервалов [//2*, (/ + 1)/2А), 0 ^ / < 2*, и значение Af для каждого интервала равно

<4.13) (/±>y-(^)-=awi 0</<2‘.

Мы будем строить ПДР-дерево для этого распределения путем уточнения распределения, полученного на (к—1)-м шаге, а именно будем использовать тот факт, что

MU\ Г '/+1>Г2'2/+1X Г2/ + 12/ + 2 \

2к ’ 2к /

З/2 + 3/4-13 (2/р + 3 (2/) + 13 (2/+ I)2 + 3 (2/+ 1) + 1 •

23 (&— 1)2^*2^*

■0</<2fe"‘.

При ^ = 1 имеем простое распределение вероятностей (1/8, 7/8), так’что первое ПДР-дерево выглядит следующим образом:

При к =2 (4.14) позволяет использовать уточнения 1/8 = = 1/64 + 7/64, 7/8 = 19/64 + 37/64, или

.001 = .000001+ .000111,

.111 = .010011 + . 100101;

следовательно, (4.15) преобразуется в

применяя алгоритм уточнения дважды: один раз к узлу [о] в (4.15), другой раз к узлам (Г).

Поскольку при к ^3 дерево становится чрезмерно громозд-. ким, будем изучать его структуру только до третьего уровня. ПДР-деревья при ^ = 3 и при к =4 выглядят соответственно следующим образом:

(4.17)(4.17)

(4.17)

(4.17)

(4.18)(4.18)при & ^ 5 все концевые узлы на первых трех уровнях пропадают. Путем суперпозиции этих ПДР-деревьев получается оптимальное ПР-дерево с ‘размещением цепочек битов, так как это показано на рис. 7. Заме

(4.18)

(4.18)

тим, что на некоторых узлах встречаются по два бита, поскольку эти узлы были концевыми узлами двух ПДР-деревьев.

В этом примере так же, как и в предыдущем, ПР-дерево не содержит концевых узлов. Такие узлы с приписанными им бесконечными последовательностями нулей и единиц встречаются, когда распределение F является разрывным.

Завершим настоящий раздел выяснением того, почему оптимальные ПР- деревья являются . оптимальными в самом сильном

Рис. 7. Первые уровни оптимального ПР-дерева для распределения F^x) = х3 в двоичном представлении.Рис. 7. Первые уровни оптимального ПР-дерева для распределения F^x) = х3 в двоичном представлении.смысле. Для любого заданного ПР-дерева и любой грани двоично-кодированного представления можно получить ПДР-дерево для вероятностного распределения, сосредоточенного на этой грани, непосредственной заменой узла разветвления и его преемников концевым узлом, помеченным </ь ..., ]&Х всякий раз, когда RVh> •••> Ы является интервалом грани и узел разветвления завершает получение /ь .,., jk. В этих терминах мы

Рис. 7. Первые уровни оптимального ПР-дерева для распределения F^x) = х3 в двоичном представлении.

Рис. 7. Первые уровни оптимального ПР-дерева для распределения F^x) = х3 в двоичном представлении.

определили оптимальное ПР-дерево как такое, для которого соответствующие ПДР-деревья в каждой fe-грани являются оптимальными для соответствующих им дискретных распределений. Но fe-грани включают все узлы, следовательно, каждый концевой узел, помеченный </ь ..., Д>, встречается надлежащее число раз (а именно, SwAf^R [/ь • • •, А])) раз) на каждом уровне т, и отсюда следует, что ПДР-деревья, полученные из оптимального ПР-дерева в любой грани двоично-кодированного представления, являются оптимальными. В частности, оптимальному ПР-дереву будет соответствовать оптимальный алгоритм в любой системе представления, которая преобразуется в двоично-кодированное представление так, как это обсуждалось в разд. 3.

Другим следствием подобной сильной оптимальности является тот факт, что процедура построения из теоремы 4.1 порождает все оптимальные ПР-деревья.

Теорема, 4.2. ПР-дерево для данного распределения и двоично-кодированного представления оптимально тогда и только тогда, когда ПДР-дерево, соответствующее каждой грани 9", является оптимальным уточнением ПДР-дервва, соответствующего каждой грани, покрываемой 9\

Доказательство. Предположим, что 9* покрывает 9', где интервал / для 9*' разбит на интервалы Г и Г' для 9*. ПДР-дерево, соответствующее 9 (обозначим его через 9 k9^Y может быть получено из 9 ^9'^ заменой всех концевых узлов, соответствующих /, поддеревьями с концевыми узлами, соответствующими Г и Г. Если 9 (9) не является оптимальным уточнением 9^9^, то как £Г(£Г),так и 9^9'^ не могут быть оптимальными ПДР-деревьями.■

ОПТИМАЛЬНОЕ СРЕДНЕЕ ВРЕМЯ ВЫПОЛНЕНИЯ АЛГОРИТМА

После того как мы установили существование (возможно, бесконечных1)) алгоритмов, которые являются оптимальными в сильном смысле, выясним, насколько они хороши на самом деле. В относительном смысле они минимизируют среднее значение г-й степени времени выполнения алгоритма при всех г. Оказывается, что они всегда хороши и в абсолютном смысле, по крайней мере в среднем: какое бы распределение мы не рассматривали, после небольшой начальной задержки результат производится с такой же скоростью, с какой данные поступают на вход алгоритма.

9 То есть с бесконечным средним временем выполнения, — Прим. перев:

Теорема, 5.1. Для любого к^\, любых распределений и двоично-кодированных представлений оптимальный ПР-алго- ритм доставит к битов X после ввода в среднем менее чем к + 2 случайных битов. ‘

Доказательство. На самом деле среднее число случайных битов не превышает к + 2 — 21-*, поскольку в теореме 2.3 можно положить п = 2^. ■

Эта теорема с очевидными изменениями справедлива для других представлений; например, в системе счисления по основанию d мы сможем получить к результирующих цифр в среднем после менее чем к log2 d + 2 шагов выполнения алгоритма. В частности, мы можем имитировать к бросаний кости в среднем с помощью менее чем к log2 6-^2 подбрасываний монеты.

В известном смысле теорема 5.1 представляет собой удивительный результат. Например, предположим, что мы хотим получить случайную последовательность нулей и единиц таким образом, чтобы каждый бит принимал значение 1 с вероятностью 1/4 независимо от других битов этой последовательности. Интуитивно кажется, что наилучшим способом решения этой задачи является использование следующего ПР-дерева:

Однако подобная процедура требует в среднем -|й шагов для получения к результирующих битов, что в соответствии с теоремой, весьма далеко от оптимального значения. Другое более сложное ПР-дерево ■

требует приблизительно мального ПР-дерева для разом:требует приблизительно мального ПР-дерева для разом:-1 к8 я этой-1 к8 я этой(5.3)(5.3)шагов, а начальная часть опти* задачи выглядит следующим об-

требует приблизительно мального ПР-дерева для разом:

требует приблизительно мального ПР-дерева для разом:

-1 к

8 я этой

-1 к

8 я этой

(5.3)

(5.3)

з/2 + 3/ + 123&з/2 + 3/ + 123&Выше мы вычислили среднее число подбрасываний монеты, необходимых для моделирования распределения /7(х) = х2 на [0,1) в двоичной системе счисления, и в результате получили к + 1 —• 2~* (см. (4.12)). Если же мы попытаемся воспользоваться аналогичной техникой для распределения F(x) = x3, то очень скоро столкнемся с серьезными трудностями: сумма

з/2 + 3/ + 1

23&

з/2 + 3/ + 1

23&

(5.4)

непредставима в какой-нибудь простой замкнутой форме как функция к. К счастью, существует выход из этого положения; следующая теорема показывает, как можно вычислить асимптотическое значение во многих представляющих интерес случаях.

Теорема. 5.2. Пусть F^x) —функция распределения на [0, 1), и предположим, что существует производная F' (х) = f (%), где f(x) ограничена и уравнение Цх) = у имеет ограниченное число решений х для каждого у > О1). Пусть ТЦк) —среднее время (п терминах случайных подбрасываний монеты) выполнения оптимального ПР-алгоритма для распределения F с использованием двоичной системы счисления. Тогда

T^k^h-irdF-VOW^,

9 Впрочем, из приведенного ниже доказательства следует, что достаточно требовать, чтобы f(x) была функцией ограниченной вариации на [0, 1). — Прим, перев.

где асимптотическая задержка

1

dF = ^^r'\j£ni^<x^dx.

m О

1

{Функция 8m (х) определена в (2.13), интеграл ^ew(f {x^dx о

представляет собой меру множества (х\т-й бит в двоичном представлении f(x) равен 1}, где под «m-м битом» понимается коэффициент при 2~т. Константа, заключенная в символ О в (5.5). зависит только от ограничений на f{x).)

Доказательство. Имеем '

О ^/<2^ где'

(/ + D/2fe

<5.7)л^А^^, 2+1^ = $ HxW.

Следовательно,

тр^=^ £ £6”W

m > 1 Ос/<2fe

Так как

Е %m<AMWl = Akhtn > 1

ТО

TF^-k = £

m^l0<J<2km^\-k

где

^M=^ £ t^M■

Пусть sup /(х) = 2ц, тогда на основании (5.7) Aki^2^-k и, хе[0, 1)

следовательно, Jm{k) = 0 для любого к, когда m < — ц.

Рассмотрим теперь некоторое фиксированное пг. Из нашего предположения относительно f следует, что следующее условие имеет место для всех, за исключением 0(2™), значений / из промежутка 0 ^ / < 2к;

[2mf (x)J = [2"7 (y)J для всех х, у е [^, -^-j.

Для всех таких значений / имеем

em+k (^kf) em-bkem+k (^kf) em-bk— ет (/ (-^))— ет (/ (-^))

em+k (^kf) em-bk

em+k (^kf) em-bk

— ет (/ (-^))

— ет (/ (-^))

. Г // + И

при любом х е I1;

'</+1)/2*

Т/Г ^m-Vk ^kj) ==^m (f (^)) dx.

//2^

' Следовательно, i

JmW=V^HX^dX^°^m"^’

а поскольку 0 ^ Z^(^) ^ 1, то на самом деле

/mW=$8m(f(x))dx+0(min(l, 2m'6))..

■ о

Подставляя это значение в (5.9), имеем

TFW = feA-dF+ £ >O(2m-ft)+ X ^°^)>-p,<m<&m>k '

откуда немедленно следует (5.5).■

Из проведенного доказательства ясно, что (5.5) справедливо также и в других случаях, например когда существует конечное число точек O = xo<xi< ... <хп = 1, таких, что Г'(х) = = f(x) существует и f(x) является ограниченной и монотонной на Jxz-i, X,] функцией при 1 ^ i ^ п; распределение F может иметь скачки в хь однако достаточно, чтобы оно было «кусочнодифференцируемым» в указанном выше смысле. С другой стороны, как мы увидим позже, (5.5) не справедливо в общем случае, когда существует бесконечно много точек, в которых F не дифференцируемо.

Применим вначале теорему 5.2 к распределению F(x') = xa. Интеграл в (5.6)

1з

5 ®m (Зх2) dx = $ вт (у) dy]л! Пу . Оо

3

При т= — 1 он равен ^ dy]^\2y = 1 — V2/3 ; при m ^ 0 он 2

равенz

(5.13)

2//2m

Z JZ

K/<3.2”l-1(2/-l)/2'”l</<3-2”l-l

Пусть g (п) = V1 + 72 + • • • + 7^! тогда

2 V2'g'(«) —g(2n)+V2« =

= (7г" - 70 + № - 70 + ■ • • + (7^ - V^T).

Используя формулу суммирования Эйлера,

g(n) = ^n№ — у V» + с + о(1/7«),

когда п->со, с некоторой константой с (которая оказывается равной ^(-1/2) = ^(3/2)/4л =-207886224977354566; см. [8], упр. 6.1—8), следовательно,

(5.16)

Цп) = £ (72/- 727=0=7^/2+(2 72-1) с+О (1/70- 1</<п

Для больших пг мы, таким образом, доказали, что ^ em(3x2)dx=

= 1 + (2V2 -1) с 2-т1й№ -VO<2-,nY

Используя это асимптотическое представление, можно вы

числить значение1

^ = £^-$em(f(x))</x- пг 0

— 2(i-V¥3)++ £ ^Л(з.2“-')

* т> 1

весьма точно; оно равно 0.465825512311. Заметим, что поэтому распределение F^x) = x3 можно моделировать быстрее, чем кажущееся более простым распределение F^ = x2.

Рассмотрим далее до некоторой степени патологические рас* пределения ^ Пусть

0^

;х<|.

(5.18)F^ =

1

<

4 *

^+^(4х_3),

3

Т^

Сх< 1.

9 Рассматриваемые примеры распределений носят название сингулярных распределений канторовского типа; см., например, Феллер В. Введение в тео» рию вероятностей и ее приложения, т. 2.— М.: Мир, 1967, 54—55.— Прим, перев.

Подобные функциональные значения становятся более понятными с использованием двоичной записи: если через а обозначить бесконечную цепочку нулей и единиц, не содержащую на конце бесконечно много нулей, то

f(0 0a) = 0 F^\

F$ 1 a) = 1 000...,

F(1 0 a)=l ООО...,

F (1 1 a) = 1 F^.

Легко видеть, что F^x) является непрерывной неубывающей функцией, которая дифференцируема почти везде в [0, 1]. Производная не существует только в таких точках, двоичные разложения которых порождаются с помощью обобщенного регулярного выражения (00+11)*010оо+(00+11)о°, причем всюду, где производная существует, это выражение равно нулю. Тем не менее эта функция непрерывно возрастает от 0 до 1.

Оптимальное ПР-дерево для распределения (5.18) в действительности очень простое,

(5.20)(5.20)

(5.20)

(5.20)

и время, необходимое для получения к выходных битов, в точности равно Г^/21 с нулевой дисперсией.

Можно также рассмотреть функцию, связанную с «тернарным множеством Кантора», которая часто приводится в учебниках в качестве примера монотонной непрерывной функции, производная которой равна нулю почти везде:

(5.21)(5.21)F^ =F^ =^(Зх),2 ’4 + 4f(3x-2),^(Зх),2 ’4 + 4f(3x-2),

(5.21)

(5.21)

F^ =

F^ =

^(Зх),

2 ’

4 + 4f(3x-2),

^(Зх),

2 ’

4 + 4f(3x-2),

В этом случае оптимальное ПР-дерево для моделирования тер* парного (по основанию 3) представления случайной величины X

имеет вид

(5.22)

Интуитивно ожидается, что к битов двоичного представления X будут порождаться с помощью приблизительно &/log23 подбрасываний монеты на один выходной бит. Это может быть доказано следующим образом. Пусть / = [&/1о§23], так что —З-^1 < 2~^ < 3_/. Разобьем множество целых /, таких, что О ^ / < 2^, на З^1 + I классов с номерами от 0 до З^1, где класс с номером п состоит из таких /, для которых (3n—2)/3z< < 7/2^ < (3n + 1)/3Z. Каждому классу принадлежит самое большее девять значений /. Сумма вероятностей в классе с номером п равна F((3n + 1)/3Z)—F((3n — 2)/3z), и нетрудно убедиться, что эта сумма равна либо 2“z, либо 0 для каждого п. Следовательно, она отлична от нуля в точности для 2Z значений п. Для таких п на основании (2.21)

2=£((2ZP)/ + v(2zP))

-р г класс п 'ре класс п

ре классу п

и последняя сумма, согласно теореме 2.3, не превосходит 5. Поэтому для распределения (5.21)

(5.23)(5.23)№g2 к\ < TF (k) < L^/log2 3J + 5.

(5.23)

(5.23)

Другим примером распределения подобного общего типа является F (х) = Fo (х), где

(5.24)Fjto =(5.24)Fjto =О^хО^х2 2/ *2 2/ *2 ’2 ’2-2/-1<х<1-2-2/"1,2-2/-1<х<1-2-2/"1,

(5.24)

Fjto =

(5.24)

Fjto =

О^х

О^х

2 2/ *

2 2/ *

2 ’

2 ’

2-2/-1<х<1-2-2/"1,

2-2/-1<х<1-2-2/"1,

У + Fi+1 (22/+1х - 22/+1 + 1), 1 - 2-2/-1 < х < 1.

В этом случае оптимальный ПР-алгоритм требует Гд/Г1 шагов для получения А-го бита, он порождает 2j -^ 1 идентичных

выходных битов после /-го подбрасывания монеты. Подобным же образом можно построить непрерывные функции распределения, для которых время выполнения алгоритма является функцией от к, возрастающей сколь угодно медленно.

Все приведенные примеры ПР-деревьев предполагали непрерывность F^, поэтому интересно рассмотреть разрывное распределение

(5.25)(5.25)F^ = \F^ = \4+4^-4+4^-1),1),

(5.25)

(5.25)

F^ = \

F^ = \

4+4^-

4+4^-

1),

1),

Эта функция распределения может быть названа «заикающейся» функцией, поскольку двоичное представление F^ совпадает с двоичным представлением х, в котором каждый бит повторяется дважды. Например, F(.010100010111...) = .00 11 00 11 00 00 00 11 0011 11 11 ... в двоичной форме. Эта функция имеет разрывы, равные 2-2/+1 в каждой двоично-рациональной точке вида x = ql^, где q нечетно. Таким образом, функция F^ непрерывна, за исключением двоично-рациональных точек, и имеет нулевую производную почти везде. Кроме того, существуют иррациональные точки, в которых производная не существует; в качестве примера одной из таких точек укажем точку

х0 = 1 - 2"1 - 2~2 - 2~4 - 2~8 - 2"16 - ... = 1 - Г 2 />о .

Если е=2~2/ для любого /^1, то F^xo + е) — ^(хо) = Зе2, но ^(^о + 2е)—-/?(xo) = 2e + 4е2; таким образом, в точке Хо производная не существует. (Между прочим, в этой точке имеет место курьезное равенство F (х0) = Зх0 — 4* • )

Величины А^ = Af([//2S (/ + 1) /2^)), 0 ^ / < 2^, включают в себя У-1 вхождений (22Z-1 + 1)/22\ 1 ^ i ^ к, и одно вхождение 1/22^. (Напомним, что значение F(j/2k — 0) должно быть использовано в этом вычислении, a F{j/2k)—нет.) Таким образом, среднее время, необходимое для моделирования к битов, может быть вычислено точно и оно равно

I v (Л^) = 3 — 3/2ft.

0</<2^

Оптимальное ПР-дерево для распределения (5.25) оказывается очень простым:

(5.28)(5.28)

(5.28)

(5.28)

Заметим, что значение Хо в (5.26) имеет отмеченные свойства по отношению к F, но не к данному дереву.

Приведенные примеры показывают необходимость по край* ней мере некоторых ограничительных предположений относительно F (х) в теореме 5.2.

МОНОТОННЫЕ АЛГОРИТМЫ МОДЕЛИРОВАНИЯ

В разд. 1 мы рассмотрели метод «квадратного корня» для моделирования случайной величины X с функцией распределения F(x)=x2. Этот частный метод требовал 26 входных битов для получения к битов результата. Можно, однако, указать более сложное правило извлечения квадратного корня, которое требует ровно столько битов, сколько действительно необходимо для получения 6-го бита результата при любом 6. Напри* мер, если U = (.010а)2, то всегда ^U =(.100 ...)2 независимо от последующих битов а.

Подобная идея приводит к ПР-дереву, которое начинается так, как это показано на рис. 8. С первого взгляда может показаться, что это дерево должно быть оптимальным, однако среднее число входных битов, необходимых для получения третьего бита результата оказывается равным 4, в то время как алгоритм С требует для этой цели только 37/з бита. Причина этого состоит в том, что нашей целью является не вычисление квадратного корня из равномерно распределенной случайной величины— задача заключается в моделировании случайной величины X, которая имеет такое же распределение, как и квадратный корень из равномерно распределенной случайной величины.

Из сравнения рис. 8 с рис. 6 становится ясно, в чем рис. 8 уступает рис. 6: результат 101 встречается только один раз на 3-м уровне дерева на рис. 6, в то время как он встречается

11Рис. 8. Монотонное ПР-дерево для извлечения квадратного корня из двоичного числа между 0 и 1.Рис. 8. Монотонное ПР-дерево для извлечения квадратного корня из двоичного числа между 0 и 1.

1

1

Рис. 8. Монотонное ПР-дерево для извлечения квадратного корня из двоичного числа между 0 и 1.

Рис. 8. Монотонное ПР-дерево для извлечения квадратного корня из двоичного числа между 0 и 1.

дважды на 4-м уровне дерева, изображенного на рис. 8. После небольшого размышления становится понятным, почему рис. 6 является более выигрышным: рис. 8 требует монотонности ПР-дерева в том смысле, что все цепочки, порождаемые путями на левых (т. е. нижних) ветвях, должны быть лексикографически меньшими или равными по отношению ко всем цепочкам, порождаемым путями на правых (т. е. верхних) ветвях. Для дерева, изображенного на рис. 6, этого не требуется.

Существует единственное оптимальное монотонное ПР-дерево для каждого распределения и представления. Заметим, что подобные оптимальные деревья являются оптимальными для вычисления F^^U), исходя из двоичного представления U; они представляют интерес с точки зрения сложности вычислений вне зависимости от того, используем ли мы их для моделирования случайных величин. Определение точного среднего времени выполнения оптимального алгоритма «квад

ратного корня», когда усреднение проводится по всем возможным последовательностям случайных битов, представляется трудным, однако можно показать, что среднее число входных битов, необходимых для получения Л-го бита результата вычисления квадратного корня, меньше, чем ^ + 3. В действительности подобная граница справедлива и в общем случае.

Теорема, 6.1. Для любого распределения и двоично-кодированного. представления оптимальное монотонное ПР-дерево тре-

бует для порождения к битов результата в среднем менее чем на 2 входных бита больше по сравнению с оптимальным ПР-де- ревом.

Доказательство. Среднее время получения Л-го бита результата равно У L (v)/2L {v\ где суммирование осуществляется по всем узлам и, для которых к-й бит является результирующим и L(p) означает уровень узла и. Каждый узел и связан с некоторым интервалом / fe-го уровня представления. Ниже мы докажем, что для каждого / существует не более чем 2 связанных с ним узла о любого данного уровня. Этого достаточно для доказательства теоремы, поскольку расход времени, связанный с /, может быть записан как

v (А/) + v (А/), где А/ + А; = AF (Z);

отсюда на основании (2.23) и (2.25) имеем

(6.1) v (AF (/)) < V (Az) + V (А;) < V (AF (/)) + 2Af (Z).

Суммируя неравенство по всем Z и замечая, что для некоторых Z выполняется строгое неравенство, получаем требуемый результат.

Рассмотрим узлы и, связанные с интервалом Z; пусть Ar(Z) = x —у, где x = F(bzhO) и y = F(a±0), как в (4.3). Предположим, что х > у. Мы собираемся отобразить все входы, которые > у и < х, в интервал Z. (Входы, равные х или у несущественны, так как они имеют бесконечную точность и, следовательно, встречаются с вероятностью нуль.) Рассмотрим, например, значения

х=.01101001010011010101011

у=.01101000110110101111010 ....

Тогда узлы Q оптимального монотонного ПР-дерева, про-

В общем случае после первого бита, в которем различаются х и у, найдется узел Q для 0, соответствующий каждому последующему, равному 1 биту х, и узел р1 для 1, соответствующий каждому последующему, равному 0 биту у. (Если у — конечная двоичная дробь, то должно быть внесено небольшое изменение: следует заменить «10°°» в конце у на «01°°», чтобы сделать сформулированное правило справедливым в общем случае.) Ясно, что на один-уровень приходится не более двух узлов Q или не более одного, если у = 0, как и требовалось.■

Следствие. Пусть G(x) —любая монотонная возрастающая функция из [0,1] в [0,1]. Тогда в предположении равномерного распределения значений х k-й бит G(x) может быть вычислен с использованием в среднем менее чем к + 4 битов х.

Доказательство. Пусть F(x) = G”1^)—функция с произвольными значениями, сохраняющая монотонность, когда G-1(a:) не определено. Примените теоремы 5.1 и 6.1.■

В частности, существует способ вычисления с помощью достаточно искусного алгоритма таких функций, как 1/(2 —ехрХ Х(—n2tg д/х)) почти в «реальное время».

Рассмотрим теперь оптимальное монотонное ПР-дерево в простом случае, для которого время выполнения соответствующего алгоритма может быть вычислено точно. Предположим, что 6 — вещественное число между 0 и 1, и допустим, что мы хотим вычислить 0 + х в двоичной форме, исходя из заданного двоичного значения х. Для того чтобы оставаться в интервале [0, 1], мы будем вычислять у (0 + х), так как это значение имеет столько же двоичных цифр (только сдвинутых). Следующий алгоритм, реализующий правило сложения «слева направо», доставляет результат настолько быстро, насколько это возможно, в предположении, что х = (.Х]Х2Хз .. ,)г и что 6 =(.616263 . .J2 имеет бесконечное двоичное разложение.

begin integer /, /и;'

m ■«- 1; / -«- 0;

while true do begin ifem + xm= 1 then/<-j + 1,

else begin if 6m + xm = 0 then output (OP) .else output (IO7);

/*-0;

end;

m<-m+ 1;

end;

end;

Среднее число требуемых входных битов, прежде чем этот алгоритм произведет к битов результата, равно Тк^ где

(6.2)(6.2)Тм =Тм =о,о,6^0,6^0,1 + ^^-/-но + "2'^, /+ь & > 0,1 + ^^-/-но + "2'^, /+ь & > 0,

(6.2)

(6.2)

Тм =

Тм =

о,

о,

6^0,

6^0,

1 + ^^-/-но + "2'^, /+ь & > 0,

1 + ^^-/-но + "2'^, /+ь & > 0,

Решением, которое удовлетворяет неравенству О^Т^ ^Т^о, является Tkj = min (к + 1 — /, 2) при А ^ 1; таким образом, среднее значение равно к + 1.

Можно показать, что для оптимального ПР-дерева, соответствующего функции распределения F(x) = 2x —0, ^-О^л:^ ^у(6+ 1), TF^ = к —- 1 + 22-\ (Доказательство: Ненулевые числа Aki Для 0 ^ / < 2^ включают значение 21-* точно 2*-1 — 1 раз плюс две бесконечные двоичные дроби, которые складываются с 21-*; таким образом, X ^^Ак^ = ^х-к^к-х --\^к — 1) + + ^+1)). Поэтому константа 2 в теореме 6.1 является наилучшей даже в этом простом случае,

ГЕНЕРАТОРЫ С КОНЕЧНЫМ ЧИСЛОМ СОСТОЯНИЙ

Мы убедились, что существуют очень эффективные алгоритмы для произвольных распределений в произвольных представлениях, где «эффективность» понимается в том смысле, что при этом требуется сравнительно немного случайных битов. Однако большинство алгоритмов, которые достигают оптимальных границ, являются очень сложными и требуют чрезмерного (вплоть до бесконечного) объема памяти для хранения ПР-деревьев. Поэтому хотелось бы рассмотреть ограниченные классы алгоритмов, которые допускают относительно простую программную реализацию и требуют сравнительно мало памяти.

В настоящем разделе мы изучим алгоритмы, которые могут быть реализованы с помощью автоматов с конечным числом состояний; алгоритм С из разд. 1 представляет собой наилучший пример подобного алгоритма (см. рис. 6). Мы частично получим ответы на следующие вопросы: (а) какие распределения можно моделировать с помощью подобных алгоритмов? (б) насколько близко к оптимальному времени Tf^ моделирования

распределения F мы можем приблизиться, используя подобные алгоритмы?

На протяжении всего раздела мы ограничимся рассмотрением распределений F^, сосредоточенных на [0, 1), в двоичной системе счисления. Генератором с конечным числом состояний (сокр. ГКС) для F называется ПР-алгоритм моделирования F, соответствующее которому дерево имеет конечное число неизоморфных поддеревьев, причем два дерева считаются изоморфными, если они отличаются друг от друга разве что перестановкой левых и правых ветвей в узлах разветвления. Например, бесконечное ПР-дерево, изображенное на рис. 6, б, имеет только шесть неизоморфных поддеревьев, как это показано на рис. 6, а, а именно поддерево ^ с (или без) 0 или 1 в его корне, поддерево % с 0 или 1 в его корне и другие потомки Т. (На практике только три из этих шести типов поддеревьев соответствовали бы различным состояниям машинной программы, так как выходные цепочки могли бы быть связаны с переходами между состояниями.) .

ГКС-модель вычислений тесно связана с хорошо разработан* ными теориями вероятностных конечных автоматов и с проблемой реализуемости ввода-вывода в цепях Маркова (см., например, [9]). Связь ГКС с генерированием случайных чисел представляет собой новое направление этой теории.

В настоящем разделе мы покажем, что каждое из распределений F^=xn при п ^ 3 может быть порождено с помощью подходящего ГКС, однако ни один из них не будет являться оптимальным ПР-алгоритмом. С другой стороны, для любого заданного е > 0 мы укажем ГКС для полиномиального распределения F^x), среднее время получения с помощью которого А битов результата в пределах е будет совпадать с оптимальным средним временем If ЦТ). В заключение мы покажем, что некоторые важные распределения (такие, как экспоненциальное и нормальное) не могут быть' порождены с помощью никакого ГКС.

Вначале для моделирования F^ = xn мы воспользуемся техникой, по существу подобной той, которая в [1], гл. 2, приписывается Г. Гашюцу. Идея этого подхода состоит в моделировании максимальной из п независимых равномерно распределенных случайных величин. Дерево ST п начинается с использо

вания ПДР-дерева для вероятностейвания ПДР-дерева для вероятностейпп-п-птого, что старшиетого, что старшие

вания ПДР-дерева для вероятностей

вания ПДР-дерева для вероятностей

п

п

-п

-п

того, что старшие

того, что старшие

биты п моделируемых равномерно распределенных случайных величин содерхкйт ровно / единиц. Если / = 0, то выводится О и продолжается дерево 2Гп, в противном случае выводится 1 (как только обнаружено, что j =7^ 0) и продолжается дерево £Г/.

Среднее время выполнения алгоритма

Т„(Д) = 2-21-", й = 1,■

Тп^ =

у( ( f JJ+^^^-O+jr £ ( Jiw-V), k>\.

В частности, Тх^=к, T2(k) = k + \—2~k, T^k) = k+^ — — -l^-6—41""*; в общем случае Tn^ имеет вид к + dn + О(2~й), где dn = O(log2 пу.!) (Напомним, что при п = 3 оптимальное время выполнения в соответствии с (5.17) равно к + .446 + + О(й22"*).)

Теорема, 7.1. При п^З для F^ = xn не существует ГКС, являющегося оптимальным ПР-алгоритмом.

Доказательство. Покажем, что каждое оптимальное ПР-де- рево имеет бесконечное число неизоморфных поддеревьев. Если у — узел любого ПР-дерева, пусть Р(у)—длина наибольшего «свободного пути», начинающегося в и, т. е. наибольшее расстояние, которое может быть пройдено из и до узлов, являющихся его потомками, прежде, чем встретится выход2). Если Р^х)^# Р(^2), то поддеревья с корневыми узлами ей и у2 не могут быть изоморфными; следовательно, достаточно показать, что для любого N существует узел и с N < P(v) < оо. (Может показаться странным, что доказательство опирается на длинные свободные пути, так как свободные пути интуитивно представляются неэффективными и рассмотренные выше генераторы с конечным числом состояний для F^ = xn не содержали длинных свободных путей. Тем не менее именно это отсутствие длинных свободных путей делает их неоптимальными в соответствии с данным доказательством!)

Напомним, что, согласно теореме 4.2, каждое оптимальное ПР-дерево получается с помощью последовательных уточнений. Когда [77]. — концевой узел ПДР-дерева уровня к, то уточнение, примененное к уровню ^ + 1, заменяет [5] поддеревом ^(и) с концевыми узлами [Ц7] или Q, наиболее длинный свободный путь из v в результирующем ПР-дереве является са-

!) В выходных данных к статье отмечается, что ряд вычислений и формальных преобразований выполнены с использованием системы MACSYMA. —* Прим, перев.

мым длинным путем из и в ^(и). Если ^(и) содержит конечное число, скажем М(и), концевых узлов Q и Q, отсюда следует, что log2 М(и) ^ Р(и) > А1(у). Для завершения доказательства необходимо только указать такие узлы и, что М(и) является сколь угодно большим конечным числом.

Рассмотрим вначале случай п = 3, поскольку это упрощает выкладки. Будем использовать целые

6= 4 10 -, / — б^ + б, &>т + 3,

где t — очень большое число, однако пг много больше, скажем пг ^ 100/. Тогда узлы и, у' и у" будут соответствовать интервалам [//2\ (/+l)/2^) = [2/72W, (2/+l)/2*+1)U[(2/+^^ (2/+ 2)/2^+1). Соответствующие AF(/) для F(^ = x3 есть p = = p' + p", где

p' = (300 • 22m + (12 • 42f+1 - 18) • 2™ + 1262 + 6b + l)/23*+3, (7.3) p" = (300 - 22^ + (12 - 42^ + 42) • 2™ + 1262 + 186 + 7)/23*+3, p = (600 • ^ + (24 • 42^! + 24) • 2™ + 2462 + 246 + 8)/23^+3.

Когда p' прибавляется к p", в этих трех двоичных дробях не происходит переносов между заключенными в скобки коэффициентами при 227П-3^-3, 2т-3к-3 и 2-3^-3, поскольку пг достаточно велико; следовательно, потомки и' и и" каждого узла и, соответствующего биту в одной из этих трех групп, также будут принадлежать к той же самой группе. Вторая группа содержит ровно четыре узла и вместе с пятью узлами и" и 4/ + 3 узлами у', следовательно, один из четырех узлов и будет иметь в качестве потомков по крайней мере (5 + 4/ + 3) /4 = / + 2 узлов и' и и". Так как / может быть сколь угодно большим, теорема доказана полностью для случая п = 3.

Доказательство в общем случае п ^ 3 производится аналогично: выбираются 6, / и к, удовлетворяющие (7.2), и величина т, достаточно большая по сравнению с t. Соответствующие коэффициенты при ^т^п-^-пк-п будут равны п(п-т l)10"-3(2-42w -3)+n(n- l)10"-3-(2-42W + 7) = = п(п — 1) 10л~3(4*42/+1 + 4), и снова мы можем указать узел и со сколь угодно большим числом потомков, когда / достаточно велико.■

Аналогичным образом может быть показано, что распределение F^= q2x2, 0 ^ х ^ \/q, не может быть порождено оптимальным образом никаким ГКС, когда q > 1 нечетно: разбиение интервала [//2^, (/+ 1)72^] в случае, когда / = (2* — a) [q2, является целым, а в случае, когда q2J^ < а < q2/2,

соответствует двоичной сумме

(2<+2 + 3</2 - 4а) + (2<+2 - (4а - <)) = 4 (2<+1 + </2 ~ 2а);

отсюда следует существование узла у, для которого Р^« t. Подобные целые t и а существуют для сколь угодно большого /, поскольку можно положить а = 2s и t = rb + s, где 2r = = 1 (mod q2).

Следующая теорема показывает, что многие распределения F^x), которые являются полиномами с рациональными коэффициентами, могут быть порождены с помощью ГКС.

Теорема. 7.2. Пусть F^ —функция распределения на [0, 1], производная которой может быть представлена в виде конечной суммы полиномов

!ц^ = хЧ\-х^, 0<х<1,

с положительными рациональными коэффициентами. Тогда для распределения F(x) существует ГКС, среднее время получения с помощью которого к битов результата равно к + 0(1).

Доказательство. Рассмотрим вначале сравнительно легкий случай, когда♦

F^x^pxX-Vp^-V ... -\-РпХп, Pi +р2+ • • • + Pn=V

и все pj неотрицательны и рациональны. План доказательства состоит в построении вначале ПДР-дерева для дискретного распределения (pi, р^, ..., рпу. оптимальное ПДР-дерево с конечным числом неизоморфных поддеревьев может быть найдено, поскольку каждое pj имеет периодическое двоичное разложение и в качестве их общей длины можно использовать наименьшее общее кратное длин периодов. Далее, где бы это ПДР-дерево не имело концевой узел, скажем для pj, подставим вместо него ГКС 2Гj, определенный выше для распределения х1. Среднее время, необходимое для получения с помощью этого метода к битов результата, не превосходит ^ + max(di, ..., dn) плюс не более чем log2 п + 2 битов для начального определения р

В случае когда F(x) имеет отрицательные коэффициенты, но F'(x) является положительной рациональной комбинацией функций fu(x) из (7.4), справедливы аналогичные рассуждения: F^x) должна быть выпуклой комбинацией бета-распределений

/^-(ZH^-M^' + ^pa-O'd/, 0<х^1, с рациональными коэффициентами рц и этого достаточно для того, чтобы доказать, что каждое Fij^ может быть порождено с помощью соответствующего ГКС. Хорошо известно (см., на-

пример [8], упр. 5—7), что Рц^х) является распределением +*+1)-й наименьшей среди i + / + 1 независимых равномерно распределенных случайных величин; таким образом, требуется только обобщить предыдущее построение для определения максимальной из п равномерно распределенных случайных величин, ГКС Tnt для /-й наибольшей среди равномерно распределенных случайных величин может быть построен следующим образом: вначале используется £Гп для порождения случайного целого /, имеющего биномиальное распределение (12 ; в этом случае j равняется числу равномерно

распределенных случайных величин, старший бит которых равен 1. Если / ^ /, то выводится 1 и далее используется ГКС SFjt; в противном случае выводится 0 и используется 2Гп-ь t-ь (Подобное построение сводится к предыдущему, когда / = 1, т. е. ^i = ?Гп^

Поскольку Рц^ порождаемо с помощью S^z+y+i,/+1 за к + + 0(1) единиц времени, то теорема доказана полностью. ■

Заметим, что проведенное в этой теореме построение доставляет ГКС, время выполнения которого не превосходит к + Dn, где задержка Dn зависит только от максимальной степени п полиномов Рц^ в принятом разложении Р^х), а не от коэффициентов этой выпуклой комбинации. Однако иногда значение п может быть большим, чем собственно степень Р^, например когда F(x) имеет отрицательные коэффициенты. Действительно, если Ff^ пропорциональна 1 — Зх + Зх2, то мы не можем получить F'W в виДе неотрицательной линейной комбинации 1, х, 1 — х, х2, х(1 — х) и (1 — х)2, однако 1 — Зх + Зх2 =(1 — х)3 + + X3.

Можно распространить построение из теоремы 7.2 на значительно более общие полиномиальные распределения. Например, можно построить ГКС, который моделируют /-ю наибольшую среди п независимых случайных величин, равномерно распределенных в [р, #], где р и q— рациональные числа, 0 ^ р < < q ^ 1. Это делает возможным моделирование Р(х) в случае, когда F'^x) пропорциональна (Зх—I)2, например путем раздельного моделирования в интервалах [0,1/3] и [1/3,1]. (Подобное распределение F(x) не удовлетворяет условиям теоремы 7.2, так как Е//(1/3)>0 для всех i и /, но (Зх — 1)2 = 0 при х =1/3.) С другой стороны, когда Е'(х) имеет иррациональные корни (т. е. она пропорциональна (2х2 —1)®), то не существует очевидного способа построения ГКС для F(x).

Теперь мы сможем использовать теорему 7.2 для получения более сильного результата, представляющего теоретический интерес,

Теорема 7.3. Пусть F(x)— полиномиальная функция распределения на [0,1], имеющая вид (7.5) с неотрицательными рациональными коэффициентами, и пусть е > 0. Тогда существует ГКС, который порождает F(x), и среднее время получения с помощью этого ГКС любого числа к битов результата менее чем на в больше среднего времени выполнения оптимального ПР-алгоритма.

Доказательство. Идея доказательства состоит в использовании оптимального ПР-алгоритма для моделирования большого числа результирующих битов вследствие чего основная часть распределения будет порождена с помощью «равномерных» 9 поддеревьев (подобных ^i), в то время как оставшаяся часть распределения является полиномом, и, следовательно, может быть довольно быстро порождена с помощью ГКС, используя теорему 7.2. Этой неопределенной идее может быть придан точный смысл, используя некоторые идеи из доказательства теоремы 5.2.

Пусть пг— большое число. Так как F(x) удовлетворяет условиям теоремы 5.2, мы можем заключить, что все значения / из диапазона 0 ^ / < 22,п, за исключением 0(2™), будут удовлетворять (5.11); другими словами, найдется целое //, такое, что

(7.7) -^ < f (х) <(7.7) -^ < f (х) <Г // + Г

(7.7) -^ < f (х) <

(7.7) -^ < f (х) <

для всех хе1^,-г-

Будем говорить, что / является «хорошим», когда имеет место это неравенство. Поскольку вероятность kF(Aj/2m, (/+1)/2™)) равна

(/ + 1)/22™

^2т» / === f (х) dx,

//22m

то для любых ^^ОиО^/^2^ — 1 имеем

(7.8)(7.8)23m+&23m+&</ + 123m+fe *</ + 123m+fe *

(7.8)

(7.8)

23m+&

23m+&

</ + 1

23m+fe *

</ + 1

23m+fe *

Другими словами, вероятности для всех разбиений «хорошего» интервала [j/22m, (/+ l)/22m) будут иметь одинаковые старшие биты, определяемые значениями //.

Пусть р = р' + р", где р, р' и р" имеют одинаковые старшие биты, т. е. мы предполагаем, что £2sp J = [2s+1//J + [2s+1//z J для некоторого целого $. Тогда легко видеть, что алгоритм уточнения из разд. 4 может быть применен к первым s уровням де

!) То есть порождающих равномерное распределение. •= Прим, пере^

рева, если множество S этого алгоритма рассматривается как очередь («первым вошел — первым вышел»): каждый узел ПЛ на уровне s или меньшем будет заменен поддеревом

В этом случае каждое уточнение разбиений «хорошего» интервала будет обладать свойством равенства старших битов; следовательно, существует оптимальное ПР-дерево, в котором каждый узел и на уровне, не превосходящем 3m, принадлежащий «хорошему» интервалу, будет иметь «равномерное» поддерево

(7.9)(7.9)

(7.9)

(7.9)

Другими словами, когда мы встречаемся с подобным узлом и, то все последовательные выходы попросту совпадают с входами. Таким образом, большая часть оптимального ПР-дерева уже является ГКС в том смысле, что подавляющее большинство его поддеревьев к тому времени, когда мы порождаем 2т-й бит результата, изоморфны «равномерному» поддереву. Для завершения доказательства мы должны разобраться с оставшейся частью дерева.

Рассмотрим вначале «плохое» значение /. Мы можем предположить, что в процессе построения оптимального ПР-дерева ПДР-дерево для результата на уровне 2m является конечным ПДР-деревом, поскольку все фигурирующие при этом вероятности являются рациональными числами. (Действительно, алгоритм уточнения преобразует конечное ПДР-дерево в конечное ПДР-дерево, когда р, р' и р" являются рациональными, если S рассматривается как очередь.) Каждый концевой узел о этого ПДР-дерева, соответствующий «плохому» значению /, теперь будет замещен ГКС для полиномиального распределения, опре* деленным следующим образом:

A^F^-F^i^-Fy^. 0<х<1.

Снова рассмотрим «хорошее» значение /. Заменим каждый концевой узел и ПДР-дерева, соответствующий такому /-, на «равномерное» поддерево (7.9), если и имеет уровень ^Зт; в противном случае заменим и на ГКС для полиномиального распределения G/(x) с неотрицательными рациональными коэффициентами, определенным следующим образом:

(7*Ш Т^Г Х + ^2т,/2^) ^^т> 1 ^*

Результирующее дерево, дополненное спецификациями вывода для узлов уровня ^2 так, как это делалось при построении оптимальных ПР-деревьев в теореме 4.1, является ГКС для F(x). Остается проверить, что время получения результатов достаточно близко к оптимальному.

Среднее время, необходимое для получения Л-го бита при к ^ 2m, является оптимальным, исходя из способа построения. Среднее время, необходимое для получения (2m + Л)-го бита, превышает оптимальное самое большее на величину, ограниченную произведением Dn (см. замечание к теореме 7.2) на вероятность того, что используется ГКС для полиномиального распределения Ff(X) или G/(x). Но вероятность того, что используется Fj, равна вероятности того, что / «плохое», а именно О(2-т), и вероятность того, что использовано G/, равна

0</<22/«

где первая сумма вычисляется по всем «хорошим» /. Следовательно, среднее время получения результата превышает опти- х мальное самое большее на величину О^/г™), что для достаточно больших m меньше, чем е.■

В заключение настоящего раздела покажем, что класс распределений, реализуемых с помощью ГКС, очень ограничен. Как было показано в разд. 5, только некоторые редко встречающиеся непрерывные распределения можно моделировать с помощью ГКС. Однако оказывается, что если ^(х) является кусочно-аналитической функцией, реализуемой с помощью ГКС, то ^(х) должно быть кусочно-полиномиальной функцией.

Будем говорить, что F(x) является аналитической на [с, d]1, если для любого х0 е [с, d\ существуют б > 0 и последовательность коэффициентов <а0, а^ а^ .. .>, ..., такая, что

F(x) = Д^аДх —ХоУ

для любых х е [с, d], таких, что |х — Хо| <; 6.

Теорема. 7.4. Если распределение Г(х) на [О, I] порождаемо с помощью Г КС и F^ является аналитической функцией на 1с, d]s[0, 1] для некоторых с < d, то существует полином р(х) с рациональными коэффициентами, такой, что F(x) = p(x) при всех х е [с, d].

Доказательство. В доказательстве мы будем опираться на лемму, которая по существу является следствием теоремы Арбиба [2] и Хеллера [4], о реализуемости стохастических систем. Поскольку наша вычислительная модель несколько отличается от модели Арбиба и Хеллера, то мы докажем данную лемму применительно к нашей модели.

Лемма. Пусть Р^х) порождаемо с помощью Г КС. Тогда существует конечное множество {Gi(x), СДх^, ..., Gs(x)} функций на [0,1], со следующим свойством: для каждого к^О и 0 ^ / < 2\ таких, что F является отличной от константы непрерывной функцией на Ц/2к, (j + I) /2^), функция

(7.13)(7.13)FMWFMW0<х<1,0<х<1,

(7.13)

(7.13)

FMW

FMW

0<х<1,

0<х<1,

является выпуклой комбинацией Gi. В частности, любое семейство, содержащее более чем s функций Fkj(x), является линейно зависимым над [0, I].

Доказательство. Поскольку ГКС-дерево имеет конечное число неизоморфных поддеревьев, существует конечное множество функций распределения {Gi(x), G2(x), ..., Gs(x)}, соответствующих любому биту, которым помечен любой узел разветвления. (Так как цепочка битов, которой помечен каждый узел разветвления, является конечной, то ее длина ограниченна. После того как нами получен некоторый бит из этой цепочки, найдется распределение Gz(x), которому будут соответствовать остальные биты из этой цепочки и биты, которыми помечены потомки данного узла. Согласно введенным выше определениям, существует ГКС для разрывного распределения Г(х)=0 при х < 1/л и F(x)= 1 при х ^ 1/л, а именно тривиальное дерево, состоящее из единственного концевого узла, доставляющего в качестве результата бесконечную^ цепочку нулей и единиц, которая соответствует двоичному представлению 1/л. Для такого ГКС существует бесконечно много линейно независимых распределений РцкхУ В действительности лемма верна также и для разрывных РкДх^ при условии, что Fkj(x) не является «одноступенчатой» функцией, для которой РкДхА-^ = РкДх—0) + + 1 при некотором х.)

Для данных к и / рассмотрим все узлы с е Vkb которым был приписан &-й бит результата, а первые к битов определяли двоичное представление //2^. Поскольку каждый такой узел и встречается на некотором уровне £(у) и определяет некоторое распределение G^* ^(x)^(Gi(x), ..., Gs(x)}, то

FM^ = £ -^Ж^кЧх^ £ KiG^' 0<х<1, veVkil<i<s

для некоторого X/, что и доказывает лемму.■

Приступая к доказательству теоремы, выберем точку х0 = = j/y, такую, что с < х0 < d. Тогда существуют 6 и <я0, а\, . ..>, удовлетворяющие (7.12). Заменяя в случае необходимости / на 2^/ и к на к + /, можно предположить, что 1/2^ <6 и хо+ 1/2^ < d. Согласно лемме, существует номер $, такой, что при 0 ^ t ^ s функции Fk-Vi j^ (х) являются линейно зависимыми, т. е. существуют bi =# 0, такие, что

(7-15)0<?^s ^i^k+i, ^i^k+i, 2li W = 0> O^X^l.

Поскольку на основании (7.12) и (7.13)

Дн-L 21/^к+1, 21/ (%) = ^ ^z ("^w) ’0 ^ ^ ^ 1,

то равенство (7.15) означает, что

£ bJ^^O

для всех /, таких, что си ^ 0. Если по меньшей мере s + 1 значений сц отличны от нуля, то (7.17) определяет систему линейных уравнений, определитель которой кратен отличному от нуля определителю Вандермонда; следовательно, все 6,=0. Отсюда следует, что а/= 0 для всех больших /, т. е. F^ является полиномиальной функцией р^ в интервале [х0, x0+ 1/2^). Из хорошо известной теории аналитических функций следует, что F (х) = р (х) для всех х ^[с, d].

Таким образом, осталось показать, что коэффициенты р\х) рациональны. В силу равенства (7.16) при х = 1 достаточно доказать, что для любого ГКС А^ являются рациональными числами. Поскольку А^ является вероятностью получения отдельной строки, состоящей из к нулей и единиц, А^ может быть представлено в виде суммы элементов строки матрицы, являющейся результатом произведения к матриц перехода между «состояниями» ГКС. Здесь под «состоянием» понимается устройство, имеющее ровно один выход. Рассматриваемый нами ГКС

может быть легко представлен как имеющий конечное множество состояний с не более чем одним выходом в каждом состоянии, если разделить каждый узел, который порождает два и более результатов, на отдельные узлы, переход между которыми возможен с вероятностью 1. В то же время мы можем исключить состояния, которые не имеют ни одного выхода, поодиночке следующим стандартным способом. Если и является таким состоянием, которому соответствует вероятность риу перехода из у в у, то мы можем исключить у, если для каждой другой пары состояний и и w заменим вероятность pUw перехода из и в w на вероятность

p^ + ^^L.'

После применения конечного числа подобных преобразований мы получим устройство с конечным числом состояний, каждое из которых имеет ровно один выход и переходы между каждой парой состояний определяются рациональными вероятностями. Как установлено выше, отсюда следует, что каждое Д^/является рациональным числом.■

Представляется интересным указать такие распределения, для которых ГКС является оптимальным. Одним из важных примеров может служить распределение ([/+!/)/2, где U и V являются независимыми равномерно распределенными случайными величинами, а именно

, х0<х<1/2,

I !_2(1-х)2, 1/2<х<1.

Оптимальный ГКС для этого распределения получается из дерева

(7.20)

где Т22 было определено при доказательстве теоремы 7.2 (и соответствует min(t/, V)). Кроме того, читатель может проверить, что распределение

Fb^ = kx — p^q, p<x<p-Vq,

также может быть оптимальным образом получено с помощью ГКС, когда р и q являются рациональными числами, такими, что 0^p<^p-\-q^^-

МОДЕЛИРОВАНИЕ ЭКСПОНЕНЦИАЛЬНОГО РАСПРЕДЕЛЕНИЯ

Выше было показано, что экспоненциальное распределение (8.1)^(х)=!~еЛ х>0,

которое является одним из важнейших в практических приложениях, не может быть порождено с помощью ГКС. Отсюда следует, что ГКС представляют собой слишком ограниченную модель, в то время как общие ПР-алгоритмы являются слишком неограниченными моделями. В настоящем разделе мы вкратце обсудим простой алгоритм моделирования экспоненциального распределения в надежде на то, что это несколько прояснит главный вопрос о том, какая же промежуточная модель в действительности наиболее соответствует практическим задачам.

Следующий элегантный метод был предложен Джоном фон Нейманом [11] ). В настоящее время известно много других методов моделирования экспоненциального распределения (см., например, [1], гл. 7), однако мы будем иметь дело с методом фон Неймана, поскольку он допускает очень простую программную реализацию. Этот метод заключается в следующем.

Положить с^-0.

Получить независимые реализации (/0, U\, ... из равномерного распределения до тех пор, пока не найдется наименьшее / ^ 1, такое, что Uj_\ < Up-

Если j четно, то положить с^с + 1 и вернуться к шагу 2; в противном случае получить в качестве результата с+ Uq.

Рассмотренные до сих пор примеры распределений были ограничены интервалом [0,1], однако экспоненциально распределенные случайные величины могут принимать сколь угодно большие значения. Будем использовать единично-двоичное представление для вещественных чисел так, как это обсуждалось в разд. 3, но без начальной единицы, поскольку все числа будут положительными; таким образом, число с + t, где с — целое и t — дробь, представляется в виде нуля и с единиц, за которыми следует двоичное представление L Тогда экспоненциальное распределение может быть порождено адаптированным методом фон Неймана следующим образом:

begin integer f, р, s, t; integer array a, b [1 :. oo];

comment В данной реализации метода Неймана переменные имеют следующий смысл: .,

/=1 означает, что /= 1, f = 0 означает, что /> 1, р представляет собой /(mod 2),

ах, ..., as представляют собой старшие биты UQ, b\, .... Ь( представляют собой старшие биты Uj_x;

while true do

begin f*-l; p*-l; /*-0; comment /<-1;

advance: /<-#+!; bt*- flip;

if f=l then begin s*-t; at*-bt end;

if flip = 0 then go to advance;

inequality found: if bt = 1 then

begin comment Uj_x>Uf,

f<-0; p*-l-p; bt<-0", comment /*-/+1;

for i *- 1 step 1 until t do if flip = 1 then begin t*-i; goto inequality found end;

goto advance;

end else

begin comment U,_x <U f, if p = 1 then

.begin output (0); comment переход от единич

ного представления к двоичному;

for i *-1 step 1 until s do output (аг); while true do output (flip)

end else output (1); comment c*-c + l;

end

end end;

Ясно, что этот алгоритм может быть выполнен стохастической машиной Тьюринга, которая работает в реальном времени (т. е. одна машинная операция соответствует одной инструкции flip), при условии, что в состав операций, выполняемых этой машиной, входят операции печати символа и смещения головки вправо на одну позицию или мгновенного возвращения ее к началу ленты. Вряд ли возможна реализация этого алгоритма на стохастическом магазинном автомате даже не в реальное время.

Среднее время выполнения оптимального ПР-алгоритма для экспоненциального распределения в единично-двоичном представлении может быть получено из доказательства теоремы 5.2. Согласно (5.9),

Тр^-к- £ fr/mW-

т>1 —к

но в случае единично-двоичного представления

(8.3) ZmW-

+ ^W1-FW),

где

(8.4)

4? -4' + рт-) -F Q +>кт

Пусть пг фиксировано и к-^оо. Тогда для всех х из интервала, соответствующего Л$, и Для всех 1 и А за исключением 0(2^) «плохих» значений, функция плотности Цх) = Р'(Х) будет иметь постоянное значение tn = V^Hx) 1; для «хороших» значений 2 8т+^ (лу) оказывается равным интегралу от гт (2~1“7 (х)) по этому интервалу, умноженному на 2”1-/. Следовательно, в единично-двоичном представлении аналогом (5.12) является

i + l

Zm(A)=2^T $ ет№рих+ 0(min(l, 2m"ft)).

Пусть f(x) = e-x и Jm — предельное значение (8.5) при k-^oo. Тогда Ji = 0, J2 = у In 2, J3 = у (1 + In (2/3)), и дальнейшие вычисления показывают, что среднее число случайных битов, необходимых для получения с помощью оптимального ПР-алго- ритма к битов результата, равно к + 0.5385 + О(к2/2к).

Интересно проанализировать быстродействие приведенного выше простого алгоритма моделирования экспоненциального распределения, однако мы ограничимся только эмпирическим результатом. В результате 1000 испытаний этого алгоритма на ЭВМ оказалось, что для получения к битов результата требуется около к + 5.4 ± 0.2 случайных битов при больших к.

ЗАКЛЮЧИТЕЛЬНЫЕ ЗАМЕЧАНИЯ И ОТКРЫТЫЕ ПРОБЛЕМЫ

Мы обсудили начальные понятия нового раздела теории сложности, который объединяет теоретический и численный анализ с целью изучения одного интересного приложения алгоритмов и автоматов и проливает некоторый свет на задачу моделирования неравномерно распределенных случайных величин. Хотя мы получили ответы на ряд вопросов, которые естественным образом возникают в рамках этой теории, многие проблемы остались открытыми.

Вероятно наиболее интересным направлением дальнейших исследований является изучение моделей, промежуточных между алгоритмами с конечным числом состояний и общими алгоритмами на деревьях, поскольку эти модели можно естественным образом связать с задачами моделирования на ЭВМ экспоненциального, нормального, гамма- и тому подобных распределений. Насколько эффективно мы можем моделировать нормально распределенные случайные величины, исходя из последователь-

ности случайных битов и используя сравнительно простой алгоритм?

В этой связи могут быть рассмотрены автоматы или алгоритмы, которым «сообщены» двоичные представления некоторых констант. Например, вероятность того, что экспоненциально распределенная случайная величина превышает значение к In 2, равна 1/2^ и один из способов моделирования экспоненциально распределенных случайных величин может состоять в использовании этого факта для сведения задачи к моделированию случайных величин в промежутке [0, In). В этом случае для выполнения алгоритма потребуется двоичное представление In 2 и, возможно, кратные ему значения.

Другой интересной темой, не затронутой в настоящей статье, является моделирование важнейших дискретных распределений, таких, как распределение Пуассона с параметром X или биномиальное распределение с параметрами пир1). Заслуживающий особого внимания метод «подсчета единиц» для моделирования биномиального распределения предложен Аренсом ([1], гл. 12); нельзя ли его существенно улучшить?

Ряд следующих задач мы также оставили нерешенным. (1) Можно ли распространить теорему 5.2 на случаи, когда F^ имеет бесконечно много точек разрыва или недифференцируемости? Как связан коэффициент при к со свойствами F? (2) Определить среднее время выполнения простого алгоритма моделирования экспоненциального распределения, рассмотренного в разд. 8. (3) Охарактеризовать все F^, для которых ГКС является оптимальным. (4) Насколько большим должно быть число состояний ГКС, порождающего распределение F^x) = х3, который является е-оптимальным? (5) Какие полиномиальные распределения можно моделировать с помощью ГКС? (6) Можно ли с помощью магазинного автомата моделировать любое распределение? (7) Что если источник независимых случайных битов является смещенным (так что вероятность единицы равна р)?

ЛИТЕРАТУРА

Ahrens J. Н., Dieter U. Non-uniform random numbers — Graz: Institiit fiir Math. Statistik, 1974.

Arbib M. A. Realization of stochastic systems, IEEE Conf, record, Symp* on switching and automata theory, 7 (1966), 262—265.

Bentley J. L, Yao A. C. An almost optimal algorithm for unbounded searching, Inform. Processing Letters, 5 (1976), 82—87.

Heller A. On stochastic processes derived from Markov chains, Ann. Math. Stat, 36 (1965), 1286—1291.

D По-видимому, имеются в виду алгоритмы, являющиеся функциями паа раметров указанных распределений. — Прим, пвревь.

Knuth D. Е. The art of computer programming, vol. 1: Fundamental algorithms, Addison-Wesley, Reading, 1968. [Имеется перевод: Кнут Д. Искусство программирования для ЭВМ. Т. 1. Основные алгоритмы. — М.: Мир, 1976.]

Knuth D. Е. The art of computer programming, vol. 2: Seminumerical algorithms, Addison-Wesley, Reading, 1969. [Имеется перевод: Кнут Д. Искусство программирования для ЭВМ. Т. 2. Получисленные алгоритмы. — М.: Мир, 1977.]

Knuth D. Е. The dangers of computer science theory, Proc. 4th Internal. Congress for logic, methodology and philosophy of science (Bucharest, 1971), ed. by P. Suppes et aL, North-Holland, Amsterdam, 1973, 367—371.

Knuth D. E. The art of computer programming, vol. 3: Sorting and searching, Addison-Wesley, Reading, 1973. [Имеется перевод: Кнут Д., Искусство программирования для ЭВМ. Т. 3. Сортировка и поиск. — М.: Мир, 1978.]

Paz A. Introduction to probabilistic automata, Academic Press, New York, 1971.

Stoppard T. Rosencrantz and Guildenstern are dead, Faber and Faber, London, 1967.

Neumann von J. Various techniques used in connection with random digits, Collected works, vol. 5, Pergamon Press, London, 1963, 768—770.

Теоремы существованиядля семейств Шпернера1)

Д. Дейкин, Дж. Годфри, А. Хилтон

Reading University, England

ВВЕДЕНИЕ

Пусть У — конечное семейство конечных множеств. Будем называть ^ семейством Шпернера, если для любых двух различных множеств X, У из У выполняется соотношение X$Y. Параметрами семейства ^ являются числа р0, р\, .../где pi это число множеств мощности i в семействе ^. Последовательность Ро, Рь • • •, разумеется, является конечной. Если р0 > 0, то семейство Шпернера состоит только из пустого множества 0. Поэтому мы обычно считаем р0 = 0. Через [z, /] будем обозначать множество целых чисел i, t + L ..., j, которое считаем пустым при i > j.

Эта статья была стимулирована гипотезой [2] Д. Клейтмана и Э. Милнера, которую мы доказываем в виде следующей теоремы.

Теорема. 1. Пусть У — семейство Шпернера, состоящее из подмножеств множества [1, s], и пусть ро, р\, ..., ps — параметры семейства У. Тогда существует семейство Шпернера QJ, снова состоящее из подмножеств множества [1, s], с параметрами qQ, qx, ..., qs, где qi = 0 при 0<л<^8 и qt = ps_t + pt при тг s < i ^.s, а когда s четно q\ = pi .

Для доказательства этой теоремы нам нужен специальный класс семейств Шпернера. Мы их смогли извлечь из работы Д. Краскала [3], описываем мы их в разд. 5. Они позволили нам также получить следующую теорему.

Теорема, 2. Пусть р0, pi, ..., pg— неотрицательные целые числа, удовлетворяющие условию р0 = 0 <_ pg. Тогда наименьшее такое целое s, для которого существует семейство Шпернера из подмножеств множества [1, s] с параметрами ро, рх, ..., pg,

9 Daykin D. Е.? Godfrey J., Hilton A. J. W. Existence Theorems for Sper- ner Families, J. Comb. Theory (A) 17, 245—251, 1974.

S

1974 by Academic Press, Inc.

Перевод на русский язык, «Мир», 1983

определяется соотношением

Я = Р1 + ^2(р2 + /<з(Рз +(1)

где К обозначает функцию Краскала, которая определяется ниже соотношениями (2) и (3).

Вывести теорему 1 из теоремы 2 нам не удалось. О приложениях теоремы I упоминается в [2].

УПОРЯДОЧИВАЮЩЕЕ ОТНОШЕНИЕ

Ради удобства мы будем рассматривать наши множества как подмножества множества {I, 2, ...}. Для двух различных множеств X и Y будем использовать запись X < У, если наибольшее целое число, входящее в симметрическую разность (Х\У)и(У\А’), принадлежит Y. Пусть / ^ I, и пусть 2" обозначает семейство всех множеств мощности /. Упорядочивающее отношение превращает $ в последовательность L\, L^, ..., которая, например, при / = 3 начинается так:

Lx= 1, 2, 3

L2 = 1, 2,4

Ц= 1,3, 4

L4 =2, 3, 4

L5=l, 2,5

U=\,3,5

В общем случае L/+i можно получить из Ц следующим образом.

Правило, определяющее следующее множество. Пусть даны целые числа пг и I, удовлетворяющие условию; 1 ^ m ^ I, и множество L мощности I. Пусть а — наименьшее такое целое число, что

(i) а е L,

(И) а+10Л

(Ш) |ЛП[1, а]|>1 + /~т.

Тогда множество ЛГ мощности т, следующее за множеством L, определяется так;

M = [l, P1U {«+ 0 и(Г \[1, а]), где

Р = |ЛП[1, а] |— 1 — Z4-m.

Заметим, что L <_ М, а когда m = I, условие (Ш) становится лишним, поскольку оно следует из условия (i).

грамме:грамме:Приведем теперь три примера применения этого правила. Каким образом мы его применяем, показано на следующей диа

грамме:

грамме:

Множества V, W имеют мощность 3, а множества X, У, Z—• мощность 2.

Пример 1 Пример 2 Пример 3

V 1,2, 41, 3,42,3,4

Г 1, 3,42,3,41,2,5

X 1,51,53, 5

У 3,41,51,5

Z 1,52,52,5

В примерах соответственно X = Z, X < Z, Z > X, что показывает некоммутативнорть диаграммы. Эти соотношения показывают также, что за различными множествами одинаковой мощности может идти одно и то же множество другой мощности.

ТЕОРЕМА КРАСКАЛА-КАТОНЫ

В этом разделе мы приведем несколько результатов, которые первым получил Краскал [3], а затем независимо переот- крыл Катона [1].

При заданных положительных числах I и п существует единственное представление числа п в виде

n = tiz + C^2, + ...+^#, (2)

где / ^ / ^ 1 и at > 6ZZ-i > ... > at ^ t. Пусть ^ — некоторое семейство множеств, и пусть А — оператор, удаляющий всеми возможными способами один элемент из множеств семейства ^, давая тем самым другое семейство множеств А^.

Теорема, 3. Пусть 9^— семейство из п множеств мощности L Тогда

\^\>KAnY где

Ki (и) = ti;1 + С1^ + • • • + С^.(3)

В следующем разделе будет приведен пример семейства 9, которое Краскал назвал каскадом. Для каскада | Д^] = КАп), и это показывает, что теорему 3 усилить нельзя. Повторное применение теоремы 3 дает оценку для |Ar^|. Если рассмотреть

случай ^ = ^U^, где <7~ и <21— непересекающиеся семейства, состоящие соответственно из гц и п2 множеств, то мы увидим, что

КМ + пД^Н + К^пД,(4)

где п\, п,2 — любые неотрицательные целые числа.,

КАСКАД КРАСКАЛА’

Для нас важно то, что мы можем пример каскада выписать в явном виде:

^ = ^/U^/-iU...U^,(5)

где при l^ i ^ t

^-{XUY, : Ш = Л ^^[1, aJJ, а

Yt= U {! + «/}.

Заметим, что У/ = 0, Yi-X = {1 + я/}, У/-2 = {1 + «z—i}U{1 + ^z} и т. д. Выразив ^ таким способом, мы можем сразу сделать ряд наблюдений.

Во-первых, если при / ^ i ^ t имеет место Zz е ^z, то тогда Z/< Zz-i < ... < Zf. Таким образом, семейства вида ^z попарно не пересекаются и |^| = СД, так что в силу (2) и (5) |^| = п. При упорядочении семейства У последним множеством в нем является-•

Q = [l—t + аь аД U Y^

ибо Q является последним множеством в Уь Если |Z|= Z и Z < Q, то тогда Z ^ ^. Другими словами, ^ состоит из первых п множеств мощности /, поэтому в обозначениях разд. 2 ^ s={Li, L2, ..., ЬД. Кроме того, семейство ^ можно породить правилом, определяющим следующее множество, при / = пг.

Далее мы заметим, что

Д^ = {^ : | X | = Z — 1, Х^[1, аД^

(A^z_1)\A^z = {ZUyZ-i:|X| = /-2, Х^[1, а^ (A^z_2)\A(^zU^z_i) = ^^1е[1, а^»

и т. д., причем числа элементов в этих множествах это соответственно Ci”1, С^Д, СД“Д и т. д. Таким путем с помощью (3) мы устанавливаем, что | А^| = Ki(n). Последнее множество семейства А^ получается удалением первого элемента из последнего множества Q семейства ^, поэтому оно имеет вид

^ = V2-t + ab ajU^.

Если |Z| = / — 1 и Z < Т, то тогда Z е А97. Следовательно, А^7 состоит из первых Ki^n\ множеств мощности / — 14

СПЕЦИАЛЬНЫЕ СЕМЕЙСТВА ШПЕРНЕРА

Теперь мы можем раскрыть, что мы понимаем под специальным семейством Шпернера ^, имеющим заданные параметры ро, рх, ..., pg) которые удовлетворяют условию: р0 = = 0 < pg. Пусть 9* i обозначает совокупность из pi множеств мощности ц принадлежащих 9*. Тогда

Для упрощения записи положим qg = pg и при i = g—1, ..., 1

qt = Pi + Ki+1 (qt+1\

В частности, ^i— это число из (1). Пусть теперь семейство ^"* состоит из первых qg множеств мощности g. Как показано в последнем разделе, ^9~*g состоит из первых Kg(pg) = qg-\ — pg-\ множеств мощности g — 1, а следующие pg-\ множеств мы берем в качестве второй части семейства ^^р Таким образом, семейство 9**g_x\3 ^*g состоит из первых qg-\ множеств мощности g — X. Аналогично, A^^UA^j состоит из первых ^-2 — pg-2 множеств мощности g — 2, а следующие pg-^ множеств мы берем для 9**g_2 и т. д. для • •., ^*. Очевидно, что

II X = ^UA(^2UA(...(^g-iUA^)...)) = [l, <71]. '

Другой тривиальный факт, который будет важен в следующем разделе, формулируется в виде леммы.

Лемма 1. Специальным семейством Шпернера с параметрами Ро, Ръ • • •, Pg-^ As-x является ^i U ^2 U ... U ^g-x U AST*.

Чтобы доказать теорему 2, рассмотрим произвольное семейство Шпернера 9 с заданными параметрами рх, ..., pg. Обо* значим через 9*, 1 ^ i ^ g, подсемейство семейства 9, состоя* щее из pt множеств мощности L Тогда по теореме 3

|у8|>мре)

и, поскольку 5^-1 и AS^g не пересекаются, l^g^UA^g^lZg-d + lA^l^^g-,.

Очевидно, что при фиксированном / КДп) не убывает с ростом п. Поэтому, применив снова теорему 3, мы получим

| ^_, и а «., и ^ ] = I уу2| +1д (уу, и А?;) I >

> Р,-,+«„-, (I ^У, и Азу) > р,_, + Ka-t to,-,)- <7,-,.

Продолжая действовать таким способом, мы установим в конце концов, что

I U X| = |^UA(^2UA(...(^-iUA^’g)...))|>^-b

и теорема 2 доказана. Таким образом, справедлива также

Теорема, 4. Для каждого семейства Шпернера, состоящего из подмножеств множества [1, s], существует специальное семейство Шпернера с теми же параметрами, состоящее также из подмножеств множества [1, s].

ДОКАЗАТЕЛЬСТВО ТЕОРЕМЫ 1

Пусть s — фиксированное положительное число, и пусть заданы параметры ро, р\, ..., ps. Обозначим через h наибольшее такое целое, что ps-n + ph> 0. Если s четно и h = ~ s, утверждение теоремы 1 тривиально при ^ = ^. Если s нечетно и h = ~ ($+ 1), то доказываемое утверждение также справедливо, ибо, согласно теореме Шпернера [2], CHS ^ р0 + рх + ... + Р5 = = Рн-\ + Рю так что в качестве ^ можно взять любые p^-i+ + рп множеств мощности h. Сделаем индуктивное предположение о том, что доказываемое утверждение справедливо для всех таких семейств ^, что h удовлетворяет соотношению: ^ s ^ h < < к, и рассмотрим случай h = k.

Итак, мы предполагаем, что имеется семейство ^ с параметрами ро, рь ..., ps, где р/ = 0 при i < s — к и i > к, но р5_к + рь > 0. Допустим временно, что s четно и что к ^ 3 + + у$. Отправляясь от У, определим 6 семейств Шпернера: S?i, ..., 5?6. Параметрит всех этих семейств сведены в таблицу, где для удобства мы положили

а = рь b = pk_x, c = ps_k+i, й = р8-юКа = КЛа\ Kd = KM, Ke = Ka + Kd,

Неравенство KJ ^ Ке вытекает из (4).

Отправляясь от ^, мы применим оператор А к подсемейству 9^* множеств из ^ мощности к с целью получить не менее Кй новых множеств мощности k-— 1. Пусть Ж — какие-нибудь Ка из этих множеств. Положим $,х = (^ \ ^) U ^- Семейство 902 получается заменой каждого множества из 5?i его дополнением.

Таблица значений

параметров

9U

9h

91^

5?*

%

9i^

z > £

0

0

0

0

0

0

0

i = k

a

0

d

0

0

0

a + d

i = k-\

b

bW

c

c + Kd

b + c + Ke

b + c + KT

b + c

к — l>i> js

Pi

Pi

Ps-i

Ps-i

Pi+Ps-i

Pi + ps-i

Pi+ Ps-i

l = V

Pi

Pi

Pi

Pi

Pi

Pi

Pi

у s>i>s — k + 1

Pi

Pi .

Ps-l

Ps-i

0

' 0

0

i = s — k + 1

c

c

b + Ka

b + Ka

0

0

0

i = s — к

d

d

0

0

0

0

0 -

i< s — к

0

0

0

0

0

0

0

Затем ^з получается из Й2 точно так же, как Й\ было получено из ^. Поскольку параметры семейства Йз удовлетворяют равенству ри = ps_k = 0, по предположению индукции существует семейство ^4 с параметрами, указанными в таблице. В свою очередь, поскольку Ке ^ К^ и имеется семейство ^4, в силу теоремы 4 существует специальное семейство ^5, а значит, в силу леммы 1 и специальное семейство 5?6, У которых параметры имеют значения, указанные в таблице.

Приведенное рассуждение сохраняется, даже когда нарушено какое-нибудь из условий: s четно или 6^3+ ~s, если в зависимости от случая удалять очевидным способом из таблицы 1, 2, 3 или 4 строки. Доказательство теоремы 1 получается по индукции.

Добавление в корректуре (21 марта 1974 г.). Авторы хотели бы поблагодарить Д. Катону, сообщившего им, что обобщение теоремы 2 было доказано Д. Ф. Клементсом (Clements G. F. A minimization problem concerning subsets of a finite set, Discrete Math., 4, 1973, 123—128).

ЛИТЕРАТУРА

Katona G. A theorem for finite sets. Theory of Graphs, Proc, of Colloquium, Tihany, Hungary, 1966, 187—207.

Kleitman D., Milner E. C. On the average size of the sets in a Sperner family (в печати).

Kruskal J. B. The number of simplices in a complex, Math. Optimisation Techniques, University of California, Berkeley and Los Angeles, 1963,

Простое доказательствотеоремы Краскала — Катоны)

Д. Дейкин

Reading University, England

Заметка является продолжением предыдущей статьи [1] из этого же журнала ).

Пусть п и / — положительные числа, а ^— совокупность первых п множеств мощности /. Кроме того, пусть ^ —любое другое семейство из п множеств мощности /. Тогда ^ представляет собой каскад Краскала и теорема, которую мы собираемся доказать ([1, теорема 3]), утверждает, что |А^|^|А^|.

Пусть т— минимум величины |IF\X|, взятый по всем множествам W мощности /, не принадлежащим ^, и всем множествам X, принадлежащим ^, для которых выполняется условие W <. X. Поскольку st^^, число т определено и т ^ 1. Среди пар множеств W, X выберем произвольную такую пару W^ Хо, что т = | №о\Хо |. Положим

М=№0\Х0, N = X0\W0,

так что М П N = 0, т = | М | = | N | и М < N. Далее, положим ^ = {Х:Х^, MflX=0, N^X, ^Х\N)\j M^sty ^ = ^Х \ N)\j М: X ^у.

2) = ^ и (^ \ ^),

так что |j^| = |^|. Грубо говоря, Ф формируется из ^ путем замены везде, где это возможно, подмножества N множества X из st на подмножество М. Множество, получающееся из X в результате такой замены, удовлетворяет условию: (X\^)UM < < X. В частности, Wo, получающееся из Хо, удовлетворяет условию: Го < Хо. Таким образом Ф ближе к ^, чем st, и повторение этой процедуры постепенно преобразует st в ^. Поэтому для доказательства теоремы достаточно показать, что | Д^>| ^ | А^|.

Пусть Z е (А2))\^sty Тогда существует такое множество У е 2D\st = ^, что Z г У. По определению семейства ^ су-

ществует такое множество Х^Д что У=(Х\А)иЛ4 и, таким образом, ^ П Z = 0. Предположим, что М $Z. Поскольку Z получается удалением одного элемента из Y и М У, из соотношения P — M^Z теперь следует, что |Р|=т—1. Далее, пусть Q — множество, полученное удалением из N наименьшего его элемента р, тогда |Q| = m—1, P^Q—0 и либо Р = Q = 0, либо Р < Q. Поскольку X ^ ^, выполняются соотношения М П X = 0 и N г X, так что Р П X = 0 и Q X. Положим №i=(X\Q)U Р, тогда |№г|=/, |U7i\X| = |P| = = m — 1 их l^i ^ X е ^. Пользуясь определением числа т, мы приходим к выводу, что Wi е зФ. Однако Q П X = N П X = 0 и МП2 = Р, так что Z^W\, а это дает соотношение ZeA^, противоречащее определению множества 1. Таким образом, мы показали, что N П X = 0 и М Z.

Введем

^Z = (Z \M)UW.

Тогда xpZ с X и, таким образом, гр определяет отображение (А2))\(А^) в Ал^. Покажем, что xpZ А2). Действительно, предположим, что ^Z ^ V е 2). Тогда N ^ V, так что К ^ ^, но V е з£\$. Поскольку N ^ V ^ $, имеет место один из двух случаев: (i) М f) V =£ 0, (ii) М f) V = 0 и (V\^UAf^^. В случае (ii) выполняется соотношение: Z ^ (V\A) U 7И, так что Z е А^, а это противоречит определению множества Z. Поэтому должен иметь место случай (i) М П V =# 0. В этом случае существует такое целое а, что V = а U x^Z и ТИП фХ=0, так что на самом деле М П V = а. Положим Р = Л4\а и Q = = ЛТ\р, как и раньше. Тогда Q ^ N ^ V, Р П V = 0, и мы полагаем r2=(V\Q)UP. Теперь |№2|=/, | Г2\^| = |Р\ = = m — 1 и UX2 < V ^ зФ, так что, пользуясь определением числа т, мы подобно тому, как раньше, делаем вывод, что IF2 ^ зФ. Кроме того, ввиду того что а е К, имеет место соотношение ТИ ^ IF2 и, следовательно, Z ^ W^. Однако отсюда следует, что Z ^ А^, а это противоречит определению множества Z. Таким образом, мы доказали, что гр отображает (АЗ))\(А^) в (А^)\(А2)) и, следовательно, |А^)|^|А^|, как и требовалось.

Автор благодарит Джина Годфри за любезное указание ошибки в первом варианте этой заметки.

ЛИТЕРАТУРА

Daykin D. Е., Godfrey J., Hilton A. J W. Existence theorems for Sperner families, J. Comb. Theory (A) 17, 1974, 245—251. [Имеется перевод: см. настоящий сб., стр. 159—166.■

Теорема Эрдёша — Ко —Радоиз теоремы Краскала — Катоны1)

Д. Дейкин

Reading University, England

■ Теорема Эрдеша — Ко — Радо непосредственно следует из теоремы Краскала — Катоны.

Теорема, о которой будет идти речь, была опубликована в [3], в [4] было доказано, что ее экстремальный случай является единственным, изящное доказательство теоремы было дано в [6]. Здесь будет показано, что эта теорема является непосредственным следствием теоремы Краскала — Катоны, которая впервые была опубликована в [7], переоткрыта в [5] и получила короткое доказательство в [1].

Теорема,. Пусть к, г—цклые, причем 1 ^ к ^ г ^.2к. Пусть F— такое семейство различных собственных подмножеств множества /?={1, 2, . ., г}, каждое из которых имеет мощность, не менее k, что ни одно подмножество из F не содержит в себе другое и R не является объединением никаких двух подмножеств из F. Тогда

I^KC^.

. Доказательство. Будем считать, что все множества из F имеют мощность к. Иначе мы бы удалили всеми возможными способами из множеств семейства F, имеющих максимальную мощность, скажем мощность К, по одному элементу. В результате получилось бы новое семейство G множеств мощности не более h — 1 с теми же свойствами, что и семейство F, и в силу леммы Шпернера имело бы место неравенство |G|^|F| (подробности см. в [3, стр. 316]).

Обозначим через С семейство множеств, дополняющих множества из F до множества R. Таким образом, каждое множество из С имеет мощность г — к. Далее, обозначим через S семейство множеств мощности г — к, являющихся подмножествами множеств из F..

В случае г = к теорема тривиальна. Поэтому пусть г > к.

!) Daykin D. Е. Erdos —Ко—Rado from Kruskal — Katona. J. Comb. Theory (A) 17, 254—255, 1974.

© 1974 by Academic Press, Inc.

© Перевод на русский язык, «Мир», 1983.

Предположим, что

Поскольку к ^ г — к, теорема Краскала — Катоны утверждает, что

IsOc^+c^r1.

Следовательно,

|C| + |S| = |F| + |S|>c^1 + c^ = c;^

и, таким образом, существует множество X, принадлежащее одновременно С и S. Поскольку X принадлежит С, /?\Х принадлежит F, а поскольку X принадлежит S, существует множество У из F, содержащее X. Объединение множеств /?\Х и У есть R. Это противоречие и доказывает теорему.

ЛИТЕРАТУРА

Daykin D. Е. A simple proof of the Kruskal — Katona theorem, J. Comb. Theory, Ser. A17, 1974, 252—253. [Имеется перевод: см. настоящий сб., стр. 167—168.]

Daykin D. Е., Godfrey J., Hilton A. J. W. Existence theorems for Sperner families, J. Comb. Theory, Ser. A17, 1974, 245—251. [Имеется перевод: см. настоящий сб., стр. 159—166.]

Erdos Р., Ко С., Rado R. Intersection theorems for systems of finite sets, Quart. J. Math. Oxford 12, 1961, 313—318.

Hilton A. J. W., Milner E. C. Some intersection theorems for systems of finite sets, Quart. J. Math. Oxford 18, 1967, 369—384.

Katona G. A theorem for finite sets, Theory of Graphs, Proc, of Colloquium, Tihany, Hungary, 1966, 187—207.

KatonaG. A. simple proof of the Erdos — Chao Ko — Rado theorem, J. Comb. Theory 13, 1972, 183^-184..

Kruskal J. B. The number of simplices in a complex, Math. Optimisation Techniques, U. of California, Berkeley and Los Angeles, 1963, 251—278.

Теория распознавания

Структурное распознавание образов,гомоморфизмы и размещения1)

Р. Харалик

Department of Electrical Engineering, ' Department of Computer Science,University of Kansas, Lawrence, KS 66045, U. S. A.

В работе обсуждается общая задача распознавания образов с обучением со структурной точки зрения. Показано, что как задача определения решающего правила, так и задача применения решающего правила являются задачами нахождения гомоморфизмов независимо от того, совпадает ли структура данных объектов с М-мерным вектором в случае статического распознавания образов или же она представляет собой цепочку или ее обобщение в случае синтаксического распознавания образов. Затем вводится понятие размещения в качестве более сложной структуры данных объектов, которое является размеченным Л^-арным отношением, и демонстрируется способ построения и применения решающих правил к размещениям исходя из понятия гомоморфизма. Подход, предложенный в этой работе, даст возможность получать методы структурного распознавания образов, служащие обобщением синтаксического распознавания образов, заданных в виде фраз.

ВВЕДЕНИЕ

Эта статья преследует три цели: I) обеспечить единообразное рассмотрение схемы распознавания ДАмерных векторов и схемы распознавания цепочек, что проясняет их общую структурную основу; 2) ввести понятие размещения в качестве структуры данных объекта, 3) показать, как именно использовать размещения аналогично использованию Димерных векторов и цепочек в структурном распознавании образов.

В статистическом распознавании образов Л/-мерные векторы используются в качестве основной структуры данных объекта. Каждый объект должен быть упорядоченным набором чисел, и все наборы должны иметь одинаковую длину. Если этими значениями являются действительные числа, то исходя из понятия расстояния можно получить линейные или квадратичные решающие правила для определения класса, к которому следует отнести Л^-мерный вектор [II]. Если указанные значения —

!) Haralick Robert М. Structural Pattern Recognition, Homomorphisms, and Arrangements, Pattern Recognition, vol. 10, 1978, 223—236.

© Pattern Recognition Society, 1978

© Перевод на русский язык, «Мир», 1982

нечисловые символы, то можно использовать решающие правила с помощью покрытий цилиндрических множеств [14, 19].

В синтаксическом распознавании образов в качестве основной структуры данных объекта используются цепочки. Любой объект называется предложением и представляет собой конкатенацию символов, принадлежащих заданному множеству символов. Если множество предложений (которые порождаются регулярной грамматикой) сопоставленных с классом, является автоматным языком, то решающее правило, определяющее, к каким именно классам они относятся, может осуществляться конечным автоматом.

Много усилий было затрачено для обобщения структуры данных объекта в синтаксическом распознавании образов, представленной в виде цепочки. Уже описаны структуры данных в виде деревьев [2, 5], матриц [3, 15, 21], плексов) и вебов). Однако в данной работе при обсуждении порождающих грамматик мы ограничимся лишь цепочками.

В структурном распознавании образов каждый класс объектов характеризуется при помощи определенного множества взаимосвязей между частями объектов из этого класса. Главное внимание уделяется комбинаторной сложности и однозначности, которые присущи этой совокупности связей. В структурном распознавании образов предполагается, что комбинаторная сложность объекта достаточно велика, чтобы обеспечить почти 100%-ную точность правильного распознавания. Поэтому вместо методов анализа ошибок, типичных для статического распознавания образов, в структурном распознавании образов выясняются возможности методов построения покрытий для порождения решающих правил. Метод покрытия множества Михальского [19] или процедуры восстановления грамматик, обзор которых дан Фу и Бутом [10], Бирманом и Фельдманом [1], Пао [23], являются частными случаями общей схемы построения покрытий, которая, по нашему мнению, характеризует структурное распознавание образов.

В структурном распознавании имеются четыре основные задачи: 1) выбор структуры данных для объекта (задача его представления); 2) преобразование физических замеров в структуру данных объекта (задача выделения признаков); 3) построе-

ние решающего правила (задача обобщения); 4) применение решающего правила (задача его реализации).

В данной работе показано, что с позиций структурного распознавания образов задача 3 (построение решающего правила) фактически является задачей, выразимой в терминах определения покрытий посредством гомоморфизмов и задания решающих правил, использующих эти покрытия с помощью гомоморфизмов. Если читателю стало ясно, что это один и тот же общий тип задачи независимо от того, является ли структура данных объекта М-мерным вектором, цепочкой или обобщением цепочки, как это упоминалось ранее, то естественно ставить вопрос о возможностях структурного распознавания образов относительно других типов структур данных. С этой целью мы вводим в качестве структуры данных размеченное Л^-арное отношение, которое является более сложным по сравнению с цепочкой или TV-мерным вектором и включает в себя Л^-мерный вектор, цепочку и ее обобщения как частные случаи. Мы назовем размеченное Л^-арное отношение размещением и покажем, как именно может осуществляться построение решающего правила, исходя из размещения, выбранного в качестве структуры данных.

В разд. 2 обсуждается вопрос о сведении задачи структурного распознавания образов к задаче нахождения гомоморфизмов. В разд, 3 иллюстрируется пример покрытия множества с помощью методологии структурного распознавания образов, в то время как разд. 4 посвящен интерпретации синтаксического примера восстановления грамматики, которая укладывается в рамки методологии структурного распознавания образов. В разд. 5 описано размещение, предлагаемое в качестве структуры данных, и дан пример его применения в структурном подходе к распознаванию образов.

ГОМОМОРФИЗМЫ И СТРУКТУРНОЕ РАСПОЗНАВАНИЕ ОБРАЗОВ

В этом разделе мы опишем способ сведения задачи построения решающего правила к задаче нахождения гомоморфизмов. Приведенное здесь математическое описание является достаточно общим для всего структурного распознавания образов и .соответствует цели достижения единообразия всех рассматриваемых процессов на теоретическом уровне. Некоторые из ранних идей, способствовавших появлению этого раздела, могут быть найдены в работе Харалика [13]. Начнем с введения некоторых определений.

Пусть Р — множество объектов и С — множество классов. Предположим, что Р'^Р есть множество наблюдаемых объектов. Множество обучающих данных представляет собой бинарное отношение Т^ Р'Х С, которое сопоставляет наблюденным

объектам их истинные классы. Обычно доля наблюдаемых объектов из Р весьма мала. Каждому классу также сопоставляется по крайней мере один наблюденный объект: следовательно, Т\Р'^ = С, так что Т является отображением Р' на С. Поскольку в структурном распознавании образов предполагается, что ошибки отсутствуют, любой наблюденный объект, относящийся к некоторому классу, соответствует не более чем одному классу. Таким образом, Т однозначно; из ^р, с^еТ и (р, с^^ Г следует, что с = сг. При задании некоторого типа структуры на множестве объектов Р задача построения решающего правила состоит в нахождении бинарного отношения D (решающего правила), которое относит каждый объект из Р к классам из С и которое значительно шире, чем 7; итак, мы должны иметь Т^Вг ^РХС. Заметим, что мы не требуем однозначности В.

Структура на множестве объектов Р представляет собой набор подмножеств р, который его покрывает. Подобный набор обозначим через S’; $ является некоторым заданным подмножеством множества всех подмножеств Р. Структура (Р, $^ может быть пространством окрестностей или топологическим пространством. Частичный порядок на Р, индуцированный посредством $, может оказаться решеткой или, как это подчеркивается в данной работе, $ может быть набором гомоморфных образов элементов Р.

Задача построения решающего правила состоит в нахождении способа отнесения к определенному классу объектов, которые ранее не наблюдались. Иными словами, она заключается в определении способа обобщения, исходя из обучающего множества. В структурном распознавании образов обобщение осуществляется посредствбм покрытия S7. Решающее правило относит объект р е Р к классу с ^ С тогда, когда имеется подмножество L е $, удовлетворяющее условиям обобщения:

LftP'^0,

из того, что р ® L П Р\ следует (р, с^Т.

Первое условие констатирует, что обобщение может иметь место лишь посредством подмножества L, содержащего один из наблюденных объектов. Можно обобщать исходя лишь из объектов, для которых имеется некоторая информация об идентификации их классов. Во втором условии требуется однозначность: все наблюденные объекты в L должны идентифицироваться одинаково по Т. Подмножество L е $, удовлетворяющее условиям 1 и 2, называется обобщающим множеством. В последующей части этого раздела мы будем анализировать обобщающие множества и иллюстрировать роль, которую играют гомоморфизмы.

Сужением набора $ назовем набор $г, который содержит лишь те члены L набора 2", которые удовлетворяют условиям

обобщения 1 и 2. Тем самым

$'=VL е^| 1) £(1^0 и

существует с ^ С, удовлетворяющее условию (р, с)е Т для каждого р е L f] Р'\

С набором S’ связывается естественное бинарное отношение РгРХ$, которое сопоставляет каждый р с элементом набора $, которому этот объект принадлежит:

F = ^P* Ь^РХЗ\реД.

Пусть F' — сужение F к 3*\ Р* = F ^Р ХЗ^- Элементов 3 должно быть достаточно, чтобы допустить обобщение с по-

Рис. 1. Иллюстрация понятия композиции отношений. Если (a, b^ е Е, (а, с) е G и (b, d) е Н, то пара (а, Ь^ переводится в пару (с, d^ при помощи композиции Е с (О, Щ.Рис. 1. Иллюстрация понятия композиции отношений. Если (a, b^ е Е, (а, с) е G и (b, d) е Н, то пара (а, Ь^ переводится в пару (с, d^ при помощи композиции Е с (О, Щ.мощью всей информации, содержащейся в обучающем множестве. Это означает, что для каждого наблюденного объекта должно существовать совместимое подмножество в ЭХ, содержащее этот наблюденный объект. Таким образом, мы полагаем, что для каждого наблюденного объекта р существует L е ЭХ, удовлетворяющее условию (р, L)^ е F'; следовательно, F' определено на всем Р'.

Рис. 1. Иллюстрация понятия композиции отношений. Если (a, b^ е Е, (а, с) е G и (b, d) е Н, то пара (а, Ь^ переводится в пару (с, d^ при помощи композиции Е с (О, Щ.

Рис. 1. Иллюстрация понятия композиции отношений. Если (a, b^ е Е, (а, с) е G и (b, d) е Н, то пара (а, Ь^ переводится в пару (с, d^ при помощи композиции Е с (О, Щ.

Чтобы показать, как именно может быть построено решающее правило, использующее покрытие ЭХ, необходимо

определить конкретный вид композиции отношений и гомоморфизм, основанный на этой композиции. Пусть Е АХ В, G г АХ С и H^BXD. Данный тип композиции переводит пары из Е через G и Н в пары из CXD. Это преобразование выполняется покомпонентно. Первая компонента переводится через G, вторая компонента — через Н.

Определение 1

Обозначим композицию Е с (G,H) через E-(G,H) и по определению положим Е- (G, Н) = {(с, d)^ CXD\ для некоторых (а, Ь)^Е, (я,с)^6и (&,d)^//}.

Рис. 1 иллюстрирует идею композиции с помощью коммутативной диаграммы. Заметим, что если А = С и G— отношение- тождества на А, то результирующая композиция соответствует обычной композиции функций.

Наше естественное понятие гомоморфизма определяется как отображение одного множества в другое, сохраняющее его структуру. Отображение структуры достигается посредством только что введенной композиции.

Определение 2

(G, Н) называется гомоморфизмом из Е <= А X В в U7 ^ С X X D тогда и только тогда, когда Е- (G, Я) г W.

Иными словами, каждая пара из Е должна переводиться в некоторую пару из W. Однако^в W могут быть пары, в которые

не переводится никакая пара из Е.

Мы используем понятия композиции отношений и гомоморфизма следующим образом. Определим отношение включения 1Р' = {^р, q) е РХ XP'\p = qY Связь элементов S7' с классами из С может быть задана в виде компози-

Рис. 2. Коммутативная диаграмма, определяющая отношение Q посредством равенства Q — lp- (F', 7). Также должно быть ясно, что при некоторых разумных условиях Т является гомоморфным образом; F' T=F' • Цр, QYРис. 2. Коммутативная диаграмма, определяющая отношение Q посредством равенства Q — lp- (F', 7). Также должно быть ясно, что при некоторых разумных условиях Т является гомоморфным образом; F' T=F' • Цр, QYции 1Р' с (F, Г): Q = =1Р' • (F\ Ту Q — гомоморфный образ отношения включения fP'. Как это показано на рис. 2, обобщающее множество L связывается по Q с классом с, если существует наблюден

Рис. 2. Коммутативная диаграмма, определяющая отношение Q посредством равенства Q — lp- (F', 7). Также должно быть ясно, что при некоторых разумных условиях Т является гомоморфным образом; F' T=F' • Цр, QY

Рис. 2. Коммутативная диаграмма, определяющая отношение Q посредством равенства Q — lp- (F', 7). Также должно быть ясно, что при некоторых разумных условиях Т является гомоморфным образом; F' T=F' • Цр, QY

ный объект р^Р, который входит в L, (p,L)^F', и его истинным классом является с, (р,с)^Т.

Обобщение производится через множества из S7', и можно ожидать, что взаимосвязь между объектом р и обобщающим множеством L, как это определено посредством F\ должно иметь сходство со взаимосвязью между объектом р и меткой его класса (если она существует), как она задается по Т.

В некотором смысле F' должно содержать по крайней мере столько же информации, сколько и Т. По данному F' мы должны быть в состоянии преобразовать его и получить Т. Действительно, в этом случае Т — гомоморфный образ F\ полученный по гомоморфизму (/ру Q). В предложении 1 доказывается, что из Q ^ 1р- • (F', Т) следует F' • Цр^ Q^T. В предложении 2 доказывается обратное утверждение, а теорема 1 устанавливает, что из соотношения Q = IP' * (F', Т) следует Т = F' • (IPs Q).

Предложение 1. Пусть Q г 1Р' • (F^ Т). Тогда F' • UPs Q^T.

Доказательство. Пусть kp^ с^ г Ff XIPs Q\ Тогда существует ^р\ L)^ F', такая, что (р', р)^1р' и (L, с)^ Q. Но из того, что

(р\ р) ® IPs следует, что р = р'. Поскольку (L, с)е Q и Q^IP-- (Fz, Ту существует пара (q, q^ е IpS такая, что (q, L)^ F' и (^, с) ж Т. Так как L е S', то существует с'еС, удовлетворяющий условию (р*,с')еТ для каждого p*^L^P\ Но q^L^P', так что (q, с^^Т. Однако Т однозначно, поэтому из того, что (q, с^^Т и (q, с^^Т, следует с = с'. Окончательно, из условий (р\ £) = (/?, L)^F' и (р, р) е 1Р' вытекает, что (р, с)е Т.

Предложение 2. Пусть 1Р' • ^Fr, Т) ^ Q. Тогда Т ^ F' • UPs Q).

Доказательство. Пусть (р, с)^Т. Тогда (р, р)^1Р'. Поскольку F' всюду определена, то существует L ^ $' такое, что (р, L)^F. Следовательно, (L, c)^IP'-(F', T^^Q. Теперь из условий (р, Л) е F', (р, р) е 1Р' и (Л, с) е Q следует, что (р, о) Q е F' • (IPs Q). Таким образом, Т ^F' • Ups QY

Теорема 1. Если Q = 1Р' ДЕ', ТУ то Т — F' Д1р^ QY

Доказательство. Оно следует из предложений 1 и 2.

Основной смысл теоремы состоит в том, что по заданным отношению обучающих данных Т и покрытию $ схема структурного распознавания образов направлена на определение отношения F', которое является обратным гомоморфным образом Т. Обобщение означает нахождение обратных гомоморфных образов обучающих данных.

После того как обобщение проведено, легко построить решающее правило. Для этого лишь требуется преобразовать отношение F' в отношение, которое сопоставляет объектам классы. Мы сделаем это следующим образом. Пусть 1Р — отношение тождества на Р. Определим решающее правило D в виде бинарного отношения из Р в С посредством равенства D = = /'• (/р, Q). В то время как отношение обучающих данных Т — гомоморфный образ F' при гомоморфизме (/р, Q), решающее правило является гомоморфным образом F' при гомоморфизме (/р, Q). Решающее правило относит объект к классу с, если объект принадлежит к определенному обобщающему множеству L, содержащему наблюденный объект, который принадлежит к классу с по Т.

Резюмируя, можно сказать, что схема структурного распознавания образов исходит из покрытия S' множества объектов Р. Затем с помощью отношения обучающих данных Т определяется отношение F\ которое связывает объекты с обобщающими множествами из покрытия 9?. Это отношение F' является обратным гомоморфным образом отношения обучающих данных. Решающее правило D строится как гомоморфный образ отношения F'.

В разд. 3 и 4 мы описываем построение структурных решающих правил для Л^-мерных векторов в терминах указанных типов гомоморфизмов. В разд. 5 мы вводим размещение как структуру данных объекта и показываем, что и для него решающие правила вписываются в ту же схему.

РАСПОЗНАВАНИЕ ОБЪЕКТОВ, ЗАДАННЫХ В ВИДЕЛГ-МЕРНЫХ ВЕКТОРОВ, с помощью покрытий

В этом разделе мы приводим пример построения решающего правила с помощью метода структурного распознавания образов, изложенного в разд. 2. Мы показываем, как именно определить S в виде гомоморфного образа элементов Р, когда сохранение структуры при помощи гомоморфизма связано с псевдометрикой на множестве всех подмножеств Р. Затем мы сопоставляем этот метод с методом покрытия Михальского [17— 20], который является нисходящим вариантом метода Квайна — Маккласки минимизации булевых переменных [16, 25] в случае небулевых переменных. Харалик [14] дал описание некоторых из обсуждаемых в данном разделе идей, касающихся покрытий.

Мы начнем с определений декартовых произведений, метрик, цилиндрических операторов и гомоморфизмов.

Определение 3

Пусть 7={/ь /2, • ., JnA—линейно упорядоченное множество, элементы которого удовлетворяют условию jn < М-ы, п = = 1, ..., N — 1. Декартовым произведением относительно множества индексов 7 из отобранной группы множеств Db D^ ... ..., DK назовем

^D^D^X-.-XD^.

Определение 4

Вещественнозначная функция р, заданная на РХР» называется метрикой тогда и только тогда, когда

р(я, у)^0, причем равенство достигается тогда и только тогда, когда х = у (условие неотрицательности),

р(х, у) — р(у, х) (условие симметричности),

р (х, у) ^ р (х, у) + р (у, г) (неравенство треугольника).

Пара (Р, р) называется метрическим пространством.

Функция р, которая удовлетворяет более слабым условиям: 1) р (х, у) ^ 0, и из х = у следует р (х, у) = 0, 2) р(х, </)= р(у, х), называется псевдометрикой.

Когда множество объектов Р представляется декартовым произведением % Dj, на Р можно определить естественную мет- /а/

рику р, которая вычисляет число несовпадающих компонент любых двух объектов.

Предложение 3. Пусть р — функция, определенная на ( х^ Di) X ( X D^, которая задается при помощи соотношения р((хь ..., xjy), (yiyw)) = ф{/s/|л-г =7^ yj. Тогда р является метрикой на % Dt. iel

Доказательство. Ясно, что р удовлетворяет условиям неотрицательности и симметричности. Для доказательства неравенства треугольника рассмотрим (21, ..., 2N)^ % Dt. Тогда tel

рфсь ...» xN}, (У1yN}} = ф {/ e I\x£ =£ y.} == Ф {i e 11 x£ =£ yb yt #= zb xt ^ zz) U

u {/ e 11 Xi ф yb yt N= zb xt = zj и

U {ie/ |хг #= yb yt = zb Xi #= zjUU{ie/|x(- ^ Уb yi = zb Xi^Zi}.

Поскольку {i e I\xi ^ yt, y, = zb. xt = Zi}= 0, то можно объ- единить первые два множества, а также первое и третье множества, чтобы получить

* (г е I | х, ф у^ = ф (Г eI\Xi=Ayb yt =/= zt} U

U{Z е/|х; =/= yb Xi ^ Zi}}^^({i^I\yi =7^zjU

U {г е 11 xt ^ zt}} < Ф({/ е 11 yt ф zi} + {i е 11 xt #= zA}.

Поэтому

р((Х1'xN},(У!yN}}^kkxb . .., XN}, (Z]Zy)) +

+ p((z„ ..., zN}, (y£yN}}.

Легко проверить, что функция, определяемая при помощи соотношения

р'(Л; В) = min minp(x, у),хеА у^В

является псевдометрикой на множестве всех подмножеств ^( X Di}, lei

Функции, которые убывают по расстоянию на метрическом или псевдометрическом пространстве, называются сжимающими отображениями, и для нас они играют роль гомоморфизмов.

Определение 5

Пусть (Р', р')—метрическое или псевдометрическое пространство. Допустим, что h,; Pz-^ Pf удовлетворяет неравенству

р' (х> У') ^ ?'(h(x), h(y)). Тогда h, называется сжимающим отображением на Р'. Для нашей цели h. назовем гомоморфизмом.

Существует класс функций от множества всех подмножеств ^( х £М в ^( х D^, соответствующий естественной метрике р leilei

на декартовом произведении % Db которые назовем цилиндрике/

ческими операторами. Цилиндрический оператор расширяет любое множество до его окрестности, включающей его самого. Для расширения нужно взять каждый M-мерный вектор и считать произвольными значения указанных его координат.

Определение 6

Пусть J ^ I. Цилиндрический оператор Ту из ^( % Dt) в tel

X D^ определяется посредством соотношения.

tel

ЧГ/(^) = {(У1Ум^ X Di\ для некоторого (хь ..., х^еА, Х] = У} при всех j^iy

Подмножество 45(A) называется J-цилиндрическим множеством А. Порядком цилиндрического множества или порядком цилиндрического оператора называется число элементов в I. На рис. 3 приведены примеры некоторых цилиндрических множеств порядка 1.

Предложение 4. Пусть J ^1. Цилиндрический оператор 45 является гомоморфизмом на ^( х Dty lei

Доказательство. Пусть А, В^^^ х D^. Так как А с 45 И) 'lei

и В^ЧМВ), то min min р(х, i/)^minminp(x, у). Сле- xe4Tj (A) y^Vj (Л)хе А уеВ

довательно, по определению pz, pz (45(A), 45(B)) ^ pz(A, В), и поэтому 45 — гомоморфизм.

При структурном распознавании ^мерных векторов совокупность ^ может задаваться как множество всех образов элементов декартова произведения Р= х Dt с помощью любого tel

цилиндрического оператора, имеющего порядок, который не превышает подходящую константу к. '

2 — {L е Р |L = 4rj({p}) Для некоторого р^Р— х Di и lei

J^I, такого, что #/<£}.•

После задания совокупности $ можно определить решающее правило D посредством равенства D — F' • (Ips Q), где Q = Ip,- •(В', Т\ Т — отношение обучающих данных и F' — отношение,

которое связывает элементы с обобщающими подмножествами из £".

Мы проиллюстрируем этот метод структурного распознавания образов следующим примером. Пусть пространство образов

Хг

А

Рис. 3. Иллюстрация* операторов проектирования и обратного проектирования для двух подмножеств So и Sj множества DxXD^.Рис. 3. Иллюстрация* операторов проектирования и обратного проектирования для двух подмножеств So и Sj множества DxXD^.

Рис. 3. Иллюстрация* операторов проектирования и обратного проектирования для двух подмножеств So и Sj множества DxXD^.

Рис. 3. Иллюстрация* операторов проектирования и обратного проектирования для двух подмножеств So и Sj множества DxXD^.

или замеров Р совпадает с DxX D2X ОгХ D^ где Dx = U, у, гУ D2 = {1, 2, 3}, D^ ={Д, В, R, S}, D^ ={a, ₽, y}.

Выберем в качестве $ совокупность всех цилиндрических множеств первого порядка множества Р.

$ = {L с р | для некоторого реР/

L-ЧДШ4}.

Пусть множество классов С = {0, 1}, а множество наблюденных объектов

P, = ^z) 3, R, а), (у, 3, S, а), (г, 3, R, 0), (у, 3, В, 0),

(z, 2, S, а), (z, 3, В, у), (г, 2, S, 0), (z, 3, А, у)}.

Отношение обучающих данных Т г Р' X С задается следующей таблицей:

т

т

объект

класс

объект

класс

(г, 3, R, а)

0

(г, 2, S, а)

1

(у, 3, S, а)

0

(2, 3, В, у)

1

(г, 3, R, Р)

0

(2, 2, S, Р)

1

(у, з, В, Р)

0

(2, 3, Л, v)

1

Цилиндрические множества первого порядка, которые имеют непустое пересечение с множеством объектов Р\ приведены в следующем списке, где символ % обозначает любое допустимое значение:

2:***, z/***, *2**, *3**, **Л[*, **5*,

**7?*, **S*, ***а, ***р, ***у.

Среди этих цилиндрических множеств первого порядка обобщающими множествами (включающими в себя объекты лишь из одного класса) являются множества у***, *2**, **R*, **Л*, ***у.

Отметим, что в данном случае каждый объект из Р' принадлежит по крайней мере одному из цилиндрических множеств. Следовательно, отношение Ff^PX2' действительно определено всюду на Р\ F' задается следующей таблицей:

объект

F'

цилиндрическое множество

объект

F'

цилиндрическое множество

(z, 3, R, а)

* * Р * •

(г, 2, S, а)

* 2 * *

(у, 3, S, а)

у * * *

(г, 3, В, у)

* * * у

(г, 3, R, Р)

* * в *

(г, 2, S, р)

* 2 * *

(у, з, В, р)

у * * *

(г, 3, А, у)

* * А *, * * * у

Отношение Q между цилиндрическими множествами и классами определяется посредством равенства Q = IP' • (F', Т\ Q задается следующей таблицей:

цилиндрическоемножествоцилиндрическоемножествоQQклассклассцилиндрическоемножествоцилиндрическоемножествокласскласс

цилиндрическоемножество

цилиндрическоемножество

Q

Q

класс

класс

цилиндрическоемножество

цилиндрическоемножество

класс

класс

у * * * * 2 * * * * /^ *у * * * * 2 * * * * /^ *1111

у * * * * 2 * * * * /^ *

у * * * * 2 * * * * /^ *

1

1

1

1

О * * А * 1 * * * у О

Решающее правило D, которое является бинарным отношениемМежду множествами объектов и классов, определяется равен-

ством D = F'. ЦР', Q). Следовательно,

D = {(p, с)еРХС1

если с = 0, то р = (рИ р2, Рз, Р^. Р\ = У или p3 = R,

если с=1, то р2 = 2 или р3 = Л, или p4 = VV

На рис. 4 приведено изображение пространства замеров D на карте Карнау.. Отмстим, что могут существовать объекты, не принадлежащие никакому классу, объекты, отнесенные ровно к

v/л Класс О \х\\' Класс 1 «б» Обакласса

Рис. 4. Обобщенная карта Карнау для решающего правила. Клетки, заштрихованные в одном направлении, соответствуют объектам, отнесенным лишь к одному классу. Незаштрихованные клетки отвечают объектам, не отнесенным ни к какому классу. Клетки, заштрихованные в двух направлениях, соответствуют объектам, отнесенным к обоим классам.

одному классу и объекты, отнесенные более чем к одному классу. Конечно, обучающие объекты однозначно отнесены к одному классу, как это и требовалось.

Этот метод имеет прямую связь с методом покрытия Михальского. Сначала определим покрытие множества So относительно множества Si, затем покрытие /г-го порядка множества So относительно Si.

Определение 7

Покрытием множества So относительно множества Si называется произвольное семейство цилиндрических множеств 2, удовлетворяющих условию So ^ U Л ^ Si, где Sf — дополнение

множества Si.

Из этого определения следует, что если семейство цилиндрических множеств является покрытием, то теоретико-множественное объединение его членов должно полностью покрыть So и не должно покрывать никакую часть множества Si.

Определение 8

Покрытием /г-го порядка множества So относительно множества Si называется произвольная совокупность цилиндрических множеств, таких, что

U LsScb

. Leg

из того, что L ^ 3?, следует, что порядок L не превосходит п..

Метод покрытия требует определения покрытия почти минимального порядка множества So относительно Si. Как это указывается в теореме 2, для построения покрытия $ необходимо рассматривать лишь цилиндрические множества L со свойствами L П Si = 0 и L П So Ф 0. Тогда среди цилиндрических множеств, удовлетворяющих этим условиям, должны отбираться последовательно те, которые по мерс возрастания их порядков покрывают объекты из So, не покрытые предыдущими отобранными множествами [14].

Теорема 2. Пусть $п = {Л | L — цилиндрическое множество порядка п, L[\S} = 0 и L[}Sq^ 0}. Если So с J £, то

$п является покрытием So относительно Si.

Доказательство. По предположению J L 2 So и порядок

L е $п не превосходит п. Поскольку из L е $п следует, что L П 5j = 0, мы должны иметь L г St Но это верно для всех L^$n. Следовательно, J L^SC\. Поэтому $п — покрытие

So относительно Si.

Наше требование L П 50 ¥= 0 означает, что обобщение может быть осуществлено лишь посредством множеств, содержащих некоторые наблюденные объекты. Требование L П Si = 0 означает, что множества из $г должны быть обобщающими множествами, так что все наблюденные объекты в Le ^' должны быть отнесены к общему классу. В задаче, рассмотренной в качестве примера, покрытие первого порядка So относительно Si в точности задастся при помощи пары цилиндрически^

множеств **R* и у»**, которые сопоставлены с классом 0 посредством отношения Q.

Тот же результат отнесения **R* и у**» к классу 0 может быть получен с помощью обобщенного варианта итеративного метода Маккласки. Однако для больших множеств объектов высокой размерности, указанный метод группировки, по-види- мому, требует больше памяти и времени вычислений по сравнению с процедурой, исходящей из цилиндрических множеств первого порядка и последовательно переходящей к цилиндрическим множествам й-го порядка, где к — наименьшая константа, позволяющая покрыть обобщающими множествами данное множество объектов.

РАЗЛИЧЕНИЕ ОБЪЕКТОВ С ПОМОЩЬЮ ВОССТАНОВЛЕНИЯГРАММАТИК

Определение решающего правила в случае, когда объекты задаются цепочками, включает в себя алгебраическую структуру в большей степени чем в случае А/-мерных векторов. В этом разделе мы рассмотрим синтаксические методы восстановления грамматик в свете структурного подхода, изложенного в разд. 2, для случая регулярных грамматик. Мы покажем, во-первых, как исходя иЗ отношения обучающих данных можно построить частично заданный акцептор, а во-вторых, что совокупность 2?' может состоять из классов эквивалентностей входных моноидов произвольных акцепторов, которые являются гомоморфными образами акцептора, построенного исходя из отношения обучающих данных при помощи гомоморфизма заданного типа. Затем мы проиллюстрируем этот метод на простом примере синтаксического распознавания образов. Идеи этого раздела навеяны работами Фу [9], Фу и Бута [10], Бирмана и Фельдмана [1] и Пао [23].

Начнем с введения некоторых обозначений и определений. Пусть 5 — множество символов, из которых могут состоять цепочки, описывающие объекты, 2* — множество всех цепочек символов из 5. Множеством объектов Р считается 2*, которое бесконечно, даже если 2 конечно. Как известно, 5* — свободный моноид, порожденный из 5 по операции конкатенации цепочек. Пусть 2*' £2- множество наблюденных объектов и С = = {1, 2Л — множество К классов. Предположим, что все объекты из 5 ' имеют конечную длину. Отношение обучающих данных Т является подмножеством 2 X С: Т ^ 2 X С.

Мы хотим определить совокупность ^ подмножеств 2*. Однако бесконечность 2* затрудняет прямое определение подобной совокупности. Наш метод будет заключаться в определении

совокупности 2? косвенным путем посредством конечных акцепторов для наблюденных цепочек из S*'. Акцептор для/С классов представляет собой автомат, который, начиная свою работу с заданного начального состояния, будет переходить по цепочке о е 2* в заключительное состояние, соответствующее классу для о.

Определение 9

Акцептором с конечным числом состояний для К классов называется (/( +4)-мерный вектор ^=(S, 5, 6, s0, Ai, ..., Ак), где S — конечное множество состояний, 6 ^ (S X 2) X S — отношение переходов, soeS— начальное состояние, A^^S, Л = = 1, ..., К суть взаимно исключающие друг друга подмножества заключительных состояний, сопоставленных соответственно классам 1, ..., К. Следовательно, при i Ф j имеет место А/П П А/ = 0. Когда 6 задано всюду на S X 2 X S, говорят, что ^ — полностью определенный акцептор. В противном случае ^ — частично заданный акцептор. Если 6 однозначно, то ^ называется детерминированным, в противном случае — недетерминированным. Если существует класс к, такой, что по цепочке ае 2* можно достичь состояние Ан посредством отношения переходов 6, то говорят, что or допускается по классу к. В противном случае она отвергается.

По отношению обучающих данных Т можно построить акцептор с конечным числом состояний. Если s0 — начальное состояние и (ог1, ог2, ..., on, k)—первая пара вида цепочка-класс из Т, то мы определим отношение переходов 6 так, чтобы оно включало в себя (s/_i, or/, si), i = 1, ..., N, и sn включим в Аь Затем возьмем следующую пару вида цепочка-класс из Г и поступим также, исходя из состояния so и переходя в следующее еще неиспользованное состояние вместо $ь Результирующий акцептор с конечным числом состояний окажется частично определенным и в общем случае недетерминированным. Этот акцептор легко можно преобразовать в детерминированный путем итеративного слияния пар состояний г и 1, если (s, а, г)е6 и (s, or, /)еб. Грамматика, соотнесенная с этим акцептором с конечным числом состояний, известна как каноническая определенная автоматная грамматика [10].

Акцептор, построенный описанным выше способом, будет правильно относить каждую наблюденную цепочку из S*' к ее истинному классу. Однако цепочки, не принадлежащие S*', будут отвергаться. Процесс восстановления грамматики предназначен для обобщения построенного акцептора с конечным числом состояний, который может допускать намного больше цепочек, чем первоначально наблюденные цепочки. Основой процесса восстановления грамматики для случая регулярных грамматик

служит слияние или комбинирование состояний в исходном акцепторе для К классов [23] или вспомогательных символов в правилах подстановки грамматики [8]. Эти два процесса по существу эквивалентны друг другу, и мы сконцентрируем наше внимание на методе слияния состояний. Правило слияния состояний заключается в том, что два состояния комбинируются, если для некоторого входа состояния, следующие за ними, могут быть скомбинированы и результирующий акцептор окажется детерминированным, причем состояния акцептора, соответствующие различным классам, никогда не комбинируются.

Мы можем считать, что комбинирование состояний множества S осуществляется при помощи функции h: S -^ W. Если для некоторого w е W существуют s, s' е S, удовлетворяющие условию h(s) = W = h(s'), то говорят, что состояния s и s' комбинируются посредством h. Конечно, не все пары состояний могут быть скомбинированы, если требуется детерминированность результирующего акцептора. Результирующий акцептор будет детерминированным тогда и только тогда, когда комбинирующая функция сохраняет переходы состояний. Функция сохраняет переходы тогда и только тогда, когда она комбинирует два состояния, которые имеют последующие состояния по цепочке ore 2*, причем она должна комбинировать и эти последующие состояния.

Определение 10

Пусть dc(SX5)XS и h: S -> W. h называется функцией, сохраняющей переходы 6, тогда й только тогда, когда (sp or, s2) е е 6, (sp or, s2) ед, wt = h (sj, w2 = h (s2) и из wx = h (sj) следует ®2 = A последующее предложение устанавливает, что результирующий акцептор является детерминированным тогда и только тогда, когда комбинирующая функция сохраняет переходы.

Предложение 5. Пусть ds(SX^)XS и h; S-^W. Определим ys(U^X^)X W посредством равенства у ={(t«i, о, ф2)^ eU/X^X^I существуют Si, s2 е S, такие, что (si, a, $2)е8 и wi = h(sx'), W2 = h(s2)}: h является функцией, сохраняющей переходы 6 тогда и только тогда, когда у однозначно.

Доказательство. Предположим, что h сохраняет переходы и (шь о, ш2)еу, (®р °. ®2)еу. Тогда существуют sp s2eS, такие, что (sp о, s2) ед, оу, = A(s,); и существуют s,, Sg-eS, такие, что (sp a, s2)ed, wv = h^ и ®' = /i(s2). Поскольку h. сохраняет переходы, (sp о, s2) е d, (s', cr, $£)ед и из соотношений wt = = h (s,) = h (s,) и w2 = h^s2^ следует, что w2 = h^s'zy Следова-

тельно, ^2 = ^2 и тем самым у однозначно. Обратно, допустим, что у однозначно и (sp or, s2) е 6, (sp о, s') е d, t<y1 = /z(s1) = = h^s'^ и w2 = A(s2). Пусть w2 = h,^s'2y Тогда по определению y(wp or, w2) e y, (wp or, w2) ^ у. Поскольку у однозначно, w2 = w2. Тем самым h оказывается функцией, сохраняющей переходы 6.

Функции, которые сохраняют переходы и не комбинируют заключительные состояния, соответствующие различным классам, не только гарантируют однозначность результирующего акцептора, но также гарантируют сохранение всей структуры переходов состояний. Подобные функции называются гомоморфизмами. -

Определение 11

Пусть ^ = (S, S, 6, s0, Ль ..., Ак) и S§ = (Т, S, у, /о» Si, ... ..., В к)—два акцептора с конечным числом состояний для К классов. Функция h: S-^T называется гомоморфизмом из ^ в ^ тогда и только тогда, когда

из того, что (si, or, s2)^6 и h(s^= ^2, следует существование w\ е W, такого, что (^i, or, w^^ у и w\ = A(si),

/о = h(so),

Bk = ЦАку k = \, ..., К.

Предложение 6. Пусть ^ = (S, S, 6, s0, Ai, ..., AK)— акцептор с конечным числом состояний для К классов, h-- функция, сохраняющая переходы, отображающая множество S на множество W, которая удовлетворяет условию: если i =# j, то й(Л/)П А(Л/) = 0. Определим yG(^X^)X W посредством равенства у ={(^i, о, w2)e WX S X НИ существуют si, s2 е S, такие, что Wi=/i(si), ^2 = /i(s2) и (si or, s2) e 6}. Тогда ^ = = (IF, S, y, ft(s0), /i(Xi), .И^Ак)) — детерминированный акцептор с конечным числом состояний, который является гомоморфным образом А. •

Доказательство. По предложению 5 у однозначно, что гарантирует детерминированность ^. Пусть (Х, or, s2)e6 и /z(s2) = = w2, W\ = h^S\Y Тогда из условий (si, or, s2)e 6, h^s2^=w2 и h^S\^=W\ по определению у следует, что (wi, or, w^ e у. Наконец, при i^j имеет место й(Д/)П h(Aj) = 0. Тем самым ^ — детерминированный акцептор с конечным числом состояний.

Чтобы показать, что ^ — гомоморфный образ ^ предположим, что (si,or, s2)e6 и h(,s^=w2. Пусть wx = h(s}). Тогда по определению у (^1, or, w2) ^ у. Поэтому h удовлетворяет условиям 1, 2 и 3 определения и h является гомоморфизмом из ^ в %. Так как h — отображение S на W, ^ — гомоморфный образ ^ при h.

Важность комбинирования состояний посредством гомоморфизма очевидна, когда мы принимаем во внимание то, что множество цепочек, допущенных в любой класс гомоморфного образа акцептора, должно включать в себя те цепочки, которые допускаются в соответствующий класс исходного акцептора. Тем самым для обобщения множества цепочек, допущенных при помощи любого акцептора с конечным числом состояний, нам нужно лишь найти гомоморфизм, который комбинирует состояния способом, аналогичным способу сохранения переходов. В следующем предложении доказывается, что множество цепочек, допущенных при помощи гомоморфного образа акцептора, по крайней мере не уже множества цепочек, допущенных при помощи исходного акцептора.

Предложение 7. Пусть h— гомоморфизм акцептора с конечным числом состояний s^ = ^S, 2, 6, s0, 4i, ..., Ак) в ^ = = (Л 2, у, /0, Вь • •, Вк). Допустим, что для некоторой о е 2* имеет место включение (s0, о, Sf)e6 и для некоторого fee е {1, ..., К^ — включение Sf е Ак. Тогда существует tf е 71, такой, что (/о, о, tf)e у п tf е Вк.

Доказательство. Пусть tf = h^SfY Так как tQ = h^s^ и (s0, о, Sf)e8, h— гомоморфизм из в ^, то ^°Л^^У* Когда h — гомоморфизм, то Bk = h^A^ и SfeA^, отсюда мы должны иметь tf = h^s^e Bk.

Исходя из этой информации об акцепторах с конечным числом состояний и их гомоморфизмах, нетрудно понять, как можно построить покрытие $ множества 2*. Известно, что с каждым акцептором с конечным числом состояний связано разбиение множества 2* со следующим свойством: две цепочки принадлежат общему слою разбиения, если их переходы состояний совпадают (предложение 8). Справедливо также то, что слои указанного разбиения являются гомоморфными образами 2* (предложения 9 и 10). Тем самым мы можем определить $ как совокупность слоев, принадлежащих всем разбиениям множества 2*, определенным при помощи акцепторов с конечным числом состояний, которые заданы всюду гомоморфными образами акцепторов с конечным числом состояний, определенных посредством отношения обучающих данных. При желании мы можем ограничить число или тип гомоморфизмов. $ может состоять из всех слоев разбиений множества 2*, определенных при помощи гомоморфизмов в заданном классе гомоморфизмов на исходном акцепторе с конечным числом состояний. Поскольку гомоморфизм акцептора с конечным числом состояний определялся не для комбинирования заключительных состояний, соответствующих различным классам, сужение 2Д совокупности $ в данном случае равно $.

Предложение 8. Пусть 6 ^ (S X 2)Х S. Определим R = = {(я, 6)^ S*X2*| (s, а, /)еб тогда и только тогда, когда (s, b, /)^б}. Тогда R— отношение эквивалентности, заданное на 2*.

Доказательство. R рефлексивно, симметрично и транзитивно.

Предложение 9. Пусть 6 ^ (S X 2) X S. Определим R = = {(a, b)^ 5* X 2*| (s, a, t)^z тогда и только тогда, когда (s, 6,/)еб}. Пусть [а] обозначает класс эквивалентности для элемента а. Тогда классы эквивалентности R образуют моноид по бинарной операции, заданной как [tz] X [6] = [яЬ].

Доказательство. Во-первых, эта операция определена корректно, так как если а' е [а] и Ь'^ [6], то мы должны иметь a'b' ^\аДД. Чтобы доказать это, рассмотрим а' е [а] и 67е е[6]. Тогда (у а,г)^8, если и только если (s, 6,г)^б, и (г, а',/)^б, если и только если (г, У,/)^б. Отметим, что из условия (s, ab,t)^6 следует существование reS, удовлетворяющего условиям (s, а, г) е 6 и (г, Ь, /) е 6. Так как из того, что (s, а, г)^б следует (s, а', г)е6 и из (г, Ь, /)^б вытекает (г, 6 х /) е 6, мы имеем (s, а', г) ^ 6 и (г, bf, t) е 6. Однако из того, что (s, а', г)^ 6 и (г, Ь', /)^ 6, следует, что (s, а', Ь', /)^ 6. Тем самым из (s, ab, ^)е6 следует (s, a', b', /) е б.'Аналогичными рассуждениями доказывается обратное утверждение. Поэтому (s, ab, t)^6 тогда и только тогда, когда (s, a', b', t) е б, так что а'Ь' е [а, 6].

Во-вторых, эта операция ассоциативна, поскольку

([а] • №) • [с] = ([аб]) • [с] = [(а&) • d - [а • (Ml -

= И-([М) = И-([б]-М).

Наконец, тождество является единичным классом [X], так как [а] • [%] = [аХ] = [а], [X] • [а] = [Ха] = [а].

Предложение 10. Пусть б ^ (S X 2)Х S. Определим R = = {(а, 6)е S* X 2*| (s, а, /)^ 6 тогда и только тогда, когда (s, Ь,/)е6}. Пусть $ — совокупность классов эквивалентностей R и [о] обозначает класс эквивалентности для о. Тогда функция h\ ^*-^S, заданная посредством соотношения /i [о] = [о], является гомоморфизмом из моноида 2* в моноид 8.

Доказательство, h [аб] = [аб] = [а] • [6] = h^ -h^b).

Проиллюстрируем этот метод структурного распознавания образов на примере. Пусть S — {Д, В, X}, где X — пустая цепочка и пространством объектов служит 2*. Множество наблюденных объектов 5*' задается так:

^ — {Д, ДВ, ВД, ВВА, ДДД, АВА, АВАА, ДД, В А, АВАВ}.

Допустим, что имеются два класса С={0, 1} и отношение обучающих данных Т ^ S*z X С задается следующей таблицей:

тт

объект

'класс

объект

класс

Л

0

АВАА

0

АВ

0

АА

1

ВА

0

В

1

ВВА

0

1

ААА

0

АВАВ

1

АВА

0

Диаграмма переходов для детерминированного акцептора с конечным числом состояний, которая может быть выведена прямо из отношения обучающих данных Т, приведена на рис. 5. Мы

□

Обозначает заключительные состояния для класса 0

△

Обозначает заключительные состояния для класса 1

О

Обозначает незаключительное состояние

Рис. 5. Диаграмма переходов для акцептора с конечным числом состояний,определенного посредством отношения обучающих данных.

построим покрытие $ совокупности 2*» включая в $ классы эквивалентности входных моноидов двух из семнадцати всюду определенных акцепторов с конечным числом состояний, кото* рые являются гомоморфными образами исходного акцептора.

Эти два гомоморфизма и акцепторы гомоморфных образов приведены на рис. 6. Классы эквивалентности входных моноидов для этих акцепторов гомоморфных образов перечислены на рис. 7. Квадратные скобки обозначают класс эквивалентности цепочки, заключенной в них. Нижний индекс у скобок указывает, относится ли данный класс эквивалентности к акцептору гомоморфного образа 1 или 2. Рис. 7 также дает для каждого

класса эквивалентности регулярное выражение, указывающее множество его цепочек. Для упрощения членов в регулярных выражениях метки классов эквивалентности, чьи регулярные выражения были определены ранее, используются вместо соответствующих регулярных выражений в тех случаях, когда это удобно.

За исключением классов эквивалентности [ВВ] i, [ЛВВ]Ь [ЛЛВ]ь [ВЛВ]2, [ВЛВЛ]2, [ЛВЛВЛ]2, [ВВЛВ]2, все классы

Vu гомоморфизм7о гоVu гомоморфизм7о го\-й гомоморфный образ\-й гомоморфный образ1-й гомоморфизм1-й гомоморфизм1-й гомоморфный ои раз1-й гомоморфный ои раз71 ^1Чг рг71 ^1Чг ргЧз рз Чг рг Яь рг Яь рг Чт рз Яь рг 7э рг 7ю ргЧал рзЧз рз Чг рг Яь рг Яь рг Чт рз Яь рг 7э рг 7ю ргЧал рз7о ^о7о ^о7iЯг7iЯгЯз7аЯз7а5о^15о^175 ^07б *5*175 ^07б *5*1777879777879^08г^08г7ю7ю8г8г7п ^о7п ^о

Vu гомоморфизм

7о го

Vu гомоморфизм

7о го

\-й гомоморфный образ

\-й гомоморфный образ

1-й гомоморфизм

1-й гомоморфизм

1-й гомоморфный ои раз

1-й гомоморфный ои раз

71 ^1

Чг рг

71 ^1

Чг рг

Чз рз Чг рг Яь рг Яь рг Чт рз Яь рг 7э рг 7ю рг

Чал рз

Чз рз Чг рг Яь рг Яь рг Чт рз Яь рг 7э рг 7ю рг

Чал рз

7о ^о

7о ^о

7i

Яг

7i

Яг

Яз

7а

Яз

7а

5о

^1

5о

^1

75 ^0

7б *5*1

75 ^0

7б *5*1

77

78

79

77

78

79

^0

8г

^0

8г

7ю

7ю

8г

8г

7п ^о

7п ^о

Рис. 6. Два гомоморфизма и их гомоморфные образы акцептора, опреде-ленного посредством отношений обучающих данных (см. рис. 5).

эквивалентности имеют непустые пересечения с множеством наблюденных цепочек. Более того, каждый класс эквивалентности, имеющий непустое пересечение с множеством наблюденных цепочек, является обобщающим множеством, так как он содержит наблюденные цепочки лишь из одного класса. Отношение ^^^♦'Х^', которое связывает наблюденные цепочки с обобщающими множествами, задается следующей таблицей:

объект

слой покрытияобъектслой покрытия

А АВ ВА ВВА ААА АВА

[Л]ь [Л]2ЛЛЛ[ВЛЬ, [ЛВ]2

[ЛВ]Ь [ЛВ]2ЛЛ[ЛЛ],, [Х]2

[ВЛ]Ь ]ВЛ]2. В[ВЬ, [В]2

[ВЛЬ, (ВВЛ]2X[Xh, [Х]2

[ВЛ]ь [Л]2АВАВ[ВЛВ]ь [ЛВЛВ]2

[ВЛЬ [ЛВЛ]2

Отношение Q, связывающее обобщающие множества и классы, определяется равенством Q = 1^*, • (F', Г). Отношение Q задается следующей таблицей:

QQ

СЛОЙклассСЛОЙкласс

покрытиялпокрытиякласс

Q

СЛОЙкласс

покрытиякласс

[X]1£ВЛ]10

[Д]10[ВДВ]!1

[В]11[Х]а1

[ДВ]10[Д]20

[ДД]11[В]21

[ДВ]20

[ВД]2о

VABAb0

lABABb1

[ВВД]20

Решающее правило D, которое является бинарным отношением, связывающим объекты с классами, определяется посредством равенства D = F' -(J^ Q). Поэтому мы можем записать D в виде множества всех пар объект—класс, удовлетворяющих некоторым условиям

D = ^o, с)^ТХс\

если с^О, то ае[Л]ь [Д5]ь [ВД]Ь

М]2, [ЛВ]2, [ВД]2, [ДВД]2, [ВВД]2,

если с=1, то ае[Л]ь [B]h [ДД]Ь [ВДВ]Ь [Л]2, [В]2,[ДВДВ]2}.

Поскольку не все классы эквивалентности обязательно должны содержать наблюденные объекты, классы эквивалентности, не используемые при задании В, могут порождать некоторые цепочки из S*, которые не могут быть отнесены ни к какому классу. Так как классы эквивалентности, определенные исходя из различных гомоморфизмов, могут перекрываться, для D возможен случай, когда некоторые цепочки могут относиться более чем к одному классу.

Имеется прямая связь между построением решающего правила и методами восстановления грамматик Пао [23] и Фельдмана [8]. Эти методы исходят либо из акцептора с конечным числом состояний, либо из грамматики, которая порождает лишь наблюденные цепочки. Восстановление грамматики осуществляется или путем влияния состояний акцепторов с конечным числом состояний, как это мы продемонстрировали на примере, или путем слияния вспомогательных символов грамматики. Поскольку существует естественный изоморфизм между акцепторами с конечным числом состояний и регулярными граммати- ками, эти два метода слияния равносильны одному и тому же

ГХ11 - X

[Л], а Л

И, = 8(88)*

[88], = [8], [8],~-

[ЛВ], = Л[8],

[ЛВ8], - ЛВ[8],

[ЛЛ], = ЛЛ(88)*

[ЛЛ8], - [ЛЛ],В

[ВЛ], - ([ЛВ], + [В], + [88], + [ЛЛ],) Л(Л* + 8(Л + 8))*

[8Л8], = [ВЛ], [8]1

[Х]2 = (ЛЛ)*х

[Л]2 = Л(ЛЛ)*

[В]2 = Мг в(([л]2 В[Л]2 в[х]2) + И,)*

[ЛВ]2 « Иа [в]2

[вл]2 = [в]г [л]2

свлв]2 = [вл]2 [в]2

[8Л8Л]г - [8ЛВ]г И2

Ь4ВЛ]2 - [ЛВ]2 [л]2

ИВЛВ]^- [ЛВЛ]2 [В]2’'

[Л8ЛВЛ]г а [ЛВЛ8]2 [Л]

[ВВ]2- [Л]2[В]2 ([В]2+ [Л]2[8]2[В]2) ((8+ (ЛЛ)*)+[Л]2М2Л*[8]2)*

+ [в]2 ([В]г + М2иг[в]г)

[8ВЛ]2 - [ВВ]2 [Л]й

[8вЛВ]г = [В8Л]г В А*

Рис. 7. Классы эквивалентности и соответствующие им регулярные выраже-ния входного моноида для двух акцепторов с конечным числом состоянийиз рис. 6.

основному процессу, даже если слияние вспомогательных символов может привести к недетерминированным акцепторам с конечным числом состояний.

РАЗЛИЧИЯ ОБЪЕКТОВ, ПРЕДСТАВЛЕННЫХ РАЗМЕЩЕНИЯМИ

В этом разделе мы вводим понятие размещения [14] в качестве структуры данных и показываем, как его можно использовать в структурном подходе к распознаванию образов подобно цепочке и Af-мерному вектору.

Размещение

Пусть А — множество элементов, размещения которых описывается Каждая группа связанных элементов из А размечается меткой из множества меток L. Пусть R— размеченное W-арное отношение, которое состоит из размеченных N-ок элементов из А, связанных между собой.

Определение 12

Простым размещением N-eo порядка называется тройка ^R,A,Ly где R ^ AN X L. Мы можем использовать R для задания размещения (R, А, Ц, когда ясно, о каких именно множествах А и L идет речь.

V-мерный вектор является частным случаем размещения первого порядка. Чтобы увидеть это, предположим, что (хь ... .xn) — данный Л/-мерный вектор. Пусть в качестве L выбрано множество целых чисел, используемых для меток. Рассмотрим множество A = {xi, хг, •.., Xn^ и определим отношение R^AXL посредством равенства R = {(а, I) е А X L |xi = а}. Цепочка на самом деле является М-кой переменной длины, так что и она представляет собой частный случай размещения первого порядка.

Мы определим общее размещение как множество связанных друг с другом размещений, имеющих общее множество меток. Это понятие позволяет совместно рассматривать взаимосвязи элементов общего множества, имеющих различные порядки.

Определение 13

Общим размещением называется множество простых размещений различных порядков, определенных на одном и том же множестве и имеющих общее множество меток. Если имеются К простых размещений в размещении А, то A = {/?i, R^ ..., Rk; A,LYwR^Anvx.L

Поскольку размещения выбираются для представления наших объектов и мы уже показали, что структурное распознавание может рассматриваться как процесс обобщения посредством гомоморфных образов наблюденных обучающих объектов, мы должны определить операцию композиции и гомоморфизм. С этой целью мы будем использовать ту же идею, изложенную в общей форме в разд. 2. Композиция размещения при помощи бинарного отношения дает размещение, содержащее все размеченные ^-ки данного размещения, покомпонентно преобразованного посредством этого бинарного отношения. Единственное отличие этой композиции от композиции, введенной в разд. 2, состоит в том, что в разд. 2 указанное преобразование осуществляется с помощью бинарного отношения для каждой компоненты упорядоченных пар в данном отношении, причем различным

компонентам соответствуют различные бинарные отношения. Здесь мы считаем, что данное отношение W-арное, и требуем, чтобы все компоненты были преобразованы операцией композиции посредством бинарного отношения одинаковым способом.

Определение 14

Пусть А = ^Ri, •.., Rk\ А, Л} — размещение и Н^АХВ. Композиция размещения А с Н определяется как размещение, задаваемое в виде

A-H = B=VSb S^ S^; В, L}, где

Sk = ^bx, b^, ..., Ьмк, /)|(яь йнк, l^^Rk,

<Дт bn^H, n= 1, .Nky

Понятие гомоморфизма, введенное в разд. 2, выражало требование, чтобы образ композиции содержался в данном отношении. Мы используем то же самое понятие применительно к размещениям.

Определение 15

Размещение A=^RX) ..., RK; А, L} содержится в размещении D ={Г1, ..., Тк; A, L} тогда и только тогда, когда Rk ^ Т^, k = 1, ..., К. В этом случае мы записываем А ^ D.

Определение 16

Два размещения Д={/?1, ..., RK; A, L} и B={Si, ..., Sn; В, Л4} сравнимы, если числа отношений в обоих размещениях равны (Л = Л/), они имеют общее множество меток (Л1 = L) и порядки отношений RK и SK равны

k.R^A^XL и Sk^BNkXL\

Определение 17*

Пусть А = ^RX) ..., RK; A, L} и В = {Sb ..., SK\ В, L} — два сравнимых размещения, Н\ А-^В. Функция Н называется гомоморфизмом из размещения А в размещение В тогда и только тогда, когда А Н В.

Мы рассмотрим структурное распознавание образов, заданных в виде простого размещения, а не в виде общего размещения. Можно взять в. качестве множества объектов Р совокупность всех размещений и считать семейство ^ состоящим из элементов, являющихся множествами размещений, каждое из которых характеризуется тем, что оно является прообразом гомоморфизма в признаковое размещение, сопоставленное этому множеству. Признаковые размещения являются гомоморфными образами наблюденных объектов, представленных размещениями. Сужение $' до $", отношение Q и решающее правило D могут быть определены так же, как и в разд. 2.

Для нашего примера предположим, что множество классов С равно {Л, В}, множество объектов является совокупностью всех размещений второго порядка на множестве S ={а, 6, с, d, е,/} с метками К = {О, I}, размещения наблюденных объектов — это В' = {То, 71} и отношение обучающих данных Т г Р' X С.

Ниже приведены определения размещений 70, Т\ и обучающего отношения Т.

Го s 5 X 5 X Ь ааО ЬаО саО dao

Tv^SXSXL - aaO baO ceO deO-

размещения для наблюденных объектов •

т

класс

ad\

eaO

bd\

fad

To

А

cd\

ad\

Ti

В

dd\

bd\.

cd\

dd\

ed\

fdl

На рис. 8 показано, как именно четыре функции, которые комбинируют элементы S, вместе образуют гомоморфные образы наблюденных обучающих размещений. Обозначим эти гомоморфные образы размещений через Ль Л2, ..., Л8. Заметим, что размещения Ль Л2, Лз и Л6 либо совпадают, либо же изоморфны.

Определим семейство $ как набор множеств, каждое из которых содержит все размещения, имеющие одно из признаковых размещений в качестве своего гомоморфного образа, $ = = VLeP\ для каждого размещения ReL существует функция f и признаковое размещение В, такие, что R-f = В^.

На основе выбранных четырех комбинирующих функций и восьми признаковых размещений, которые они задают, можно считать, что набор 3 может содержать до 8 множеств. Однако в силу того, что четыре признаковые размещения изоморфны, 3 содержит лишь 5 множеств размещений L\—£5, определенных следующим образом:

Lt = {ReP \ существует функция f, такая, что R • f = Д]}, £2={/?еР| существует функция f, такая, что R-f = A^, L3 = {R^ Р существует функция f, такая, что R-f = A^, Ь^=^Р^Р существует функция f, такая, что R-f = A7^, L5 = {R^P существует функция f, такая, что R-f = A3^

Поскольку £1 содержит наблюденные обучающие размещения более чем из одного класса, сужение 3' семейства 3 ср-

Комбинирование функции F

Образ наблюденного размещения То при функции F

Образ наблюденного размещения Т^ при функции F

FV S^E

А^ с Е х Е х К

А^с Е х Е у. К

а,6 -*u

ииО

ииО.

o,d -^w

wuO

хуО

c ->x

ишА

ууо

wuA

Ш)1 _ wuA *

хш1 ую1

Кг\ $->F

А^с F х F х К

А^ с F х F X К

a^c^e -> и

DUO

ууО

b^d^f -*w

wuO

wuO

ошА wwA

УО)1 wiol

F3: S^H

А3 ср х Н К К

А? с Н х Н к К

a^b -*p

ррО

ррО

c,d -*q

дрО

qrO

e,f -^n

рд\ 99^.

рО pq^ 991 rqA

F^ S^G

Х14 с G х G х К

А^сС х G х И

a,d,F и

vuO

uuG

6,0,6 ^w

юиО uv1 wu\

wuO шшО июО

-UU1■

2УУ1

Рис. 8. Иллюстрация

способа комбинирования

функциями FXl F2> F3 п F4

элементов S и формирования гомоморфных образов y^—Л8 наблюденного обучающего размещения.

стоит лишь из L2—L5 служащих его обобщающими множествами. Отношение Г', которое связывает размещения с обобщающими множествами, задается в виде

Г = {(р, L^PX^\P^SV

Отношение Q, которое сопоставляет обобщающие множества с классами, определяется соотношением

Q = IP,AF\ T) = {(L2j AY щ, BY (L4, BY (L5, В».

Решающее правило D, которое относит объекты к классам, определяется соотношением D = F' * ЦР) Q) и может быть записано в виде D = {(р, с) е Р X С | если с = А, то р ^ Ь2,

если с = В, то р е L^ U £4 U £5}-

ЗАКЛЮЧЕНИЕ

В этой работе мы описали подход структурного распознавания образов, исходя из алгебры отношений. Мы высказали мнение о том, что обобщение наблюденных объектов осуществляется посредством явного или неявного использования ограниченного покрытия на пространстве объектов. Сужение покрытия производится с тем, чтобы гарантировать соотнесение лишь одного класса с каждым элементом покрытия. Вид покрытия зависит от структуры данных объектов: для М-мерных векторов — цилиндрические множества, для цепочек — классы эквивалентностей входных моноидов. Покрытие может быть задано до или после выявления обучающего отношения объектов.

В рамках схемы отношений, в которой мы описали этот процесс, естественное отношение F\ связывающее объекты с множествами в ограниченном покрытии, к которым они принадлежат, является обратным гомоморфным образом обучающего отношения объектов. Решающее правило D, которое сопоставляет объекты классам, является гомоморфным образом отношения F\ Гомоморфизмы дают возможность не только построить D по заданному обучающему отношению объектов и покрытию пространства объектов, но, как это было сделано для TV-мерных векторов и цепочек, само покрытие может быть определено в терминах гомоморфизмов на пространстве объектов. Тем самым гомоморфизмы играют существенную роль при построении решающих правил структурного распознавания образов.

Наконец, мы показали, что, поскольку структурное распознавание образов рассматривается с этих позиций, можно предложить и естественно использовать другие типы реляционных структур данных объектов. Для иллюстрации этого факта мы определили размещение в виде размеченного Парного отношения и показали, как именно размещения могут использоваться в качестве структуры данных объекта. В этом случае пространством объектов является множество всех размеченных М-арных отношений. Множества из покрытия определяются посредством отобранных гомоморфных образов обучающих размещений объектов. Тогда решающее правило является гомоморфным образом отношения, которое связывает объекты с классами в ограниченном покрытии.

Благодарности. Хочу поблагодарить Линду Дж. Шапиро за помощь и идеи, которыми она делилась со мной на этапе подготовки этой статьи, и Линн Эртебати за перепечатку рукописи.

ЛИТЕРАТУРА

Biermann A. W., Feldman J. A. On the synthesis of finite state machines from samples of their behavior, IEEE Trans. C^mput., 21, 592—597 (1972).

Brainerd W. Free generating regular systems, Inf. Control, 14, 217—231 (1969).

Dacey М. F. The syntax of a triangle and some other figures, Pattern Recognition, 2, 11—31 (1970).

Davis R., Buchanan B., Shortliffe E. Production rules as a representation for a knowledge-based consultation program, Art. Intelligence, 8, 15—45 (1977).

Donor J. E. Tree acceptors and some of their applications, J. Comput. Syst. Sci., 4, 406—451 (1970).

Feder J. Plex languages, Inf. Sci., 3, 225—241 (1971).

Feder J. Languages of encoded line patterns, Inf. Control, 13, 230—244 (1968).

. Feldman J. A. First thoughts on grammatical inference, Stanford Artificial Intelligence Project Memo 55, Stanford University, Stanford, California (1967).

Fu K. S. Synactic Methods in Pattern Recognition, Academic Press, New York, 295 pp. (1974).

Fu K. S., Booth T. L Grammatical inference: introduction and survey—I, IEEE Trans. Syst., Man. Cybern., 5, 95—111, January (1975).

Fukanaga K. Introduction to Statistical Pattern Recognition, Academic Press, New York (1972).

Ginsburg S. The Mathematical Theory of Context-Free Language, McGraw-Hill, New York (1966).

Haralick R. M. The pattern recognition problem from the perspective of relation theory, Pattern Recognition, 7, 67—79 (1975).

Haralick R. M. Structural pattern recognition, arrangements and theory of covers, IEEE Conf, on Pattern Recognition and Image Processing, Troy, New York, June (1977).

Kirsch R. A. Computer interpretation of English text and patterns, IEEE Trans, electron. Comput., 13, 362—376 (1964).

McCluskey E. J., Jr. Minimization of boolean functions, Bell System Tech. J., 35, 1417—1444, November (1956).

Michalski R. S. On the quasi-minimal solution of the general covering problem, Proc. 5th Intern. Symposium, Yugoslavia, Bled, 8—11 Okt.

Michalski R. S., McCormick В. H. Interval generalization of switching theory, Proc. 3rd Ann. Houston Conf, on Computer and System Science, Houston, Texas, pp. 231—246 (1971).

Michalski R. S., AQVAL/1—Computer implemental of a variable-valued logic system VLi and example of its application to pattern recognition, Int. Jnt Conf, on Pattern Recognition, Washington, D. C., pp. 3—17 (1973).

Michalski R. S. Variable-valued logic: System VLh Proc. 1974 Int. Syrnp. on Multiple-Valued Logic, West Virginia State University, Morgantown, West Virginia, pp. 323—346 (1974).

Milgram D. M., Rosenfeld A. Array automata and array grammars, IFIP Congr., 71, Booklet TA-2, North-Holland, Amsterdam, 166—173 (1971).

Narasimhan R. N. Syntax-directed interpretation of classes of pictures Comm. ACM 9, 166—173 (1966).

Pao T. W. A solution to the syntactical induction-inference problem for a non-trivial subset of context-free languages, Interim Technical Report 69-19, Moore School of Engineering, University of Pennsylvania, Philadelphia,’ Pennsylvania (1969).

Pfaltz J. L., Rosenfeld A. Web grammars, Proc. 1st Int. Jnt Conf, om Artificial Intelligence, Washington, D, C., May, 609—619 (1969).

Quine W. V. A way to simplify truth function, Am. Math. Monthly, 62, 627—631, November (1955).

Shaw A. C. A formal picture description scheme as a basis for a picture processing system, Inf. Control, 14, 9—52 (1969).

Shortliffe E. H. Computer-Based Medical Consultation: MYCIN, Elsevier, New York, 264 pp. (1976).

Содержание

Математические вопросы

Л. Ловас. О шенноновской емкости графа. Перевод Г. А. Кабатянского .5

Схрейвер. Сравнение границ Дельсарта и Ловаса. Перевод Г. А. Кабатянского 23

Р. Мак-Элис, Е. Родемич, Г. Рамсей. Граница Ловаса и некоторые обобщения. Перевод Г. А. Кабатянского35

Оллтоп. Последовательности комплексных чисел с низкой периодической корреляционной функцией. Перевод И. Е. Шпарлинского . ... 56

Э. Шамир, М. Снир. О глубине формул. Перевод О. М. Касим-Заде . . 71

Д. Кнут, Э. Яо. Сложность моделирования неравномерных распределений. Перевод Б. Б. Походзея97

Д. Дейкин, Дж. Годфри, А. Хилтон. Теоремы существования для се

мейств Шпернера. Перевод В. М. Храпченко159

Д. Дейкин. Простое доказательство теоремы Краскала — Катоны. Перевод В. М. Храпченко466

Д. Дейкин. Теорема Эрдёша — Ко — Радо из теоремы Краскала — Катоны. Перевод В. М. Храпченко168

Теория распознавания

Р. Харалик. Структурное распознавание образов, гомоморфизмы и размещения. Перевод Т. М. Дадашева .............. 170

КИБЕРНЕТИЧЕСКИЙ СБОРНИК

Выпуск 19

Научи, ред. Л. Н, Бабынина Младш. научи, ред. Э. Г. Иванова Художник Н. К. Сапожников. Художественный редактор В. И. Шаповалов. Технический редактор 3. И. Резник Корректор Н. А. Гиря

ИБ № 3119'

Сдано в набор 26.03.82. Подписано к печати 13.12.82. Формат 60X90/16. Бумага типографская № 2. Гарнитура латинская. Печать высокая. Объем 6,25 бум. л. Усл. печ. л. 12,5. Усл. кр. отт- 12^5. Уч.-изд. л. 10,68. Изд. № 1/2202. Тираж 3500 экз. Зак. 152. Цена 1 р. 90 к.

ИЗДАТЕЛЬСТВО «МИР» 129820, Москва, И-110, ГСП 1-й'Рижский пер., 2.

Ленинградская типография № 2 головное предприятие ордена Трудового Красного Знаме- нй Ленинградского объединения «Техническая книга» им. Евгении Соколовой Союзполи- графпрома при Государственном комитете СССР по делам издательств, полиграфии и книжной торговли. 198 052, г. Ленинград, Л-52, Измайловский проспект, 29

2. Заметим, что Н изоморфен G. Пусть Ф— перестановка V, отображающая G на Я, и пусть S = {(и, Ф^У v s К}. Тогда S — независимое множество в О2, и поэтому a(G2) ^ 12.

’) В действительности необходимо рассматривать только три неравенства, а именно неравенства с £ = ехр(2л^/7), k = 1, 2, 3.

Кибернетическийсборник

НОВАЯ СЕРИЯ

ВЫПУСК

19

Сборник переводовпод редакцией

О. Б. ЛУПАНОВА

МОСКВА «МИР»

1983

ББК 32.81

К38

УДК 519.95

Научный совет по кибернетике Академии наук СССР

Кибернетический сборник. Новая серия. Вып. 19. Сб. статей: Пер. с англ. — М.: Мир, 1983 — 200 с., ил.

Продолжение серии, начатой издательством «Мир» в 1965 г. В выпуске содержатся обзорные статьи и оригинальные работы известных зарубежных ученых по наиболее актуальным проблемам теоретической кибернетики. Большой интерес представляют статьи Р. Харалика по теории распознавания и Д. Кнута и Э. Яо о сложности моделирования неравномерных распределений.

Для научных работников, инженеров-исследователей, аспирантов и студентов, специализирующихся по теоретической кибернетике и ее приложениям.

Редакция литературы по математическим наукам

КК1702070000-050041 (01)-831702070000-050041 (01)-8334-82, ч. 134-82, ч. 1© «Мир», 1983© «Мир», 1983

К

К

1702070000-050041 (01)-83

1702070000-050041 (01)-83

34-82, ч. 1

34-82, ч. 1

© «Мир», 1983

© «Мир», 1983

Математические вопросы

О шенноновской емкости графа1)

Ласло Ловас

Доказано, что шенноновская емкость пятиугольника равна V5. Затем метод обобщается с целью получения верхних границ для емкости произвольного графа. Вводится детально исследованная и в известном смысле просто вычисляемая функция, которая является верхней границей емкости и во многих случаях равна ей. Получены некоторые результаты о емкости специальных графов; например, емкость графа Петерсена равна 4, а самодополнитель- ный граф с п вершинами, группа автоморфизмов которого транзитивно действует на вершинах, имеет емкость Vп*