Книга
← К списку книгЗагрузка разделов…
активнаАктивные записи участвуют в каталоге и синках. Неактивная книга скрыта, но не удалена из базы.
Книга
Глава 1.Постановка задачи и метод 43
Введение 43
Представление фрагментов знаний 46
Структурированные сети фрагментов знаний 50
Примеры 56
Заключение 62
Глава 2.Интервальные оценки вероятностей 64
Введение 64
Степени доверия, извлеченные из экспертов 65
Пропущенные наблюдения и утраченные данные 68
Вероятность составного утверждения 69
Различные представления одной и той же формулы...71
Семантика точечных и интервальных мер доверия ....73
Интервалы высших порядков 74
Статистическая информация 75
Заключение 76
Глава 3.Теория вероятностей 77
Введение 77
Интуиция: повторяемые эксперименты 78
События и элементарные события. Вероятность 79
Операции над событиями 80
Алгебры. Вероятностные пространства.Аксиоматика.. 82
Внешние и внутренние меры 84
Условные вероятности 87
Независимость. Условная независимость 90
Случайные величины. Математическое ожидание 93
Энтропия 96
Заключение 98
Глава 4-Вероятностная логика 99
Введение 99
Язык пропозициональной логики 101
Основные определения 102
Случайные бинарные последовательности 106
Недоопределенные вероятностные меры 109
Логика рассуждений о вероятностях 112
Логика недоопределенных вероятностных мер 116
Исчисление инциденций 117
Вероятностные логики первого порядка 121
Другие логико-вероятностные задачи 123
Заключение 126
Глава 5. Модели неопределенности в искусственном интеллекте 127
Введение 127
Меры доверия и правдоподобия 128
Комбинирование весовых функций 131
Вывод в ТДШ. Недостатки аппарата ТДШ 133
Связь ТДШ с теорией Фатина, Хальперна и Мегиддо.. 134
Теория Дюбуа-Прада 136
Система MYCIN: коэффициенты доверия 139
Субъективный байесовский вывод 141
Система INFERNO 142
Заключение 143
Глава 6.Элементы нечеткой логики 145
Введение 145
Классические нечеткие логики 146
Нечеткие и вероятностные меры истинности 149
Триангулярные нормы и конормы 151
Заключение 154
Глава 7.Линейное программирование 157
Введение 157
Основные обозначения 159
Задача линейного программирования. Двойственность 160
Симплекс-метод 162
Пример применения симплекс-метода 166
Практическая реализация симплекс-метода 171
Метод эллипсоидов Хачияна 175
Задача дробно-линейного программирования 181
Заключение 184
Глава 8.Представление данных в программной реализации185
Введение 185
Перенумерация формул 186
Псевдокод и программные реализации 197
Основные понятия теории графов 205
Заключение 209
Глава 9.Базовые понятия АБС 210
Введение 210
Фрагмент знаний 211
Алгебраическая байесовская сеть 215
АВС и распределение вероятностей 217
Графическое представление и понятие цикла в АВС... 220
Линейные цепи фрагментов знаний 222
Ациклическая АБС и дерево смежности 224
Заключение 225
Глава 10.Непротиворечивость и априорный вывод 226
Введение 226
Непротиворечивость и априорный вывод в ФЗ 229
Цепочки с отрицательными означиваниями 241
Непротиворечивость и априорный вывод в АБС 246
Алгоритмы261
Оценки не входящих в АВС цепочек конъюнкций 266
Объемлющая непротиворечивость- 273
Заключение 275
Глава 11.Апостериорный вывод 277
Введение 277
Виды свидетельств и цели апостериорного вывода278
Важный частный случай 281
Вывод при детерминированных свидетельствах282
Вывод при недетерминированных свидетельствах 290
Достаточное условие непротиворечивости цикла в АБС 297
Заключение 302
Глава 12.Апостериорный вывод с неопределенностью304
Введение 304
Вывод при свидетельствах с неопределенностью305
Формализация над ФЗ 308
Апостериорный вывод в цепях ФЗ312
Заключение 319
Глава 13.Устойчивость операций в БФЗ 320
.Введение 320
13.2.Вазовые обозначения и определения321
13.3.Устойчивость в ФЗ второго порядка 324
.Устойчивость поддержания непротиворечивости 329
.Другие типы устойчивости 335
13.6.Заключение 337
Глава 14-ВСД: основные определения 338
Введение 338
Основная идея ВСД 339
Типы связей между узлами сети и d-разделимость .... 342
Вероятности и определение ВСД 344
Потенциалы, маргинализация и тензоры 349
Правило декомпозиции 354
Правило декомпозиции со свидетельствами 356
Маргинальные вероятности узлов ВСД — примеры.... 359
Доменные, моральные и триангулярные графы360
Дерево смежности и дерево сочленений 370
Построение дерева сочленений и триангуляция 374
Заключение 381
Глава 15.ВСД: алгоритмы пропагации 382
Введение 382
Алгоритмы пропагации: основные шаги вкратце 383
Алгоритм первичной пропагации 386
Некоторые возможности ускорения алгоритма 396
Стохастическое моделирование 399
ВСД и марковские сети401
Заключение 404
Глава 16.Компаративный анализ 406
Введение 406
Линейные цепи ФЗ АВС с точечнымиоценками 407
Пересечение ФЗ третьего порядка 410
Узлы байесовской сети доверия412
Фрагмент знаний в байесовской сети доверия 412
Два связанных ФЗ в ВСД 416
Цепь из 3 ФЗ в ВСД и d-разделимость 417
Цепь узлов ВСД из > 4 элементов421
Структура подсемейства распределений424
Заключение 427
Глава 17.Ациклические АВС и ВСД 429
Введение 429
Примеры и мотивация 431
Постановка задачи 433
Алгоритм расчетов 435
Следствия теоремы о композиции 447
Заключение 472
Глава 18.Циклы обратной связи в ВСД 473
Введение 473
Семантика изолированного цикла 475
Цикл из двух вершин 477
Цикл из трех вершин 478
Алгоритм вычисления маргинальных вероятностей.... 480
Оценки вероятностей более сложных формул 489
Сложность вычисления оценок вероятностей 490
Циклы с многозначными переменными493
О развороте ребер в цикле497
Направленные циклы внутри ВСД 498
Цикл с противоречием 501
Заключение 502
Глава 19. Фрагмент знаний с нечеткой мерой истинности 503
Введение 503
Фрагмент знаний 504
Неопределенность истинности 505
Неопределенность в ФЗ с нечеткостью 505
Непротиворечивость ФЗ АБС 507
Непротиворечивость ФЗН с мерой Ц] 509
ФЗ третьего порядка 511
ФЗ более высоких порядков 514
Примеры 515
Непротиворечивость ФЗН с мерами р.2 и Цз 517
Заключение 521
Глава 20.Цепные графы 524
Введение 524
Модель независимости 525
Вероятностное распределение 526
Графические принципы 527
Морализационный критерий 528
Список 529
с-отделимость 530
Заключение 532
Послесловие 533
Литература 542
Список примеров 578
Список иллюстраций 581
Список таблиц 585
The Whole Book in Terse Words 590
Информация об авторах 604
Authors 606
Contents
Preface 17
Both useful and pleasant 17
And a little bit formal 19
Abbreviations and notation 23
Introduction 29
Purposes of the book 29
The three fundamentals 30
Historical notes 33
Contents of the book 37
Acknowledgements 41
Support 41
Correspondence addresses 42
The task and modeling method 43
Introduction 43
Representing knowledge patterns 46
Structured networks of knowledge patterns 50
Examples 56
Conclusion 62
Interval estimates for probabilies 64
Introduction 64
Degrees of belief extracted from experts 65
Missing data 68
Probability of a complex statement 69
Different representations of the same formula 71
Semantics of point-valued and interval belief measures 73
Higher order intervals 74
Statistical information 75
Conclusion 76
Probability theory basics 77
Introduction 77
Intuition: repeated experiments 78
Events and elementary events. Probability 79
Operations on events 80
Algebras. Probability spaces. Axioms of probability 82
Inner and outer measures 84
Conditional probabilities 87
Independence. Conditional independence 90
Random variable. Expectation 93
Enthropy 96
Conclusion 82
Probabilistic logic 99
Introduction 99
The language of propositional logic101
Basic definitions102
Random binary chains106
Underdefined probabilistic measures109
Logic of reasoning about probabilities112
Logic of underdefined probabilistic measures116
Incidence calculus117
First-order probabilistic logics121
Other probabilistic logic techniques123
Conclusion126
Chapter 5. Uncertainty modeling in artificial intelligence127
Introduction127
Belief and plausibility measures128
Combining weight functions131
Dempster-Shafer inference. Drawbacks of their approach133
Dempster-Shafer theory vs. Fagin-Halpern-Megiddo theory . 134
Dubois-Prade theory136
MYCIN — certainty factors139
Subjective Bayesian inference141
INFERNO142
Conclusion143
Chapter 6. Elements of fuzzy logic145
Introduction145
Classical fuzzy logics146
Fuzzy and probabilistic measures149
Triangular norms andconorms151
Conclusion154
Chapter 1. Linear programming157
Introduction157
Notation159
Linear programming problem. Duality160
The simplex method162
An example of the simplex method166
Implementing the simplex method171
Khachiyan’s ellipsoids175
Hyperbolic programming181
Conclusion184
Chapter 8. Data structures in software implementations185
Introduction185
Renumbering formulas186
Pseudocode and software implementations197
Graph theory basics205
Conclusion209
Chapter 9. Basic notions of the ABN theory210
Introduction210
A knowledge pattern211
An algebraic Bayesiannetwork215
ABN and its probabilistic distributions217
Graphical representation and cycles in ABNs220
Linear chains of knowledge patterns222
ABN and its join tree224
Conclusion225
Chapter 10. Consistency checking and a priori inference226
Introduction226
Consistency and a priori inferenceina KP229
Chains with negative assignments241
Consistency and a priori inferenceinan ABN246
Algorithms261
Estimating conjunctions not appearing in an ABN266
Embracing consistency273
Conclusion275
Chapter11. A posteriori inference277
Introduction277
Types of evidence and the goals of a posterioriinference... 278
An important special case281
Inference in a KP with deterministic evidence282
Inference in a KP with indeterministic evidence290
A sufficient condition of an ABN cycle’s consistency297
Conclusion302
Chapter 12. A posteriori inference with uncertainty304
Introduction304
Inference in a KP with uncertain evidence305
Formalizing the a posteriori inference in a KP308
A posteriori inference in KP networks and acyclicABNs... 312
Conclusion319
Chapter 13. Stability of operations in a knowledge pattern base320
Introduction320
Definitions and notation321
Stability of a priori inference in a KP oforder2324
Stability of consistency updates329
Other kinds of stability335
Conclusion337
Chapter 14- Bayesian belief networks: basic definitions338
Introduction338
The basic ideas339
Connections between nodes in a network,d-separation342
Probabilities and the definition of a BBN344
Potentials, marginalization, and tensors349
The decomposition rule354
.The decomposition rule with evidence356
Marginal probabilities of BBN nodes — examples359
Domain, moral, and triangulated graphs360
Join trees and junction trees370
Building junction trees. Triangulation374
Conclusion381
Chapter 15. Bayesian belief networks: propagation382
Introduction382
The propagation algorithms in brief383
The propagation algorithm386
Some ways to speed the algorithm up396
Stochastic modeling399
Bayesian networks and Markov networks401
Conclusion404
Chapter 16. Comparative analysis of ABN and BBN semantics406
Introduction406
Linear chains of ABN KPs with point-valued estimates407
Intersections of KPs of order 3410
Nodes of a Bayesian belief network412
Knowledge pattern in a Bayesian belief network412
Two connected KPs in a BBN416
BBN chain of three KPs and d-separation417
BBN chain of four and more KPs421
Structure of the probabilistic distribution subfamilies424
Conclusion427
Chapter 17. Acyclic ABNs and BBNs429
Introduction429
Examples and motivation431
Setting the task433
Algorithms435
Corollaries of the composition theorem447
Conclusion472
Chapter 18. Feedback cycles in Bayesian belief networks473
Introduction473
Semantics of an isolated cycle in a BBN475
A cycle with two vertices477
A cycle with three vertices478
An algorithm for calculating marginal probabilities480
Estimating probabilities of more complex formulas489
Complexity of computing probability estimates490
Cycles with multivalued variables493
On reverting edges in a cycle497
Cycles inside a BBN498
A contradictory cycle example501
Conclusion502
Chapter 19. Knowledge patterns with fuzzy uncertainty measures.... 503
Introduction503
A knowledge pattern504
UncertaintyinABNKPs505
UncertaintyinfuzzyKPs505
Consistency ofan ABN KP507
Consistencyofa KPwith theщ measure509
Consistencyofa KPof order 3511
Consistency of KPs of higher order514
Examples515
Consistency of KPs with measures p.2 and цз517
Conclusion521
Chapter 20. Chain graphs and conditional independencies524
Introduction524
Modeling independency525
Probabilistic distributions526
Graphical principles527
The moralization criterion528
Lists529
c-separation530
Conclusion532
Epilogue533
References577
List of examples581
List of pictures585
List of tables586
Index589
The whole book in terse words590
У самой дороги Чистый беокгит ручей. Тенистая ива.
Я думал, всего на миг, И вот — стою долго-долго.
Сайгё
Предисловие
А каждый читатель как тайна, Как в землю закопанный клад...
А. А. Ахматова
‘The time has come”, the Walrus said, ‘To talk of many things:
Of shoes and ships — and sealing-wax — Of cabbages — and kings —
And why the sea is boiling hot — And whether pigs have wings.”
Lewis Carrol3
Совмещая приятное с полезным
Мы надеемся, что эта книга будет полезна многим категориям читателей. Во-первых, она пригодится всякому, кто захочет изучить аппарат байесовских сетей или просто познакомиться с современным положением дел в моделях неопределенности в искусственном интеллекте. В этом смысле книга отличается тем, что здесь под одной обложкой собраны и на одном языке изложены не только материалы собственно по теории байесовских сетей, но и математические аппараты, использующиеся в байесовских сетях, — теория вероятностей (глава 3), линейное программирование (глава 7) и математическая логика (гла-
1И молвил Морж: «Пришла пора
Подумать о делах:
О башмаках и сургуче,
Капусте, королях,
И почему, как суп в котле, Кипит вода в морях».
— Льюис Кэрролл. Пер. Н. Демуровой.
ва 4), а также аспекты программной реализации (глава 8). Более того, мы помещаем аппараты байесовских сетей в контекст исследований, ведущихся в смежных направлениях искусственного интеллекта, и даем обзор различных моделей неопределенности (глава 5) и нечеткой логики (глава 6). Надеемся, что подобный разброс окажется полезен для формирования у читателя более полного представления о предмете.
Во-вторых, мы старались сделать книгу полезной для инженеров и программистов, которым может понадобиться реализовать описанные в этой книге системы. Мы снабжаем изложенные в книге концепции большим количеством примеров, а алгоритмы выписываем, воспользовавшись специальным псевдокодом, приближенным к реальным языкам программирования (гл. 8 содержит подробное описание этого псевдокода). Кроме того, в гл. 7 дается изложение наиболее употребительных алгоритмов для решения задач линейного программирования (что является базовой процедурой для практически всех алгоритмов, связанных с алгебраическими байесовскими сетями); и, хотя эта глава больше направлена на теоретические аспекты и обзор работ по данной тематике, мы надеемся, что она может служить руководством и к непосредственной программной реализации.
И, last but not least, третий аспект — методический. Данная книга, хотя и не является учебником, специально приближена к изложению курса лекций. Ее можно сделать основой для специального курса по байесовским сетям (по всей видимости, двухгодового, хотя после некоторого сжатия и урезания материала может получиться годовой и даже семестровый курс). Такой курс будет полезен по многим причинам. Во-первых, в рамках этого курса можно ввести слушателей в современный искусственный интеллект, рассказать о текущем положении дел в обработке знаний с неопределенностью, которая является одним из основополагающих направлений ИИ-исследований. Во-вторых, этот курс построен на основе теории вероятностей. Не секрет, что во многих математических курсах (особенно в технических вузах) теория вероятностей предстает перед студентами как своеобразная «вещь в себе», и ее реальные многочисленные применения остаются нераскрытыми или раскрываются на уровне игрушечных, очевидно искусственных примеров. Здесь же мы имеем реальное, развитое приложение пусть дискретной, но все же теории вероятностей (включая неизмеримые множества, внешние и внутренние меры — см. § 3.6 и § 4.7). Кроме того,
в этом курсе есть поводы поговорить и о математической логике (причем не только в ее пропозициональном варианте), и о теории графов, и о линейной алгебре вкупе с геометрией многогранников, и о теории решеток... А экстремальные задачи, особенно задачи линейного программирования, обсуждаются почти везде, где формализуется логиковероятностный вывод в алгебраических байесовских сетях. Алгебраические байесовские сети тем и замечательны с точки зрения методиста, что вбирают в себя множество разнообразных приемов и аппаратов, и слушатели специального курса по алгебраическим байесовским сетям тем самым освежают и свои знания во многих других областях, а также видят конкретные применения этих знаний. Наконец, в-третьих, этот курс имеет большой потенциал для практических занятий. Аппараты байесовских сетей разработаны достаточно хорошо, и они допускают непосредственную программную реализацию. Эта книга написана так, чтобы максимально облегчить задачу инженера-программиста и математика-программиста; фактически, она делает задачу реализации аппаратов байесовских сетей доступной для студента, занимающегося программированием, начиная со вторго курса. Отметим, тем не менее, что факультеты и кафедры информатики зарубежных вузов включают байесовские сети в содержание магистерских и аспирантских учебных дисциплин.
И немного о формальном
Мы также посчитали должным сообщить читателю, о чем эта книга, традиционно выделив в Предисловии несколько формальных атрибутов научной дисциплины.
Объект исследования. Объектом нашего исследования являются модели баз знаний с неопределенностью, которые декомпозируются на некоторые фрагменты и чья неопределенность характеризуется мерой истинности. Такие базы знаний мы предпочитаем называть базами фрагментов знаний, а лежащие в их основе математические объекты — структурированн-ыми сетями фрагментов знаний. Бблыпая часть книги посвящена вероятностной мере как способу представления неопределенности утверждений и байесовским подходам, позволяющим работать с вероятностью истинности; вместе с тем в монографии есть существенные небайесовские моменты. Во-первых, мы рассматриваем
синтез согласованных оценок истинности. Этот синтез не опирается на байесовский вывод. Во-вторых, мы рассматриваем также небайесовские меры истинности: меры доверия и правдоподобия, меры необходимости и возможности, нечеткие меры. Для классического варианта нечетких мер истинности (псевдовероятностной, Лукасевича, Заде) строится своя модель фрагмента знаний с неопределенностью.
Предмет исследования. Предметом исследования служат математические модели баз фрагментов знаний с неопределенностью, которые опираются на представление распределения некоторой меры истинности над набором из п утверждений (атомарных пропозициональных формул) вида -v(xiX2.. .хп). Мерой истинности может служить веротностная мера р или какая-нибудь нечеткая мера -Vj (псевдове- роятностная, Лукасевича, Заде, иная). Допускается рассмотрение и иных мер истинности. При этом предполагается, что распределение •v(xiX2-. - Хп) можно декомпозировать на частные распределения вида ^(х^), ^(х^х^), ^(х^х^х^) ..., т.е. на «маргинальные» распределения над небольшим количеством атомарных пропозиций. Такая декомпозиция делает объем хранящихся оценок заметно меньшим, чем могло бы потребовать хранение 2П исходных оценок -v(xiX2 • • .Хп). Требующийся объем сведений не только непрактичен своим размером, но и неизвлекаем из экспертов [308]. В исследуемых моделях допускаются интервальные оценки значений мер истинности; полезность и даже необходимость таких оценок обосновывается в [64, 283]. Это мнение также представлено в настоящей книге.
Основные вопросы исследования. Основные вопросы, затронутые в этой монографии, связаны не только с развитым здесь теоретическим аппаратом, но также и с практической его реализацией. Существует масса публикаций о мерах истиности (те самые вероятностные, нечеткие, доверия и правдоподобия, необходимости и возможности), о том, как они представаляют неопределенность, и о том, как представить их неопределенность (т.е. интервальные меры, твинные меры, ...). Рассматриваются свойства этих мер; обобщается modus ponens (или иное правило формально-логического вывода), с тем чтобы по мерам истинности компонентов посылки оценить меры истинности следствия.
Эти исследования важны, они дают формальное определение и анализ мер истинности. Но, приступая к программированию, все сведения, данные, знания, которые только могут поступить, мы в программном
приложении обязаны представить в виде определенных структур данных. Собственно, вопрос исследования состоит в том, что если мы фиксируем некую формальную математическую структуру в качестве уже компьютерного представления данных о фрагменте знаний и строим из таких формальных структур другую — структурированную сеть фрагментов знаний, то как на этих структурах поведут себя меры истинности? Как представлять их точечные и интервальные значения? Как определить, что присвоение конкретных значений непротиворечиво? Как сделать его непротиворечивым, т.е. выделить непротиворечивое подмножество, или, наоборот, найти максимальное непротиворечивое «надмножество»? Как вывести новые оценки, не присутсвовавшие в исходных данных, но от них зависящие? Как представить свидетельство или их набор (кортеж)? Как распространить влияние свидетельства или их кортежа по компьютерной модели структурированной сети фрагменов знаний? Как учесть взаимную зависимость свидетельств, если она известна или если мы ее можем оценить? А как представить неполноту наших знаний о свидетельстве или их кортеже? А как точность вывода зависит от точности исходных данных (т.е. какова чувствительность или устойчивость этого вывода)?
Бблыпую часть этих вопросов невозможно поставить относительно меры истинности. Почти на все оставшиеся вопросы ответ не будет прагматически значимым. Но поставленные вопросы относительно той модели, которая станет основой компьютерного представления данных, исключительно важны для практики: при кодировании программы, реализующей функциональность конкретной интеллектуальной системы, их неизбежно придется учитывать и искать на них ответ.
Изложение в монографии построено именно так, чтобы сначала подготовить «язык» (математический аппарат или формализм), достаточный и удобный для постановки вопросов и представления ответов на них, и потом уже прийти к искомым формулировкам ответов.
Методы исследования. Их немало, но они объединены одним признаком — математической строгостью. Мы стремились к тому, что если некоторый объект задается системой аксиом или ограничений, то эта система соблюдается на каждом этапе нашего исследования и на каждом этапе вывода в моделях баз фрагментов знаний с неопределенностью. То есть вероятность, будучи определенная как неотрицательная
аддитивная функция множеств, нормированная на единицу, не становится у нас равной —0.1 или 2.
Для формального определения и исследования свойств интересующих нас моделей мы привлекаем достижения теории вероятностей и вероятностной логики, соблюдая при этом логику формальную, теории графов, теории булевых алгебр, интервальной математики, исследования операций и экстремальных задач (особенно в части задач линейного программирования). В разработке примеров программного кода мы опираемся на известные программные системы (Borland Delphi, C++ Builder), а также на существующие библиотеки для решения задач линейного программирования (коммерческие ILOG CPLEX вместе с ILOG Concert и доступную бесплатно GLPK — GNU Linear Programming Kit).
Направление же изложения, постановка, порядок и способ решения вопросов в настоящей работе задаются методом построения и исследования баз фрагментов знаний с неопределенностью [109,110], методом, развитым некоторое время назад А. Л. Тулупьевым.
Изложение в этой книге фактически является замкнутым. Для понимания материала читателю не требуется почти никаких специальных предварительных знаний (и даже требования пресловутой «математической культуры» здесь снижены до минимума). Мы надеемся, что монография будет и интересна, и полезна самым широким категориям читателей.
Список используемых сокращенийи обозначений
“When I use a word,” Humpty Dumpty said in a rather scornful tone, “it means just what I choose it to mean — neither more nor less.”
Lewis Carrol3
Большинство собранных в этом списке сокращений и обозначений общеприняты в соответствующих контекстах и теориях. Однако мы решили составить максимально полный список как для удобства читателя, так и для самопроверки: соответствуют ли системы обозначений, принятые в разных главах, друг другу. С нескрываемой гордостью сообщаем, что после долгого и многотрудного приведения обозначений в соответствие нам это все-таки удалось... по большей части.
АБС
— алгебраическая байесовская сеть
АВ
— аксиомы вероятностей
АИС
— автоматизированная информационная система
АПФ
— атомарная пропозициональная формула
БСД
— байесовская сеть доверия
БФЗ
— база фрагментов знаний
ДФЗ
— двойственный фрагмент знаний
ЗГП
— задача гиперболического программирования
здлп
— задача дробно-линейного программирования
ЗАП
— задача линейного программирования
ИК
—- идеал конъюнктов (то же, что ИЦК)
ИИ
— искусственный интеллект
ИС
— интеллектуальная система
ицк
— идеал цепочек конъюнкций
кнл
— классическая нечеткая логика
НА
— нечеткая логика
ПФ
— пропозициональная формула
1 «„Когда я беру слово, оно означает то, что я хочу, не больше и не меньше," — сказал Шалтай презрительно». — Льюис Кэррол. Пер. Н. Демуровой.
24
Список используемых сокращений и обозначений
СВП ССФЗ СУБД СФЗ ТВ ТВН ТДШ TH ТХФМ ФЗ ФЗВ
случайная бинарная последовательность
структурированная сеть фрагментов знаний
система управления базами данных
— сдвоенный фрагмент знаний
— теория вероятностей
— теория возможностей и необходимостей
— теория Демпстера-Шеффера
теория нечеткости (классическая)
теория Хальперна, Фатина, Мегиддо
— фрагмент знаний
фрагмент знаний балансовый, ФЗ с мерами по Кирхгофу
ФЗН
ФЗ ТДШ
ЭС
ILOG
— ФЗ с нечеткостью
ФЗ с мерами доверия и правдоподобия
экспертная система
Intelligent Logic Objects Group, название фирмы, производящей объектно-ориентированные библиотеки для визуализации, оптимизации и логического вывода
CPLEX
— Библиотека фирмы ILOG для решения ЗЛП
D
V л ф f
— импликация
— эквивалентность
— дизъюнкция
— конъюнкция
— исключающая дизъюнкция
— отрицание пропозициональной формулы f
:=
— равно по определению
.—
— равно по обозначению
С ® ®
— графически равно
— входит или равно
— композиция означиваний цепочек конъюнкций
— композиция согласованных распределений вероятностей СБП
Set (...) SpanO SA S°
— множество атомов, входящих в цепочку конъюнкций
— идеал цепочек конъюнкций
линейная (выпуклая) оболочка
фрагмент знаний над множеством атомов S
— множество всех возможных конъюнкций атомов из §
{eb...,ek}^
— АБС, построенная над множеством фрагментов знаний {Ci,.... ек}
p(f)
P(f)
— обозначение кортежей свидетельств
— свидетельство общего вида
— величина вероятности пропозиции f
— интервальная оценка величины вероятности пропозиции f
p-(f) p+(f) Po (f)
— нижняя оценка величины вероятности пропозиции f — верхняя оценка величины вероятности пропозиции f — исходная нижняя оценка величины вероятности про
Po(f)
позиции f
— исходная верхняя оценка величины вероятности пропозиции f
Po(f)
— исходная интервальная оценка величины вероятности пропозиции f
p°(q)
— вероятность на множестве элементарных событий (квантах), продолжаемая до полного распределения
p((...)ie) p((...) IN) p(fl (...))
оценка вероятности кортежа свидетельств в ФЗ
оценка вероятности кортежа свидетельств в АБС
апостериорная вероятность пропозиции f при заданном кортеже свидетельств
Pa(f)
P[a](f)
— оценка апостериорной вероятности пропозиции f
—- задаваемая свидетельством оценка вероятности пропозиции f
E
F
T
X, У, Z
X, Y, Z
— математическое ожидание
— тождественная ложь
—- тождественная истина
—- аргументное место
— цепочка конъюнкций аргументных мест (например,
X = х1х2...хп)
Я
— элементарная случайная бинарная последователь
Я
ность, принимающая значения вида х
— случайная бинарная последовательность, принимающая значения вида X
H(t) (X)i,(X)) e e.Ct
— энтропия случайной величины Е,
— различные означивания цепочки аргументных мест
— пустая цепочка конъюнкций
— идеал конъюнктов
26
Список используемых сокращений и обозначений
D(i),D(...)
— множество ограничений ЗЛП, задаваемых из пред-
меткой области
— множество ограничений ЗЛП на меру р, задаваемых
£(1),£(...)
из предметной области
— множество ограничений ЗЛП, накладываемых АВ
— множество ограничений ЗЛП на меру р, накладываемых АВ
In
— матрица системы линейных ограничений соответству- о (г)
ЮЩИХ УСЛОВИЯМ £р
IF(S)
— множество всех пропозициональных формул над атомами из 8
7(5)
— множество классов эквивалентности всех пропозиций над атомами из 8
£,£°
AT
N.Nt 7 Q,Q(S) IR(i),IR(...) S.Si 7
m max min Bel
BelO BelFQ Pl, PIO Pos 0 Nec 0 DNF(f) CNF(f) R N
Q C Quants
— линейный оператор
транспонирование матрицы А
- АБС
класс распределений вероятностей
множество квантов над атомами из 8
объединенное множество всех ограничений ЗЛП
— подмножества универсального множества атомов
— универсальное множество атомов
• члены разбиения универсального множества атомов — весовая функция в теории доверия и правдоподобия — максимум
— минимум
мера (функция) доверия — общее обозначение
мера (функция) доверия к множеству
мера (функция) доверия к формуле
мера (функция) правдоподобия
мера (функция) возможности
- мера (функция) необходимости
дизъюнктивная нормальная форма функции f
— конъюнктивная нормальная форма функции f
— множество вещественных чисел
— множество натуральных чисел
— множество рациональных чисел
— множество комплексных чисел
— функция, сопоставляющая формуле множество квантов, входящих в ее СДНФ
АД
Ф
— алгебры и сг-алгебры
— множество элементарных пропозиций (элементарных событий) ТХФМ
М фм
— вероятностная структура ТХФМ
— множество миров (означиваний), в которых ф истинна
(ТХФМ)
D ф°
— D S-структура ТДШ
— множество миров (означиваний), в которых ф истинна
(ТДШ)
т CF МВ MD O[h] O[h|e] △ V Mat(m,n) detD ell(z,D) volE |x| H size(r) log20 ln() lg() Conv Cone pa ch
ne
присваивание истинностных значений (означивание)
фактор уверенности в системе MYCIN
мера доверия в системе MYCIN
мера недоверия в системе MYCIN
- шанс гипотезы h
— условный шанс гипотезы h при свидетельстве е
— триангулярная норма
— триангулярная конорма
- множество матриц размера m х и
определитель матрицы D
эллипсоид, соответствующий вектору z и матрице D
объем фигуры Е
абсолютная величина (модуль) х
— норма х
размер рационального числа (вектора)
логарифм по основанию 2
натуральный логарифм (логарифм по основанию е)
- десятичный логарифм (логарифм по основанию 10)
выпуклая оболочка
- коническая оболочка
множество вершин-родителей в графе
множество вершин-детей в графе
множество вершин-соседей в графе (соединенных ненаправленным ребром)
Nbr
— множество вершин-соседей в графе (соединенных произвольным ребром)
bd ad an ds
— множество граничащих вершин в графе
множество смежных вершин в графе
множество вершин-предков в графе
множество вершин-потомков в графе
28
Список используемых сокращений и обозначений
Fam
— множество вершин-соседей в графе, включающее и саму вершину
a b
— а предшествует (меньше) b в частично упорядоченном множестве
a > b
— а следует за (больше) b в частично упорядоченном множестве
xor, фф
VV
M-1 №
M-3
(X,Y|Z)
I(X.Z.Y)
<X|Z|Y>
— побитовое исключающее или
— побитовое логическое или
нечеткая мера Заде
— нечеткая псевдовероятностная мера
- нечеткая мера Лукасевича
условная независимость, абстрактное обозначение
X не зависит от Y при условии Z
X не зависит от Y при условии Z (по графическому критерию)
M(T)
— множество всех абстрактных условно независимых величин над пропозициями Т
gr(N)
Consistent Q £[e(i), a,^]
— графоидное замыкание модели независимости N
— предикат, обозначающий непротиворечивость
— множество ограничений, накладываемых аксиоматикой А на соотношения значений (точечной) меры истинности з/ на элементах 6^
Введение
А рассудить, откуда все взялось — Дух и сюжет, комедия и драма?
У. Б. Йейтс
Bayesian networks are graphical structures for representing the probabilistic relationships among a large number of variables and for doing probabilistic inference with those variables.
Learning Bayesian Networks
Neapolitan R.E.t 2004, [280]
Цель и задачи работы
Согласно второму эпиграфу к настоящему Введению, «байесовские сети — это графические структуры для представления вероятностных отношений между большим количеством переменных и для осуществления вероятностного вывода на основе этих переменных».
Мы рассматриваем два вида байесовских сетей над пропозициональными переменными: алгебраические байесовские сети (АБС) и байесовские сети доверия (ВСД). И АБС, и ВСД видятся нами как частные случаи моделей баз фрагментов знаний (БФЗ) с неопределенностью.
АБС состоит из фрагментов знаний (ФЗ); моделью фрагмента знаний АВС является идеал цепочек конъюнкций с приписанными его элементам оценками истинности. Важно упомянуть, что эти оценки могут быть и интервальными и точечными; кроме того, мерой истинности, значение которой оценивается, является вероятность. Отметим, что ФЗ АБС с точечными оценками — это способ представления тензора совместных вероятностей.
ВСД также состоит из фрагментов знаний; моделью фрагмента знаний БСД является тензор условных вероятностей. Интервальные оценки не допускаются, в классических монографиях в этой области изложение ведется исключительно с использованием точечных оценок. Это не сдерживает, тем не менее, постоянных попыток БСД-исследователей внедрить в ВСД-исчисления интервальные оценки вероятностей. Судя по содержанию упомянутых монографий, пока такие попытки не стали настолько успешными, чтобы войти в классический фонд результатов по байесовским сетям доверия.
Целью работы выступает выполнение компаративного анализа обоих классов байесовских сетей; для достижения указанной цели требуется решить следующие задачи:
выделить и описать общие теоретические основания для двух классов байесовских сетей — АБС и ВСД;
дать формальное описание этих аппаратов на «одном языке»;
дать описание алгоритмов логико-вероятностного вывода, который выполняется в байесовских сетях;
сравнить вероятностную семантику АВС и БСД, а затем охарактеризовать их выразительную мощность;
сравнить особенности алгоритмов логико-вероятностного вывода в АВС и ВСД;
предложить возможные пути обобщения АБС- и БСД-исчислений; в данной книге мы ограничимся лишь двумя примерами, касающимися направленных циклов в БСД и применения классических нечетких мер истинности вместо вероятностной меры в АВС.
Три основы
Формальная логика. Наша задача — построить модель базы знаний (БЗ) с неопределенностью. Изначально базы знаний формировались на основе утверждений экспертов, и до сих пор результатом их [БЗ] эксплуатации является получение утверждений о предметной области. Моделью утверждения в нашем исследовании является пропозициональная формула, подчиняющаяся аксиоматике классической формальной логики. Формальная логика — первая основа (опора, база) нашего исследования.
Вероятность. Н. Нильссон ввел вероятность на пропозициональных формулах для исследований в области искусственного интеллекта, предложив содержательную и понятную семантику вероятности истинности пропозиции. Он рассматривал ее как сумму вероятности допустимых возмоэюнъсх миров (еще одно название пространства элементарных событий)' в которых эта пропозиция истинна [286]. С помощью интервальных и точечных оценок вероятностей истинности пропозициональной формулы мы можем характеризовать степень уверенности в соответствующем утверждении, степень неопределенности этой уверенности, степень истинности утверждения и ее неопределенность, степень тесноты связи между пропозициями и ее неопределенность.
Теория вероятностей имеет долгую историю развития и применения, поэтому вероятностные оценки рассматриваются в этом смысле как весьма удобные для употребления. Кроме того, вероятность события или истинности пропозиции можно моделировать (стохастически симулировать, например посредством датчика случайных чисел) с помощью специальных методов. Иные, отличающиеся от этого стохастического (частотного), способы моделирования значений оценок истинности в рамках других теорий нам неизвестны.
Кроме того, представляется, что к настоящему времени далеко не исчерпаны возможности вероятностных моделей неопределенности знаний и вероятностного логического вывода как средства формальной модели рассуждений эксперта. Об этом свидетельствует и сохранение интереса к вероятностным моделям неопределенности со стороны исследователей искусственного интеллекта.
Следовательно, второй основой исследования выбирается теория вероятностей' изложенная для наших потребностей как вероятностная логика' что позволяет нам рассуждать о вероятности как мере истинности пропозиции.
Линейное программирование. Формальные аксиматические системы для вероятностной логики, предложенной Н. Нильссоном, в цикле работ Хальперна, Фатина и Мегиддо позволили, в частности, показать, что в случае интервальных оценок вероятности истинности пропозициональных формул оценки истинности других пропозициональных
формул, выводимых из исходных, могут быть получены при решении соответствующих задач линейного программирования (ЗЛП).
В основной части своей работы мы опираемся именно на интервальные оценки вероятности истинности утверждений, которые входят во фрагмент знаний. Одной из естественных целей нам представляется разработка таких алгоритмов вывода, программная реализация которых позволяет опираться на уже существующие пакеты или библиотеки прикладных программ. В этом отношении задачи линейного программирования оказываются «хорошо обеспеченными» существующим программным инструментарием.
Исходя из имеющихся общих теоретических результатов и находящегося в открытом доступе программных библиотек по решению экстремальных задач указанного вида, мы поставили перед собой цель свести как можно больше алгоритмов логико-вероятностного вывода к ЗЛП. Таким образом, линейное программирование стало еще одной из основ нашего подхода.
Основа основ. Представление знаний — и как формальная структура, и как процесс ее создания — имеет два ограничения. Во-первых, знания о предметной области должны быть адекватно отражены, то есть: «формальная» структура базы знаний должна отображать все известное, не сокращая и не увеличивая его неполноту или неопределенность. Во-вторых, структура база знаний должна быть достаточно проста, чтобы выводы, строящиеся на ее основе, могли бы быть получены за допустимый для решаемого класса задач период времени.
В качестве одного из решений указанной проблемы в искусственном интеллекте было предложено создавать такие базы знаний, у которых структура хранения сведений о предметной области похожа на экспертную (в ее наблюдаемой и формализуемой части).
Дж. Пиэрл впервые указал на то, что при разработке интеллектуальных систем следует учитывать, что эксперты в своих рассуждениях используют правила, характеризующие связь лишь между двумя- тремя атомарными утверждениями о предметной области. Учитывая достижения этого ученого, мы будем строить ВЗ на основе фрагментов знаний (ФЗ), то есть базы фрагментов знаний (БФЗ). Под фрагментом знаний мы будем прежде всего понимать набор пропозициональных формул, построенных над множеством двух-трех (иногда четырех) атомов. Структура ФЗ будет уточняться в зависимости от рассматриваемо-
го подхода и решаемой подзадачи. Разные ФЗ могут обладать общими элементами (атомарными пропозициональными формулами, а иногда, в дополнение к ним, другими пропозициональными формулами). Эти наборы ФЗ будут объединяться, а их объединение будет рассматриваться как БФЗ.
Архитектура баз фрагментов знаний, фактически установленная и рекомендованная Дж. Пиэрлом в его работах по байесовским сетям доверия, которые можно рассматривать как одну из самых употребляемых разновидностей БФЗ, становится основой для консолидации упомянутых выше трех теоретических основ с целью представления и обработки знаний с неопределенностью.
История исследований и их результаты
Развитие аппарата алгебраических байесовских сетей (АВС) осуществлялось с начала 1980-х годов в работах В. И. Городецкого и — в части теоретических аспектов — присоединившегося к нему в 1992 г. А. Л. Тулупьева.
К 1996 г. стало ясно, что важную роль в исследованиях АВС и им подобных структур играет вероятностная семантика. Вез ее понимания невозможно сформулировать задачи логико-вероятностного вывода непротиворечивых, априорных, апостериорных оценок и оценок показателей устойчивости. Хотя к 1996 г. сложилось лишь начальное понимание того, что следует понимать под вероятностной семантикой АБС и БСД, и были сделаны лишь первые шаги к формализации ее понимания (а также распространения ее исследований на небайесовские оценки истинности), уже тогда удалось найти первые подходы к решению задачи трансформации ациклической байесовской сети доверия (БСД) над атомарными пропозициональными формулами в АБС и доказательство совпадения результатов логико-вероятностного вывода над БСД и получаемых из них АБС. Важными результатами оказались также сведение синтеза согласованных оценок истинности во фрагменте знаний к задачам линейного программирования и доказательство теоремы о композиции распределений случайных бинарных последовательностей, которая позже позволила получить неожиданно четко оформленные соотношения между различными степенями непротиворечивости АВС.
Основные результаты этого периода исследований были в систематизированном виде отражены в монографии А. Л. Тулупьева «Алгебраические байесовские сети: теоретические основы и непротиворечивость» (1995 г., [98]) и его кандидатской диссертации.
До выхода следующей монографии этого автора «Алгебраические байесовские сети: Логико-вероятностный подход к моделированию баз знаний с неопределенностью» (2000 г., [108]) исследования сосредоточились на более глубокой формализации вероятностной семантики байесовских сетей, развитии компаративного анализа АБС и БСД и рассмотрении небайесовских мер истинности в рамках отдельного фрагмента знаний. Вторая монография содержала уже достаточно развитую интерпретацию семантики байесовских сетей, впервые вводила понятия показателей устойчивости процессов поддержания непротиворечивости и эмпирические подходы к их вычислению, обобщала аппарат АВС на небайесовские меры истинности (нечеткие меры и меры доверия и правдоподобия). За счет более глубокой формализации семантики удалось показать, что кроме поддержания непротиворечивости и априорного вывода к задачам линейного программирования сводятся и алгоритмы оценки показателей устойчивости, и алгоритмы вывода в ФЗ с нечеткой мерой, а также с мерами доверия и правдоподобия. Однако ряд вопросов оказался нерешенным: например, апостериорный вывод по свидетельствам был описан только для случая точечных оценок мер истинности элементов АБС.
Некоторые главы про модели неопределенности, априорный и апостериорный вывод в АВС после кардинальной переработки, вызванной переходом на новую систему терминов и обозначений, предшествующим уточнением ряда определений и изменившимся видением структуры семейств распределений вероятностей, задаваемых байесовскими сетями, составили часть материала глав 5, 10, 11, 17 настоящей монографии, но были существенно расширены и дополнены изложенными ниже новыми результатами. Отметим наиболее яркий, неожиданный и совершенно новый (2005 г.) результат: задачи гиперболического программирования, которые реализуют в АБС апостериорный вывод по свидетельствам, удалось свести к задачам линейного программирования.
В 2002 г. появилось первое описание метода построения и исследования баз фрагментов знаний с неопределенностью и его приме-
нение для построения и изучения свойств моделей баз фрагментов знаний с вероятностной и небайесовскими мерами истинности (нечеткой, доверия и правдоподобия, необходимости и возможности). В монографии этот метод излагается в главе 1. Согласно этому методу, строятся и анализируются АВС в главах 9-13, описываются ВСД в главах 14-15, производится компаративный анализ вероятностной семантики и логико-вероятностного вывода в АВС и ВСД в главах 16-17, а в главе 19 метод применяется к трем нечетким мерам истинности: мере Заде, псевдовероятностной мере и мере Лу- касевича (эти результаты публикуются впервые). Собственно, описанный в главе 1 метод является структурирующим, систематизирующим и целеполагающим началом для всех глав (9-20) монографии, касающихся различных моделей ФЗ и ВФЗ с неопределенностью.
В результате более глубокого анализа формальных аспектов, относящихся к теории алгебраических байесовских сетей, были получены следующие новые результаты:
дано определение новой концепции непротиворечивости — объемлющей непротиворечивости, исследованы некоторые ее свойства;
даны два новых определения степеней непротиворечивости (интервальной и экстернальной), которые лучше соотносятся с практической сложностью алгоритмов и теоретическими аспектами теории АБС, чем рассматриваемые в более ранних публикациях внутренняя и внешняя непротиворечивости;
описан пример, когда, исходя из одинаковых исходных данных, получаются несовпадающие оценки истинности элементов АВС для интернальной и экстернальной непротиворечивостей.
Все задачи логико-вероятностного вывода в АВС — вывода непротиворечивых оценок, априорных оценок, апостериорных оценок, оценок показателей устойчивости (чувствительности) — сведены к решению задач линейного программирования. Этот результат очень важен как для практического применения изложенных в книге концепций, так и для дальнейших фундаментальных изысканий: получающиеся задачи линейного программирования нужно рассматривать далее с целью получения упрощенных алгоритмов их решения. Отметим, что далеко не до конца решенными остаются во-
просы, связанные с циклами фрагментов знаний в АБС. Формальное решение для всех видов вывода в случае присутствия циклов в сети существует, но такое решение не представляется практическим, если встречаются циклы ФЗ достаточно большой размерности.
Описан алгоритм перенумерации базовых формул (квантов и конъюнктов), используемых в теории АБС, с последовавшей разработкой алгоритмов автоматической генерации множеств ограничений задач линейного программирования, возникающих в процессе реализации указанных выше видов вывода над АВС. Этот алгоритм, изложенный в главе 8, незаменим для непосредственной программной реализации аппарата АБС.
Выполнен компаративный анализ вероятностной семантики ациклических АБС и ВСД, сделан на его основе вывод о совпадении семейств распределений вероятностей, задаваемых соответствующими АВС и ВСД. Этот анализ позволил прийти к окончательному выводу о возможности погружения ациклических ВСД в АВС и большей выразительной силе АВС. Он изложен в главах 16 и 17.
Начаты исследования по обобщению байесовских сетей доверия на случай изолированного направленного цикла и установлению связи получаемых конструкций с аппаратом АБС. Нам удалось рассмотреть простейший случай БСД с направленным циклом: случай изолированного направленного цикла. Оказывается, уже в этом случае стандартное ВСД-исчисление не справляется с обработкой исходных данных, так как они могут быть противоречивы или задавать целое семейство распределений вероятностей — ситуация и объект, для которых существующие ВСД-исчисления не обладают даже терминологической системой, не говоря уже о развитых средствах представления и обнаружения. Аппарат же АБС подходит для обработки этого случая. Эти результаты описаны в главе 18.
Материалы, представленные в монографии, неоднократно переработаны для наилучшего изложения. На их основе А. Л. Тулупьев читает специальные курсы и ведет специальные семинары на математикомеханическом факультете СПбГУ.
Содержание монографии
Монография состоит из предисловия, введения, двадцати глав, послесловия и справочного аппарата, который делится на библиографию, списки таблиц, рисунков и примеров, индекс (указатель терминов); изложение предваряется оглавлением на русском языке (в начале книги оглавление также представлено на английском языке), списком обозначений и сокращений.
Первые две главы дают мотивировку и постановку задачи, на решение которой направлена монография. Глава 1 излагает основы метода моделирования баз фрагментов знаний с неопределенностью. Фактически она неформально излагает основные принципы построения алгебраических байесовских сетей (АБС) и байесовских сетей доверия (ВСД), а также описание возможностей распространения этих методов на схожие, но уже не байесовские аппараты. Глава 2 обосновывает использование интервальных оценок мер истинности при моделировании баз фрагментов знаний с неопределенностью. Она содержит обзор (структурный, мотивационный и исторический) использования таких оценок в мягких вычислениях и вероятностной логике.
Главы 3-8 излагают базу общематематических аппаратов, используемых далее, и подготавливают почву последующему изложению. Глава 3 содержит основные понятия теории вероятностей: в частности, мы рассматриваем проблемы неизмеримости в дискретной теории вероятностей, на которых обычно редко акцентируют внимание в базовых университетских курсах, но которые неизбежно возникают при моделировании знаний с неопределенностью. В главе 4 эти понятия переносятся в контекст математической логики — там излагаются основные подходы и задачи вероятностной логики. В главе 5 дается обзор использовавшихся до сих пор в искусственном интеллекте мер истинности и моделей неопределенности, а глава 6 содержит отдельное описание основных положений нечеткой логики. В главе 7 излагаются существующие подходы к решению задач линейного программирования — решение этих задач является центральным для реализации алгоритмов вывода в алгебраических байесовских сетях. Глава 8 содержит основы теории графов, упоминание программных продуктов, подходящих для реализации описываемых в книге алгоритмов, а также примеры программного кода, которые могут служить образцом для практического программирования. Кроме того, в этой главе дается способ
перенумерации (перечисления) связанных друг с другом конъюнктов и квантов, важный для разработки структур данных в программных приложениях.
Главы 9-13 содержат подробное изложение современного состояния дел в теории алгебраических байесовских сетей. В главе 9 вводятся базовые объекты теории, в том числе основополагающие понятия фрагмента знаний и их сети — собственно алгебраической байесовской сети. В главе 10 даются определения непротиворечивости фрагмента знаний в случае точечных и интервальных оценок мер истинности его элементов, а также степеней непротиворечивости (локальной, экстернальной, интернальной, глобальной) АВС. Исследуются свойства непротиворечивости и соотношения ее степеней, излагаются алгоритмы поддержания непротиворечивости и априорного вывода (синтеза согласованных оценок истинности). Вводятся новое, ранее не рассматривавшееся, понятие непротиворечивости — объемлющая непротиворечивость, дополняющая стандартную, предложены формулировки для двух разных семантик («так и только так», «а можно и так»), стоящих за разными подходами к определению непротиворечивости. В главах 11 и 12 идет речь об апостериорном выводе. Указываются две задачи этого вида логиковероятностного вывода: оценка вероятности или ожидаемой вероятности появления свидетельства или кортежа свидетельств над заданными ФЗ или БФЗ и оценка апостериорной вероятности или ожидаемой апостериорной вероятности цепочек конъюнкций, входящих в ФЗ или ВФЗ, но не имеющих общих атомарных пропозиций с поступившим свидетельством или кортежем свидетельств. Алгоритмы апостериорного вывода рассматриваются сначала в отдельном фрагменте знаний при сочетании точечных или интервальных оценок вероятностей элементов ФЗ с различными видами свидетельств (детерминированное свидетельство, кортеж детерминированных свидетельств, недетерминированное свидетельство, кортеж недетерминированных свидетельств, недетерминированное свидетельство с неопределенностью, кортеж недетерминированных свидетельств с неопределенностью). Затем апостериорный вывод обобщается на ациклические АВС. Формализации алгоритмов способствует результат из главы 8 о перенумерации формул. Глава 13 пред лагает эмпирический подход к определению показателей устойчивости (чувствительности) — одной из важнейших характеристик любой модели вычислений. Описана проблема устойчивости вывода в отноше-
нии ФЗ и сетей ФЗ (в том числе АБС) в самом общем виде, а затем, за счет выбора подходящих метрик, сформулированы конкретные подходы к определению устойчивости, сводящиеся к решению задач линейного программирования и позволяющие получить конкретные численные результаты.
В главах 14-15 дается систематическое изложение основных математических конструкций и алгоритмов теории байесовских сетей доверия (БСД) — первое известное нам столь полное систематическое изложение фундаментальных основ аппарата ВСД на русском языке. В рамках главы 14 изложены ключевые определения теории ВСД и представлены основные понятия теории потенциалов и теории доменных графов как математических основ аппарата БСД (алгоритмы ВСД строятся на основе теории потенциалов и используют в качестве потенциалов тензоры условных вероятностей, а для представления данных используют доменные графы). Эти понятия затем, в главе 15, используются для описания основного алгоритма первичной пропагации (априорный вывод) и пропагации свидетельств (апостериорный вывод), использующегося для работы в ВСД. Кроме того, глава 15 содержит краткое описание аппарата стохастического моделирования (Gibbs sampling), полезного для численных экспериментов с ВСД, а также иллюстрирует связи теории ВСД с марковскими сетями.
Главы 16 и 17 посвящены рассмотрению двух аспектов связи между АБС и БСД. В главе 16 рассматривается вероятностная семантика определенного класса АБС и БСД — линейных цепей фрагментов знаний и их ациклических сетей. Оказывается, что в этом случае структуры семейств распределений вероятностей, задаваемых двумя аппаратами, совпадают. В главе 17 разобран важный частный случай АБС — ациклическая АБС с точечными оценками истинности — и алгоритмы пропагации кортежа недетерминированных, но определенных свидетельств (один из видов апостериорного вывода). Оказывается, что результаты апостериорного вывода в такого рода АВС совпадают с результатами пропагации свидетельств в ВСД без циклов. Таким образом, удалось показать, что существующие БСД-исчисления можно погрузить в соответствующие объекты теории АБС.
В главе 18 рассматривается одно из новейших направлений теории БСД, которое было инициировано в работах коллектива авторов монографии (работа над этим направлением продолжается). Согласно суще-
ствующим ВСД-исчислениям базовый граф ВСД не должен содержать направленные циклы — в противном случае алгоритмы пропагации из указанных БСД-исчислений не будут работать. Изложено текущее положение дел — дано описание изолированного направленного цикла в байесовской сети доверия. Основным результатом главы является то, что для рассмотрения направленных циклов в ВСД нужно применять аппарат АВС. Исходный аппарат БСД-исчисления оказывается неприменим, так как направленный цикл задает целое (возможно, пустое) семейство распределений вероятностей, а ВСД работает только с единственным, полностью заданным исходными данными распределением. В свою очередь, ФЗ АВС позволяет эксплицировать отношения, задаваемые ВСД-циклом, и обнаруживать противоречивость и неоднозначность (вернее, недоопределенность) в начальных данных.
Главы 19 и 20 рассматривают два подхода к обобщению и распространению рассмотренных ранее методов на другие конструкции и аппараты. Эти главы введены для иллюстрации и контраста, чтобы продемонстрировать другие направления современной теории представления знаний с неопределенностью на графах, отличающихся некоторой регулярной структурой. В главе 19 предложенный в главе 1 метод моделирования баз фрагментов знаний с неопределенностью применяется к фрагментам знаний с нечеткой мерой истинности (ФЗН). ФЗН построен на той же структуре, что и ФЗ АВС (т.е. на идеале конъюнктов), но вместо вероятностной меры для оценки истинности его элементов используется одна из классических нечетких мер: мера Заде, псевдове- роятностная мера или мера Лукасевича (свойства которых изложены в главе 6). Несмотря на использование других, классических нечетких, мер задачи априорного вывода все равно удалось свести к задачам линейного программирования. В главе 20 рассматривается обобщение стандартного способа графического представления условных независимостей, применяемого в ВСД. Результатом является развитая теория цепных графов (обобщающих ациклические направленные графы) и с- разделимости (обобщающей d-разделимость из теории ВСД). Оказывается, этот аппарат исчерпывает все возможные наборы условных независимостей между элементами сети, т.е. дает возможность представить в программе произвольный набор таких отношений.
Поскольку процесс подготовки книги к печати обладает ощутимой протяженностью, а научные исследования в это время не останавлива-
ются и не могут быть, но приносят новые результаты, не представленные в первоначальной версии текста, была сделана попытка часть из них инкорпорировать в монографию хотя бы в кратком виде на самых последних этапах работы.
Более трехсот библиографических ссылок снабжены краткой аннотацией — авторы посчитали необходимым помочь читателю сориентироваться в использованной литературе по тематике монографии.
Наконец, текст завершается кратким содержаним на английском языке и сведениями об авторах.
Благодарности
Авторы хотели бы выразить свою исключительную благодарность В. И. Городецкому — основателю исследований в области алгебраических байесовских сетей, давшему этой парадигме и имя, и исходную систему определений, и требования к набору алгоритмов логико-вероятностного вывода, а также определившему на много лет вперед рациональную программу теоретических исследований в этой области.
Поддержка исследований
Исследовательская деятельность первого автора в области байесовских сетей была поддержана рядом грантов: Государственной стипендией для талантливых молодых ученых (по направлению Информатика, 1996-1998 гг. и 1998-2000 гг.), грантами Фонда содействия отечественной науке (в номинации Лучшие кандидаты наук РАН, 2004, 2005 и 2006 гг.).
Уже при подготовке текста к печати в монографию внесены новейшие результаты первого полугодия 2006-го года. Они получены в рамках исследований по теме «Направленные циклы в бай- есовских сетях доверия: вероятностная семантика и алгоритмы логико-вероятностного вывода для программных комплексов с байесовской интеллектуальной компонентой» по приоритетному направлению «Информационно-телекоммуникационные системы» Федеральной целевой научно-технической программы «Исследо-
вания и разработки по приоритетным направлениям развития науки и техники на 2002-2006 годы» (государственный контракт № 02.442.11.7289, шифр 2006-РИ-19.0/001/211).
Исследование «Алгоритмы априорного и апостериорного логиковероятностного вывода в алгебраических байесовских сетях, представимых в виде дерева сочленений» А. В. Сироткина поддержано грантом Конкурсного Центра Фундаментального Естествознания (г. Санкт- Петербург) в 2006 г.
Совместная работа авторов началась и в 2000-2001 гг. осуществлялась в рамках Федеральной целевой программы «Интеграция науки и высшей школы» (Санкт-Петербургский институт информатики и автоматизации Российской академии наук, проект № 142) — А. Л. Тулупьев автор вел спецкурсы и практические занятия в группе студентов-математиков первого курса математико-механического факультета СПбГУ (ММ-111, «ПОМИ-поток»), в которой учились два других автора.
Издание настоящей монографии осуществлено при поддержке, оказанной Российским фондом фундаментальных исследований: издательский проект РФФИ № 06-01-14108-д.
Адреса для корреспонденции
Свое мнение и вопросы по поводу содержания книги, релевантных ему научных исследований и потенциальных практических приложений можно прислать авторам по электронной почте:
— Александр Львович Тулупьев,
altOiias.spb.su и alt44880peterstar.ru, просьба направлять сообщения на оба адреса сразу;
— Сергей Игоревич Николенко, sergeyQlogi с.pdmi.ras.ru;
— Александр Владимирович Сироткин, Alexander.SirotkinQgmail.com.
Обычную цочтовую корреспонденцию предлагается направлять первому автору на адрес Санкт-Петербургского института информатики и автоматизации Российской академии наук (СПИИРАН):
СПИИРАН, 14-я линия В.О., д. 39, Санкт-Петербург, 199178.
Глава 1
Постановка задачи и методмоделирования
Thus, the premise underlying the construction of a probabilistic network is that, while the overall problem is too large to allow the application of naive techniques for calculating and updating probabilities..., the individual cliques... are of manageable size. In particular, we assume that we can perform (e.g., by brute force) any desired operations, such as marginalization or conditioning, within any clique, although not necessarily directly for the full network. Our aim is to use the network structure to extend such calculations to the complete set of variables.
Probabilistic Networks and Expert Systems R. G. Cowell et ol?
. Введение
Эта и последующая главы носят мотивационно-вводный характер. Они ставят задачи, задают линии изложения и определяют структуру практически всех остальных глав монографии. Для краткости и обозримости многие начальные положения даны не слишком формально, нестрого. Здесь излагаются идеи, закладываются направления поиска и исследований, указываются эвристические соображения и требования, развитие которых станет основой для материала последующих глав. Детальное, непротиворечивое, формальное изложение ждет читателей позже.
«Итак, предположение, лежащее в основе построения вероятностной сети, заключается в том, что, в то время как общая проблема чересчур сложна для применения наивных методов вычисления и обновления вероятностей..., отдельные клики... имеют разумный размер. В частности, мы предполагаем, что можем производить (например, грубой силой) любые желаемые операции, такие, как маргинализацию или нормировку, внутри любой клики, хотя не обязательно для всей сети. Наша цель — использовать структуру сети для того, чтобы распространить такие вычисления на полный набор переменных.» — Вероятностные сети и экспертные системы. Р. Г. Кауэлл и др. [169].
Одним из важных направлений исследований в области информатики является теоретическое изучение математических свойств моделей представления данных, сведений, знаний с неопределенностью. Среди них выделяется класс моделей, включающих три компонента: систему переменных (показателей, параметров и пр.), систему ограничений, накладываемых на значения переменных аксиоматикой соответствующих математических объектов, и систему ограничений, накладываемых на значения переменных конкретными особенностями предметной области или объектов из нее. Кроме того, совокупность переменных разбивается (декомпозируется) на небольшие наборы, обладающие некоторой регулярной структурой, в каждом из которых элементы и связи между ними можно охарактеризовать наиболее точно. Наборы могут пересекаться, они также организуются в некоторую регулярную структуру.
Приведем ряд положений, обобщающий указанные выше характеристики класса и релевантные результаты исследований в области представления и обработки заний с неопределенностью, которому должна отвечать такая модель представления знаний (сведений, данных) о предметной области.
Во-первых, знания о предметной области представляются в виде совокупности переменных. Эти переменные сопоставляются либо утверждениям о предметной области, либо параметрам и характеристикам объектов предметной области.
Во-вторых, каждая переменная имеет свое множество допустимых значений (как правило, множество допустимых значений — это одна из шкал, дискретная или непрерывная, с относительно большим набором допустимых операций или с относительно малым). Примеры множеств допустимых значений: единичный интервал, бинарное множество с элементами ложно или истинно ({Т, F}), различного рода решетки.
В-третъих, отдельным переменным (а может быть, и всем), а также математическим выражениям, построенным на их основе, исходя из доступных сведений о предметной области, приписывается либо точечное значение, либо множество значений (более узкое, чем множество допустимых значений). Набор математических выражений, в которые входят переменные, зависит от области допустимых значений переменных, набора допустимых операций для данной шкалы и специфики предметной области.
В-четвертъ1х, на значения переменных накладываются также ограничения, вытекающие из определения или свойств математического объекта, — (допустимого) распределения значений указанных переменных.
В-пят'ых, исходя из выводов, сделанных специалистами в области когнитивной психологии и искусственного интеллекта [66,308], набор переменных можно разбить на небольшие фрагменты, построенные на переменных, связи которых эксперту проще всего описать (или же эти фрагменты могут быть выделены, исходя из особенностей предметной области.) Фрагментов может быть несколько, переменные могут входить в разные фрагменты.
В-шестъис, следует принять во внимание технологическое ограничение, которое, как правило, явно или неявно присутствует при попытке перейти к вычислительным экспериментам. Важно учесть реализуемость операций над полученным представлением неопределенности знаний в рамках развитых или развивающихся методов математики и информатики (например, линейное программирование, автоматическое удовлетворение ограничений — constraints programming, теория реляционных баз данных, теория графов и др.). Указанные теоретические методы должны быть поддержаны соответствующими информационными технологиями (например, некоторой СУБД, системой Mathematica, библиотеками ILOG Solver и ILOG CPLEX и др.).
Указанные положения нашли свое отражение при построении, теоретическом исследовании и программной реализации таких моделей баз знаний с вероятностной неопределенностью, как байесовские сети доверия (ВСД), введенные Дж. Пиэрлом [308], и алгебраические байесовские сети (АВС), предложенные В.И. Городецким [40]. Кроме того, база знаний интеллектуальной системы, использующая продукционные правила или их обобщения, также может рассматриваться как база фрагментов знаний. Правило или их совокупность, относящаяся к небольшому набору пропозициональных формул, является одним из видов фрагментов знаний. Актуальность и практическая значимость анализа объектов, отвечающих приведенному выше подходу, в последнее время возросли, поскольку в Российской Федерации был принят
ряд законов и подзаконных актов, которые, в частности, повышают интерес деловых кругов к задачам:
оценки надежности программно-технических комплексов (гражданской специфики) и создания соответствующих автоматизированных систем для расчетов [93];
мониторинга балансовых показателей производств, с адекватным учетом неопределенности измерений соответствующих технических и технико-экономических параметров [124].
Кроме того, с распространением и ростом баз данных, банков данных, информационных хранилищ, баз знаний интеллектуальных систем возникает задача автоматического поиска закономерностей в указанных источниках знаний. При этом необходимо адекватным образом учитывать неопределенность сведений, получаемых из этих источников, и представлять выявленные закономерности и/или связи, и/или тенденции в доступном для пользователя виде с учетом привычной структуры накопления человеком знаний о предметной области. В данном случае в процессе исследований приходится учитывать шесть приведенных выше аспектов.
Основной целью этой главы является рассмотрение метода построения и работы с моделями представления знаний с неопределенностью, согласующихся с выделенными выше положениями, а также обозначение подходов к теоретическому анализу их свойств. Будем считать, что термин знания покрывает также и объем понятий сведения и данные.
Представление фрагментов знаний
Фрагмент знаний, с точки зрения математики, представляет собой набор переменных и ограничения на их значения. При этом предполагается, что мы можем достаточно полно охарактеризовать значения переменных и связи между ними. Посмотрим, как конкретизируются эти аспекты в нескольких, наиболее известных подходах к представлению неопределенности в базах знаний.
В байесовских сетях доверия (ВСД) (см. главы 14-15, где БСД рассмотрены подробно; здесь мы лишь напоминаем релевантные базовые особенности аппарата) в качестве фрагмента знаний можно рассматривать тензор условных вероятностей, приписанный к конкретному узлу сети. Узлу сети сопоставляется пропозициональная формула х. Зада-
но, что при известных истинностных означиваниях пропозициональных формул у 1,..., Уш в узлах, которые являются непосредственными предшественниками рассматриваемого, вероятность истинности х представляется тензором условных вероятностей:
p(x|yi A...Aym) =p(x|yi.. .ут).
Обозначение у используется для указания, что на этом месте в формуле может стоять как сама пропозициональная формула у, так и ее отрицание у. Вероятность отрицания пропозициональной формулы в данном случае рассчитывается по формуле p(x|yiA.. .Aym) = 1 —р(х|у i.. .ym). Всем узлам, входящим в байесовскую сеть доверия, сопоставлен подобный тензор условных вероятностей. Для каждого истинностного означивания узлов-предшественников дается точечная оценка условной вероятности истинности пропозициональной формулы х. Таким образом, каждому истинностному означиванию сопоставляется переменная, представляющая соответствующую условную вероятность. Значения всех таких переменных лежат в интервале [0; 1].
Следует отметить некоторые особенности байесовских сетей доверия. Во-первых, не допускается интервальная оценка условной вероятности. Работы по обобщению ВСД в этом направлении ведутся, но остановились пока на применении символьных вычислений, когда небольшому количеству переменных в конкретной ВСД сопоставлено по варьируемому параметру. Для искомой величины на основе известных алгоритмов выводится функция, зависящая от значений этих параметров. Затем ищутся максимум и минимум этой функции. Во-вторых, подход ВСД критикуется за несимметричность связей между узлами. Предшественники узла считаются его причиной, а он сам — их следствием. Для некоторых предметных областей применение причинно-следственных связей в представлении знаний не является естественным. В-третьих, в некоторых случаях, в частности при возникновении циклов, ВСД вынуждены использовать не тензоры условных вероятностей, а тензоры совместных вероятностей. В-четвертых, рассмотрение циклов обратных связей невозможно ни в одном из существующих ВСД-исчислений до сих пор [237].
В алгебраических байесовских сетях (АВС) [32, 33, 40, 98, 108] фрагмент знаний (ФЗ) представляет сведения о совместном распределении вероятностей вида р (xi...xm). На основе сведений об этом распределении можно получить оценку истинности любой пропози-
циональной формулы, построенной над атомарными пропозициональными формулами X],..., Хщ. Сам фрагмент знаний основывается на множестве переменных, представляющих вероятности истинности всех (нетождественных между собой) цепочек конъюнкций положительных означиваний атомарных пропозициональных формул. На значения этих переменных накладываются ограничения, отражающие требования аксиоматики теории вероятностей, и точечные либо интервальные оценки, представляющие знания о предметной области. На основе алгоритмов синтеза согласованных оценок истинности, опирающихся в данном случае на решение задач линейного программирования, можно получить более точные оценки значений переменных, входящих в ФЗ АБС. С помощью тех же алгоритмов можно получить новую оценку истинности или учесть в исходных данных известную оценку истинности любой другой пропозициональной формулы, которая построена над атомарными пропозициональными формулами, входящими во фрагмент знаний.
Важно понимать, что ФЗ АБС с непротиворечивыми точечными оценками истинности представляет единственное распределение вероятностей. При переходе к непротиворечивым интервальным оценкам ФЗ представляет семейство распределений вероятностей, параметры которых согласуются с ограничениями, представленными в этом ФЗ. Следует отметить, что ФЗ ВСД также представляют семейство распределений вероятностей. Однако при принятой в ВСД гипотезе об условной независимости d-разделимых узлов в совокупности фрагменты знаний байесовской сети доверия задают единственное распределение.
Конструкция фрагмента знаний в структурированных сетях фрагментов знаний (ССФЗ) с нечеткостью такая же, как и в ФЗ АВС [106,108]: основой для ФЗ является идеал цепочек конъюнкций. Однако на переменные, входящие в ФЗ, накладываются ограничения, отвечающие аксиоматике одной из нечетких логик. Указанные аксиоматики задаются триангулярными нормами и согласованными с ними конорма- ми. Мера истинности пропозициональной формулы в случае нечеткой логики строится на основе указанных норм и конорм.
Алгоритмы согласования оценок истинности в ФЗ с неопределенностью опираются на решение последовательности задач линейного программирования.
Структура фрагмента знаний с мерами доверия и правдоподобия двойственна структуре ФЗ АБС и ФЗ с нечеткостью (ФЗН) [107,108]. Его основу составляют переменные, представляющие оценку истинности всех непустых (и нетождественных между собой) цепочек дизъюнкций, построенных над атомарными пропозициональными формулами, входящими в этот ФЗ. Ограничения из предметной области представляются в виде значений весовой функции. Аксиоматика мер доверия и правдоподобия, предложенная в теории Демпстера- Шеффера, позволяет свести поиск согласованных оценок истинности к решению задач линейного программирования. Как и в случае с ФЗ АБС и ФЗН, можно учесть или искать оценку истинности пропозициональных формул, не вошедших в ФЗ, но построенных над атомарными пропозициональными формулами, входящими в этот ФЗ.
Рассмотрим, наконец, ФЗ, переменные которого представляют результаты измерений, используемых при сведении различного вида балансов, а не оценки истинности. Для краткости будем сокращенно ссылаться на ФЗ, участвующие в задачах сведения баланса, как на ФЗБ. Предположим, что мы анализируем показатели материального баланса нефтехимического производства. Будем считать, что масса нефтепродуктов, хранящихся в резервуаре или прошедших через определенную точку продуктопровода, измерена напрямую. Следует пояснить, что прямые методы измерения массы нефтепродуктов существуют и используются, но наряду с ними используются и косвенные методы. В любом случае, при подведении материального баланса все показатели сводятся к оценке массы нефти или нефтепродукта.
В ФЗБ удобно включать переменные, представляющие измерения массы, поданной через ветви трубопровода, сходящиеся в одном узле или в одном резервуаре. В последнем случае в ФЗБ следует включить переменную, представляющую изменение массы нефти в резервуаре, произошедшее в период времени, за который подводится баланс. Из предметной области нам поступают результаты измерений, произведенных с определенной точностью. В случае узла требование по согласованию задается правилами Кирхгофа. Для резервуара условие соблюдения материального баланса состоит в том, что изменение массы продукта в нем совпадет с
разностью закачанных и отгруженных масс. В этом случае снова возникают задачи получения согласованных оценок значений параметров. Они решаются на основе задач линейного программирования.
В рассмотренных выше ФЗ использовались непрерывные величины для оценки значений переменных. Однако на тех же самых структурах ФЗ могут быть рассмотрены дискретные оценки мер истинности или оценки значений измерений [96]. Кроме того, множество допустимых значений переменных может обладать как структурой линейного порядка, так и частичного порядка. Решение возникающих задач согласования оценок истинности сводится к целочисленным и смешанным задачам линейного программирования и переборным задачам. Существуют библиотеки программ, применение которых может быть полезно в этом случае (ILOG Solver, ILOG Concert).
Структурированные сетифрагментов знаний
Набор фрагментов знаний образует структурированную сеть фрагментов знаний (ССФЗ). Если в фрагментах знаний используется только одна мера величин переменных (вероятностная, нечеткая и др.), то такие ССФЗ называются гомогенн-ыми. В ином случае мы рассматриваем гетерогенные ССФЗ. При этом должно быть оговорено, как согласуются оценки значений одной и той же переменной, но указанных для мер разной аксиоматизации. Переменные, попавшие в один ФЗ, могут также участвовать и в другом (или других) ФЗ. В этом случае появляется еще один набор ограничений, накладываемый на значения переменных — условия согласования оценки возможных значений переменных, попавших в различные фрагменты знаний. Указанные оценки должны совпадать. Набор условий согласования между ФЗ не может быть отнесен ни к какому отдельному ФЗ, он сопоставляется всей ССФЗ в целом. ССФЗ может быть рассмотрена как одна из моделей базы фрагментов знаний (ВФЗ) с неопределенностью. БФЗ являются, разумеется, частным случаем баз знаний.
Относительно ССФЗ решаются следующие задачи:
поддержания непротиворечивости (различной степени и, возможно, семантики);
априорного вывода (вывода без свидетельств);
апостериорного вывода (вывода по свидетельствам);
введения системы и расчета показателей устойчивости (чувствительности) вышеупомянутых процессов и состояний ССФЗ.
Ниже будут изложены содержательные аспекты указанных четырех задач. Их формализация, дающая возможность разработать и применить соответствующие вычислительные алгоритмы, осуществляется для конкретных мер истинности и/или способов сведения балансов.
Постановку задач удобно выполнять для случая, когда ССФЗ состоит из одного ФЗ, а затем распространять соответствующие формулировки на случай многих ФЗ. Для краткости мы будем рассматривать в качестве основного случай мер истинности; в случае балансовых показателей рассуждения совпадают, но, как упоминалось, используются не ограничения, вытекающие из аксиоматизации мер, а правила Кирхгофа.
Рассмотрим ФЗ, переменным которого приписаны точечные оценки значений. Этот ФЗ будет непротиворечив, если на совокупности точечных оценок выполняются все требования, вытекающие из аксиоматики меры истинности. Например, для случая ФЗ алгебраической байесовской сети (АБС) вероятности элементарных событий, рассчитанные на основе вероятностных оценок истинности элементов ФЗ АВС, должны быть неотрицательны и в сумме давать единицу. В случае интервальных оценок условие непротиворечивости формулируется следующим образом: для любой точки из интервала оценки значения любой переменной ФЗ существует (хотя бы один) набор точек по одной из каждого интервала оценки значений оставшихся переменных такой, что получающееся точечное означивание переменных ФЗ непротиворечиво.
Задача поддержания непротиворечивости ФЗ сводится к тому, чтобы из интервальных оценок значений переменных удалить точки, неудовлетворяющие условию непротиворечивости. Этот процесс называется согласованием оценок истинности или процессом поддержания непротиворечивости. В результате мы получаем либо ФЗ с непротиворечивыми оценками из ФЗ с возможно несогласованными
оценками, либо ситуацию, когда исходные оценки несовместимы с ограничениями, накладываемыми аксиоматикой мер истинности.
Можно стремиться к различным уровням состояния непротиворечивости ССФЗ [32]. Самый простой, локальный, достигается, когда каждый отдельный ФЗ из ССФЗ непротиворечив. Условия согласования оценок между ФЗ для данного уровня не учитываются. Уровень экстерналъной непротиворечивости достигается, когда выполнено требование локальной непротиворечивости и в любой паре ФЗ согласованы оценки значений общих переменных. Уровень интернадъной непротиворечивости достигается, когда одновременно выполняется весь набор согласующих ограничений, приписанный ССФЗ в целом. Различия между экстернальным и интервальным уровнями непротиворечивости не всегда ясны при неформальном изложении; однако их несовпадение проявляется, когда мы приступаем к разработке соответствующих алгоритмов и выражаем требования этих уровней строго формально. Непротиворечивость в целом, или (что одно и то же), глобалъная непротиворечивость, достигается, если ССФЗ удается погрузить в объемлющий ФЗ, и этот ФЗ получается непротиворечивым. В вычислительном аспекте полезным является понятие k-непротиворечивости. ССФЗ является к- непротиворечивой, если эта сеть, пополненная ФЗ, построенными над всеми наборами из к атомарных пропозиций, является экстернально непротиворечивой.
Результатом согласования оценок значений переменных, входящих в ССФЗ, являются более точные оценки, из которых исключены значения, несовместные с другими. В случае вероятностной оценки истинности (АБС), нечетких оценок истинности на основе некоторых триан- гулярных норм, оценок доверия и правдоподобия в теории Демпстера- Шеффера, балансовых показателей поиск согласованных оценок сводится, по существу, к решению нескольких задач линейного программирования.
На основе имеющихся в ССФЗ оценок истинности можно построить оценку истинности объекта, не представленного в этой сети. Например, оценку истинности импликации, если ССФЗ содержит только ФЗ, состоящие из оценок истинности положительно означенных конъюнкций. В данном (и во многих других случаях), переменная, представляющая значение истинности нового объекта, выражается через существующие
переменные с помощью линейной (или кусочно-линейной) формы. Поиск согласованной оценки истинности нового объекта осуществляется с помощью тех же принципов, что используются в процессе поддержания непротиворечивости. Более того, если известна оценка истинности нового объекта, то она может быть учтена в процессе поддержания непротиворечивости соответствующего ФЗ и/или ССФЗ. Если выражение оценки истинности нового объекта является линейной (кусочнолинейной) формой над оценками истинности существующих, то задача априорного вывода в ранее упомянутых случаях снова сводится к решению ряда задач линейного программирования.
Процессы поддержания непротиворечивости и априорного вывода в силу их сходства объединяют под общим названием синтез согласованных оценок истинности.
Процесс апостериорного вывода осуществляется в ССФЗ, использующих вероятностную оценку истинности (АБС и введенные Дж. Пи- эрлом БСД). Иное название апостериорного вывода — байесовский вывод. В некоторых случаях понятие апостериорного вывода может быть распространено на ФЗ и ССФЗ с невероятностными оценками истинности, но имеющими вероятностную интерпретацию. Например, его можно распространить на случай классической нечеткой логики Заде, опирающейся на триангулярную норму min.
Апостериорный вывод имеет два вида исходных данных: ФЗ или ССФЗ и кортеж свидетельств. На основе формулы вычисления условной вероятности производится «обусловливание» оценок истинности кортежем свидетельств — событий, о которых мы узнали, что они произошли или не произошли. Если имеет место несколько ССФЗ, представляющих различные гипотезы и их априорное распределение, то, используя формулу Байеса, мы можем ранжировать гипотезы по апостериорной вероятности при имеющемся кортеже свидетельств.
На выбор алгоритма для апостериорного вывода влияет тот факт, что вероятностный ФЗ с интервальными оценками или ССФЗ представляют не одно распределение вероятностей, а, как правило, целое семейство распределений, отвечающих одинаковым «граничным условиям» (ограничениям из предметной области). Поэтому на практике используют либо дополнительные предположения о свойствах распределения, что позволяет из их семейства выбрать одно, либо осуществляют апостериорный вывод, получая в результате не максимально точ-
ные интервальные оценки, а оценки, лишь включающие наиболее точные, как подмножество. Наиболее распространенной гипотезой для выбора распределения из семейства распределений является предположение условной независимости оценок истинности атомарных пропозициональных формул, т.е. рассматриваются два фрагмента знаний, имеющих общие элементы. Атомарные пропозиции, оценки истинности которых входят в этот ФЗ, делятся на три совокупности: первая, относящаяся только к первому ФЗ, вторая, относящаяся только ко второму ФЗ, и третья, входящая в оба ФЗ. Если принять гипотезу, что первая совокупность условно независима от второй относительно третьей, то по точечным оценкам значений переменных обоих ФЗ можно однозначно восстановить точечные оценки для ФЗ, построенного над двумя исходными. Разработанные алгоритмы позволяют избегать такого этапа надстраивания, но получать апостериорные оценки истинности, согласующиеся с указанной гипотезой. Этот подход реализован как в БСД, так и в АБС.
Случай апостериорного вывода с недетерминированными свидетельствами сводится к повторяющемуся применению апостериорного вывода с детерминированными свидетельствами и последующему «усреднению» результатов на основе оценок вероятности детерминированных кортежей, полученных при анализе кортежа недетерминированных свидетельств. Следует учитывать, что недетерминированные свидетельства могут иметь различные взаимозависимости с другими недетерминированными свидетельствами. В частности, если в кортеже недетерминированных свидетельств заданы апостериорные оценки истинности только атомарных элементов, этот кортеж свидетельств представляет собой не одно возможное распределение, а целое семейство. И от выбора представителя этого семейства зависит результат апостериорного вывода. В этом случае требуется либо дополнительная гипотеза для выбора одного из распределений, либо поиск максимальных и минимальных возможных значений результата над семейством распределений.
Важным аспектом рассмотренных процессов является их устойчивость (чувствительность), понимаемая в общем случае как зависимость изменения результата от допустимой вариации исходных данных [92]. Изучение устойчивости важно, поскольку, зная требования, предъявляемые к точности искомого результата, по свойствам устой-
Рис. 1.1. Примеры ССФЗ.
а — узел в системе трубопроводов; б — резервуар с трубами для загрузки и отгрузки; в — последовательное соединение элементов; г — параллельное соединение элементов; д — ССФЗ для представления знаний о последовательном соединении; е — ССФЗ для представления знаний о параллельном соединении.
чивости можно предъявить обоснованные требования к точности исходных данных, избежав тем самым дополнительных интервью с экспертами, излишних статистических экспериментов и (в случае с балан-
сами) завышенных требований к определенности результата, получаемого от метрологического оборудования (а последнее чем точнее, тем дороже).
В случае синтеза согласованных оценок вариации подвергаются исходные данные о предметной области. Величина вариации и колебания результата измеряются одной из метрик. Для оценок истинности по аксиоматике вероятностной логики, некоторых нечетких логик, теории Демпстера-Шеффера, а также для оценок измерений в случае задач баланса удалось подобрать такие метрики, что определение величин показателей устойчивости (величина колебания результата, длины интервала оценки, колебания границ интервала оценки и другие сходные задачи) сводится к решению ряда задач линейного программирования. В случае апостериорного вывода вариации подвергаются не только исходные данные в ССФЗ или ФЗ, но и оценки истинности из кортежа недетерминированных свидетельств. В случае использования алгоритмов поиска приближенных апостериорных оценок истинности на колебание результата может также влиять порядок поступления детерминированных свидетельств. Определение показателей устойчивости апостериорного вывода заметно сложнее с точки зрения вычислений.
Примеры
Примеры элементов ВФЗ, построенных на основе структурированных сетей фрагментов знаний, таких как ФЗ АБС, ФЗН, ФЗ с мерой доверия и правдоподобия, могут быть найдены в других главах этой книги или в целом ряде источников [32,33,40,98,106-108]. В настоящей главе мы рассмотрим материал, не входящий в остальные главы, однако весьма важный, так как фактически он представляет собой одно из важных приложений развитой здесь теории. Он призван иллюстрировать положения о ФЗВ и цепях ФЗ, использующихся для представления данных о надежности элементов систем.
Типичные фрагменты знаний, выделяющиеся при представлении сведений о материальном балансе, соответствуют узлам продуктопро- водов (рис. 1.1, а) и резервуарам с входами и выходами (рис. 1.1, б). Пусть тп(Х) — масса нефтепродукта, прошедшая через точку X в период времени, за который подводится материальный баланс. Для удоб-
ства так же обозначим изменение массы нефтепродукта в резервуаре X, произошедшее за указанный отчетный период. Тогда уравнение материального баланса для ситуации, представленной на рис. 1.1, а, будет выглядеть следующим образом:
m(Li) = m(L2) + m(L3).
Соответствующее уравнение для рис. 1.1, б имеет вид
m(R1) = m(Li) - m(L2) - m(L3).
Указанные ограничения вытекают из «аксиоматики» материального баланса. Однако, на самом деле, нам известны лишь оценки величин, участвующих в выражении материального баланса. Нижние исходные оценки мы обозначим m^ (X), верхние — m+ (X). Тогда ограничения из предметной области примут вид:
m7(Ri) < m(Ri) < m+(Ri),nio(Li) < m(Lj) < m+(L1),m“(L2) < m(L2) < m+(L2),mo(L3) < m(L3) < m+(L3).
Обозначим для удобства объединение ограничений, вытекающих из предметной области и из определения материального баланса, как 3?. Решая задачи линейного программирования (ЗЛП) вида
m~(X) = min{m(X)},э?
т+(Х) = тах{т(Х)},
мы можем получить более точные оценки масс за счет учета их взаимного влияния. Если же ЗЛП не будут иметь ответа, то уместным станет вопрос о несанкционированном сливе продукции или о неисправности метрологического оборудования.
Обозначим ту точечную оценку расхода (движения масс), которая принимается за показания прибора в точке X, как fh(X). На практике часто материальный баланс считается сошедшимся, если соответствующий показатель дебаланса достаточно мал. Введем показатели дебаланса для узлов, представленных на рис. 1.1, а, 1.1, б. В первом случае показатель дебаланса определяется так:
6a = A(L2) + A(L3)-A(Li),
а во втором — так:
6b = А^) - A(L2) - A(L3) - A(Ri).
Требуется определить его допустимую величину (верхнюю границу абсолютной величины) D^. В этом случае множество ограничений 3?* составляется из соответствующего уравнения материального баланса, затем оно дополняется множеством ограничений вида
т(Х)-А(Х) < е(Х),
-е(Х) < т(Х) - а(Х).
Эти ограничения равносильны условиям, которые характеризуют абсолютную погрешность средств измерения в точках (резервуарах) X:
|т(Х)-А(Х)|<е(Х).
На последнем этапе во множество 3?* вносятся ограничения, исходящие из результатов измерений, двух видов:
т-(Х) < А(Х) <т+(Х),
т-(Х) <т(Х) <т+(Х).
Решаются следующие ЗЛП:
D“ = imn{Oa},
Di = max{Oa}.
В этом случае верхняя граница абсолютной величины показателя дебаланса может быть определена по следующей формуле:
D*a = max{|D-|,|D+|}.
С точки зрения теории, допустимая величина дебаланса характеризует устойчивость результата (балансового показателя, который в идеальном случае всегда равен был бы нулю) относительно допустимой вариации исходных данных (отклонение показаний прибора в пределах его метрологических характеристик).
Подчеркнем, что исследования в области восстановления сведений о потоках, которые не измеряются, и уточнения оценок параметров материальных потоков за счет избыточности точек измерения (что, в свою очередь, влечет избыточность «сырых» данных) ведутся давно. В качестве примера можно привести работы [53,273], опирающиеся на более
привычный способ согласования данных — метод наименьших квадратов, который, конечно, хорош, когда выполняются определенные предположения. Однако такой подход не пострадал бы, если бы к нему был добавлен анализ «наихудших-наилучших» случаев, основанный на решении задач линейного программирования. В этом анализе для представления данных было бы удобно использовать идеи, описанные ранее в настоящем параграфе.
Другой пример относится к области оценивания надежности систем, которые допускают декомпозицию на совокупность параллельных и последовательных элементов. Считается, что для указанных элементов известна характеристика надежности. Для простоты будем следовать [93], полагая, что надежность цепи элементов характеризуется вероятностью того, что сигнал, поступивший на вход цепи, будет получен на ее выходе. Каждому элементу цепи г приписано утверждение xf «Элемент г пропускает сигнал». Вероятность истинности этого утверждения характеризуется величиной р(х;). Согласно [8], «для сопоставления вероятностных оценок пропозициональным формулам удобно использовать алгебраические байесовкие сети... Алгоритмы поддержания непротиворечивости АВС позволяют отсекать противоречивые прогнозы...». В настоящей работе эти цели реализуются не для АВС и их ФЗ, а для ССФЗ особого вида и для ФЗ, построенных на основе дизъюнкций положительно означенных цепочек атомарных пропозициональных формул.
На рис. 1.1,в имеется схема цепи элементов, соединенных последовательно; для представления соответствующих сведений о надежности будет взята ВФЗ в виде ССФЗ (рис. 1.1, д). На рис. 1.1, г имеется схема цепи элементов, соединенных параллельно; для представления соответствующих сведений о надежности будет взята ВФЗ в виде ССФЗ (рис. 1.1, е). Рассмотрим случай последовательного соединения. Логические утверждения о том, что соответствующий отрезок цепи пропускает сигнал, связаны следующим образом:
S1=X1X2, S2 = X3S1, S3 = X4S2.
Нас интересует оценка надежности всей цепи р($з).
Для технических систем, методика декомпозиции которых отработана за десятилетия соответствующих расчетов, удобно предположить, что утверждения xt вероятностно независимы. В этом случае искомую оценку надежности можно получить в результате распространения вли-
яния исходных данных по ССФЗ на рис. 1.1, д согласно рекуррентной формуле:
P(sJ =p(xi+i)p(st-i),p(s0) = 1.
В данном случае мера р удовлетворяет не только аксиоматике вероятностей, но и более жесткой аксиоматике нечеткой логики с триангулярной нормой р(ху) = р(х)р(у).
Разумеется, исходные данные могут быть определены лишь с известной точностью. В рамках псевдовероятностной логики, исходя из интервальных оценок исходных данных, мы можем вычислить интервальную оценку результата. Пусть известно:
Р~(Хг) < p(xj < P+(Xi),p"(so) =p+(s0) = 1.
Тогда распространение влияния исходных значений по соответствующей ССФЗ происходит согласно следующим формулам:
P-(Si) =p~(Xi+i)p-(Si-i),P+(Si) =p+(Xi+l)p+(Si-i).
Однако при переходе к рассмотрению программно-технических систем возникают некоторые затруднения с допущением независимости утверждений о способности элемента пропустить сигнал. В данном случае приходится отходить от жестких предположений о распределении вероятностей, накладываемых псевдовероятностной нечеткой логикой, и считать, что распределение р удовлетворяет только аксиоматике вероятностей, а также учитывать дополнительные предположения о взаимосвязи утверждений.
Применительно к рассматриваемому случаю при распространении исходных данных придется решать задачи априорного вывода. Множество исходных данных пополняется ограничениями вида
p(xi+1Si-i) > 0,
p(xl+i) -p(xt+iSi-i) > О,p(Si-i) -p(xi+1si_1) > 0,1 -p(xi+i) -p(st-i) +p(xi+ist_i) > 0.
Затем в процессе распространения последовательно решаются задачи линейного программирования вида
p"(Sj) =пйп{р(Х)+15Ь1)},p+(Sj) =max{p(Xj+iSj-i)}.
В этом случае 3? использовано для обозначения множества исходных ограничений на каждом шаге распространения и ограничений, вытекающих из аксиоматики теории вероятностей.
При указанном подходе к организации вычислений надежности последовательного соединения элементов можно учесть дополнительные линейные ограничения, которые могут связывать оценки истинности утверждений. Кроме того, указанный подход позволяет ввести и исследовать стандартным образом поведение показателя устойчивости результата относительно допустимой вариации исходных данных.
Аналогичные рассуждения могут иметь место при анализе параллельного соединения элементов. В случае допущения вероятностной независимости утверждений о надежности элементов мы, исходя из аксиоматики псевдовероятностной нечеткой логики, при расчетах показателя надежности p(xt V Xj V xk) будем использовать следующие формулы:
p(XtVXj) =p(xj +p(Xj) -p(XtXj) =p(Xi) +p(Xj)-p(Xt)p(Xj),
p(xt V Xj V xk) = p(xi) + p(xj) + p(xk) - p(xt)p(xj)-
-p(xt)p(xk) -p(xj)p(xk) +p(xt)p(xj)p(xk).
Однако при необходимости учесть возможную взаимосвязь и интервальные оценки надежности элементов, входящих в параллельное соединение, нам придется снова воспользоваться ограничениями, вытекающими из аксиоматики вероятности:
p(XjX2X3) > О,
р(Х1Х2) -р(Х1Х2Х) > О,Р(Х1Х3) -р(х1х2х3) > О,Р(х2Х3) -р(Х1Х2Х3) > О,Р(Х1) - р(Х1Х2) - р(Х]Х3) + р(х1х2х3) > О,р(х2) -р(Х1Х2) -р(х2х3) +p(xix2x3) > О,
Р(хз) -Р(Х1Х3) -р(х2Х3) +р(Х)Х2Х3) > О,
1 -P(xi)-p(x2)-p(x3)+
+ p(xix2) + р(х2х3) + р(Х1Х3) - р(Х!Х2Х3) > О,
и определения дизъюнкции:
Р(Х1 V Х2) = р(Х]) + р(х2) - р(Х!Х2),
р(Х1 V Х3) = р(Х] ) + р(х3) - р(Х1Х3),
р(х2 Vх3) = р(х2) + р(х3) - р(х2х3),
p(xj V х2 Vх3) = р(х 1) + р(х2) + р(х3)—
-p(xix2) -p(xtx3) -р(х2хз) +р(х,Х2Х3), а также исходными ограничениями вида
РГ(Хг) <Р(Хг) <Po(Xi).
Обозначим множество ограничений трех видов, перечисленных выше, символом 3?. Тогда оценку величины показателя надежности можно получить, решив следующие задачи линейного программирования:
p~(xi V х2 Vхз) = min{p(xi V х2 V хз)},
я
p+(xi Vx2Vx3) =max{p(xi \/х2\/хз)}.
31
В отношении этих оценок также может быть поднят вопрос об устойчивости: устойчивость границ интервала и устойчивость величины интервала. Определение величины показателя устойчивости также сводится к решению последовательности задач линейного программирования при некотором подборе метрик.
Заключение
В настоящей главе были изложены основные принципы, в соответствии с которыми выделяются фрагменты знаний и формируются их базы. Многообразие ВФЗ определяется: ее структурой и структурой ФЗ, входящих в ВФЗ; мерами, используемыми в качестве оценок значений переменных, входящих в ФЗ; областью допустимых значений переменных и ее математическими свойствами. Выло отмечено, что многие возникающие задачи сводятся к уже решенным математическим задачам. Для большинства таких задач, относящихся к области автомати-
ческого удовлетворения ограничений, существуют алгоритмы решения, реализованные в виде библиотек программ.
В дальнейшем мы сосредоточим свои усилия на рассмотрении двух подходов к моделированию баз фрагментов знаний с неопределенностью — байесовских сетей доверия и алгебраических байесовских сетей.
Глава 2
Интервальные оценки вероятностей
If a man begins with certainties, he shall end in doubts; but if he will be content to begin with doubts, he shall end in certainties.
Francis Bacon)
Мысль — это интеллектуальный эксцесс данного индивидуума.
Республика ШКИД Г. Белых, Л. Пантелеев
. Введение
Одной из главных отличительных особенностей, которые позволяют аппарату алгебраических байесовских сетей быть более выразительным, чем аппарат байесовских сетей доверия, является возможность снабжать элементы фрагмента знаний интервальными оценками вероятностей.
Этот аппарат возник, разумеется, не на пустом месте. Мы изложим вероятностные его основы в главе 3; в главе 4 представим обзор вероятностной логики и фактически являющихся логическим описанием теории АВС работ Фатина, Хальперна и Мегиддо (§ 4.6, § 4.7). Мы также изложим в главах 5 и 6 некоторые модели неопределенности, применявшиеся в искусственном интеллекте.
В настоящей главе мы предлагаем более детально разобраться с тем, для чего же все-таки нужны в искусственном интеллекте интервальные оценки вероятностей, — и не только вероятностей, но и других степеней доверия.
Мы фактически следуем плану, предложенному в [64], и всецело рекомендуем читателю этот обзор в качестве, по-видимому, все еще луч-
«Вели человек начинает с определенностей, он закончит в сомнениях, но если он удовлетворится сомнениями в начале, то в конце его ждут определенности». — Френсис Бэкон.
шего русскоязычного обзора интервальных степеней доверия, несмотря на то, что он был опубликован в 1997 году. Мы дадим обоснование (несколько различных обоснований) использования интервальных степеней доверия, а также рассмотрим различные возможные приложения этих аппаратов.
Степени доверия,«извлеченные из экспертов»
Одним из основных источников неопределенности оценок степеней доверия является тот факт, что эти оценки извлекаются из экспертов (несмотря на кровожадность, а, может быть, благодаря ей, термин «извлечение знаний из экспертов» стал общепринятым в русскоязычном искусственном интеллекте).
Прежде чем перейти к аргументации, отметим любопытную деталь из истории вопроса. Оказывается, тем, кто впервые отметил, что субъективные оценки вероятностей не могут быть точными, был знаменитый экономист Джон Мейнард Кейнс [245]. Кейнс писал, что вероятности далеко не всех гипотез можно однозначно сравнивать. Всегда можно сравнить вероятность любой гипотезы только с нулем или единицей, но существуют гипотезы, про которые нельзя сказать, что одна из них более вероятна, чем другая. Более того, Кейнс предложил первые в истории приложения интервальных вероятностей — в букмекерском и страховом деле.
Итак, предположим, что есть некоторая пропозициональная переменная х, и мы хотим получить оценку вероятности истинности р(х) (разумеется, те же рассуждения применимы к любой другой мере доверия d(x), но мы будем для простоты рассуждать о вероятностях). Также имеется эксперт, который может высказать свое суждение по данному вопросу. Однако эксперт вряд ли способен ответить на вопрос: как «оценить вероятность истинности пропозиции х» так, чтобы его ответ действительно отражал его мнение? Каким образом инженер знаний может задать вопрос эксперту так, чтобы его ответ мог быть интерпретирован как вероятность истинности х?
Рассмотрим несколько вариантов (см. [64,183,289,346,350] и многие другие источники):
3 Зак. 3294
Ехр1 Можно попросить эксперта оценить вероятность пропозиции х, дав ему шкалу с достаточным количеством делений (например, 10-балльную): если эксперт выберет, например 6, будем считать, что р(х) = 0.6.
Ехр2 Вели есть несколько (достаточно много) экспертов, можно провести голосование: если экспертов десять и семь из них согласны, что х верно, то положим р(х) = 0.7.
ЕхрЗ Наиболее замысловатый способ (см., например, [255]): можно попросить эксперта сравнить, что для него предпочтительнее: получить 100$ в том случае, если х верно, или сыграть в лотерею Цр), в которой он получит 100$ с вероятностью р; если для какого-то р такие альтернативы покажутся эксперту равнозначными, то можно принять в качестве его оценки р(х) = р. Для определения конкретного значения р можно воспользоваться бинарным поиском.
Сейчас мы покажем, что все эти варианты на самом деле приводят к интервальным оценкам вероятностей.
Ехр1. Во-первых, сам этот метод очень похож на прямой вопрос — «оцените вероятность истинности х» (точнее сказать, «оцените меру вашего доверия к х»), и поэтому трудно рассчитывать на точную оценку, если делений в шкале достаточно много (думаем, каждый читатель когда-либо проходил тесты из разряда «оцените, насколько справедливо данное утверждение» — уже при пяти делениях начинаются проблемы выбора, а при десятибалльной шкале разница между, скажем, 2 и 3 практически перестает ощущаться).
Во-вторых, когда эксперт высказывает свое мнение по десятибалльной шкале, например, ставит 7 из 10, это даже в идеальноматематической ситуации не означает, что он думает, что р(х) = 0.7. Действительно, если, предположим, сделать шкалу девятибалльной, то, каков бы ни был ответ эксперта, он не сможет означать, что р(х) = 0.7, хотя х остается тем же самым! Единственная непротиворечивая семантика в данном случае: если эксперт поставил 7 из 10, это значит, что он думает, что р(х) е [0.65; 0.75].
Ехр2. В случае голосования опять же наблюдаются два источника неопределенности. Во-первых, тот же аргумент, что и выше: если 8 из 10 экспертов проголосовали за х, это лишь статистическая информация, а не точная оценка вероятности р(х). Методами математической стати-
стики можно оценить доверительный интервал р(х) в данном случае; он будет достаточно велик, так как вряд ли в реальной ситуации возможно найти достаточно много экспертов (более того, если экспертов действительно много, то мы выходим за пределы семантики представления знаний с неопределенностью и можем действительно перейти на язык математической статистики).
Вторым аргументом в пользу интервальных оценок является тот факт, что при голосовании каждый эксперт должен однозначно определиться, верит он в х или нет. Однако в реальной ситуации следует допускать вариант «не знаю». Вряд ли будет правильным положить р(х) = 1, если один эксперт из десяти сказал «да», а девять — «не знаю». Поэтому в таком случае разумно оценивать вероятность двумя числами — долей экспертов Ве1{х], которые верят в истинность х, и долей экспертов Bel [5с], которые верят в ложность х; сумма этих долей не обязательно равна единице.
Как сообщается в [64], такой подход многократно рассматривался и даже успел получить три разных имени: интервалъная теория вероятностей [154,171,314], используемая, например, в системе Inferno (см. § 5.9), интуиционистская нечеткая логика [133,135,137,138, 209] и неопределенное множество [211].
А еще один шаг — переобозначение Р1 [х] = 1 — Bel [х] — приводит нас к семантике теории Демпстера-Шеффера (см. § 5.2), где каждому х ставится в соответствие интервал [Bel [х]; Р1 [х]].
ЕхрЗ. Теоретически, используя сравнение с лотереями, можно обычным бинарным поиском уточнить вероятность желаемого события сколь угодно точно. На практике же опять с неизбежностью возникает «по man’s land», на которой предлагаемые эксперту альтернативы для него неразличимы — попробуйте с уверенностью сказать, что сделать ставку на утверждение х для вас выгоднее, чем играть в лотерею с шансами 64%, но менее выгодно, чем играть в лотерею с шансами 65%...
В такой ситуации неизбежно будут возникать противоречия — один и тот же эксперт будет давать противоречивые ответы, так как ответ на такие точные вопросы он может давать лишь наугад. Эти противоречия более подробно рассмотрены в [247,359,368]. Наиболее естественным выходом опять же является рассмотрение интервальных вероятностей, разрешающее эксперту отвечать «не знаю» («не уверен»).
Эта же идея мотивировала подход к интервальным оценкам вероятности, который известен как «неточные вероятности» (imprecise probabilities). Смит и Гуд в работах [213,330,331] мотивировали неточные вероятности с вышеописанной субъективной точки зрения (а Гуд даже пошел дальше и связал это с оценками меры неизмеримых множеств; в § 4.7 эти идеи будут подробно изложены). Мы рекомендуем книгу [350] в качестве, по всей видимости, лучшего источника о неточных вероятностях, а также обращаем внимание читателей на сайт http: //ippserv. rug. ас. be, на котором собраны несколько интересных обзорных статей о различных гранях аппарата неточных вероятностей (в том числе и обзор Генри Е. Киберга об интервальных оценках вероятностей).
Пропущенные наблюденияи утраченные данные
Предположим, что мы регулярно получаем некоторый поток данных из нескольких источников. Для нашего рассмотрения будет достаточно ограничиться случаем, когда эти сведения представляют собой информацию: оказалось ли истинным то или иное утверждение (т.е. мы интерпретируем их как поток данных вида 0 или 1). Впоследствии подсчитываются частоты появления событий, которые становятся оценками вероятностей.
В реальной жизни зачастую случается, что некоторые данные не оказываются на месте: либо они были на каком-то этапе утеряны, либо так и не были получены (эти две ситуации отражены в названии параграфа). Один из двух вечных русских вопросов лежит вне компетенции этой книги; попробуем ответить на другой — что делать?
Конечно, строго формально было бы правильным выбросить целиком те строки таблицы наблюдений, в которых присутствуют не все данные. Однако часть данных там все же есть, и в ситуации, когда статистической информации не слишком много (а слишком много ее не бывает), просто так отказываться от наблюдений было бы неправильно.
Предлагаемый выход прост. Давайте рассмотрим две ситуации: в одной из них вместо «неизвестно» всюду стоит ноль, а в другой — единица. Подсчитаем частоты в первом и втором случаях и назовем первую из них нижней оценкой вероятности, а вторую — верхней оценкой. Та-
ким образом, снова вполне естественно возникают интервальные оценки вероятностей.
Пример 2.1. Пропущенные наблюдения
Рассмотрим таблицу, в которой записаны наблюдения для трех пропозиций (случайных событий), часть из которых пропущена.
xi|001 0 1 00*01 000*1 1 0 * 0 1
Х2 0 1 0 1 0 1 00*****000001 1
х3 1**100110101101101**
Тогда интервальная оценка вероятности p(xj) будет равна [0.3; 0.45], оценка р(х2) составит [0.25,0.5], а р(хз) будет оцениваться интервалом [0.5;0.7].
Нам также оказываются доступны интервальные оценки более сложных высказываний:
p(xix2)=[0.05;0.1],р(х]Х3)=[0.15;0.35],
р(х2хз)=[0.05;0.35],р(х]Х2хз)=[0;0.1].
Не исключено, что несмотря на недоопределенность полученных оценок, на их основе все-таки можно будет принять конкретное решение.
В целом, теория принятия решений и практика ее применения [76] создают ряд задач, использование интервальных оценок в которых было бы обоснованным.
В прикладной статистике обработка массивов наблюдений с пропущенными данными заняла свою нишу — по этой тематике публикуются статьи и монографии (см., например, [49,129,263]).
Вероятность составного утверждения
Другим важнейшим источником неопределенности (в том числе и для аппарата алгебраических байесовских сетей) является тот факт, что вероятность составного утверждения вовсе не обязательно однозначно вычисляется по известным вероятностям его компонентов. В теории АВС этот факт является основополагающим для априорного вывода, который мы рассмотрим в главе 10.
В рамках рассмотренной в § 4.3 вероятностной логики по Нильссону это очень легко объяснить. Вероятность формулы р(хЛу), конечно, ограничена сверху вероятностями р(х) и р(у), а снизу — ве-
личиной шах[0,р(х) + р(у) — 1}, но ничего более конкретного сказать нельзя.
И сам Нильссон [286], и другие исследователи [342-344] сходятся на том, что оценки вероятностей сложных формул могут быть лишь интервальными, а их верхние и нижние оценки, — вычисленными лишь в результате решения задач линейного программирования.
Приведем для полноты картины предложение (см. [350, Section 2.7.4]), которое приводит интервалы оценки вероятностей формулы с одной логической связкой^
Предложение 2.1. Рассмотрим формулу f, составленную из элементарных пропозициональных формул х и у, точечные оценки вероятностей которых, р(х) ир(у), заданы. Тогда интервальные оценки Pf заключены в следующих интервалах:
для f = хЛу,
Pf(p(x),p(y)) = [max{0,p(x)+p(y)-1};min{p(x),p(y)}];
для f = х Vy,
Pf(p(x),p(y)) = [max{p(x),p(y)};min{1 ,p(x) + p(y)}];
для f = x D у,
Pf(p(x),p(y)) = [max{p(y),1 -p(x)};min{l, 1 -p(x) + p(y)}];
для f = -’X,
Pf(p(x)) = 1 -p(x).
К сожалению, оказалось, что вычисления интервальных оценок вероятностей сложных формул трудноразрешимы. Очевидно следующее утверждение (см. [164,165], где оно и схожие с ним рассмотрены более подробно).
Предложение 2.2. Задача вычисления Pf(p(xi)р(хп)) по заданным интервальным оценкам вероятностей p(xt) = [р7;р+] NP- трудна.
Доказательство. Для доказательства достаточно заметить, что выполнимость формулы f можно определить, зная лишь значение pf([0;1],...,[0;1]):
если f невыполнима, то она всегда ложна, и верхняя граница полученного интервала равна нулю: р+([0; 1],..., [0; 1]) = 0;
— если f выполнима, то существует набор значений переменных, при которых f истинна, и, следовательно, при соответствующих точечных оценках вероятностей р^([0; 1],..., [0; 1]) = 1.
□
§ 2.5. Различные представленияодной и той же формулы
В § 4.10 мы еще расскажем о сходной задаче — в работе [254] рассматривались подходы к введению вероятности импликации. В той же работе были рассмотрены так называемые вероятностные логические операции, которые все же сопоставляют импликации (х D у) точечную оценку вероятности. Таких операций можно ввести много, и нет никакого основания предпочесть одну другой.
Разные операции будут давать разные оценки вероятности составной формулы. Например, операцию Л (конъюнкцию) можно ввести как
р(хЛу) = min{p(x);p(y)},
а можно — как
р(хЛу) = шах{0;р(х) +р(у) - 1}.
И та и другая операция ведет к непротиворечивой модели. Выбор между ними (если очень уж хочется обойтись без интервальных оценок) должен осуществляться из соображений предметной области, т.е. в зависимости от того, требует ли предметная область «пессимизма» или «оптимизма» в оценках. Например, от хирурга в медицине требуется для принятия решения о проведении операции гораздо большая уверенность в ее успехе, чем уверенность геолога в наличии нефти, необходимая, чтобы решиться на бурение пробной скважины.
Предположим все же, что мы сумели каким-либо образом выбрать удовлетворяющий нас базис вероятностных логических операций. Например, мы представляем конъюнкцию функцией min, дизъюнкцию — функцией шах, отрицание — функцией 1 — р(х). Но одна и та же пропозициональная формула может быть записана в этом базисе разными способами!
Пример 2.2. Оценка истинности импликации
Импликация х D у логически эквивалентна и формуле f = у Vx, и формуле g = (х Л у) V х. Вычисления вероятности х D у в приведенном выше базисе для исходных значений р(х) = 0.3, р(у) = 0.8 дают:
- pf(0.3,0.4) = max{0.8; 1 - 0.3} = 0.8,
pg (0.3,0.4) = max{min{0.3,0.8}; 1 - 0.3} = 0.7.
Это снова приводит нас к интервальным оценкам — как бы мы ни пытались от них скрыться, интервальные оценки настигают нас с завидным (хотя, возможно, достойным лучшего применения) упорством. Неплохо было бы найти интервальные оценки, которые бы давали минимум и максимум значения вероятности по всем возможным представлениям данной формулы (данного класса формул относительно эквивалентности, введенной в § 4.2). Зуо, Тюрксен, Нгуен и Крейнович в работе [369] рассматривают эту проблему и находят ее решение. Оказывается, что максимум и минимум вероятности формулы соответствуют ее дизъюнктивной и конъюнктивной нормальным формам — DNF(f) и CNF(f).
Предложение 2.3. Пусть f^(p(x)) = 1 — р(х), f& = min и fv = max. Тогда:
для любой пропозициональной формулы f (х;,..., хт) и для всех величин p(xj),... ,p(xm)
PDNF(f)(P(xi)> I • • • >р(Хщ)) < Pf(p(Xl),...,p(Xm)) <
<PCNF(f)(P(XlP(xm));
для любой пропозициональной формулы f(p(xi),... ,p(xmJ) и для любых интервалов p(xi),..., p(xn) С [0; 1]
PDNFffJ^P^i^-’P^)) <P7(p(xi),...,p(xm)) <
<p^(p(x1),...,p(xm)) <pJNF(f)(p(x1),...,p(xm)).
§2.6. Семантика точечных и интервальныхмер доверия
Последним замечанием, которое хочется здесь сделать, является то, что интервальная оценка имеет более богатую семантику, причем это не исчерпывается тем фактом, что в интервал помещается несколько точечных вероятностей. Предположим, известно, что мера доверия некоторой пропозиции х в некотором аппарате, использующем точечные оценки, равна 0.5. Это может означать следующее:
данная пропозиция действительно выполняется с вероятностью 0.5;
информация, которая бы позволила предпочесть х или х, недоступна.
В рамках точечных оценок мы не можем различить эти два варианта. Однако в реальности их семантика может кардинально отличаться. Пусть, например, в рамках медицинского приложения этих методов база знаний сообщила о действенности нового лекарства — вероятность излечения больного равна 0.5. В первой ситуации, когда это действительно вероятность излечения, это лекарство не следует применять — нужно искать более эффективные методы лечения. Во второй ситуации, когда это свидетельствует о недостатке информации, следует запросить дополнительную информацию от экспертов или производителя.
Если бы оценки были интервальными, то различение между этими двумя ситуациями было бы очевидным: в первом случае оценка была бы похожа на р(х) € [0.4; 0.6], а во втором — на р(х) € [0;1]. Это — естественное следствие лишней размерности, которую получает интервальная оценка по сравнению с точечной. Интервальную оценку можно задать двумя числами: серединой интервала и его длиной. Длина интервала показывает, насколько уверены мы в этой интервальной оценке. Хочется употребить термин дисперсия, но он здесь явно излишен: «распределение вероятностей», соответствующее интервальной оценке, можно представить себе каким угодно — равномерным, треугольным, нормальным с «обрезанными концами» и т.д.; вероятно, наиболее естественным было бы равномерное распределение, но его дисперсия — это d2/3, где d — длина интервала; трудно придумать разумную семантику для этой величины.
Интервалы высших порядков
Порассуждаем немного о мотивации, которую мы излагали в § 2.2. Итак, предположим, что мы хотим воспользоваться подходом Ехр2 — голосованием. Рассуждая о нем, мы пришли к выводу, что некорректно пытаться заставить каждого эксперта выразить свое мнение однозначно — более полное описание существующих мнений будет задаваться двумя числами: долей экспертов, проголосовавших «за», и долей экспертов, проголосовавших «против».
Что такое доля экспертов, проголосовавших «за» утверждение х? Это — отношение количества экспертов N(x), проголосовавших «за» х, к общему количеству экспертов х. Если мы теперь применим к этому числу рассуждения, которыми мы оперировали в пункте Ехр2 (первый из приведенных там аргументов), то увидим, что доля N(x)/N не может быть задана точно — это статистическая величина, у нее есть доверительный интервал, да и просто — невозможно различить значения в [N(x)-1. N(x)+11 интервале I —^—; —^— I.
Мы пришли к мысли о том, что значения границ интервальной оценки вероятности тоже могут (а возможно, и должны) быть интервальными. Например, в конструкции, которую мы описали в предыдущем абзаце, вероятность пропозиции х будет в конце концов описываться парой интервалов [Bel [х];Р1 [х]], где Bel[x] = [Ве1“[х];Ве1+[х]], Р1[х] = [Р1~[х];Р1+[х]]. Атанасов назвал этот аппарат интервалъ- нозначной интуиционистской нечеткой логикой, рассмотрел его в работах [136,138] и применил в химической промышленности в [134].
Семантика происходящего в принципе ясна. Эксперт хочет выдать интервальную оценку вероятности. Для некоторых значений эксперт уверен, что они входят в эту оценку, для некоторых — сомневается. Так и возникают «размазанные» границы. То есть, фактически мы должны описать степень уверенности эксперта не в х, а в том, что данное d может быть степенью уверенности эксперта в х.
Никто не мешает продолжать, итерировать этот процесс. В самом деле, эксперт может сомневаться в том, входит ли данное значение вероятности в интервал тех, о которых он сомневается; и уж наверняка он не может с точностью сказать, с какой именно степенью уверенности он полагает, что данное значение р может быть его степенью уверенности в х. Таким образом возникают объекты, которые получили название вероятностей п-го типа (они проиллюстрированы на рис. 2.1).
третий типтретий типвторой типвторой тип
третий тип
третий тип
второй тип
второй тип
первый тип
Рис. 2.1. Вероятности п-го типа.
Однако для описания вероятностей n-го типа нужно хранить очень большой (растущий, разумеется, экспоненциально с ростом п) массив данных, и алгоритмы его обработки также проще не становятся. Даже вероятности второго типа получили лишь весьма ограниченное применение [320,356,357,367].
Статистическая информация
Эксперт — вовсе не обязательно человек. Зачастую в качестве эксперта выступает накопленное (людьми, конечно) априорное неформализованное знание (можно смело предполагать, что оно не формализовано: если бы это было не так, нужды в экспертной системе, скорее всего, не было бы). Такое знание практически всегда носит статистический характер.
Несмотря на то что статистика — вполне точная наука, она не может давать точных, однозначных результатов. В любом ее выводе заложен некий доверитедън'ый интервал, границы которого отделяют вероятное от маловероятного (граница маловероятного, как правило, определяется произвольным образом — для разных предметных областей она разная). Таким образом, для обработки статистической информации интервальные оценки вероятностей также подходят гораздо лучше, чем точечные.
Попытки внести интервальные оценки вероятностей в статистику уже предпринимались. В работе П. Уолли [351] приведена одна из та-
ких попыток. Уолли фактически предложил метод статистического вывода, который выдает интервальные оценки, основываясь на множествах статистических гипотез. Имеющиеся данные, как правило, позволяют отмести некоторые гипотезы как маловероятные, но дают слишком мало информации, чтобы однозначно предпочесть какую-то одну гипотезу из набора вероятных гипотез. И в этом случае интервальные оценки вероятностей оказываются предпочтительнее точечных.
Заключение
Итак, наше рассмотрение неизбежно подводит к мысли о том, что интервальные оценки вероятности суждений являются не менее естественными и востребованными, чем точечные. Они предлагают еще одну, дополнительную, размерность, отражающую нашу уверенностъ в оценке, а также естественным образом возникают из логических и статистических соображений.
Интервальные оценки вероятности (или других мер истинности) имеют в искусственном интеллекте давнюю историю и успешно применяются для решения самых разнообразных задач. В частности, они стали одним из основным инструментов для представления неопределенности в алгебраических байесовских сетях, рассматриваемых нами как математическая модель баз фрагментов знаний.
В главе 1 уже сравнивались различные подходы к моделированию баз фрагментов знаний с неопределенностью. Теперь наш путь лежит к математическим основам теории байесовских сетей — от классической теории вероятностей до теории линейного программирования.
Глава 3
Основные понятия теории вероятностей
Не следует считать бесполезными те науки, которые сами по себе не имеют никакого практического применения, но способствуют развитию остроты и упорядоченности мысли.
Фрэнсис Бэкон
Pure mathematics is on the whole distinctly more useful than applied. Por what is useful above all is technique, and mathematical technique is taught mainly through pure mathematics.
G. H. Hardy3
Though there be no such thing as Chance in the world; our ignorance of the real cause of any event has the same influence on the understanding, and begets a like species of belief or opinion.
David Hume
My thesis, paradoxically, and a little provocatively, but nonetheless genuinely, is simply this: PROBABILITY DOBS NOT EXIST.
Bruno de РгпеШ3
Введение
Аппараты, о которых пойдет речь в этой книге, предназначены для того, чтобы рассуждать о вероятностях, в первую очередь — о вероятностях как о мерах истинности и мерах неопределенности. Если мы —
для удобства читателей — хотим сделать эту книгу в достаточной мере self-contained, представляется естественным ввести основные понятия теории вероятностей.
Не пытаясь представить полное изложение основ теории вероятностей так, как это сделали Феллер [115] или Ширяев [121], мы построим изложение таким образом, чтобы покрыть исключительно те элементы теории вероятностей, которые пригодятся нам в дальнейшем. Поскольку количество пропозиций, о которых мы можем рассуждать в реальной ситуации, всегда конечно, мы фактически ограничимся дискретным, даже более того — конечным случаем. Непрерывные распределения — хотя только с них начинается «настоящая» теория вероятностей, где видны основные проблемы этой науки — останутся за пределами этой главы. Мы рекомендуем классические источники, которые наверняка еще надолго останутся образцами учебных пособий по этой науке [26,115,121].
Все, что нам потребуется в данной главе, — это интуиция, выработанная, наверное, уже Лапласом, формулы, наиболее сложная из которых принадлежит Байесу, и классическая аксиоматика, разработанная Колмогоровым (мы могли бы и ее не упоминать, но в главе 4 мы будем рассуждать о вероятностных логиках, и владение классическими аксиомами вероятности будет необходимо для понимания логических их надстроек). Однако, рискуя вызвать недовольство искушенного читателя, мы все же изложим этот аппарат, так как он чрезвычайно важен для понимания остальной части книги. Читателям, хорошо знакомым с основами теории вероятностей, мы рекомендуем сразу перейти к следующей главе.
Интуиция: повторяемые эксперименты
В классическом изложении теория вероятностей начинается как теория экспериментов, которые можно повторить. Вероятность в этом случае имеет семантику частоты появления того или иного исхода в качестве результата проводимого эксперимента. Классический пример (восходящий, разумеется, к тому же Лапласу, который разрабатывал теорию вероятностей как теорию азартных игр) — подбрасывание монетки. «Орел» и «решка» представляют собой множество возможных исходов, а частота появления каждого из них (конечно, если монетка
честная) стремится к 1 /2. Данный подход не является единственным. Другим в достаточной степени естественным философским подходом к вероятности является так называемый субъективный подход, идеологически тесно смыкающийся со степенями доверия, на которых основаны многие системы обработки знаний с неопределенностью. Примеры таких систем будут рассмотрены в главе 5.
Как правило, аппараты байесовских сетей применяются в следующей ситуации: имеется набор пропозиций (событий), которые каким-то образом связаны друг с другом. Эксперты высказывают суждения о вероятности истинности пропозиций. Задача сети — связать друг с другом высказывания экспертов непротиворечивым (с точки зрения как аксиоматики теории вероятностей, так и увязывания друг с другом всех исходных данных) образом и учесть поступающие на вход свидетельства: фактическую информацию о том, что произошло, или новые данные о вероятностях участвующих в сети пропозиций. Такая ситуация полностью укладывается в классически-статистический подход к пониманию вероятностей.
События и элементарные события.Вероятность
Самые базовые понятия теории вероятностей — это понятия элементарного события и, соответственно, события. Определять, что такое элементарное событие, столь же бессмысленно, сколь пытаться определить энергию в рамках классической механики или (существенно более близкий пример) точку в рамках теории множеств. Это —- базовый элемент, атом теории вероятностей. Элементарные события дизъюнктны и представляют собой всевозможные варианты исхода того воображаемого эксперимента, о котором шла речь в предыдущем параграфе. Множество (пространство) элементарных событий — это область определения вероятности. Событие же — это некоторое множество элементарных событий (пользуясь логическим языком, — их дизъюнкция).
Наиболее точной интуицией как раз и являются точки. События — это множества элементарных событий, точно так же, как множества евклидова пространства состоят из точек.
В рамках теории байесовских сетей элементарные события — это кванты, которые могут выражаться через базовые элементы сети —
атомарные пропозициональные формулы. События же — это множества логических утверждений, т.е. дизъюнкции квантов, или (эти «то есть» и «или» будут подробно разъяснены в § 4.3, где мы введем вероятность на пропозициональных формулах) наборы элементарных событий. В результате вероятность естественным путем будет задана на конъюнкциях атомарных пропозициональных формул и продолжена с них на всевозможные пропозициональные формулы.
В конечном (и вообще дискретном) случае ввести понятие вероятности очень просто.
Определение 3.1. Пусть задано пространство элементарных событий S. Тогда вероятность — это числовая функция р : S —> [0;1], такая, что
}2p(s) = 1.(3.1)
s€S
На всякий случай еще раз подчеркнем, что для всякого s 6 S по определению вероятности p(s) > 0.
Эта функция тривиальным образом продолжается до множества подмножеств S. Вероятность события X С § определяется как
' p(X)=£p(s).(3.2)
sex
Операции над событиями
Операции над событиями полностью соответствуют операциям над множествами. События можно объединять, пересекать и брать дополнение события. Посмотрим, что будет происходить с вероятностью результата.
Начнем с операции дополнения, как с самого простого случая. Дополнение события X — это событие X = S \ X. Соответственно, по формулам (3.1) и (3.2),
р(Х) = £_p(s) = 22p(s) - 22.p(s) = 1 — р(Х).seXs€Ssex
Наиболее употребима в дальнейшем будет операция пересечения, соответствующая в аппарате байесовских сетей логической конъюнк-
ции. Очевидно, что
р(Х П Y) < р(Х), р(Х П Y) < p(Y),(3.3)
так как событие X Г) Y — подмножество каждого из событий X и Y. Из формул (3.1) и (3.2) можно также получить следующее свойство:
p(XnY) = 1 -p(XnY) = 1 - У" p(s) >
s£X,s£Y
> 1 - (£p(s) + £p(s)) = 1 - (p(X) +p(Y)) = p(X) + p(Y) - 1. (3.4) s^Xs£Y
Оказывается, что (3.3) и (3.4) — это все, что можно сказать о вероятности пересечения X П Y при данных р(Х) и p(Y). Она остается неопределенной и может изменяться в пределах
p(XnY) е [max{0,p(X) +p(Y) - 1};min{p(X),p(Y)}| в зависимости от взаимного расположения событий X и Y.
Пример 3.1. Вероятность пересечения
Если X С Y, то р(Х П Y) = р(X).
А если Y С X, то р(ХП Y) = max{0,p(X) +p(Y) — 1].
Перейдем к вероятности объединения р(Х U Y). Она однозначно выражается через вероятности р(Х), p(Y) и вероятность пересечения p(XDY):
p(XUY) = У" p(s) = У~ p(s) + У" p(s) - У" p(s) = sEXUYsEXsEYsEXDY
= p(X)+p(Y)-p(XnY).
Для понимания интуиции, лежащей за теорией Демпстера- Шеффера (см. § 5.2), очень полезным оказывается следующее несложное обобщение доказанной выше формулы.
Предложение 3.1. Пустъ X], Х2,..., Хп — события. Тогда
P(UX^=E^- L Р(ХгПХ))+ У р(ХгПХ)ПХк)-... г=1г=11<1<)<тг1<icj<k<n
... + (-1 ^-^(Х! П Х2 п ... П Хп). (3.5)
Доказательство. Доказательство ведется по индукции. База индукции (случай двух множеств) уже была доказана выше. Предположим, что предложение верно для любых (п — 1) события. Тогда
(
п\/п—1\/п—1\
UXi =р XnU U Xi =p(Xn)+p U Xi -р(Х1ПХ2П...ПХп).
1=1/\1=1/\г=1/
Подставляя в эту формулу индукционное предположение, немед
ленно получим искомое.
. Алгебры. Вероятностные пространства.Аксиоматика
В этом параграфе мы дадим строгую формализацию приведенных выше рассуждений. Эта формализация — аксиоматика теории вероятностей — впервые была дана А. Н. Колмогоровым. Она позволяет рассуждать о вероятности, не обращаясь к интуитивным, имеющим физическую природу представлениям, таким как повторяемый эксперимент или частота появления того или иного исхода, а рассуждать строго математически, формально.
Для того чтобы формально ввести вероятность, нужно сначала ввести область ее определения. Пусть S — произвольное множество элементарных событий, а X — некоторая система его подмножеств.
Определение 3.2. X называется алгеброй, если выполняются следующие условия:
XI. S е X.
Х2. Если X € X u Y € X, то X U Y € X, X П Y 6 X.
ХЗ. Если X € X, то X € X.
Иными словами, алгебра — это набор множеств, замкнутый относительно операций объединения, пересечения и дополнения. В теории вероятностей вероятность вводят, как правило, не на алгебре, а на а- алгебре («сигма-алгебре»), замкнутой относительно не конечного, как в определении 3.2, а счетного числа таких операций. Однако для наших целей достаточно рассматривать алгебры, так как в случае конечного S они совпадают с ст-алгебрами.
Рис. 3.1. Два события.
Пример 3.2. Алгебра, порожденная двумя событиями
Рассмотрим простейший пример алгебры — алгебру, порожденную двумя событиями. Предположим, что имеются два события А и В (см. рис. 3.1). Тогда алгебра, ими порожденная, имеет следующий вид:
Х = {0, А, В, А, В, АП В, A U В, Ап В, A U В, АП В, A U В, Ап В, A U В, 8}.
Итак, предположим, что у нас есть пространство элементарных событий S и система его подмножеств X, являющаяся алгеброй. Тогда можно аксиоматически ввести понятие вероятности следующим образом.
Определение 3.3. Вероятность на (8,Х) — это числовая функция р, определенная на множествах из X и обладающая следующими свойствами:
Р1. р(Х) > 0 для любого X G X.
Р2. р(8) = 1.
РЗ. Если не более чем счетное (в нашем случае — всегда конечное) множество соб-ытий {Хп} таково, что Xi П Xj = 0 для всех г / j, и Xt е X, Un^n е ^' то
p(Ux4 -Ер^).\ и / п
При выполнении этих условий тройку (8,Х,р) называют вероятностным пространством.
Если пользоваться языком теории меры, то задание вероятностного пространства — это задание счетно-аддитивной неотрицательной меры на измеримом пространстве 8, такой, что мера 8 равна 1.
Последним важным утверждением в этом параграфе станет следующее предложение.
Предложение 3.2. Если pi,P2>... ,pn — вероятности на одной и той otce паре (S, X), а «1, «2,..., ап — такие вегцественные числа, что оц. > 0, 227 «г = 1, то линейная комбинация
и
Р = У «гРг
г=1 является вероятностью на (S,X).
Доказательство. Выполнение всех трех аксиом вероятности для р очевидным образом следует из того, что 227 “г = 1.□
. Внешние и внутренние меры
В определении, данном в предыдущем параграфе, алгебра X вовсе не обязательно должна совпадать с алгеброй 2s всех подмножеств множества S. Что можно сказать о вероятностях тех событий, которые в нее не вошли?
Как и в классической теории меры, события, не входящие в алгебру X, на которой задана вероятностная мера р, называются неизмеримыми. Невозможно однозначно присвоить неизмеримому событию X меру р(Х). Однако эту меру можно оценить снизу и сверху, используя естественное соображение о том, что мера множества должна быть не меньше, чем мера любого его подмножества:
р(А) <р(Х) <р(В), VA С X С В, А,В е X.
Очевидно также, каковы наиболее строгие оценки, которые только возможно получить таким путем:
р( U а)^р(х)^р( П в|-
\АСХ, АеХ /\BDX, вех /
Для нашего конечного случая не нужно делать никаких оговорок, связанных с объединениями или пересечениями слишком большого числа множеств: входящие в левую и правую части формулы множества в любом случае измеримы.
Теперь представляется естественным ввести две новых функции, свойства которых похожи на свойства вероятностных мер:
p-(X)=p (J\АСХ, АеХp-(X)=p (J\АСХ, АеХР+(Х)=р Р|\вэх, вехР+(Х)=р Р|\вэх, вех
p-(X)=p (J
\АСХ, АеХ
p-(X)=p (J
\АСХ, АеХ
Р+(Х)=р Р|
\вэх, вех
Р+(Х)=р Р|
\вэх, вех
р (X) называется внутренней мерой на 2s, порожденной мерой р на X, а р+(Х) — внешней мерой на 2s, порожденной мерой р на X.
Предложение 3.3.
р~(Х) > 0 и р+(Х) > 0 для любого X € X.
p"(S) = 1, р+(§) = 1.
Если не более чем счетное (в нашем случае — всегда конечное) множество событий {Хп} таково, что Xi Г) X, = 0 для всех г / ), u Xi € X, Un^n € X, то
РРР
Р
Р
Если не более чем счетное (в нашем случае — всегда конечное) множество событий {Хп} таково, что Xi П Xj = 0 для всех г / j, и Xt е 2s (не обязательно Xi е X), то
Р
Доказательство. Свойства 1, 2 и 3 очевидны, так как р~ и р+ совпадают с р на X. Свойство 4 доказывается по индукции, точно такой же, какую мы уже использовали в доказательстве предложения 3.1. И база индукции, и индукционный переход получаются следующим образом: пусть X, Y С S, X П У = 0. Тогда, по определению р- и свойствам вероятностной меры р,
р (Х)+р (У) = р I (J
всу вехвсу вех\ АСХ, АеХ
всу вех
всу вех
= Р= РU (AUB) <
= Р
= Р
,BCY,A,BeX/
<Р U A =P-(XUY). \ACXUY,AeX /
Доказательство для р+ абсолютно аналогично.□
Аппарат внешних и внутренних мер пригодится нам в § 4.7, а сейчас мы приведем пример, который будет в § 4.7 продолжен (см. пример 4.6).
Пример 3.3. Внешняя и внутренняя меры
Пусть объемлющая алгебра X порождается двумя множествами — А и В. Тогда в наиболее общем случае (множества А и В не покрывают S, имеют нетривиальное пересечение, не содержатся друг в друге) алгебра X имеет вид (см. пример 3.2)
Х = {0, А, В, А, В, АП В, A U В, АП В, A U В, АП В, A U В, АП В, A U В, 8}.
Зададим вероятностную меру р на подалгебре X', которая порождена множествами А П В, А П В и В, следующим образом:
р(АЛВ) =0.1,
р(АпВ) =0.5,р(В) =0.4.
Это позволяет нам доопределить меру на алгебру
X' ={0, АП В, АП В, В, В, A U В, А U В, 8}.
У нас появились неизмеримые множества, например А. Найдем внешнюю и внутреннюю меры множества А:
р-(А) =р(АЛВ) =0.1,
р+(А) =p(AUB) = 1 — р(АЛВ) = 0.5.
Кроме того, понятия внешних и внутренних мер наглядно проиллюстрированы на рис. 3.2. Кривая линия «берега» ограничивает неизмеримое множество, а ступенчатые области — измеримые, которыми можно максимально точно приблизить неизмеримое сверху и снизу (базис измеримых множеств — это блоки, разграниченные на рисунке штриховыми линиями). Площади этих ступенчатых областей и дадут нам внешнюю и внутреннюю меры области, ограниченной «береговой линией» и координатными осями.
Рис. 3.2. Внешние и внутренние меры.
. Условные вероятности
Без преувеличения можно сказать, что понятие условных вероятностей играет центральную роль в классической теории вероятностей: через них определяется ключевое понятие независимости, и сами они также возникают в огромном числе задач, как теоретических, так и практических. Для нас они представляют особенный интерес, поскольку именно на условных вероятностях построены байесовские сети доверия — один из двух основных рассматриваемых в этой книге аппаратов.
Суть вопроса очень проста и может быть проиллюстрирована на карточно-азартном примере: предположим, что мы играем в покер и пытаемся оценить вероятность того или иного расклада. Предположим, что мы рассчитали интересующие нас вероятности для закрытой случайным образом перетасованной колоды. Дилер начинает сдавать колоду, и у нас тут же появляется новая информация: мы видим открытые дилером карты. Очевидно, эта информация должна повлиять на рассчитанные нами вероятности: если на столе у дилера три пиковые карты, то вероятность собрать пиковый флеш должна резко возрасти.
Иными словами, мы уже хотим знать не абстрактную вероятность собрать пиковый флеш, а вероятность собрать пиковый флеш при условии наличия трех пиковых карт у дилера. Аппарат условных вероятностей предназначен как раз для таких случаев.
Определение 3.4. Условной вероятностью события X при условии события Y с p(Y) > О называется величина
„(XIV) - p|XY|pl 1 1" w
Легко видеть, что выполняются следующие свойства условных вероятностей:
р(Х|Х) = 1,
р(0|Х)=О,
p(X|Y) = 1, X D Y,
p(Xi U X2|Y) = p(Xi|Y) + P(X2|Y), X, П X2 = 0.
Ограничение p(Y) > 0 можно снять, если переформулировать определение так: условная вероятность X при условии Y — это такая величина p(X]Y), что p(X|Y)p(Y) = p(XY). В таком случае p(X|Y) при p(Y) = О может принимать любое значение.
Можно заметить, что при фиксированном множестве Y условная вероятность p(-|Y) обладает теми же свойствами на пространстве (S П А, X П А), что и исходная вероятность р на пространстве (S, X).
Отметим теперь несколько фактов об условных вероятностях, которые будут постоянно использоваться в дальнейшем. Будем говорить, что события Xi,..., Хп образуют разбиение S, если UC=i Xi = S, XiCiX, = 0 и p(Xt) >0, г, j еТ(1К i/j.
Предложение 3.4.
Формула полной вероятности. Если события Xi,..., Хп образуют разбиение S, то
p(Y) = ^p(Y|Xt)p(Xi).г=1
В частности, если р(Х) > 0, то
p(Y)=p(Y|X)p(X)+p(Y|X)p(X).
Формула умножения вероятностей. Если события
Xi, Хг,..., Хп таковы, что p(Xi П Х2 П... П Хп) > 0, то р(Х1 П ... П Хп П Y) = р(Х, )р(Х2|Х! )p(X3|Xi П Х2)... p(Y|X] П ... П Xn)).
Теорема Вайеса. Если события Xi,..., Хп образуют разбие
ние S и p(Y) > 0, то
,у (Y1 _ p(Xi)p(Y|Xj)
pl ll J Е?=1Р(Х1)р(^)-
В частности,
р(Х|У) = РЩ)
Доказательство. Доказательство всех трех пунктов представляет собой несложную индукцию и оставляется читателю в качестве
□□упражнения (см., например, [115]).
□
□
Пример 3.4. Три ящика
Мы решили проиллюстрировать понятие условной вероятности забавным и с первого взгляда парадоксальным примером, который скорее относится к области «рекреативной математики» и стал в ней уже классическим. Рекомендуем незнакомым с этим примером читателям сначала самостоятельно поразмыслить над ним, и лишь затем читать объяснения и доказательства.
Итак, предположим, что вы играете в азартную игру. Суть стоящей перед вами задачи — выбор одного из трех вариантов (например, перед вами три ящика, и лишь в одном из них находится приз). Все три ящика выглядят абсолютно одинаково. Ведущий предлагает вам сделать выбор. После того как вы указываете на выбранный вами ящик, ведущий открывает один из двух оставшихся и демонстрирует, что он пуст (очевидно, он всегда может это сделать — даже если вы ошиблись, приз только в одном из двух оставшихся ящиков). Затем он спрашивает, не хотите ли вы изменить свое решение. Какая стратегия наиболее выгодна и каковы вероятности появления приза в любом из двух оставшихся ящиков (если исходные вероятности появления приза в каждом из ящиков были равны 1 /3)?
Подавляющее большинство людей (проверьте!), отвечая на этот вопрос, не задумываясь говорят, что вероятность найти приз в любом из оставшихся ящиков равна 1 /2, а, значит, менять решение нет никакого смысла. Интуиция подсказывает, что ведущий всегда мог показать один из оставшихся ящиков, поэтому никакой информации он вам этим не сообщил, и выбор остается равновероятным.
Однако на самом деле это не так! Изменить решение оказывается выгодным в 2/3 случаев, и лишь в 1 /3 приз оказывается в выбранном изначально
ящике. Мы сначала поясним это чисто формально, а затем прокомментируем «интуитивно очевидное» рассуждение об информации, которую вам якобы не сообщили.
Обозначим события, соответствующие попаданию приза в ящик 1, через А], в ящики 2 или 3 — через А2 и Аз соответственно:
p(Ai) =р(А2) =Р(А3) = 1/3.
Предположим, что вы выбрали ящик номер 1. Будем считать, что ведущий, если вы угадали правильно, открывает любой из оставшихся ящиков с вероятностью 1 /2. Обозначим события, соответствующие открыванию ящиков 2 и 3, через В2 и В3. Тогда стратегию ведущего можно описать так:
р(В2|А1) = 1/2, р(В2|А2)=0, р(В2|А3) = 1,р(В3|А1) = 1/2, р(В3|А2) = 1, р(Вз|А3)=0.
Предположим, что ведущий открыл ящик номер 2. Вычислим условные вероятности попадания приза в ящики 1 или 3, используя теорему Байеса:
р(А3|В2) =р(А3|В2) =Р(А3|В2) =Р(А3|В2) =p(Ai)p(B2|Ai)Ef=i P(Ai)p(B2|At)р(А3)р(В2|Аз)Ei=iP(Ai)p(B2|Ai)p(Ai)p(B2|Ai)Ef=i P(Ai)p(B2|At)р(А3)р(В2|Аз)Ei=iP(Ai)p(B2|Ai)_ 3 ’ 2ii+jo+i’_ 3 ’ 2ii+jo+i’М + з-о + НМ + з-о + Н“ 3’“ 3’_ 2“ 3'_ 2“ 3'
р(А3|В2) =
р(А3|В2) =
Р(А3|В2) =
Р(А3|В2) =
p(Ai)p(B2|Ai)Ef=i P(Ai)p(B2|At)
р(А3)р(В2|Аз)
Ei=iP(Ai)p(B2|Ai)
p(Ai)p(B2|Ai)Ef=i P(Ai)p(B2|At)
р(А3)р(В2|Аз)
Ei=iP(Ai)p(B2|Ai)
_ 3 ’ 2
ii+jo+i’
_ 3 ’ 2
ii+jo+i’
М + з-о + Н
М + з-о + Н
“ 3’
“ 3’
_ 2
“ 3'
_ 2
“ 3'
Voilci! С вероятностью 2/3 приз лежит в ящике номер 3, и вам выгодно менять решение. Теперь можно и успокоить потревоженную интуицию. На са-
мом деле это решение интуитивно совершенно понятно, нужно лишь не отмахиваться от задачи стандартной отговоркой о «прочих равных», а задуматься: действительно ли прочие — равные?
Дело в том, что при исходном выборе (без дополнительной информации) вероятность угадать равна строго 1 /3. Иными словами, вероятность не угадать (т.е. вероятность того, что приз в одном из двух других ящиков) равна 2/3. Если бы можно было, приняв решение, взять не выбранный ящик, а два других, нужно было бы так и сделать. Но именно это и предлагает ведущий! Он элиминирует вероятность неправильного выбора из двух ящиков, которая мешает с самого начала предпочесть два ящика одному, и фактически предлагает выбор между одним ящиком и двумя.
. Независимость. Условная независимость
Еще одним основополагающим понятием теории вероятностей является понятие независимости. Нестрого говоря, оно означает, что наступление одного из событий никак не влияет на наступление другого;
иными словами, свидетельство о том, что одно из них имеет место, ничего не добавляет к нашему знанию о другом (не изменяет оценку его вероятности).
Определение 3.5. События X u Y называются независимыми относителъно вероятности р, если
р(Х П Y) = p(X)p(Y).
Отметим, что если р(Х) > 0, то независимость событий X и Y эквивалентна мотивированному в первом абзаце этого параграфа условию
p(Y|X)=p(Y).
И в любом случае из определения следует, что р(Х П Y) = p(X)p(Y) для всякой комбинации множеств и их дополнений. Например:
р(Х П Y) = p(Y) - р(Х n Y) = p(Y) - p(X)p(Y) = p(X)p(Y).
Обобщим понятие независимости. События X], Х2)..., Хп называются независимыми в совокупности (или просто независимыми), если для любых к € 1 (1 )п и индексов 1 < ii < ... < ik < n
p(XhXi2 .. .Xk) = p(Xt, )p(Xi2).. .p(Xik).
Пример 3.5. Особенности независимости
Следующий важный контрпример показывает, что из попарной независимости событий отнюдь не следует их независимость в совокупности. Пусть 8 = {$1,$2,$3,84], и все исходы равновероятны (иными словами, p($t) = 1/4). Тогда события
X = {s1,s2), Y = {s1)s3}, Z = {si,s4} попарно независимы, но
p(XnYnZ) = 1 / 5 =p(X)p(Y)p(Z).
Ч о
Сходный пример может быть визуализирован как игральная кость в форме правильного тетраэдра, три стороны которого раскрашены в желтый, красный и зеленый цвета, а четвертая считается выкрашенной во все три цвета сразу (см. рис. 3.3). Тогда вероятность появления каждого из цветов равна 1/2, но появление двух цветов одновременно эквивалентно появлению и третьего цвета тоже, что нарушает требования независимости.
Два введенных нами в этом параграфе понятия — условные вероятности и независимость — сочетаются в едином понятии условной
Рис. 3.3. Раскрашенный тетраэдр.
независимости. Оно играет очень важную роль в аппарате байесовских сетей доверия — лишь предположения об условной независимости d- разделимых узлов сети позволяют выделить единственное распределение вероятностей над элементами байесовской сети доверия (см. главу 14).
Определение 3.6. События, X u Z условно независимы при условии события Y, если
р(Х П Y П Z)p(Y) = р(Х П Y)p(Y П Z).
Отметим, что если p(Y) > 0, то X и Z условно независимы относительно Y тогда и только тогда, когда
p(XnZ|Y)=p(X|Y)p(Z|Y).
Это условие иногда принимают в качестве определения условной независимости, но мы избрали тот вариант определения, в рамках которого p(Y) может быть равен нулю; иногда (например, в апостериорном выводе в алгебраических байесовских сетях — см. главу 11) это оказывается важным.
Случайные величины.Математическое ожидание
В предыдущих главах мы подробно рассмотрели основные объекты теории вероятностей — события и задаваемую на них функцию вероятности. Настала пора сделать шаг вперед: перейти от событий к функциям на них — так называемым случайнъсм величинам. На самом деле, мы уже рассмотрели много разных случайных величин, и не подозревая о том, что разговариваем прозой. А теперь давайте дадим общее определение.
Определение 3.7. Пуст/ь (S,X,p) — вероятностное пространство. Случайная величина £ — это измеримая функция, отобра- эгсакпцая S в вещественные числа R.
«Измеримая», как всегда, означает, что прообразом любого измеримого (не желая вдаваться в теорию меры, отметим просто, что здесь мы имеем в виду стандартную борелевскую меру на прямой — за подробностями рекомендуем обратиться к [94]) множества вещественных чисел является измеримое множество вероятностного пространства, т.е. множество, лежащее в алгебре X.
Пример 3.6. Два кубика
Предположим (классический пример), что мы бросаем два честных (равновероятных и независимых друг от друга) кубика ti и £2> грани которых пронумерованы от 1 до 6. Суммарное количество очков £ (равно как и результаты бросания каждого кубика ti и £2) — это случайная величина, причем разные ее значения соответствуют разному количеству элементарных случайных событий, например:
р(£ = 2)=р(£1 =1,£2 = l)=p(£i =1)р(£2 = 1) = 11 = 1,
6 636
66
p(£ = 7) = ^p(£i = i,£2 = 7-i) = ^(p(£i = i)p(£2 = 7-i)) = i=1i=l
Нас будут интересовать только дискретные случайные величины, т.е. величины, заданные на дискретном множестве событий. Это мож-
Р(1 = &)'Р(1 = &)'Р(£ = &)Р(£ = &)Р(^ = Й)Р(^ = Й)Р^ = ^5)Р^ = ^5)P(Wl)-P(Wl)-Р(1 = &)Р(1 = &)Р(£ = &)Р(£ = &)Рис. 3.4. Плотность вероятности дискретной случайной величины.Рис. 3.4. Плотность вероятности дискретной случайной величины.
Р(1 = &)'
Р(1 = &)'
Р(£ = &)
Р(£ = &)
Р(^ = Й)
Р(^ = Й)
Р^ = ^5)
Р^ = ^5)
P(Wl)-
P(Wl)-
Р(1 = &)
Р(1 = &)
Р(£ = &)
Р(£ = &)
Рис. 3.4. Плотность вероятности дискретной случайной величины.
Рис. 3.4. Плотность вероятности дискретной случайной величины.
f(x) = <f(x) = <V^ = M, О,V^ = M, О,но сделать, просто задав их значения на каждом элементе пространства элементарных событий {£,(си)|а> 6 8}. Обозначим возможные значения £, через £,], ^2 и т.д., а через (£ = £,t) будем обозначать множество, являющееся прообразом £,| под действием £ (отметим, что случайная величина может иметь одно и то же значение на разных элементарных событиях, и событие (£, = £,<.) вовсе не обязательно является элементарным). Тогда говорят, что функция
f(x) = <
f(x) = <
V^ = M, О,
V^ = M, О,
если х = £,t, в противном случае
называется плотностью распределения случайной величины Е,-
Пример графика плотности распределения дискретной случайной величины приведен на рис. 3.4. Затемненная площадь под графиком плотности (интеграл плотности по всему вероятностному пространству) должна быть равна единице.
Если имеются, например, две случайные величины £, и ф с возможными значениями £4 и фр то можно задать их совместное распределение вероятностей, задав вероятности событий
p({iv € 8 : (t(cv) = £,t) П (ф(си) = ф^})
для всех г и j. Сведения о совместном распределении двух дискретных конечнозначных случайных величин можно представить, в частности, в виде таблицы.
Аналогично можно задать совместное распределение вероятностей п случайных величин. Случайные величины t1,^2,...,^ называются независимъили, если для любой комбинации их значений
р(^ = ^Д2 = ^>---^п = ^п) =
= р(£1 =)p(t2 = 4) • • .p(tn = f£).
Еще одно важное теоретико-вероятностное понятие, которое нам будет требоваться в этой книге — понятие математического ожидания. Математическое ожидание — это, так сказать, наиболее вероятное средневзвешенное значение случайной величины, одно из обобщений арифметического подхода к вычислению средней величины. На самом деле оно не обязательно должно являться значением, но суть его в том, что при достаточно большом количестве экспериментов среднее значение измеряемой случайной величины будет стремиться к математическому ожиданию. Формально говоря,
E(t) = £(€,iP(t = £,i)).
Пример 3.7. Вычисление математического ожидания
В рассмотренной в примере 3.6 ситуации математическое ожидание случайной величины Е. равно (рекомендуем ранее не встречавшемуся с понятием математического ожидания читателю проследить за вычислениями самостоятельно)
E(t) = £ ip(t = 1) = 21 + 3^ + 4 A + 5 A + 6 A+ f—3636363636
г=2
+ 7A+8^+9A + ioA + nA + 12-L =7.363636363636
Таким образом, среднее значение выпадающей на двух честных кубиках суммы будет стремиться к 7 при возрастании количества испытаний.
Энтропия
Введенное в теорию информации Клодом Шенноном понятие энтропии играет важнейшую роль в современной информатике. Не избегнет его и наше изложение, хотя вопросы, связанные с энтропией, в теории алгебраических байесовских сетей пока в большинстве своем открыты. Так, например, одним из наиболее перспективных вариантов выделения одного распределения из получившегося в результате обработки данных и знаний с неопределенностью множества распределений мы считаем выбор того из них, которое максимизирует энтропию. В этом параграфе мы расскажем о том, что такое энтропия в интересующем нас дискретном случае, — для более фундаментального и математически строгого изложения как дискретной, так и непрерывной теории энтропии мы рекомендуем книгу [74].
Итак, энтропия — это мера неопределенности события. На самом деле, даже такое абстрактное и, на первый взгляд, ничего строго математического не дающее определение позволяет выяснить, как должна выглядеть функция энтропии, практически не оставив свободы выбора функции энтропии. Для этого нужно лишь подумать, какие интуитивные требования мы предъявляем к мере неопределенности. Во-первых, примем естественное предположение, что неопределенность зависит не от самих событий, а только от их вероятностей. Во-вторых, понятно, что мера неопределенности Л должна быть равна нулю, если событие точно произойдет: UM1. Л(1) =0.
В-третьих, если одно событие имеет меньшую вероятность, чем другое, то его наступление несет больше информации, сильнее уменьшает неопределенность; значит, и энтропия у него должна быть больше: UM2. Вели х > у, то Л(х) < Л(у) (функция Л монотонно убывает).
И, наконец, в-четвертых, логично предположить, что если два события независимы, то наступление каждого из них уменьшает общую неопределенность независимо от другого. Иными словами, их одновременное наступление (вероятность которого равна произведению вероятностей) уменьшает неопределенность на величину, равную сумме энтропий этих событий:
UM3. Л(ху) = Л(х)+Л(у).
Эти условия, особенно UM3, фактически предопределяют вид меры неопределенности — она обязана быть логарифмической функцией. А энтропия случайной величины — это математическое ожидание ее меры неопределенности. В дискретном случае это приводит нас к следующему определению.
Определение 3.8. Энтропия случайной величины £ со множеством возможных исходов {£,1,..., £,п}, определяется как
П-п
Н(£) = У>(£,г)1об2^ ^^P^^P^t)-
Стоит отметить, что энтропия не зависит от собственно случайной величины, а только от ее распределения pg. В дискретном конечном случае наиболее правильно, наверное, будет задать энтропию на векторе Pg значений вероятностей дискретных исходов:
п
н(р^ = -£р^2р^
г=1
Еще одно важное свойство, напрямую вытекающее из UM.3, состоит в том, что энтропия, задаваемая совместным распределением двух случайных величин, максимальна тогда, когда эти две случайные величины независимы.
Пример 3.8. Энтропия двух случайных величин с бинарными исходами Предположим, что у нас имеются две случайные величины £ и $, у каждой
из которых два исхода (обозначим их через 0 и 1). Пусть
pt(0) = p(t = O) = 0.4,Р$(0) = р(ф = 0) = 0.8.
Тогда их энтропия вычисляется следующим образом:
Н(£) = -pg(0)log2pg(0)-pg(l)log2pg(0) « 0.2923,Н(ф) = —P$(0)log2p$(0) — p$(1)log2p$(0) « 0.2173.
4 Зак. 3294
Отметим, что энтропия тем больше, чем ближе вероятности исходов друг к другу; для случайной величины с двумя равновероятными исходами энтропия была бы равна —0.5 log2 0.5 — 0.5 log2 0.5 « 0.30103.
Вычислим теперь совместную энтропию этих двух случайных событий в двух разных случаях. В первом случае события будут независимы, т.е.
р(1 = £,,4» = М») = Pt(^)p$(^)-
В этом предположении энтропия будет равна:
Н(£д|») = p£(0)p$(0)log2(pt(0)p$(0))+p£(0)p$(l)log2(pt(0)p$(1))-|-
+ P^(1)P^(0)log2(p^(1)p^(0)) + P£(1)p$(l)log2(p£(1)p$(1)) «0.5096.
А теперь подсчитаем энтропию в обратном предположении: пусть событие {t = 0} полностью включено в событие {*$ = 0}, т.е.
p(t = 0,4> = 0) =0.4, p(t = 1,ф = 0) = 0.4,р(£ = 0,ф = 1)=0, p(t = 1,^ = 1) =0.2.
Тогда энтропия будет вычисляться так (функцию xlogx в таких случаях доопределяют в нуле по непрерывности, то есть OlogO = 0):
Н(£ф) = p(t = о,ф = 0)iog2p(t = 0,ф = 0)+
+p(t = 1,4» = o)iog2p(t = i,4» — o)+
+p(t = о,4» = i)iog2p(t = о,4» = 1)+
+ p(t=1,$ = 1)log2p(t = 1,4> = 1)« 0.458.
Как видно, она получилась меньше, что подтверждает тезис о том, что энтропия максимизируется на независимых событиях.
§ З.Т1. Заключение
Итак, мы рассмотрели базовые аспекты теории вероятностей: понятие события, вероятности, алгебры и ст-алгебры, аксиоматику теории вероятностей, понятие внешней и внутренней меры, независимость, условные вероятности и условную независимость — в том, весьма небольшом, объеме, который необходим для понимания дальнейшего материала. В следующей главе мы расскажем о том, что получается, если к вероятности попытаться добавить математическую логику. Мы введем вероятность на пропозициональных формулах, а также рассмотрим различные логики, возникающие при попытках формализовать рассуждения о вероятностях истинности.
Глава 4
Вероятностная логика
Как содрогнулся я, великий боже, Когда меня он ухватил, спросив: «А ты не думал, что я логик тоже?»
Данте Алигьери
Если окажется, что наша логика неверна, все науки станут поэзией.
Станислав Ежи Лец
In this essay the Theory of Probability is taken as a branch of logic...
Frank P. RamseV
Неопровержимая логика характерна для маньяка.
Агата Кристи
. Введение
Теория вероятностей как математическая дисциплина служит, в частности, для описания свойств распределений вероятностей. Различные логики служат для формализации рассуждений о различных предметных областях, а также автоматического поиска доказательств и автоматического вывода новых утверждений в этих областях. Дополнение математической теории вероятностей логическими надстройками резко обогащает семантику рассуждений о вероятностях, позволяет рассуждать об оценках вероятностей, о различных оценках, принадлежащих разным агентам (экспертам), о вероятностях булевских формул и выводе оценок вероятностей и о многих других высказываниях о вероятности, которым находится немедленное практическое применение. И, что самое главное, мы можем говорить о вероятности истинности, а также использовать вероятность для характеристики тесноты связи между
«В этом эссе теория вероятностей рассматривается как раздел логики...». — Фрэнк П. Рамсей [315].
утверждениями, а интервальные оценки вероятностей — для представления одного из видов неопределенности наших знаний.
Нет ничего удивительного в том, что логические основы рассуждений о вероятностях давно служили предметом исследования. Очень многие идеи, лежащие в основе рассматриваемого здесь аппарата, выдвигались еще основоположником всего' аппарата пропозициональной логики — Джорджем Булем. В работе [151] он предвосхитил многие идеи, на которых основана современная вероятностная логика, но сделал это во многом имплицитно, а математическое сообщество тогда относилось к логике и дискретной математике прохладно, и работа не вызвала должного резонанса. Самой ранней попыткой эксплицитного фундаментального рассмотрения этой темы является работа Яна Лукашевича [271]. Еще в 1913 г. он заложил основы многозначных логик, одной из которых является вероятностная. Многие из его идей нашли отражение в гораздо более поздних работах Н. Нильссона и других исследователей.
Выдающийся логик и философ Рудольф Карнап многократно обращался к этой проблеме (для обзора результатов его исследований см. [158], для краткого изложения его взглядов — [159]). Он рассматривает логические основы теории вероятностей со стороны конечной ее цели как науки, а именно теории принятия решений. Карнап различает два подхода к теории вероятностей — статистический и субъективный; в рамках последнего он рассуждает о степенях доверия (degrees of belief — это понятие получит математическую трактовку в теориях Демпстера-Шеффера, Дюбуа-Прада, нечетких и других теориях и подходах — подробнее об этом см. главу 5).
В этой главе мы рассмотрим различные попытки математического описания рассуждений о вероятностях. Основой дальнейшего рассмотрения (логической основой аппарата алгебраических байесовских сетей) послужит подход Н. Нильссона [286-288], и для понимания дальнейшего текста будет вполне достаточно изучить § 4.3. Однако для того чтобы сделать возможным более глубокий анализ встречающихся в книге математических объектов, в этой главе мы рассмотрим и другие подходы, а также некоторые достаточно далеко идущие обобщения его теории.
Язык пропозициональной логики
Прежде чем переходить к вероятностной логике, напомним основные положения обычной, пропозициональной, логики. Мы начинаем со множества атомарных пропозициональных формул (переменных) Т = {tj,..., In) (универсума), в котором будут содержаться все рассматриваемые в дальнейшем множества пропозициональных переменных. Фактически это означает, что все рассмотрение оказывается с самого начала в конечной, дискретной ситуации; на практике, разумеется, применяются конечные байесовские сети, и такое априорное ограничение вполне естественно. Аргументным местом t будем называть либо атомарную пропозициональную формулу t, либо ее отрицание t в случае свободного вхождения t, а в случае связанного вхождения (например, суммирования) будем считать, что связанная переменная t пробегает множество {t,t}.
Пример 4.1. Аргументное место как связанная переменная
Запись ^к,82 p(xix2) следует понимать как
Р(Х1Хг) +Р(Х1Х2) +Р(Х1Х2) +р(Х1Х2).
Мы будем использовать логические связки конъюнкции (обозначаемой либо как Л, либо просто отсутствием знака: tit2 = t] At2), дизъюнкции (обозначаемой V) и отрицания (обозначаемого либо как -■, либо чертой ~, расположенной над формулой). Кроме того, мы вводим две константы (нульарные операции) — тождественную истину Т и тождественную ложь F. Все эти стандартные логические операции понимаются нами в их обычном смысле [48,75].
Обозначим через 3го = 3"°(§) множество всевозможных булевских формул над множеством переменных § С Т. Введем понятие значения пропозициональной формулы. Предположим, что в пропозициональную формулу <р входят переменные (атомарные пропозициональные формулы) Х],х2,... ,xn Е S. Присваивание истинностных значений (означивание) — это функция т° : S —> {T,F}, ставящая в соответствие каждой из переменных ее булевское значение. Эта функция продолжается до т : 3° —> {T,F}. Значение формулы т(ф) определяется индуктивно (в определении используется символ =, который означает «графически равно»; имеется в виду, что формула, стоящая слева от
=, записана в виде, раскрытом справа от =, т.е. задана внешняя логическая связка, употребляемая в формуле).
Тг1. Вели формула ф является атомарной пропозициональной формулой х, то т(ф) = т(х).
Тг2. Пусть ф = -чр. Тогда т(ф) = Т тогда и только тогда, когда т(ф) = F.
ТгЗ. Пусть ф = ф] Л ф2- Тогда т(ф) = Т тогда и только тогда, когда т(ф1) = Т и т(ф2) =Т.
Тг4. Пусть ф = фт V ф2- Тогда т(ф) = F тогда и только тогда, когда т(ф]) = F и т(фг) = F.
Две пропозициональные формулы фт и ф2 называются эквивалентными (что обозначается как ф] = фг), если для всякого означивания т имеет место т(ф]) = т(ф2). Нетрудно видеть, что = является отношением эквивалентности (т.е. оно рефлексивно, симметрично и транзитивно). Мы будем обозначать через ? множество классов эквивалентности (результат факторизации) 9го по этому отношению эквивалентности: Э7 := 3го/ =. В дальнейшем формула будет обозначать класс, представителем которого является.
Для более полного и математического рассмотрения пропозициональной логики, ее аксиоматизаций, вывода и алгоритмов решения задачи выполнимости мы отсылаем читателя к работам [48,75,191,325] или любому другому учебнику математической логики.
Основные определения
В этом разделе мы даем базовые определения, лежащие в основе вероятностной логики, в понимании, развитом в работах Нильссона [286,288]. Данный подход фактически используется в байесовских сетях доверия и лежит в основе логико-вероятностной формализации аппарата алгебраических байесовских сетей.
Зафиксируем набор пропозициональных переменных:
§ = {х1,...,хж)СТ.
Квантом мы будем называть конъюнкцию тп несовпадающих элементов этого набора или их отрицаний Х1Х2... xm. Множество всех квантов над S обозначается через Q = Q(S) (это множество мощности |Q| = 2m).
Вспомним теорему о совершенной дизъюнктивной нормальной форме (СДНФ) (она описана в любом элементарном учебнике математической логики, например [48,75]). Она гласит, что всякая формула f G 9го представляется в виде дизъюнкции некоторого множества квантов из Q:
Vf G ^ 3!Q С Q : f = у q.
qeQ
Иными словами, в каждом классе эквивалентности (в каждом элементе У) существует единственная (с точностью до перестановки элементов конъюнкций и дизъюнкций) формула, представляющая собой дизъюнкцию некоторого множества квантов. В дальнейшем мы д ля удобства введем функцию
Quants : 3го —> 2°, которая каждой формуле ставит в соответствие множество квантов; дизъюнкция последних эквивалентна этой формуле.
Пример 4.2. Разложение на кванты
ДЛЯ S ={Xi,X2,X3}
Quants(-'(-,xi VfxiAxs))) = {х1Х2хз,Х1Х2Хз,Х1Х2Хз}.
Последнее множество, которое нам осталось определить —- идеал цепочек конъюнкций 6 = 6(8). Это — множество всевозможных конъюнкций, в которых участвуют переменные из 8, но не их отрицания. Например,
e((xi,X2}) ={Xi,X2,XjX2},
6({xi, Х2, хз}) = {Х1, Х2, Хз, Х]Х2, Х1Х3, Х2Хз, XiX2X3}.
Для удобства дальнейшего рассмотрения мы не включаем пустую конъюнкцию в 6. Другими обозначениями для того же самого объекта служат §△ и угловые скобки (...); 8Л будет применяться тогда, когда нужно использовать его наряду с 8° := 8Д U {Т} (Т — пустая конъюнкция, она же тождественная истина), а угловые скобки вокруг порождающих элементов — стандартное и весьма удобное алгебраическое обозначение порождаемого объекта. Элементы идеала цепочек конъюнкций мы будем, как правило, называть конъюнктами, а сам 8Л — идеалом конъюнктов. Порядком идеала 6(8) называется количество его базовых переменных |8|.
Теперь все готово для того, чтобы ввести вероятностную меру на пропозициональных формулах. Всякая такая мера однозначно определяется своей плотностъю — функцией
p°:Q—>[0;1], обладающей следующими свойствами:
ProbL Vq е Q p°(q) > 0,
Prob2. LqeQp°(q) = 1.
Относительно вводимой нами вероятностной меры множество квантов — это множество элементарных событий, база [а-]алгебры измеримых множеств (в данном случае измеримыми оказываются все мыслимые множества квантов, однако в дальнейшем будут вводиться и неполностью определенные вероятностные меры, для которых станет актуальной проблема неизмеримых множеств). Вспомним, что по теореме о СДНФ в каждом классе эквивалентности булевских формул существует формула, представляющая собой дизъюнкцию некоторого количества квантов. Отождествив множества квантов с их дизъюнкциями, мы видим, что плотность вероятности р° естественным образом продолжается со множества квантов на множество всех булевских формул: р:^—>[0;1]: p(f) =^p°(q).
qEQuants(f)
Таким образом, мы определили вероятность произвольной пропозициональной формулы (отметим, что аргументом р может служить как формула, так и множество квантов — мы их отождествляем, так как никакой путаницы это вызвать не может). Этот естественный подход, идею которого представил Нильссон [286], и станет нашей формальной базой для дальнейших рассуждений о вероятностях пропозициональных формул.
В частности, таким образом вероятностная мера продолжается и на идеал цепочек конъюнкций 6. Отметим, что мера также однозначно задается и своими значениями на элементах этого идеала, как и на квантах. Два задания вероятностной меры эквивалентны, так как однозначно выражаются друг через друга.
Пример 4.3. Вероятность на квантах и конъюнктах над § = {xi ,Х2}
Для случая § = {х],Х2} задание р на квантах Q(8) следующим образом выражается через вероятности элементов 6(8):
Р(Х]Х2)=
Р(Х1Х2)=
Р(Х1Х2)=
Р(Х]Х2)=
= Р(Х]Х2),
= р(х2) -р(Х1Х2),
= p(xi)-p(xtx2),
= 1 -p(X]) -p(x2) +p(X!X2).
Пример 4.4. Вероятность на квантах и конъюнктах над § = {хз >Х2)Хз}
Для случая S = {х]>Х2»хз} задание р на квантах Q(8) выражается через вероятности элементов 6(8) так:
P(xix2x3) =
P(X1X2X3)=
p(xix2x3) =
P(X1X2X3)=
< p(X!X2X3)=
P(X1X2X3)=
p(xix2x3) =
P(X1X2X3)=
= p(xix2x3),
= P(x2X3) -p(X!X2X3),
= p(xjx3)-p(X]X2X3),
= p(xix2) -p(xix2x3),
= p(x3) -p(x2x3) -p(xix3) +p(xix2x3),
= p(x2) -p(xjx2) -p(x2x3) +p(xix2x3),
= p(xj) -p(X)X2) -p(X!X3) +p(x1X2X3),
= 1-p(xi)-p(x2)-p(x3)+
+p(xix2) +p(xix3) +p(x2x3) -p(X]X2X3).
Пример 4.5. Назначение вероятностей в ФЗ третьего порядка
В случае 8 = {х], Х2, хз} имеем следующий набор условий на присваивание вероятностей конъюнктам из 6(8):
' Р(Х]Х2Х3) > О,
p(xix2) -p(xix2x3) > 0,
Р(Х]Хз) -р(Х]Х2Хз) > 0,
< р(х2х3)-р(Х]Х2Х3) > 0,
Р(Х]) -р(Х]Х2) -р(Х1Хз) +р(Х]Х2Хз) > о, р(х2) -р(Х]Х2) -р(х2хз) +р(Х1Х2Х3) > 0, р(хз) -р(Х]Хз) -р(х2хз) +р(Х1Х2Х3) > о, < 1 -p(xi) -р(х2) -р(хз) +р(Х]Х2) +р(х2х3) +р(Х]Х3) -р(Х]Х2Х3) > 0.
Здесь стоит отметить, что задание вероятностной меры может оказаться противоречивым. Для задания его на квантах должны были выполняться два вышеуказанных условия — РгоЫ и РгоЬ2; для задания его на конъюнктах (забегая вперед, отметим, что именно так задают распределение вероятностей во фрагменте знаний алгебраической байесовской сети) эти же условия превращаются в набор неравенств, удовлетворение которых становится нетривиальной задачей линейного программирования. Неравенства этой задачи соответствуют описанным выше условиям РгоЫ, а условие РгоЬ2 выполняется автоматически.
Случайные бинарные последовательности
Введем несколько понятий и формулировок теорем, на которых будет строиться материал последующих глав.
Основная идея вероятностной независимости логических высказываний (см. § 3.8) состоит в том, что, какую бы вероятностную оценку истинности ни получала бы первая группа высказываний, вероятности второй группы не изменят своего значения. Нам предстоит формализовать эту мысль применительно к цепочкам конъюнкций.
Рассмотрим набор означиваний цепочки конъюнкций вида W = XY; соответствующая случайная бинарная последовательность (СБП) ^ = Я? принимает значения из этого набора. Предполагается, что Я и ? как множества атомов не пересекаются (мы обозначаем такие множества через Set [X] и Set [Y], а условие, соответственно, примет вид Set[X]P|Set[Y] =0).
Наиболее строгой записью вероятности приобретения СБП W значений вида W была бы такая: p(W = W) = pi, но вместо нее мы станем использовать сокращенный вариант везде, где это не будет вносить неясностей в изложение: p(W) = рр
Пусть дано распределение вероятностей СБП p(XY), причем Set [X] Р|Set [Y] = 0. Если VX VY p(XY) = p(X)p(Y), то соответствующие СБП Я, V называются (вероятностно) независимыми.
Заметим, что СБП 6 все время приобретает единственное значение е. Эта СБП не зависит ни от какой другой, как, впрочем, никакая другая СБП от нее также не зависит; е соответствует достоверному событию в теории вероятностей и тождественной истине — в логике.
Теорема 4.1. Пусть дано распределение вероятностей p(W), причем W = XY и
Set [X] Р| Set [Y] = 0.
При этих условиях СБП й, V — независимы тогда и только тогда, когда выполнено хотя бы одно из утверждений:
УХ (p(X)^0)^(p(Y|X)=p(Y)),
VY (p(Y) / 0) => (p(X|Y)=p(X)).
Пусть W = XYZ, известно распределение вероятностей p(W), цепочки конъюнкций X, Y и Z не имеют общих атомов:
Set [X] Q Set [Y] = 0,
Set М Q Set [Z] = 0,
Set [Z] p| Set [X] = 0.
При заданных условиях СБП Я и 2 называются условно независимыми (относительно СБП V), тогда и только тогда, когда справедливо утверждение: VW p(XYZ)p(Y) = p(XY)p(YZ).
Заметим, что если Y = е, то из условной независимости следует независимость: p(XZ) = p(X)p(Z).
Теорема 4.2. Пусть известно распределение вероятностей p(W), причем
W = XYZ,
Set [X] Р) Set [V] = 0,
Set[Y]p|Set[Z] = 0,
Set [Z] Р| Set [X] = 0.
При заданных условиях СБП ^ и Т условно независимы (относительно СБП V) тогда и только тогда, когда справедливо следующее утверждение: XfXiZVY (p(Y) ^0^ ^ (p(XZ|Y) = p(X|Y)p(Z|Y)).
Рассмотрим теперь два набора бинарных последовательностей V и W, над каждым из которых задано соответствующее распределение вероятностей pi(V) и P2(W), причем V = XZhW = ZY, apj(Z) = P2(Z)
для всякого Z. Утверждается, что тогда над О. = XZY можно построить распределение вероятностей p(U) такое, что p(V) = pi(V) и p(W) = pi(W). Здесь следует напомнить, что Z обозначает одну и ту же последовательность аргументных мест, а когда она встречается в формуле, то во всех ее частях имеет место одно и то же означивание аргументной последовательности одновременно. Нужно также добавить, что, поскольку аргументные места поименованы, порядок их следования не важен, в вычислениях их можно располагать как угодно. Выразим и докажем эту мысль в теореме, но перед этим определим понятие композиции распределений вероятностей над цепочками конъюнкций.
Пусть даны два набора бинарных последовательностей V = XZ, W = ZY, над которыми даны распределения вероятностей pi(V) и P2(W), и набор бинарных последовательностей U = XZY, над которым задано распределение вероятностей p(U), причем
Set [X] П Set [Y] = 0,
Set [X] П Set [Z] = 0,
Set [Y] D Set [Z] = 0,
VZpi(Z) = p2(Z),
Wp(V) = P1(V),
VWp(W) = p2(W).
Тогда распределение вероятностей p(U) будем называть композицией распределений вероятностей v^V} и P2(W).
Теорема 4.3. Пусть й = XZY, V = XZ, W = ZY, даны распределения вероятностей pi(V) над {V} и P2(W) над {W}, причем выполнены следующие условия:
Set [X] П Set [Y] = 0,
Set [X] П Set [Z] = 0,
Set [Y] П Set [Z] = 0,
VZpi(Z) = p2(Z).(4.1)
ТогдаТогдаp(U)=p(XZY) =p(U)=p(XZY) =0, Pi(XZ)p2(ZY) P1(Z)’0, Pi(XZ)p2(ZY) P1(Z)’если pi(Z) = О,если pi(Z) / О,если pi(Z) = О,если pi(Z) / О,(4.2)(4.2)
Тогда
Тогда
p(U)=p(XZY) =
p(U)=p(XZY) =
0, Pi(XZ)p2(ZY) P1(Z)’
0, Pi(XZ)p2(ZY) P1(Z)’
если pi(Z) = О,
если pi(Z) / О,
если pi(Z) = О,
если pi(Z) / О,
(4.2)
(4.2)
является композицией распределений вероятностей pi(V) up2(W).
Замечание. В знаменателе формулы (4.2) может стоять также вероятность p2(Z), поскольку по условию теоремы она равна вероятности pi(Z).
Доказательство. Для всякого означивания V = XZ, если Pi(Z) =p2(Z) = 0, то и р(У) = 0. А если pi(Z) = p2(Z) / 0, то имеем:
р(У) = £р(у?) = £р(У) = £р(у?) = £Pi(XZ)P2(ZY) Pi(XZ)£yp2(ZY)Pi(XZ)P2(ZY) Pi(XZ)£yp2(ZY)P2(Z)P2(Z)P2(Z)= Е1(М)=р|№P2(Z)P2(Z)= Е1(М)=р|№P2(Z)
р(У) = £р(у?) = £
р(У) = £р(у?) = £
Pi(XZ)P2(ZY) Pi(XZ)£yp2(ZY)
Pi(XZ)P2(ZY) Pi(XZ)£yp2(ZY)
P2(Z)
P2(Z)
P2(Z)
= Е1(М)=р|№
P2(Z)
P2(Z)
= Е1(М)=р|№
P2(Z)
Доказательство для означивания W = ZY абсолютно аналогично.
Недоопределенные вероятностные меры
В предыдущем параграфе мы рассматривали вероятностные меры с точечными оценками вероятностей отдельных квантов (и, следовательно, формул), для которых каждая формула была измеримой, т.е. мера задавала вероятность каждой формулы. Однако на практике одним из основных (и наиболее естественных) предположений теории алгебраических байесовских сетей является то, что получить от экспертов полное распределение вероятностей невозможно — эксперт может высказывать лишь утверждения, связывающие небольшое количество элементарных утверждений о предметной области. Соответственно, возникает проблема возможности и единственности продолжения частично заданного распределения вероятности на остальные, не определенные этим распределением форму
лы.
Есть два теоретически возможных подхода к решению этой проблемы. Один из них — наложить на распределение дополнительные условия, которые бы обеспечивали существование и единственность объемлющего (продолженного с неполного) распределения вероятностей. Этот подход был избран при построении аппарата байесовских сетей доверия, начиная с самых ранних работ Пиэрла по этой тематике [307-309]. Мы изложим этот подход и его развитие (вплоть до недавно появившегося аппарата цепных графов [336], позволяющего решить достаточно общую задачу — выразить произвольный согласованный набор условных независимостей в предметной области; глава 20 содержит более подробное изложение этого материала) в главах 14-15.
В теории алгебраических байесовских сетей, о которых пойдет речь в других главах нашей книги, эта проблема решается, в частности, и при помощи введения в рассмотрение интервальных оценок на вероятности конъюнктов и других пропозициональных формул (мы уже подробно рассматривали мотивацию введения интервальных оценок вероятностей в главе 2). Иными словами, АБС в этом случае не пытается выделить единственное, «наиболее естественное» распределение вероятностей, а пытается в наибольшей общности описать все семейство допустимых распределений, используя полученные от экспертов суждения как «граничные условия», совокупность которых и задает критерий вхождения того или иного распределения в рассматриваемое семейство.
Это приводит нас, в частности, к любопытной аналогии. В предыдущем параграфе мы говорили об алгебре измеримых событий, совпадающей с алгеброй подмножеств Q. Можно рассмотреть естественное обобщение этой задачи, в котором не все множества квантов измеримы при помощи данной вероятностной меры р. Это естественно, так как мера задается посредством высказываний экспертов, а они не всегда исчерпывающе описывают распределение вероятностей на всех квантах или конъюнктах. В таком случае получающаяся алгебра измеримых множеств не совпадает со всей алгеброй подмножеств Q.
Пример 4.6. Неизмеримые формулы
Предположим, что S = {xi, х2} и получены сведения о вероятностях подмножеств множества квантов:
P({xix2}) =p(xix2) =0.1,
P({xix2}) =p(xiDx2) =0.5, P({xix2,X]X2}) =p(x2)=0.4.
Это позволяет нам доопределить меру на алгебру:
Л = {0, {Х] Х2}, {X1Х2}, {Х) Х2, XI Х2}, {X! Х2, X] х2},
{х 1Х2, Xi Х2, X] Х2}, {Х] Х2, Xi Х2, Xi Х2}, {xi Х2, Xi Х2, XIХ2, X] х2}}.
Таким образом появляются неизмеримые множества, например {xix2,xjx2} (и, как следствие, неизмеримые формулы, — например, соответствующая этому множеству квантов формула х,). Их меру нельзя восстановить однозначно, но можно дать интервальные оценки на эту меру:
0.1 =р({х)Х2}) < p({xix2,x!x2}) < р({х1х2,х1х2,х1х2}) =0.5.
Эта ситуация в точности соответствует примеру 3.3. Оставляем читателю возможность проверить это.
Волее подробно мы расскажем о логической и математической основе этого подхода в § 4.7, опираясь на введенные в § 3.6 понятия внешних и внутренних мер.
Помимо подхода Нильссона, который мы описали и будем применять как основу для дальнейшего рассмотрения и построения аппарата алгебраических байесовских сетей и байесовских сетей доверия, рассматривались и другие подходы к введению структуры вероятностного пространства на множестве булевских формул. Следующие разделы этой главы будут посвящены более подробному изложению сугубо логического аспекта теории Нильссона, введению неполных алгебр событий и соответствующей логике, а также альтернативным аппаратам представления вероятности в искусственном интеллекте. Желающие перейти непосредственно к изложению аппаратов байесовских сетей могут пропустить остаток главы без ущерба для понимания.
Логика рассуждений о вероятностях
Байесовские сети предназначены, в частности, для того, чтобы, построив с их помощью модель знаний экспертов о предметной области, на основании поступающих в одни узлы сети свидетельств оценивать изменяющиеся вероятности других узлов. Однако, прежде чем заниматься пропагацией, т.е. распространением влияния свидетельств, интересно было бы попытаться понять, как далеко можно зайти в рассуждениях, использующих только исходные экспертные оценки о вероятностях. Этот процесс называется синтезом согласованных оценок истинности, и в обеих теориях байесовских сетей — алгебраических байесовских сетях и байесовских сетях доверия — существуют хорошо изученные алгоритмы его проведения.
Американские исследователи Рональд Фатин, Джозеф Хальперн и Нимрод Мегиддо задались целью определить логику, которая могла бы включать в себя различного рода утверждения о вероятностях. Слово «логика» здесь понимается в стандартном математическом смысле, как совокупность языка, набора аксиом и правил вывода, при помощи которых можно получать новые утверждения. Фатин, Хальперн и Мегиддо получили на этом пути интересные и важные результаты, которые в некотором смысле являются логической основой рассуждений, проводимых в аппаратах байесовских сетей. В данном разделе мы кратко изложим эти результаты. Для более подробного рассмотрения мы отсылаем читателя к работам [193-196], и именно по этим статьям мы и излагаем материал в этом и следующем параграфах.
Всякое определение логики должно начаться с языка. Язык логики рассуждений о вероятностях истинности должен включать в себя линейные утверждения о вероятностях, например р(х) > 0.2, или P(xi) +р(х2) < О.8. Начнем с набора элементарных пропозиций (или элементарных событий^ Ф = {ti, t2,...}, введем две константы — Т и F. Под пропозициональными формулами в данном случае будем понимать замыкание Ф под действием операций Ли-1 (эти операции
образуют базис, т.е. с их помощью можно выразить любую пропозициональную формулу).
Назовем примитивным термом выражение вида w(<p), где <р — пропозициональная формула (мы не используем напрашивающуюся букву р для обозначения вероятности по причинам, которые станут ясны в следующем разделе, — там это уже будет не совсем вероятность). Термами нашего языка будут выражения вида aiw(<pj)+.. .-bQkwfyk), где щ — целые числа. Вазовая формула — это выражение вида t > с, где t — терм, с — целое число; например, 2w(ti) — 3w(t2) > 1 — это базовая формула. Тогда формулы языка представляют собой замыкание множества базовых формул под действием булевских операций Л и -,. Например, (w(xi) > 0.2) Л -,(w(xi) + 2w(x2) > 1) является формулой.
Замечание. Отметим, что введенный выше язык не позволяет свободно рассуждать об условных вероятностях. Он включает в себя простейшие утверждения, например w(xj | хг) > 0.2, так как оно эквивалентно утверждению 5w(xi Лхг) — w(x2) > 0. Но он не может выразить более сложные утверждения, например w(xi | Х2) + w(x2 I Xi) > 0.5, так как они после приведения к общему знаменателю будут содержать нелинейные мономы. Фагин, Хальперн и Мегиддо рассматривают логику, в которой нелинейные мономы разрешены, и сводят вывод в ней к выводу в теории вещественнозамкнутых полей (real closed fields). Однако это рассмотрение выходит за пределы данной монографии.
Из предыдущего раздела уже ясна семантика введенных нами формул. Однако Фагин, Хальперн и Мегидар вводят ее немного по-другому. Их подход легче обобщается на случай, допускающий неизмеримые формулы, и на случай рассмотрения высказываний нескольких агентов, поэтому будет полезным рассмотреть его и здесь.
Пусть дано вероятностное пространство (S, Х,р) (см. § 3.5). Тогда мы можем дать семантику формулам языка вероятностной логики, поставив в соответствие каждой элементарной пропозиции t измеримое множество, расширив это соответствие до всех событий естественным путем, а затем вычисляя вероятности этих событий посредством р.
Формально говоря, назовем вероятностной структурой, или М- структурой, четверку
М = (§,ЗС,р,т),
где (§,ЗС,р) — вероятностное пространство, а
т:§ —>{Ф ->{T,F}}~
соответствие между элементарными событиями (или, как их называют в этом разделе искусственного интеллекта, возможными мирами) из S и присваиванием истинностных значений элементарным пропозициям из Ф, т.е. t(s)(1) е {T,F} для всех s е S и t € Ф. Теперь можно поставить в соответствие каждой элементарной пропозиции t множество тех миров s, где она истинна: tM = {s е S|T(s)(t) = Т}. В данном разделе мы ограничиваем свое рассмотрение измеримыми вероятностными структурами, т.е. такими вероятностными структурами, для которых все подобные множества измеримы. Далее можно стандартным образом распространить истинностное означивание т на всевозможные пропозициональные формулы и рассмотреть множества
фМ = {5€§|т(5)(ф)=Т}.
Введем теперь отношение М. (= f, семантика которого — «вероятностная структура М выполняет формулу f»:
М|=а^(ф1) + ... + акп»(фк) > b, если а]р(ф]) + ... + акр(фк) > b.
Это отношение естественным образом распространяется на конъюнкции и отрицания:
М. |= f Л д, если М. |= f и М. |= д;
М |= —-f, если М. ^ f.
Назовем формулу f истинной, если для любой вероятностной структуры М имеет место М. |= f, и выполнимой формулой, если существует такая вероятностная структура М, что М. |= f.
Одним из основных результатов работы [193] стала полная система аксиом, позволяющая вывести все истинные формулы. Она разбивается на три части, соответствующие пропозициональной логике, вероятностям и линейным неравенствам.
Пропозиционалъная логика.
Taut. Всевозможные пропозициональные тавтологии.
МР. Из ф и ф =£ ф следует ф (modus ponens).
Аксиомы линейных неравенств.
(Zt-o^tVi) > ь) <=> (L^atw(<Pi) + Ow(<pk+i) > b) (введение нулевых термов).
(ELo^CVi) > Ь)=^ (^^оЧ^Фй) ^ Ь)> если й» 12,. ..Jk — перестановка 1,2,.... к.
(Lt=oaiw(<Pi) > b) Л (E^oa(w(<₽i) > b')
=^ (22^=o(at + а()™(<Р1) > b + b') (сложение коэффициентов).
и. (LLo^tvt) > ь) ФФ (^^—о caj.w( <pf) > cb), если с > О (умножение и деление на ненулевой коэффициент).
(t > b) V (t < b), если t — терм (дихотомия).
(t > b) =^ (t > b'), если t — терм, и b > Ь' (монотонность).
Аксиом-ы вероятностей.
W1. w(<p) > О (неотрицательность).
W2. w(T) = 1 (вероятность формулы Т; нормировка).
W3. w(<pA4>) + w(<pA~4|)) = w(<p) (аддитивность).
W4. w(<p) = и»(ф), если ф <=> <p — пропозициональная тавтология (дистрибутивность).
В работе [193] было показано, что эта система аксиом является полной и непротиворечивой для измеримых вероятностных структур. Иными словами, любая истинная формула доказуема в этой системе аксиом, и доказуемы только истинные формулы.
Другим естественно возникающим вопросом является сложность определения того, выполнима ли данная формула, т.е. возможно ли построить такую вероятностную структуру, что в ней эта формула выполняется. Фатин, Хальперн и Мегиддо дали ответ на этот вопрос. Оказывается, сложность этой проблемы лежит в классе NP, т.е. фактически сложность этой (достаточно богатой) аксиоматической системы совпадает со сложностью обычной пропозициональной логики, которая включена в нее как подмножество. Доказательство этого факта основано на сведении вывода в этой системе к решению задач линейного программирования — в точности тот подход, который мы будем регулярно использовать в теории алгебраических байесовских сетей.
4.7. Логика недоопределенныхвероятностных мер
Фатин, Хальперн и Мегиддо не ограничились аксиоматизацией измеримых вероятностных структур. Они также рассмотрели вероятностные структуры, в которых не всякой пропозициональной формуле можно присвоить вероятность (не все элементы вида фм лежат в сигма- алгебре X).
Данный случай представляет для теории алгебраических байесовских сетей особый интерес. Дело в том, что одним из решающих отличий алгебраических байесовских сетей от байесовских сетей доверия является то, что аппарат АВС легко обобщается на случай интервальных оценок вероятностей конъюнктов (обобщение это будет подробнейшим образом рассмотрено в следующих главах книги). Теория неизмеримых вероятностных структур как нельзя лучше подходит для формализации и аксиоматизации рассуждений об интервальных оценках вероятностей.
Итак, рассмотрим вероятностную структуру М. = (8,Х,р,т). Пусть Фм, где ф — пропозициональная формула, — неизмеримое мерой р множество. Нам нужно дать другую семантику примитивным термам ™(ф) — семантика вероятности уже не подходит. Фатин, Хальперн и Мегиддо предлагают в таком случае использовать семантику внутренней меры (см. § 3.6). Напомним, что внутренняя мера р~(А), ACS, определяется как
р~(А)=р[ (J В
\ВСА, ВбХ
Внутренняя мера р” определена на всех подмножествах S и является продолжением меры р. Теперь можно переопределить отношение |=:
М (= Qiw(y1) + ... + akw(yk) > b, если QiP^Vi) + • • • + QkP""(<Pk) > b, и продолжить его на все формулы нашего языка, как это было сделано в предыдущем разделе.
Разумеется, ничего, кроме знаков неравенств, не изменилось бы, если бы мы вместо внутренней меры использовали внешнюю:
р+(А) = inf{p(B) | А С В, В е X}.
Фактически семантика формализма внутренней меры и двойственного ему формализма внешней меры совпадают с семантикой нижней и верхней оценок значения вероятности.
Фатин, Хальперн и Мегиддо дают полную и непротиворечивую аксиоматику рассуждений в случае неизмеримых вероятностных структур. Она практически целиком совпадает с приведенной в предыдущем разделе. Нужно лишь исключить аксиому W3 (в более общем случае она неверна) и добавить две новые аксиомы:
W5. w(F) = 0.
W6. w(yi V ... V q>k) >£^{1kj.i^t—1 )|I|+1w (Ai€i <Pi)-
Последняя аксиома представляет собой следствие обычной формулы Мебиуса (формулы включений-исключений). Она очень похожа на соответствующую аксиому теории Демпстера-Шеффера, используемую в определении меры доверия Bel.
Задача выполнимости в этой системе также NP-полна, по тем же соображениям, что и выполнимость в предыдущей системе.
Фатин, Хальперн и Мегиддо рассматривали и другие обобщения представленных здесь логик, например расширение их для обработки условных вероятностей, т.е. разрешение мономов более высоких степеней. В работе [196] они расширили вероятностную логику для того, чтобы учитывать высказывания нескольких экспертов (агентов), т.е. вместо одного символа w в рассмотрение было введено несколько символов Wi, соответствующих разным агентам, расширив тем самым так называемую логическую систему S5, весьма полезную для рассуждений о распределенных системах (об этой логике см. [226]).
. Исчисление инциденций
Еще одним подходом к вероятностной логике является так называемое исчисление инциденций (incidence calculus). По своим идеям и математическому смыслу этот аппарат, введенный и развитый в работах Алана Банди [155,156], очень близок к теории Фатина, Хальперна и Мегиддо, но философия и семантика немного отличаются, и мы сочли полезным кратко осветить этот аппарат в нашей книге.
Исчисление инциденций возникло из-за неудовлетворенности ряда исследователей в области логики, философии и искусственного интеллекта тем, что некоторые формулы, вероятность которых «философски» несравнима, получают одинаковые численные оценки вероятностей. Научный поиск, предпринятый для разрешения этой проблемы, в качестве одного из решений предложил измерять «вероятность» истинности какой-то формулы с помощью подмножеств какого-то универсального множества. Исчисление инциденций лежит в русле этого подхода.
Пример 4.7. Обоснование исчисления инциденций
Рассмотрим две формулы — фиф, истинность которых задана над элементами некоторого универсального множества Q ={q1,q2» Пз» Пд}- Пусть, например, ф истинна на множестве {qi, q2}> а ф — на множестве {qs, q4}. Тогда с философской точки зрения «вероятности» истинности этих формул несравнимы, их нужно задавать теми самыми подмножествами Q. Однако если мы начнем вводить численные вероятности и, например, присвоим элементам Q равные вероятности 0.25, то вероятности фиф окажутся одинаковыми. Это и не нравилось многим исследователям.
Основное отличие исчисления инциденций от других аппаратов — в семантике объектов, на которых вводятся вероятности. В исчислении инциденций вероятности вводятся не на формулах, как в других подходах, а на множествах возможных миров (possible worlds). Вероятность же формулы определяется как вероятность соответствующего ей множества возможных миров. Говоря формально, возмоэюнъкй мир q — это неопределяемый примитивный объект исчисления инциденций [275]; неформально же можно думать о нем и как об элементарном событии, и как о классе эквивалентности формул. Вероятность ц — это функция из множества всех возможных миров Q в отрезок [0;1].
Вероятность. подмножества I С Q определяется как
ц(1) = 5Ln(q).
q€i
причем p(Q) = 1.
Теперь можно ввести основное понятие исчисления инциденций — теорию1 исчисления инциденций. Теория исчисления инциденций — это пятерка (Q, ц, Р, Д, г), где:
Q — конечное множество возможных миров;
ц — вероятность, определенная на Q, причем ц(0) = 1;
Р — набор атомарных пропозициональных формул; через £(Р) обозначается пропозициональный язык, основанный на Р и представляющий собой замыкание Р относительно операций отрицания --, дизъюнкции V, конъюнкции Л и импликации —»;
Д — набор формул из £(Р) (это аксиомы теории);
— i — функция из набора аксиом Д во множество подмножеств Q, называемая инциденцией (incidence). Семантика г(ф) — множество возможных миров, на которых ф истинна. Функция г должна удовлетворять следующим условиям:
г(ф! V ф2) = г(ф1)и1(ф2),г(Ф)Лф2) = г(ф1)Пг(ф2),1(-ф) = О\1(ф),
1(F) =0, г(Т) = Q.
Такое определение вполне достаточно для рассуждений над обычной пропозициональной логикой и точечными оценками вероятностей; однако если мы хотим расширить его так, чтобы в нем можно было описывать неопределенность, придется отказаться от части аксиом. Главный камень преткновения — это, конечно, аксиома 1(—-ф) = Q \г(ф); она требует, чтобы для всякого возможного мира было строго определено, верна ли та или иная формула. Расширение очевидно — нужно просто отказаться от этой аксиомы. Правда, это повлечет за собой и отказ от аксиомы г(ф) V ф2) = г(фт) U г(ф2), точнее, замену ее на г(фт) и г(ф2) С г(ф1 V ф2). Интуицию насчет того, почему включение выполняется именно в эту сторону, предоставит следующий пример.
Пример 4.8. Инциденции с неопределенностью
Предположим, что мы хотим описать мнения пяти свидетелей об утверждениях: «подозреваемый был ростом менее 170 см», «подозреваемый был ростом от 170 до 180 см» и «подозреваемый был ростом более 180 см». Обозначим эти утверждения через ф<170> Ф[170;180] и Ф>180 соответственно, а свидетелей, которые в данном случае играют роль возможных миров, через qi,...,q5. Предположим, что свидетели qi и q2 считают, что подозреваемый был выше 180 см, свидетель дз считает, что он был ниже 170, свидетель q4 утверждает, что рост его был от 170 до 180 см, а свидетель qs не уверен насчет 180, но точно помнит, что подозреваемый был выше 170. Тогда инциденцию можно ввести следующим образом:
1(Ф<17о) = {qs}>^(Ф[170;180]) = {Я4}>
1(Ф>18о) = {qi,q2}, но при этом
ЙФ>18о V ф[170;180]) = {q 1 > q2> q4» qs} 2
2 {0i > q2> q4} = 1(Ф>18о) иг(ф[17о;18О])-
Этот пример проиллюстрирован на рис. 4.1.
Таким образом, чтобы получить определение теории обобщенного исчисления инциденций (generalized incidence calculus theory, см., например, [266]), достаточно убрать из предыдущего определения аксиому г^ф) = Q \ г(ф) и заменить аксиому о дизъюнкции на
г(ф1)иг(ф2) Сг(ф, Vф2).
Такое исчисление позволит рассуждать о недоопределенных событиях и утверждениях.
Однако при таком подходе становится невозможным однозначно вычислить инциденции всех возможных логических формул — не хватает возможности приписывать отрицания и вычислять дизъюнкции (это даже еще хуже, чем интуиционистский вывод). Однако возможно определить нижние и верхние оценки инциденции каждой формулы, которые мы обозначим через г* и г* соответственно:
МФ) = IJ 1(4»), ПФ) = О\г*(-ф).
грбЛ: гр-1 Ф
Ф>180 v Ф[170,180]
Рис. 4.1. Исчисление инциденций с неопределенностью.
Все это выглядит очень похоже на недоопределенные меры теории Фатина, Хальперна и Мегиддо (см. § 4.7), а также на меры доверия и правдоподобия теории Демпстера-Шеффера (см. § 5.2). И действительно, оказывается, что эти теории взаимосвязаны. Точнее говоря, всякая обобщенная структура исчисления инциденций эквивалентна некоторой тотальной структуре теории Фатина, Хальперна и Мегиддо, и наоборот. Мы не будем подробно описывать здесь эти результаты и понятие тотальной структуры; рекомендуем заинтересованному читателю работы [177], где доказана эта эквивалентность, [266], где установлена связь исчисления инциденций с теорией Демпстера-Шеффера, и другие работы по исчислению инциденций — [155-157,264,265,267,268,275].
Вероятностные логики первого порядка
Обзор логик рассуждения о вероятностях не мог бы быть полным, если бы ограничивался пропозициональным случаем. В литературе рассматривались и логики, допускающие высказывания первого порядка.
В классической работе [227] рассмотрены две такие логики. Разница между ними заключается в том, что семантика одной из них подразумевает введение вероятностей на предметной области, а другой — на
множестве «возможных миров». Вторая оказывается более пригодной для рассуждений о степени правдоподобия, а первая — для более «классических» рассуждений, где вероятность напрямую связана с частотой появления того или иного исхода. В [227] даются аксиоматизации этих логик. Общая их часть — стандартный набор аксиом логики первого порядка, дополненный аксиомами вегцественнозамкнутого поля (real closed field), т.е. линейно упорядоченного поля, в котором каждый положительный элемент имеет квадратный корень и каждый многочлен нечетной степени имеет корень (см. [325, 340] для более подробного рассмотрения логики вещественнозамкнутых полей):
PC. Стандартная полная аксиоматизация для исчисления предикатов первого порядка, включая аксиомы равенства, если в языке присутствует равенство (см., например, [191]).
МР. Из ф и ф =^ г|> следует ф (modus ponens).
Gen. Из ф следует \/хф (введение квантора всеобщности).
RCF. Аксиомы вещественнозамкнутого поля: стандартные аксиомы поля, аксиомы линейного порядка <, аксиома, утверждающая, что каждый положительный элемент имеет квадратный корень, и схема аксиом, утверждающая, что каждый многочлен нечетной степени имеет корень.
Различия в логиках касаются, разумеется, рассуждений о вероятностях. Логика, вводящая вероятность на области определения, оперирует формулами вида хух(ф) > р, семантика которых — «вероятность того, что случайно выбранная в области определения переменная х удовлетворяет ф, больше либо равна р» (аналогично допускаются выражения вида wx(ф), где х = (xj,... ,хп) — вектор переменных). Be полная аксиоматизация такова:
PD1. Vx] ...Ухпф =^ w(X] iXnj(ф) = 1, где X],...,хп — набор предметных переменных.
PD2. wx(ф) > 0.
PD3. ™х(ф Аф) + wx(ф Л~ф) = wx(ф).
PD4. wx(ф) = wx[x./z]^[xi/z]), где z — предметная переменная, не встречающаяся в х и ф, а квадратными скобками обозначена подстановка.
PD5. wX1y(ф Аф) = wx(ф) х Wy(ф), если ни одна из свободных переменных ф не содержится в у, ни одна из свободных переменных ф не содержится в х, и х и у не пересекаются.
RPD1. Из ф = ф выводится wx(<p) = wx(x|>).
Логика, вводящая вероятность на возможных мирах, оперирует не выражениями вида wx(ф), а выражениями вида w(ф), семантика которых — «вероятность формулы ф», т.е. сумма вероятностей возможных миров, в которых ф верна. Эти рассуждения можно аксиоматизировать так:
PW1. ф =4 (w(ф) = 1), если в ф не содержатся функциональные знаки и предикаты базового языка Ф, кроме как аргументы вероятностного терма w.
PW2. w(ф) > 0.
PW3. ™(ф Лф) +w^ Л ~ф) = и/(ф).
RPW1. Из ф = ф выводится w(ф) = w(ф).
В статье [127] эти же логики рассматриваются с точки зрения выводимости и сложности алгоритмов вывода. Мы отсылаем читателя к статьям [127,227] для более подробного рассмотрения.
Другие логико-вероятностные задачи
Наряду с работами, описанными в предыдущих разделах этой главы, существуют, конечно, и другие подходы к логикам рассуждений о вероятностях, и другие связанные с ними задачи. В настоящем разделе мы бегло коснемся некоторых из них.
Логика, рассмотренная в работах Вьяццо, Джилио, Лукашевича и Санфилиппо [147,148], основана на понятии условного события (conditional event) — выражения вида ф|ф, которые рассматриваются как трехзначные логические сущности: 1(ф|ф) = true, если I |= ф Л ф; 1(ф|ф) = false, если I [= -фЛф; 1(ф|ф) = indeterminate, если 11= ~'ф, где I — один из возможных миров. Затем рассматриваются оценки вероятностей условных событий вида р(ф|ф) = а. Вводится понятие оценки вероятностей (probability assessment), сопоставляющей набору условных событий значения их вероятностей, и неточной оценки вероятностей (imprecise probability assessment), сопоставляющей условным событиям интервальные оценки (т.е. пары из верхней и нижней оценок) их вероятностей.
Данная логика позиционируется как обобщение обычной пропозициональной логики, так как она позволяет рассуждать об условных собы-
тиях (фактически, об условных вероятностях), не транслируя эти рассуждения на язык маргинальных (совместных) вероятностей. В частности, в ней может быть определено р(*ф|ф), даже если р(ф) = 0. Разработаны алгоритмы [147], сводящие задачи проверки непротиворечивости и вывода к классическим теоретико-модельным задачам вероятностной логики.
Ф. Бакхус в работе [141] обращается к другой, статистической семантике суждений о вероятностях. Иными словами, если большинство вероятностных логик имеют дело с высказываниями типа «агент А с вероятностью р обладает данным свойством», то в [141] рассматриваются высказывания типа «более чем р% агентов обладают данным свойством» с несколько иной семантикой. Разницу между этими высказываниями легко понять на следующем примере.
Пример 4.9. Набор противоречивых высказываний
Рассмотрим высказывания:
Более 90% птиц умеют летать.
Ни один пингвин не умеет летать.
Все пингвины — птицы.
Все три высказывания верны, и эксперт, безусловно, готов поверить во все три сразу. Однако, если рассмотреть их в рамках классических вероятностных логик, придав первому выражению семантику условной вероятности Vx р (летает(х) | птица(х)) > 0.9, они в совокупности окажутся противоречивыми! С одной стороны, р (летает(пингвин)) = 0. С другой стороны,
0.9 < р (летает(пингвин) | птица( пингвин)) =
р (летает(пингвин)) р (птица(пингвин))р (птица( пингвин))
= р (летает(пингвин)).
Этот пример показывает, что семантика Vx р (летает(х) | птица(х)) > 0.9, «заимствованная» из пропозициональной логики, для выводов на основе статистической информации, сформулированных на первопорядковом языке, не годится: вместо рассуждений над множествами, на которых данная формула истинна, получаются рассуждения над конкретными элементами этих множеств; а в статистическом контексте такие рассуждения заведомо к успеху не приведут.
Вакхус конструирует язык для рассуждения о статистических высказываниях и строит специальную логику Lp. Для этой логики строятся аксиоматическая теория и правила вывода, доказываются их непротиворечивость и полнота. Lp — достаточно сильная логика; в ней можно выразить вероятностную логику Нильссона, аппарат байесовских сетей доверия, нечеткие рассуждения с кванторами «большинство», «многие» и т.д. Однако тривиальные разрешающие алгоритмы имеют очень большую сложность, и до сих пор не известно об успешных попытках программной их реализации или построения нетривиальных, более быстрых алгоритмов.
Работа [254] (мы уже рассказывали о сходной задаче в § 2.5) посвящена интересной логико-вероятностной задаче: как ввести вероятность импликации «из х следует у», если известны вероятности р(х) и р(у)? Исследователи вводят общее понятие вероятностной логической операции как функции F : У —> [0;1], где У — множество вероятностных распределений. В данном случае, так как участвующих в рассмотрении событий всего два, У — это множество четверок чисел роо, Роъ Рю> Р1Ъ представляющих собой вероятности квантов р(ху), р(ху), р(ху), Р(ху) соответственно. Тогда, например, упрощенный байесовский подход к вероятности импликации, рассматривающий ее как условную вероятность р(у |х), порождает вероятностную логическую операцию
F(Poo,Poi,Plo,Pn) = —.
Р11 +Р01
а логический подход, опирающийся на соотношение х D у = х Vу, дает операцию F(poo>Poi>Pio>Pii) = 1 — Роь Авторы выделяют основные свойства, необходимые для того, чтобы такая вероятностная логическая операция могла считаться импликацией (например, независимость импликации от того, что происходит, если высказывание у ложно).
. Заключение
Кроме изложенных в предыдущем параграфе, существуют и многие другие интересные задачи, связывающие логику и вероятность. Читатель может прочесть о них (или хотя бы найти нужные ссылки) в работах, на которые мы ссылались в данной главе. Подводя итог, хочется отметить, что основной результат главы, который нужно обязательно иметь в виду при изучении дальнейшего материала, — это итоги § 4.3, в котором введена вероятность на пропозициональных формулах. Также исключительно важны результаты § 4.6 и § 4.7 о недоопределенных вероятностных мерах и связанных с ними логиках, которые являются основополагающими для проблематики интервальных оценок вероятностей, используемых в теории алгебраических байесовских сетей.
Работы в области вероятностной логики ведутся, конечно, до сих пор. Наиболее интересной и фундаментальной из последних работ представляется [201]. В ней излагается новый общий подход к неопределенности — меры правдоподобия ^plausibility measures'), которые обобщают вероятностные меры. На них строится логика, которая при определенных (весьма слабых) условиях является полной. Этот подход обобщает вероятностные меры, меры доверия (теория Демпстера- Шеффера) и меры возможности (теория Дюбуа-Прада).
А нам сейчас нужно двигаться дальше; в следующей главе мы (в том числе и в исторической перспективе) рассмотрим то, как неопределенность проникала в искусственный интеллект. Один очень важный аспект неопределенности в ИИ — нечеткость — там рассмотрен не будет; ему достанется глава 6. Поэтому следующая глава будет фактически посвящена различным реализациям интервальных оценок, мотивированных в главе 2.
Глава 5
Модели неопределенностив искусственном интеллекте
Как тот, кто сам не знает — явь иль бред То дивное, что перед ним предстало, И, сомневаясь, говорит: «Есть... Нет...» — Таков был этот...
Данте Алигьери
Показания эксперта — сведения, сообщенные им на допросе, проведенном после получения его заключения, в целях разъяснения или уточнения данного заключения...
Уголовно-процессуальный Кодекс РФ Глава 10, Статья 80
То endure uncertainty is difficult, but so are most of the other virtues.
Bertrand Russell
Sometimes I’ve believed as many as six impossible things before breakfast.
Lewis Carrol
. Введение
Когда-то, в 1950-х и 1960-х годах, исследователи-математики, логики и инженеры знаний, работавшие в области искусственного интеллекта, разделяли всеобщий оптимизм в скором достижении конечной цели: создании мыслящей машины. Достаточно лишь взглянуть на научную фантастику тех времен (а то время можно было по праву назвать «зо-
лотым веком» научной фантастики): в ней очень важное место отводилось проблемам искусственного интеллекта и взаимодействия человека и мыслящей машины, а на то, что таковые будут созданы к началу XXI века, намекали очень многие футуристы.
Время шло, и проблемы построения искусственного интеллекта оказались столь глубокими, сложными и разнообразными, что сейчас (в начале того самого XXI века) о мыслящей машине говорят либо скептически, либо очень осторожно; во всяком случае, даже о прохождении теста Тьюринга в режиме сугубо текстового взаимодействия говорить не приходится. Центр исследований в области искусственного интеллекта в настоящее время сместился в область так называемого data mining (интеллектуальный анализ данных) — поиска закономерностей в больших массивах данных — а также в область обработки и моделирования данных и знаний с неопределенностью.
К последней тематике относится и наша монография. Однако было бы некорректно говорить, что байесовские сети — единственный возможный подход к моделированию неопределенности знаний. В настоящей главе мы кратко коснемся других моделей, которые сыграли заметную роль в развитии теории моделирования и обработки неопределенности. Хотя и они не исчерпывают всего многообразия методов, мы все же надеемся, что этой главой сможем создать у читателя разностороннее впечатление о направлениях и подходах современного моделирования знаний с неопределенностью.
5.2. Меры доверия и правдоподобия
Одним из наиболее важных этапов в развитии способов моделирования неопределенности знаний явилась научная парадигма, называемая ныне теорией Демпстера-Шеффера (ТДШ), разносторонне представленная в серии работ [4,5,62,112,118,146,149,162,168,170,181,184, 185, 203,207,210,218, 221, 222,228, 231, 232,234,235, 238, 241,243, 249,250,256-259, 262, 290, 296,316-318,322,323, 326,328,329,332, 334,349,360]. Как оказалось, она является единой основой для представления неопределенности, сочетающей аксиоматическое построение и эвристическую идею о том, что степень веры в истинность пропозициональной формулы не определяет однозначно степени неверия в нее. Здесь требуется пояснение: во многих источниках ТДШ противопостав-
ляется теории вероятностей, где вероятность p(h) определяет степень доверия к гипотезе h, одновременно точно задавая и степень недоверия к ней, определяемую как вероятность противоположной гипотезы R:
p(h) = 1-p(h).
Характеристика неопределенности истинности пропозициональной формулы х в ТДШ определяется двумя величинами:
мерой доверия Ве1[х],
мерой правдоподобия, Р1 [х], находящихся в определенном отношении:
Р1[х] = 1 — Ве1[х],
те., формула х правдоподобна ровно настолько, насколько мы не доверяем ее отрицанию х. Определив одну из мер для х и х, мы автоматически определим другую. За основу для рассуждений выберем меру доверия. Пусть задано множество пропозициональных формул
Q = {qi,...,qr}, причем
Vi/j qtAq^F, где F — тождественная ложь. Такое множество Q в ТДШ принято называть фреймом различений.
Первый способ введения меры доверия — через весовую функцию тп. Семантически она представляет распределение свидетельств «за» на некотором множестве наборов элементов фрейма различений. Эта же функция тп иногда называется базовиим присвоением. Be свойства и связь с мерой доверия таковы:
тп : 2е—4 [0,1],
V<S С Q т(5) > 0,
£m(S) = 1;
ScQ
^ScQ Bel [5] = У m(5j).
Основные свойства весовых функций приведены в следующем предложении (суть того, как по весовым функциям получаются функции
5 Зак 3294
Рис. 5.1. Функции доверия и весовые функции.
доверия и наоборот, отражена на рис. 5.1; см. также [321] для доказательства и более подробного изложения):
Предложение 5.1.
Если m —- весовая функция на S, то функция Bel: 2s—>[0;1],
определенная как Bel [А] = Ивсдт(®)' является функцией доверия на S.
Если Bel — функция доверия на S, и S — конечное множество, то существует единственная весовая функция т на S, такая, что Bel [А] = ZIbca^®) для чуждого подмножества ACS.
Из множества 2® иногда выделяют подмножество J, члены которого называются фокалъними элементами:
J-{Se2Q: m(S) > 0} .
Имеют место очевидные соотношения:
£>(5) = 1;
SeJ
VScQ Bel [5] = У m(Sj).
S^EjSjCS
Если фокальными элементами оказываются только все одноэлементные подмножества Q, то очевидно, что Bel [•] является вероятностной мерой, а тп играет роль плотности вероятности. Если все фокальные элементы имеют попарно пустое пересечение, то меры доверия и правдоподобия совпадают; более того, — можно построить вероятностное пространство, где пространством элементарных событий будет фрейм различений, мерой вероятности — мера доверия (или правдоподобия), а алгеброй событий — всевозможные объединения членов множества фокальных элементов.
Пример 5.1. Нередуцируемая DS-структура
Приведем простейший пример, демонстрирующий, что теория Демпстера- Шеффера может выражать ситуации, не подвластные обычному нильссонов- скому подходу (см. § 4.3). Рассмотрим язык с одной лишь элементарной пропозицией х. Тогда фрейм различений Q = {х,х}. Введем функцию доверия Bel следующим образом: Bel [х] = 1 /2, Bel [х] = 0. Тогда, очевидно, эта система уже не эквивалентна заданию вероятностной меры, так как в аксиоматике Нильссона если р(х) = 1/2, то р(х) = 1/2.
Комбинирование весовых функций
В ТДШ принято полагать, что с помощью весовой функции m эксперт характеризует «чистую» меру доверия по отношению к подмножеству фрейма различений. «Чистую» в том смысле, что в нее не входит поддержка экспертом подмножеств характеризуемого множества. Однако в создании базы знаний с неопределенностью, характеризуемой мерами доверия и правдоподобия, могут принимать участие несколько экспертов, и каждый из них может предложить свою версию базового присвоения. Для слияния свидетельств, полученных от разных экспертов, вводится правило комбинирования весовых функций. Мы приводим его ассоциативную версию [195], поскольку она нам кажется наиболее естественной: результирующее базовое присвоение не должно зависеть от порядка комбинирования свидетельств экспертов.
Пусть даны исходные весовые функции пц и т2, тогда можно определить их комбинацию m следующим образом:
£ mi(Si) х m2(S2)
<5=5]П52ГП ID J — ==
£ mi(5]) х m2(52)
<S] H<S2 7^0
Полученная функция полностью отвечает определению весовой функции. Предполагается, что чем большую величину приобретает знаменатель приведенной формулы комбинирования свидетельств, тем лучше согласованы последние. Вели же знаменатель равен нулю, то налицо противоречие в свидетельствах экспертов.
Мера доверия может быть введена и аксиоматически (а вместе с ней и мера правдоподобия):
Bel : 2s—>[0,1],
Bel[Q] = 1,
Bel[0] = 0,
BelBelU s> j=1(1)rU s> j=1(1)rУ (-1)#I+lBel Q^ici(i)rLtei .
Bel
Bel
U s> j=1(1)r
U s> j=1(1)r
1/0
где Sj и 5t — произвольные подмножества фрейма различений. Для облегчения восприятия последней формулы заметим, что ее правая часть совпадает с таковой из формулы включений-исключений (ср. с предложением 3.1). Меру доверия благодаря ее последнему свойству иногда называют супераддитивной. Меру правдоподобия, отличающуюся от меры доверия только последней аксиомой, в которой стоял бы знак <, называют субаддитивной. Заметим, что вероятностная мера является как супераддитивной, так и субаддитивной. Меры доверия и правдоподобия, в отличие от вероятностных мер, заданы на всем множестве подмножеств фрейма различений.
В заключение укажем на справедливость следующего неравенства:
V5 С Q Bel [5] <Р1[5].
Таким образом, ТДШ определяет интервальную модель неопределен
ности.
Вывод в ТДШ. Недостатки аппарата ТДШ
В области правил вывода ТДШ, как и некоторые предшествующие теории, нередко определяется как эвристическая. Если в антецеденте правила стоит объединение множеств, то ему приписывается мера доверия, равная максимуму мер доверия множеств, входящих в посылку. Если рассматривается пересечение, то выбирается минимум. Каждому правилу приписан коэффициент уверенности. Мера доверия консеквента вычисляется как произведение меры доверия посылки и коэффициента уверенности правила. Этот способ расчета очень слабо связан с аксиматикой меры доверия в ТДШ.
Исследователи в области искусственного интеллекта обнаружили у ТДШ немало недостатков. Первым из них является неоднозначность трактовки операции комбинирования свидетельств. В частности, сомнение вызывают необходимость нормализации результата, возникновение противоречивой ситуации, когда элементы фокальных множеств двух разных функций первоначального присвоения имеют только пустые пересечения. Кроме того, операция комбинирования вводит неявное предположение о некотором трудноопределимом виде независимости свидетельств. Вызывают нарекание также вычислительная сложность данной операции, нестабильность и некорректность результатов вывода при использовании этой операции. Однако в последнем, по нашему мнению, следует обвинять не только определение операции комбинирования свидетельств, но и правила вывода, в лучшем случае опирающиеся на неявно априорно фиксированную взаимную зависимость множеств, а в худшем — нарушающие саму аксиоматику мер доверия и правдоподобия.
Интересная критика аппарата ТДШ была предложена американским исследователем П. Вангом в работе [352]. Он показал, что базовые постулаты теории ТДШ (мы не приводили их в нашем рассмотрении, поскольку они носят в большей степени философско-семантический характер), выдвинутые Шеффером [321], на самом деле противоречивы. Ванг предлагает несколько возможных путей «спасения» теории Демпстера-Шеффера, некоторые отбрасывает и приходит в конце концов к решению. Для более подробного рассмотрения мы отсылаем читателей к [352].
Связь ТДШ с теориейФагина, Хальперна и Мегиддо
Теория Демпстера-Шеффера — это теория, позволяющая рассуждать о знаниях и их неопределенности, не прибегая к теоретиковероятностным рассуждениям; таковой она задумывалась и таковой она и является. Однако это не мешает ТДШ быть тесно связанной с логиковероятностным подходом к неопределенности. Эту связь мы раскроем в настоящем разделе (см. [194], где материал изложен более подробно).
Для этого введем понятие DS-структуры, параллельное понятию вероятностной структуры (см. § 4.7). Вернемся к обозначениям из § 4.6. DS-структура — это тройка (5,Ве1,т), где S — базовое пространство,
t:S —ч{Ф ->{T,F}}- соответствие между элементарными событиями (или, как их называют в данном разделе искусственного интеллекта, возможными мирами) из S и присваиванием истинностных значений элементарным пропозициям из Ф, т.е. T(s)(t) G {T,F} для всех s € S и t € Ф (напомним, что Ф — множество элементарных пропозиций, высказывания о которых, собственно говоря, и строятся).
По аналогии с фм (см. § 4.6) определим ф° — множество миров, на котором эта формула истинна. Тогда мы можем говорить о мере доверия формулы Belp [ф], которую мы определим как
Belp [ф] = Bel [ф°] •
Будем говорить, что DS-структура, D = (S, Ве1,т), эквивалентна вероятностной структуре М. = (S', Х.р.т7), если множества значений тит' совпадают (т.е., совпадают множества пропозициональных переменных, означивания которых определяют т, а значит, совпадают и множества пропозициональных формул Ф) для всякой формулы ф € Ф
Bel ^Dj = р-(фМ).
Иными словами, эквивалентные структуры назначают одинаковые веса одинаковым формулам.
В дальнейшем мы, как и раньше, ограничимся конечным случаем. Это сильно упрощает доказательства, но их основные идеи остаются теми же. В [195] приведено более подробное изложение этого материа-
ла, а также даны доказательства для бесконечного случая (разумеется, там, где это возможно).
Теорема 5.1. Для каждой вероятностной структуры существует эквивалентная ей DS-структура.
Доказательство. Чтобы доказать эту теорему, достаточно показать, что для всякого вероятностного пространства (S, А.р) внутренняя мера р~ является функцией доверия. В случае конечного вероятностного пространства это очевидно: рассмотрим его базис (разбиение на минимальные измеримые множества) У и определим весовую функцию ш(А) = р(А), А е У. Теперь
р“(В) = У р(А) = У т(А).
АСВ.АбУ АСВ.АеУ
Значит, по предложению 5.1, р- — функция доверия, соответствующая весовой функции т. А это значит, что D = (8,р~,т) является DS-структурой; более того, эта DS-структура эквивалентна исходной вероятностной структуре М.□
Мы пока что доказали, что выразительная сила теории Демпстера- Шеффера не меньше, чем у теории Фатина, Хальперна и Мегиддо. Однако верно и обратное.
Теорема 5.2. Для каждой DS-структуры существует эквивалентная ей вероятностная структура.
Доказательство. Пусть дана DS-структура D = (§,Ве1,т). По предложению 5.1, существует весовая функция тп, соответствующая Bel. Определим теперь вероятностную структуру М. = (S', А.р.т'). Начнем с определения
S' = {(A, s) |ACS,se А}.
Теперь введем А* = {(A,s) | s € А}. Очевидно, что для А / В А* П В* = 0; более того, (Jacs А* = $'• ^ качестве базиса пространства А рассмотрим множество {А* | А С S}; иными словами, каждый элемент X — объединение множеств вида А*. Определим теперь р(А*) = ш(А) и продолжим m на все пространство X по конечной аддитивности, т остается прежним: t(A,s) = t(s).
Теперь покажем, что построенная нами вероятностная структура эквивалентна исходной DS-структуре. Для всякой формулы ф:
А* С <pM ^ (A.s) Е фм Vs € А ^ т($)(ф) = Т Vs G А ^ А С ф°.
Таким образом, максимальное измеримое множество, содержащееся в фм, — Uac<pd А*. Следовательно,
р~(фм)=р( (J )= У р(А*) = У ш(А) = Bel [ф°].
АСфО АСфОАСфО
Итак, D и М эквивалентны.□
Эти две теоремы показывают, что теории Демпстера-Шеффера и Фатина, Хальперна и Мегиддо эквивалентны, т.е. каждую из них можно без потерь перевести на язык другой. Таким образом, оказывается, что теория Демпстера-Шеффера укладывается в аппарат вероятностной логики — не в нильссоновском смысле, конечно, а в смысле недоопределенных вероятностных мер. Для этого нужно лишь рассматривать функции доверия и внутренние меры как определенные на формулах, а не на множествах возможных миров (собственно, в этом смысле и доказывалась выше эквивалентность).
Пример 5.2. Эквивалентная вероятностная структура
Вспомним DS-структуру Do из примера 5.1, в которой ВеЦх] = 1/2, Bel [х] = 0. Не существует вероятностной меры, согласованной с этой функцией доверия. Однако легко определить эквивалентную Do вероятностную структуру Mq. Рассмотрим Мо, состоящую из трех состояний (возможных миров) — $1, $2 и $з. Пусть х будет истинно в S] и $2, но ложно в S3. В качестве единственных нетривиальных измеримых множеств рассмотрим множества {s,} и {s2.S3}, каждому из которых назначим вероятность 1/2. Тогда такая вероятностная структура Мо будет эквивалентна Do.
Теория Дюбуа-Прада
Одним из вариантов ТДШ является теория возможности и необходимости (ТВН), или теория Дюбуа-Прада, как ее называют по именам основоположников. Эта теория интенсивно разрабатывается в основном французской школой исследователей неопределенности [45,149,184-
189,278,311-313,332], но имеются и публикации авторов из других стран [3,4,54,62,81,118,146,205,206,222,243,249,353,362].
В построении аппарата ТВН предполагается, что фокальные элементы образуют цепочку вложенных друг в друга множеств (см. рис. 5.2). Выразим это положение на формальном языке:
3 = {Si,... ,Sr},
Si С S2 С ... С Sr-1 С 8Г.
Мера доверия Bel [х] называется в рамках этой теории мерой необходимости Nec [х], а мера правдоподобия Р1 [х] — мерой возможности Роз[х]:
Nec [х] := Bel [х],
Pos[x] := Р1[х].
Промежуток [Nec [x];Pos [х]] считается характеристикой нечеткости истинности пропозициональной формулы х.
Относительно мер необходимости и возможности справедливы некоторые утверждения, неприменимые к мерам доверия и правдоподобия в общем случае. Прежде всего это правила вычисления возможности и необходимости дизъюнкции и конъюнкции:
Nec [х Л у] = min ^Nec [х], Nec [у]} ,
Nec [х V у] = max ^Nec [х], Nec [у]} ,
Pos [х Л у] = min | Pos [х], Pos [у] },
Роз [х V у ] = max | Роз [х], Роз [у] |.
Имеют место и иные соотношения. Однако наиболее важным, на наш взгляд, является под ход к правилам вывода. В ТВН впервые была предпринята попытка корректно смоделировать правило modus ponens. Исследователями было замечено, что характеристики истинности формул х и х D у имеют связи и не могут быть выбраны произвольно, т.е. коэффициент доверия к правилу вывода может противоречить оценке истинности его антецедента.
Выло предложено несколько формул определения меры возможности и необходимости консеквента в сочетании с условиями, гарантирующими частичную непротиворечивость исходных данных. Эти формулы могут быть обобщены следующим образом:
Nec [х D у] > а, ■
Nec [х] > Ь,
Роз[х Dy] > А(> а),
Роз[х] > В(>Ь).
Nec [у]Pos [у]Nec [у]Pos [у]> min{a,b},
Nec [у]
Pos [у]
Nec [у]
Pos [у]
> max {А', В'},
где
если А + b < 1, если А + b > 1, если а + В < 1, если а + В > 1.
Эта формула имеет несколько недостатков. Во-первых, вместо ис
пользования точечного значения мер необходимости и возможности в
рассмотрение вводятся посредством неравенств их интервальные оценки. И в результате мы имеем серию возможных значений этих мер. Во-вторых, не все возможные случаи рассмотрены. Скажем, на меру необходимости, кроме оценки снизу, мы имеем также и оценку сверху (в силу того, что она точечная, и ее значение является для себя самого как нижней, так и верхней границей). В-третьих, не приведены крите-
Глава 5. Модели неопределенности в искусственном интеллекте 139 рии, по которым можно было бы определить, не является ли исходная информация противоречивой.
Если необходимость и возможность определены через функцию распределения возмозюности (термин, употребляющийся в ТВН вместо термина из ТДШ «весовая функция»), то операция комбинирования свидетельств определена здесь так же, как и в ТДШ. Но с точки зрения вычислительной сложности эта операция столь же трудоемка, как и в ТДШ.
Разумеется, к ТВН применимы рассуждения из §5.5; эта теория вкладывается в теорию Фатина, Хальперна и Мегиддо, но не наоборот: процесс построения эквивалентной DS-структуры (см. теорему 5.1) вовсе не обязательно приведет к D S-структуре со вложенными фокальными множествами.
5.7. Система MYCIN: коэффициенты доверия
Одним из первых относительно успешных подходов к представлению знаний эксперта с неопределенностью и моделированию его рас- суждений стала система MYCIN. Описание этой системы как классической иллюстрации проблем неопределенности экспертных знаний и как образца, постоянно исследуемого, обобщаемого и обсуждаемого, можно найти в [4,5,11,18,47,62,67,71,87,89,116,117,120,123,149,174, 190,208, 218, 222, 230, 246, 249, 260, 334]. Механизм приближенного вывода в этой системе носит присоединенный характер, что и определяет последовательность описания математического аппарата данной системы: принятая мера истинности, правила комбинирования свидетельств, правила определения истинности консеквента. Необходимо обратить внимание на то, что система рассуждений MYCIN развивалась как эвристическая, не имеющая опоры в теории. Однако впоследствии зарубежными исследователями было указано [219], что определенными линейными преобразованиями меры доверия и недоверия в MYCIN могут быть переведены в меры доверия и правдоподобия, рассматриваемые в теории Демпстера-Шеффера.
Мерой истинности гипотезы (h), свидетельства (е) и правила вывода является действительное число из промежутка [—1,1], называемое фактором уверенности и обозначаемое как СР — Certainty Factor. Для гипотез он определяется как разность величины меры доверия МВ и ме-
ры недоверия MD, вычисленных по отношению к заданной гипотезе на основе свидетельства е:
CF[h, е] := MB[h, е] - MD[h,е],
где предполагается, что значение мер доверия и недоверия лежит в промежутке [0,1]. Предполагается также, что в системе рассматривается конечный набор попарно несовместных конкурирующих гипотез, одна из которых должна быть выбрана.
Для одного отдельно взятого свидетельства формулы пересчета мер доверия и недоверия к выбранной гипотезе таковы:
MB[h, e] = <
1, если p(h) = 1, PV-p(h) еСЛИ > p^h^
0, в остальных случаях;
MD[h, e] = <
1, еслир(И)=0, Р^_рРУ ec^PtMe) <P(h)>
0, в остальных случаях.
Предлагаются следующие способы вычисления меры доверия и
недоверия в антецеденте правила:
MB[h, ед Л ej
:= min |MB[h,e1],MB[h, e^ ,
MD[h, ei Ле2]
:= max {mDMjLMDM}
MB[h,ei Vej
:= max(MB[h,ei],MB[h,e2]}]
MD[h,ei V e2]
:= min(MD[h,ei],MD[h, ej}.
Если же свидетельств больше, чем два, то те же правила применяются рекурсивно. Через произведение СР антецедента и СР правила определяется СР консеквента, но это применяется только в том случае, когда коэффициент доверия антецедента больше либо равен заранее установленному порогу.
Правила вычисления комбинации свидетельств за (против) одну и ту же гипотезу таковы:
MB[h, (в!, е2)] := MB[h, е,] + MB[h, е2] - MB[h, ed х MB[h, е2], MD[h, (eb е2)] := MD[h, ei] + MD[h, e2] - MD[h, ed x MD[h, ej.
Выли предложены и иные правила вычисления коэффициентов уверенности заключений и комбинации свидетельств. Все они предполагают наличие фиксированной вероятностной взаимосвязи между свидетельствами: либо независимость, либо вложенность друг в друга, либо иной, но обязательно априорно фиксированный вариант. Следует заметить, что этот вывод был сделан уже на основе более поздних теоретических исследований. Способ представления неопределенности в системе MYCIN имеет один существенный недостаток: противоречие и незнание представляются им одинаково: и в том и в другом случае коэффициент уверенности заключения полагается равным нулю. К недостаткам этого способа можно также отнести и требование альтернативности гипотез.
. Субъективный байесовский вывод
p(h)p(h)O[h] :=O[h] :=O[h|e] :=O[h|e] :=Другой способ вывода — субъективный байесовский вывод, также опирающийся на разделение понятия гипотезы и свидетельства, был применен в системе PROSPECTOR. Способ вывода, реализованный в названной системе, также стал классикой теорий неопределенности в исследованиях по искусственному интеллекту и нашел свое отражение в ряде публикаций [5,44,56,62,71,73,80,82,88,111,112,116-118,122, 123,149,190,222,240,249,259,260,292,296,317,318,323,332,333,335, 360]. В этом способе используется модифицированная формула Байеса для перевычисления вероятностей гипотез по имеющимся свидетельствам. Для упрощения расчетных формул было введено понятие шанса О [К] и условного шанса O[h|e]; они представляют собой следующие отношения вероятностей:
p(h)
p(h)
O[h] :=
O[h] :=
O[h|e] :=
O[h|e] :=
p(h)*
P(h|e) P(h|e)'
Вводится также серия вспомогательных величин:
АгАгp(et|h) p(et|h)’p(et|h) p(et|h)’
Аг
Аг
p(et|h) p(et|h)’
p(et|h) p(et|h)’
где h — отрицание гипотезы h.
Все приведенные величины либо вычисляются заранее по вероятностям, заданным экспертом, либо эксперт сам приписывает значение шансам и коэффициентам Л^. Эти расчеты производятся относительно всех гипотез и всех потенциально возможных свидетельств. Предполагается также, что гипотезы образуют полную дизъюнктную группу событий, а совокупность свидетельств — условно независимой относительно каждой гипотезы и ее отрицания.
При заданных условиях используется следующая схема для пересчета шансов каждой гипотезы:
О[Н|е 1,..., е J := O[h] х At.
i=1(1)n
С одной стороны, допущения, сделанные в субъективном байесовском выводе, сужают область его применения — не всегда можно ожидать выполнения требования условной независимости совокупности свидетельств относительно каждой гипотезы. С другой стороны, это требование может явиться весьма естественной дополнительной эвристической гипотезой, позволяющей снизить неопределенность наших знаний.
Существенным недостатком аппарата субъективного байесовского вывода является невозможность отличить незнание от противоречия, необходимость перевычисления огромного массива коэффициентов при изменении вероятностей гипотез или при изменении их числа.
Система INFERNO
Еще один подход к представлению неопределенности знаний предложен в системе INFERNO [314]. Он также предлагает интервальную оценку истинности пропозициональной формулы.
Пусть задано множество пропозициональных формул У. Каждой формуле х из этого множества приписаны две величины, имеющие сначала нулевое значение:
t(x) = О,
f(x) = 0;
при этом предполагается, что первая представляет собой нижнюю границу вероятности р(х), вторая — нижнюю границу вероятности р(х).
Таким образом, интервал [t(х); 1 — f(x)] характеризует неопределенность знаний об истинности пропозиции х. Критерием непротиворечивости полагается справедливость соотношения
t(x) + f(x)<1
для каждой формулы х из 7.
Предполагается, что в систему поступают свидетельства, характеризующиеся своей силой s. Свидетельство считается свидетельстую- щим «за» х, если оно позволяет сделать вывод р(х) > s, и «против», если не позволяет.
В описании системы INFERNO приводится таблица возможных отношений пропозициональной формулы со свидетельством, а также правила вывода, начинающие работать в случае поступления свидетельства. Из анализа таблицы и определения правил вывода с очевидностью следует, что свидетельства состоят из представления характеризуемой пропозиции конъюнкцией или дизъюнкцией утверждений, взаимно исключающих друг друга, либо независимых, либо являющихся отрицанием характеризуемой пропозиции, либо характеризующихся следованием (импликацией) друг из друга (аналогично фокальным элементам в ТВН). Из этого следует, что либо система INFERNO способна обрабатывать ограниченный класс свидетельств, оставаясь в рамках операции их комбинирования (из ТДШ), либо ее правила агрегирования свидетельств следует признать эвристическими.
Тем не менее важным вкладом аппарата INFERNO в теорию вывода на знаниях с неопределенностью является идея о том, что базу знаний надо формировать последовательно, по мере поступления новых знаний, извлеченных из утверждений экспертов, контролируя на каждом шаге ее непротиворечивость.
Заключение
Мы рассмотрели несколько различных небайесовских моделей неопределенности, центральное место среди которых занимает теория Демпстера-Шеффера. Хочется обратить особое внимание читателя на § 5.5, в котором ТДШ эмулируется при помощи теории Фатина, Халь- перна и Мегиддо. Фактически полученные результаты означают, что всякая конструкция теории Демпстера-Шеффера вкладывается в неко-
торую вероятностную конструкцию теории Фатина, Хальперна и Мегиддо.
В заключение хочется обратить внимание читателя на любопытный вопрос. Мы повсюду считали, что мера доверия задана вещественным числом. Так ли это необходимо? Может быть, можно было бы обобщить результаты на произвольное множество значений? В недавней работе [182] была предпринята попытка исследовать, до какой степени можно обойтись сугубо символическими вычислениями, без применения численных представлений полезности или неопределенности. Иными словами, даны не численные значения, а некоторые множества с частичными порядками на них. Основные результаты статьи в основном отрицательны — оказывается, числа (и линейный порядок на них) действительно нужны для того, чтобы построенная логика была содержательной.
Следующая глава будет целиком посвящена также небайесовскому, одному из самых известных и развитых аппаратов обработки данных и знаний с неопределенностью, — нечеткой логике.
Глава 6
Элементы нечеткой логики
Порою заметишь вдруг: Пыль затемнила зеркало, Сиявшее чистотой.
Вот он, открылся глазам — Образ нашего мира!
Сайге
О свет, которым зорок близорукий, Ты учишь так, что я готов любить Неведенье не менее науки.
Данте Алигъери
“They might or they might not,” said Winnie-the-Pooh. “You never can tell with bees.”
A. A. Milne3
. Введение
Еще одним вариантом — признанным, широко распространенным, быстроразвивающимся — представления неполноты знаний в интеллектуальных системах является нечеткость. Ее влияние на развитие подходов к представлению и манипуляциям с неопределенными знаниями подтверждается целым рядом публикаций [1-3, 6,10, 12-17, 19, 21-25, 28, 44, 52, 63, 81, 86-89, 91, 118,120,131, 132, 152, 153,176, 204-206, 239, 248, 270, 274, 284, 290, 318, 327,338, 341,347, 364].
Учитывая ту значительную роль, которую приобрела нечеткость как самостоятельная концепция в математике и искусственном интеллекте, и отдавая дань традиции, мы нашли необходимым привести ее описание в настоящей работе на примере нечеткой логики. Это опи-
«Может, заметят, а может, и нет, — сказал Винни-Пух. — Разве знаешь, что пчелам в голову придет?». — А. А. Милн. Пер. Б. Заходера.
сание в дальнейшем позволит отследить сходства и несходства нечеткой вероятностной логики на пропозициональных формулах, а также на элементарных примерах сравнить модели фрагментов знаний (см. главу 19), в которых неопределенность представлена интервальными вероятностными оценками и интервальными нечеткими оценками истинности над идеалами цепочек конъюнкций.
Нечеткая логика явилась в некотором смысле предельным вариантом многозначных логик. От обычной формальной логики ее отличает прежде всего множество возможных истинностных значений формулы. Если в формальной логике формула может быть либо истинна (обозначается как Т или 1), либо ложна (F или 0), то в нечеткой логике формула может быть истинна с показателем из промежутка [0;1].
На самом деле, были удачные в формальном отношении попытки [3] рассмотреть в качестве возможной области истинности пропозициональной формулы те решетки [20,95], где для каждого элемента определено единственное дополнение и для каждых двух элементов определены единственные нижняя и верхняя границы. Однако о применении такого рода построений в системах искусственного интеллекта нам ничего не известно, поэтому мы придерживаемся описания общепринятого частного случая нечеткой логики.
Сосредоточимся в основном на трех классических вариантах нечеткой логики, необходимых в дальнейшем, а также вкратце опишем три- ангулярные нормы и конормы, аппарат которых позволяет систематизировать нечеткие меры истинности. Подробное построение фрагмента знаний на основе аппарата нечетких мер истинности будет проведено в главе 19.
Классические нечеткие логики
Пусть У = ^Т) — множество пропозициональных формул, построенных над атомарными пропозициональными формулами Т. Введем обозначение функции истинности (более строго — функции нечеткой оценки истинности) пропозициональной формулы
ц:У—> [0;1].
В случае, когда оценки истинности атомарных пропозиций принимают значения только из {F,T} (или {0; 1}), любая из возможных функций нечеткой оценки истинности р. имеет те же свойства, что и функция т, описанная в § 4.2. Вместе с тем такая функция ц является продолжением (в определенном сысле) функции т на внутренность [0; 1]. Такое продолжение неединственно; фундаментальными вопросами нечеткой логики являются поиск, описание, формализация и систематизация тех свойств, которым должно обладать указанное продолжение.
Отметим, что одним из свойств ц, входящим во все системы требований, предъявляемой к этой функции, является возможность вычисления единственного (точечного) значения p(f), где f € S, если известно точечное значение функции нечеткой оценки истинности всех атомарных пропозиций, вошедших в f.
Имеются три системы требований к функции ц, которые рассматриваются как классические.
Первая из классических систем требований, предъявляемых к функции нечеткой оценки истинности gi, такова:
т(Т) = 1,
Vx € У щ(х) = 1 - щ(х),
Vx,y € S щ(хЛу) = min(m(x),m(y)),
Vx,y € S' pi (х Vy) = max(m(x),m(y)).
Эта классическая система требований к функции нечеткой оценки истинности ассоциируется с именем основоположника парадигмы нечеткости Л. Заде [1].
Вторая из них — псевдовероятностная логика:
И2(Т)=1,
Vx€ S' Ц2(х)=1— Ц2(х),
Vx,y € Sц2(хЛу)=Ц2(х)• Р2(у),
Vx,y € Sp2(xVy)=Ц2(х)+ Р2(у) - Ц2(х) • Ц2(у)-
В публикациях по нечеткой логике используется термин вероятностная логика [1], но в настоящей работе этот термин уже занят.
Третья классическая система требований ассоциируется с именем Лукасевича [1]:
Из(Т) = 1,
Vx € У ц3(х) = 1 - ц3(х),
Vx,y € Т цз(хЛу) = тах{0, цз(х) + цз(у)-1},
Vx,y е Т ц3(х\/у) = тт{1,ц3(х) + цз(у)}.
Исходя из соотношений, устанавливаемых любой из приведенных систем, можно вычислить функцию истинности формулы f по известным значениям функции истинности атомарных пропозиций, вошедших в f.
Следует отметить, что в настоящей работе мы рассматриваем ц именно как оценку истинности пропозициональных формул, а не как их логическое означивание. Разница этих двух подходов будет видна на следующем примере.
Пример 6.1. ц — означивание и оценка истинности
Пусть щ(х) = 0.27, где г = 1(1)3. Тогда в любой из трех классических систем щ(х) = 1 —Цг(х) = 0.73. Если мы рассмотрим щ как оценку истинности, то снова в любой из трех классических систем: щ(хх) = щ(Р) = 0. Однако если мы рассмотрим щ как логическое означивание, то в трех классических системах получится соответственно
щ(хх)=min{0.27;0.73}=0.27,
Ц2(хх)=0.27-0.73=0.1971,
цз (хх)=шах{0; 0.27 + 0.73 —1}=0.
формулы получают одинаковые оценки истинности. Функцию нечеткой оценки истинности пропозициональной формулы f иногда называют нечеткой мерой истинности f — по аналогии с вероятностной мерой истинности.
Нечеткие и вероятностныемеры истинности
Рассмотрим на простом примере взаимосвязи между вероятностной мерой истинности и ее классическими нечеткими аналогами.
Пусть нам известны значения всех четырех мер истинности пропозиций х и у, и пусть значения указанных мер истинности на соответ- свующих пропозициях совпадают:
— вероятностная мера: р(х) = 0.7, р(у) = 0.84;
нечеткая мера (по Заде): щ(х) = 0.7, pi(y) = 0.84;
— псевдовероятностная нечеткая мера: ц2(х) = 0.7, ц2(у) = 0.84;
нечеткая мера (по Лукасевичу): цз(х) = 0.7, Цз(у) = 0.84.
Наша задача — оценитъ значения мер истинности конъюнкции ху. На самом деле, мы можем в'ычислитъ точечные значения щ(ху), i = 1 (1) 3; но значение р (ху) получит лишь интервалъную оценку вида [р”(ху);р+(ху)].
Согласно приведенным выше определениям классических мер нечеткости истинности:
щ(ху)=min{0.7; 0.84}=0.7,
ц2(ху)=0.7 - 0.84=0.588,
М-з(ху)=тах{0; 0.7 + 0.84 — 1}=0.54.
Рассуждения для вероятностной мерыбудут сложнее. В рассмат
риваемом случае идеал цепочек конъюнкций будет 6({х,у}) = {х,у,ху}. Из соответствующего примера 4.3 в главе 4 про вероятностную логику нам известно:
' р(ху) = р(ху),
I р(ху) = р(х)-р(ху),р(ху) = р(х)-р(ху),. р(ху) = 1-р(х)-р(у)+р(ху),
а чтобы соблюдалась вероятностная аксиоматика, необходимо и доста-
точно, чтобы:
'р(ху) > 0,
<
р(х)-р(ху) > 0,
Р(у)-Р(ху) > 0,
< 1 -р(х)-р(у)+р(ху) > 0.
Таким образом,
шах{0;р(х) +р(у) -1} < р(ху) < min{p(x);p(y)};
т.е.
р (ху) = max
р+(ху) = min{p(x);p(y)} ,
р(ху) е [max{0;p(x) + р(у) - 1};min{p(x);p(y)}] .
Следовательно, величину р(ху) можно лишь оценить интервально. Переходя к числам, получим:
р(ху) е [max{0;p(x)+р(у) - 1};min{p(x);p(y)}] =
[0.54; 0.7].
Заметим, что р (ху) = м-з(ху), ар+(ху) = щ(ху), псевдовероятностная же оценка Цг(ху) € [р“(ху);р+(ху)].
Рассмотренный пример позволил проиллюстрировать два важных положения. Во-первых, если заданы меры истинности атомарных пропозициональных формул, то нечеткие меры позволяют всегда вычислить значение меры на формуле, построенной над исходными атомарными. А вот вероятностная мера даже в простейшем случае — конъюнкции двух пропозиций — позволит вычислить лишь интервальную оценку. Во-вторых, вероятностная меры истинности и нечеткие меры истинности оказываются связанными; более того, нечеткие меры истинности могут получить вероятностную интерпретацию. Мы заметили, что цз ведет себя как нижняя оценка веротности конъюнкции, а Ц] — как верхняя. Классические нечеткие меры истинности можно рассмотреть как вероятностные меры:
— щ соответствуют случаю, когда утверждения х и у максимально совпадают, какое-то одно следует из другого;
— у,2 соответвует случаю, когда утверждения х и у независимы;
— цз соответствуют случаю, когда утверждения х и у максимально не совпадают, т.е. минимальна вероятность их совместной реализации.
Именно дополнительные предположения (гипотезы) о связи между х и у позволяют выбрать одно значение щ(ху) из промежутка возможных значений [р“(ху);р+(ху)]. Гипотеза такого же рода (предположение о наличии условной независимости) интенсивно используется в теории байесовских сетей доверия и алгебраических байесовских сетей. Эта гипотеза позволяет выбрать единственное распределение вероятностей из семейства распределений, задаваемого исходными данными.
Триангулярные нормы и конормы
Способ вычисления нечеткой меры истинности отрицания формулы х (в нашей работе мы используем только один из возможных — ц(х) = 1 — ц(х)) и способ вычисления меры истинности конъюнкции двух формул х и у через ц(ху) = g (ц(х), ц(у)) определяют способ вычисления нечеткой меры любой пропозициональной формулы, если заданы меры истинности атомарных формул, в нее вошедших. Попытки выделить «естественные» свойства нечетких мер истинности ц, привели к выводу о том, что все такие меры можно задать с помощью двуместных функций особого класса — триангулярных норм (или двойственных им конорм) [81, 150, 311]. Следует, однако, обратить внимание на то, что существуют также подходы к определению операций над нечеткими мерами истинности пропозициональных формул, не укладывающиеся в рамки аппарата триангулярных норм и конорм [10].
Каковы же свойства функции д, которые позволяют считать «поведение» соответствующей нечеткой меры цд естественным?
Следуя интуитивным соображениям и изложению [284], укажем, что нечеткая мера истинности по Заде щ = цд = Цщт> гАе g(u>v) = = min{u, v), задает следующие свойства меры истинности конъюнкции:
- Ухе у
Цтш(Тх) = rninfmninm.Pminfx)} = Цтш(х), т.е. ц(Т) действует как единица;
- Ух,у е У
Mmin(xy) = min{pmin(x),nmin(y)} = minluminfyhunHntx)} = = Umin(ux). т.е. функция, характеризующая нечеткую меру истинности конъюнкции, коммутативна;
— Vx.y.z е 7
Mtnin (Minin(x),Mmin(yz))=Mmin (Мтт(ху), Mmin(z)), ТЗК
как справедливо равенство minfuminfxk Mmin(yz)) = minfummfxu). Urnin(z)}; т.е. функция, характеризующая нечеткую меру истинности конъюнкции, ассоциативна;
— Vv,X,W,y € У (Mmin(v) < Mmin(w)) &(Цтт(х) < Мтш(у)) =>
=> (Mmin(vx) < Mmin(wy)), т.е. функция, характеризующая нечеткую меру истинности конъюнкции, нестрого возрастает по каждому аргументу.
Указанные свойства, воспринятые как естественные свойства меры истинности конъюнкции, легли в основу определения триангулярной (треугольной, т-, t-) нормы.
Определение 6.1. Функция двух аргументов g : [0; 1] х [0; 1] —> —> [0; 1] назвается триангулярной нормой, если она удовлетворяет следующим, свойствам:
TN1. Vae [0;1] д(1,а) = а.
TN2. Vo.be [0;1] д(а,Ь) = д(Ь, а).
TN3. Уа,Ъ,с е [0; 1] д(а,д(Ь,с)) = д(д(а,Ъ),с).
TN4. Va.a'.b.b'e [0;1] ((а < а')&(Ь < Ь')) ^ д(а,Ь) < д(а'.Ь').
Любой триангулярной норме д соответствует триангулярная конор- ма h, т.е. триангулярные норма и конорма связаны определенными соотношениями. Эти соотношения являются обобщением правил де Моргана. При нашем соглашении о способе вычисления отрицания пропозициональной формулы Цд(х) = 1 — Цд(х) норма и конорма связаны так:
Va,b е [0;1] g(a,b) = 1 - h(1 - a, 1 - b),Va,b e [0;1] h(a,b) = 1 - g(1 -a,1 -b).
Иногда триангулярную норму и триангулярную конорму обозначают как Д и V соответственно.
Триангулярная конорма удовлетворяет ряду соотношений, двойственных свойствам триангулярной нормы:
TCN1. VaG [0; 1] h(0, а) = а.
TCN2. Va.be [0;1] h(a,b) = h(b, a).
TCN3. Va, b,c G [0; 1] h(a,h(b,c)) = h.(h.(a,b), c).
TCN4. Va.u'.b.b' G [0;1] ((a < a')&(b < b')) =» h(a,b) < Ma^b').
Триангулярные конормы задают способ вычисления нечетких мер истинности дизъюнкций.
Для иллюстрации выведем по формуле h(a,b) = 1 — g(1 — a, 1 — b) триангулярные конормы для триангулярных норм из классических нечетких логик Заде (мера ри), псевдовероятностной (мера ц^). Лука- севича (мера цз):
(pi) : h(a,b) = 1 — min{l — a, 1 — b] = max{a,b),
(рг) : h(a,b) = 1 — (1 — a)(1 — b) = a + b — ab,
(рз) : h(a,b) = 1 — min{l, a + b} = max{0,1 — a — b}.
На рис. 6.1 изображены трехмерные графики и плотности триангулярных t-норм, соответствующих этим нечетким мерам, а на рис. 6.2 изображены аналогичные графики и плотности триангулярных t-конорм.
Существует ряд публикаций, описывающих разные классы и свойства триангулярных норм и конорм. В этих публикациях выделены классы триангулярных норм и конорм; элементы, входящие в класс, имеют «одинаковую структуру» и выражаются аналитически в виде явной алгебраической формулы с параметром. Такие формулы называются генераторами триангулярных норм (конорм). Систематическое изложение аппарата триангулярных норм содержится в [284]; кроме того, в русскоязычной литературе удобно обратиться, например, к [1,16].
Заметим, что мера истинности отрицания также может быть выражена не только ц(х) = 1 — ц(х). Классы функций, связывающих нечеткую меру истинности пропозиции и ее отрицания, описаны, например, в [17,284].
Рис. 6.1. t-нормы.
а — мера Заде; б — псевдовероятностная мера; в — мера Лукасевича.
На верхних рисунках изображены графики t-норм (аргументы на горизонтальной плоскости). Внизу — соответствующие им карты плотностей.
Заключение
В этой главе мы рассмотрели три классические нечеткие логики, которые чаще всего используются как в теории нечеткости, так и на практике — логику Заде, Лукасевича и псевдовероятностную.
Наиболее важным свойством нечеткой логики, отличающим ее от вероятностной логики, является возможность по мерам истинности атомарных пропозиций восстановить меры истинности всех пропозициональных формул, которые только можно над ними построить. В вероятностной логике это возможно только в двух случаях:
— когда каждая атомарная пропозиция почти наверное ложна или почти наверное истинна;
Рис. 6.2. t-конормы.Рис. 6.2. t-конормы.
Рис. 6.2. t-конормы.
Рис. 6.2. t-конормы.
а — мера Заде; б — псевдовероятностная мера; в — мера Лукасевича.На верхних рисунках изображены графики t-конорм (аргументы нагоризонтальной плоскости). Внизу — соответствующие им карты плотностей.
— когда заданы вероятности всех атомарных пропозиций и введена дополнительная явная или неявная гипотеза о соотношении событий, отвечающих этим пропозициям.
В то же время любой конкретной нечеткой логике (определяемой правилами пересчета мер истинности) отвечает вероятностная логика, где истинна одна из гипотез о соотвествующей связи между вероятностями истинности пропозиций. Не следует также забывать, что автор анализа неопределенности посредством введения НЕ-факторов [77,79] критикует теорию Заде за то, что на ее основе невозможно (по крайней мере пока) из-за неизвестной содержательной трактовки нечеткости дать оценку надежности получаемых выводов.
Нечеткие меры истинности вместе с мерами доверия и правдоподобия (из теории Демпстера-Шеффера), а также мерами необходимости и возможности (из теории Дюбуа-Прада) составляют небайесовкий подход к представлению неопределенности истинности утверждений. Эти
меры обобщенно называют небайесовскими мерами истинности. О них мы еще вспомним в главе 19, где опишем построение фрагмента знаний на нечеткой мере истинности, а пока продолжим знакомство с основами байесовских сетей. На очереди — проблемы более прикладного характера: как решать задачи линейного программирования, требующиеся для алгоритмов теории АБС, и как реализовывать структуры данных в АВС вообще.
Глава 7
Линейное программирование
Несмотря на универсальность и хорошую точность, модель линейного программирования использует весьма элементарный инструментарий линейной алгебры, и понимание и овладение ею доступно людям с очень скромной математической подготовкой. В данном случае это очень важно для творческого, а не шаблонного использования предлагаемых моделью средств анализа... Актуальность решения экстремальных линейных задач побудила к разработке специальных весьма эффективных методов... Алгоритмический характер этих методов позволил в дальнейшем легко реализовать их на ЭВМ.
Нобелевская лекция Л. В. Канторович
Введение
Эта глава завершает серию глав, посвященных изложению базовых математических аппаратов, необходимых для дальнейшего рассмотрения (глава 8 будет касаться исключительно вопросов непосредственной программной реализации). Особенность данной главы заключается в том, что бблыпая ее часть не требуется при первичном, поверхностном знакомстве с книгой. Фактически, имеющаяся у большинства неспециалистов интуиция о том, что задача линейного программирования (ЗЛП) — это набор линейных неравенств и линейная же функция, которую нужно оптимизировать на множестве, ограниченном этими неравенствами, — все, что нужно для прикладного понимания аппарата алгебраических байесовских сетей. Но этот материал будет необходим, если потребуется более глубокое изучение свойств логико-вероятностного вывода априорных и апостериорных оценок, а также оценок показателей устойчивости в алгебраических байесовских сетях. Кроме того, ма-
тематические результаты окажутся полезными при оценке сложности алгоритмов для решения этих задач.
Существуют и еще две цели, по которым мы все же решили включить в книгу краткий обзор существующих методов решения задач линейного программирования. Первая цель — дидактическая. Оказалось, что на русском языке существует не так много общедоступных хороших источников, в которых бы излагалось более или менее современное положение дел в решении задач линейного программирования, адаптированное к нашей проблематике. Надеемся, что наше изложение поможет если не радикально исправить положение, то хотя бы частично облегчит задачу студента, желающего ознакомиться с этой областью.
Вторая причина, по которой глава 7 все же была написана, — прикладная. Профессиональные библиотеки линейного программирования (такие, как ILOG) стбят больших денег, оправдывающих себя лишь для организаций, которым в процессе их деятельности действительно нужно решать прикладные ЗЛП. Существует ощутимое количество бесплатных библиотек, однако они не всегда обладают достаточно удобным интерфейсом и на результаты, ими производимые, далеко не всегда можно положиться. Поэтому вполне можно представить ситуацию, когда программисту придется исправлять код этих бесплатных библиотек или писать свои, возможно оптимизированные под конкретные задачи или конкретный аппарат программирования, процедуры решения ЗЛП. Эта причина смыкается с первой — для разработки, например, специального курса по теории байесовских сетей, несомненно, окажется полезным давать упражнения, связанные с программированием, или вообще разработать достаточно полную программную систему как результат двухгодичного курса.
Наше изложение теории задач линейного программирования основано на материале книг [161,281,319], каждую из которых мы рекомендуем в качестве источника для дальнейшего чтения. Мы не приводим здесь почти никаких содержательных доказательств и не доказываем оценки сложности предложенных алгоритмов — все это лежит слишком далеко от задач нашей книги и привело бы к непропорциональному росту объема этой главы. Наиболее полно и строго математические и сложностные аспекты линейного и целочисленного программирования среди доступных нам источников изложены в [319].
Однако мы считаем своим долгом предупредить читателя, что эта глава написана гораздо более сжато и энергично с точки зрения плотности математического материала, чем остальные. Кроме того, понимание доказательств требует некоторого знания линейной алгебры; мы рекомендуем [60,61,113] для знакомства с линейной алгеброй, но все же не можем дать здесь вводный курс и по этой дисциплине тоже.
Основные обозначения
Мы решаем задачи линейного программирования над полем вещественных чисел. Обозначим через п размерность вектора переменных ЗЛП (количество переменных); не изобретая обозначений для множества векторов, обозначим его как Rn, множество матриц размера m х п — через Mat(m,n).
Маленькие латинские буквы а,Ь,с,... обозначают векторы (как правило, либо из Rn, либо из Rm, где m — количество ограничений задачи). Большие латинские буквы А,В,... — матрицы (их размер будет указываться явно). Греческими буквами а, Р,у,... будем обозначать элементы базового поля R. Разумеется, то же относится к буквам с индексами: а;, At, а; и т.д.
Мы мыслим вектор из Rn как столбец п х 1 и не вводим никаких особенных обозначений для строк; когда строки нам понадобятся, мы воспользуемся обозначением для транспонирования: если с G Rn, то сТ — строка 1 х п. Таким образом, в тексте будет всегда четко видно, где строка, а где — столбец. Для полного единообразия даже строки матрицы будут обозначаться со знаком транспонирования, например, г-ую строку матрицы А — как аТ). Матрицы (в том числе и векторы) умножаются как обычно (например, произведение сТх — это скалярное произведение векторов сих). Через I обозначается единичная матрица; в случае, когда хочется подчеркнуть, что имеется в виду единичная матрица размерности п, мы пишем 1П.
Мы также распространяем порядок с R на множество матриц. А именно, будем писать А > В, если казюдый элемент А больше либо равен соответствующему элементу В:
А = (лу) — В = (Ру) ФФ Vi,) осу > Ру-
То же относится и к векторам. Получится, конечно, лишь частичный порядок, но нам его свойства не важны: он нужен для сокращения записи систем линейных неравенств.
Задача линейного программирования.Двойственность
Как, наверное, знает практически каждый из читателей этой книги, задача линейного программирования — оптимизация линейной функции при заданных линейных ограничениях. Формально это можно записать так:
шах{стх|Ах < Ь}, (7.1) где с — вектор из Rn, А — матрица размера mxn (обозначим множество таких матриц через Mat(m,n)), b — вектор из Rm. Задача линейного программирования может быть записана в нескольких вариантах, но все они эквивалентны, т.е. сводятся друг к другу линейной заменой переменных и/или введением линейного числа дополнительных переменных:
max{cTx|Ax < b}, min{cTx|Ax > b}, шах{сТх|х > 0, Ах < b}, min{cTx|x > 0, Ах > Ь}, шах{сТх|х > 0, Ах = b), min{cTx|x > 0, Ах = Ь).
Фактически, задача линейного программирования — это оптимизация целевой функции на многограннике в n-мерном пространстве Rn, который ограничен гиперплоскостями, соответствующими линейным ограничениям. Как известно из линейной алгебры, у Rn есть двойственное пространство (Rn)*, которое можно понимать как пространство линейных функционалов на Rn. Это — тоже евклидово пространство размерности п, и оно может быть отождествлено с Rn. На этой идее основана (хотя в доказательстве двойственное пространство так и не появится, дух его все же незримо витает над рассуждениями) следующая фундаментальная теорема линейного программирования.
Теорема 7.1. Пусть А € Mat(m,n), b е Rm, с € Rn. Тогда max{cTх|х е Rn, Ах < b} = min{yTb|y е Rm, у > О, утА = ст}, (7.2) если обе задачи разрешимы, т.е. оба множества решений данных ограничений непусты.
Доказательство. Очевидно, если Ах < b и у > 0, уТА = сТ, то сТх = уТАх < yTb. Поэтому, если оба оптимума конечны, то max < min. Следовательно, нам достаточно доказать, что существуют такие х и у, что Ах < Ь, у > О, уТА = сТ, сТх > yTb; иными словами, у > 0 и
< А-сТО\ о< А-сТО\ о(7-3)(7-3)
< А
-сТ
О
\ о
< А
-сТ
О
\ о
(7-3)
(7-3)
Для продолжения доказательства мы воспользуемся одним из вариантов леммы Фаркаша (она была доказана Фаркашем [197] и Минковским [277]). Мы не будем приводить здесь алгебраического доказательства (см., например, [319]). Геометрически же идея леммы Фаркаша очевидна: если вектор b не принадлежит конусу, порожденному векторами aj,..., an, то существует гиперплоскость, отделяющая b от
ai,...,an.
Лемма 7.1. Пусть a — матрица, b — вектор. Тогда система линейных неравенств Кх < b имеет решение тогда и только тогда, когда yTb > 0 для всякого вектора у > О такого, что уТА = 0.
Применив эту лемму к (7.3), получаем, что (7.3) эквивалентно следующему утверждению:
если А е R, u G Rm, v,weRn, u,A,v,w>0, tiTA — Act = 0 и AbT + v^aT — wTAT > 0, to uTb + v^c — w^c > 0. (7.4)
Пусть теперь u,A,v,w удовлетворяют посылке (7.4). Если А > 0, то uTb = А-1 • AbTu > A-1(wT — vT)ATu = A-,A(wT — vT)c = (wT — vT)c.
Если же A = 0, то рассмотрим такие хо, уо> что Axq < b и уо > 0, УфА = с (они существуют, так как по условию обе задачи из формули-
6 Зак. 3294
ровки теоремы разрешимы). Тогда
uTb > nJ Ахо = 0 > (wT — уТ )АТуо = (wT — уТ )Св
□
Теорема 7.1 обычно называется «теоремой двойственности».
Предложение 7.1. Рассмотрим задачи из условия теоремы 7.1. Пусти оба оптимума конечны, ахо, у о ~ допустимые решения (точки, удовлетворяющие ограничениям). Тогда следующие условия эквивалентны:
хо и уо — оптимальные решения (7.2);
сТх0 = УоЬ;
если некоторый компонент решения дуальной задачи у о положителен, то соответствующее неравенство в прямой задаче Ах < b удовлетворяется хо с равенством: у^Ь — Ахо) = 0.
Пункт (iii) называется дополнительной дефицитностью. Его эквивалентность первым двум пунктам следует из того, что
сТхо = УоАхо < у^Ь,
и УоАхо = УоЬ тогда и только тогда, когда пункт (iii) верен.
Прежде чем переходить к симплекс-методу, нам осталось лишь сформулировать одно предложение, которое будет использовано в дальнейшем. Доказывать мы его не будем — желающих отсылаем к [319].
Предложение 7.2. Рассмотрим многогранник {х|Ах < Ь}, где х € Rn, a A G Mat(m,n). Тогда каждая вершина многогранника определяется как решение некоторых п линейно независимых уравнений из системы Ах = Ъ.
Симплекс-метод
В этом параграфе настала пора представить самый знаменитый и до сих пор непревзойденный по практической применимости алгоритм для решения задач линейного программирования: симплекс-метод.
Основная идея симплекс-метода — совершить обход вершин многогранника, задаваемого линейными ограничениями, так, чтобы в конце концов оказаться в оптимальной вершине (очевидно, что оптимум
любого линейного функционала достигается в одной из вершин многогранника). Эту идею высказывал еще Фурье в 1826 году в работе [199], но алгебраическую строгость и завершенность она получила лишь в работах Данцига [173].
Итак, предположим, что мы хотим решить ЗЛП вида
тах{сТх|Ах < Ь}
и знаем некоторую начальную вершину xq многогранника {х|Ах < Ь) (мы покажем ниже, как ее найти). Упорядочим произвольным образом неравенства в Ах < Ь:
сих < ₽],...,атх < |Зт.
Выберем подсистему Aqx < bo системы Ах < b такую, что Aqxq = bo, и Aq — невырожденная матрица. Найдем такое и, что сТ = иТ А, и у и все компоненты вне Ао нулевые (т.е. просто вычислим сТ Aq 1 и добавим нули в недостающих местах). Теперь рассмотрим два случая:
и > 0. В этом случае все хорошо — хо уже оптимален, так как
сТхо = иТАхо = uTb > min{yTb|y > 0, уТА = с} = шах(сТх|Ах < Ь}.
и ^ 0. В этом случае выберем минимальный индекс I*, для которого uv < 0. Выберем у — вектор, для которого аТу = 0 для любой строки аТ из матрицы Ао, кроме аТ,, а аТ.у = — 1 (для этого достаточно взять соответствующий столбец из матрицы —Aq 1). Отметим, что
сТу = uTAy = —Uf > 0.сТу = uTAy = —Uf > 0.(7-5)(7-5)
сТу = uTAy = —Uf > 0.
сТу = uTAy = —Uf > 0.
(7-5)
(7-5)
И вновь возможны два случая:
аТу ^ 0 для каждой строки оТ матрицы А. Тогда луч хо + Лу лежит
в Р для всех Л > 0, и максимум в исходной задаче не ограничен (так как по (7.5) целевая функция увеличивается с ростом Л).
аТу > 0 для некоторой строки аТ матрицы А. Возьмем Ло — максимальное такое Л, что хо + Лу € Р, т.е.
Ло := min <
Пусть j* — минимальный индекс из тех, для которых реализуется этот минимум. Рассмотрим матрицу А], представляющую собой матрицу Aq, у которой строка аТ, заменена
на аТ,, и положим xi := xq + ЛоУ- Теперь А1Х1 = bi, где bi — часть вектора Ь, соответствующего матрице Ар Начнем теперь весь процесс сначала, используя Ат и xi вместо Ао и х0.
Теорема 7.2. Представленный выше метод завершает работу.
Доказательство. Обозначим через АкХ < bk, Xk, Uk, yk> Лк соответствующие величины на к-й итерации основного цикла симплекс- метода. По (7.5) мы знаем, что
Jxq < Jxi < СТХ2 < ...,
где сТхк = сТхк+1 тогда и только тогда, когда Хк = Хк+1 (так как это равносильно тому, что Лк = 0).
Предположим, что метод не заканчивает работу. Это значит, что существуют такие итерации к и I, k < I, для которых Ак = Ai, так как At выбираются в качестве подматриц из А, и таковых существует лишь конечное число. Значит, Xk = х; (как решения одной и той же невырожденной системы линейных уравнений), и тогда
Хк — %к+1 = . . . = Х{.
В каждой из итераций симплекс-метода из текущей матрицы At выбрасывают одну из строк аТ. Обозначим через т максимальный индекс строки, которую выбросили из Аг во время одной из итераций г = k, к +1,..., I. Предположим, что аТ выбросили во время итерации с номером р. Обозначим через q номер итерации, на которой аТ добавили в Aq (так как Ак = Аь это должно было произойти), к < q < I. □
Для полного описания симплекс-метода осталось лишь понять, чтб делать, чтобы найти начальную точку, принадлежащую данному многограннику. Пусть дана ЗАП вида
шах(сТх|х > 0, Ах < Ь}. (7.6)
Разделим b на неотрицательную и отрицательную части Ь' и —Ь"; тогда условия Ах < b равносильны условиям А'х < bi, А/'х > b", bz > 0, Ь" > 0. Рассмотрим теперь новую задачу линейного программирования:
max{lT (А"х — х')|х, х* > 0, А'х < Ь', А/'х — х' < Ь"}, (7.7) где х* — новый вектор переменных, а 1^ — строка, состоящая из единиц. Тогда х = 0, х' = 0 — вершина многогранника, соответствую-
щего задаче (7.7), поэтому мы можем решить эту задачу при помощи симплекс-метода. Если максимальное значение решения равно Ль", то оптимальная вершина, реализующая это решение, представляет собой вершину многогранника из задачи (7.6). Если же оно меньше, чем Яъ", то задача (7.6) не имеет решения.
Суть происходящего можно увидеть на рис. 7.1, где мы изобразили пример двумерной задачи линейного программирования. Попадая на то или иное ребро (в данном случае — на сторону многоугольника, являющегося допустимой областью), симплекс-метод старается сдвинуться по этому ребру в направлении, в котором максимизируется целевая функция. На рис. 7.2 изображена та же задача линейного программирования, но уже с линиями уровня целевой функции вместо координатной сетки. Таким образом, становится очевидным, где именно достигается максимум.
Рис. 7.2. Симплекс-метод с линиями уровня.
Пример применения симплекс-метода
Конструкция, описанная в предыдущем параграфе, представляется достаточно сложной для начинающего (а интересы и возможности начинающих мы также стараемся учитывать), чтобы обязательно проиллюстрировать ее примером. В качестве оного мы выбрали пример, который реально может встретиться в теории алгебраических байесовских сетей.
Итак, рассмотрим две атомарные пропозициональные переменные vi и V2, а также их конъюнкцию V1V2. В дальнейшем будем обозначать через pi, р2 и pi2 их вероятности p(vi), p(v2) и p(viV2) (вероятности булевых формул вводятся по Нильссону — см. §4.3, а также главы, посвященные алгебраическим байесовским сетям). Предположим, что
13
нам даны ограничения p(viV2) < и P(vi) > ^- Мы хотим узнать верхнюю границу оценки вероятности p(v2).
Рис. 7.3. Проекции тетраэдра ЗЛП из теории АБС.
Ограничения на вероятности тогда запишутся следующим образом (см. главу 9, в которой изложено, откуда берутся эти ограничения):
p(vi)-p(viv2) > О,
p(v2) -p(vtv2) > О,
< 1-p(vi)-p(v2)+p(viv2) >0,
P(V1)>|,
P(V1V2) <
плюс ограничения вида p(vt) > 0, p(vj < 1. В дальнейшем мы для сокращения записи опустим ограничения p(vt) < 1: они выводятся из имеющихся и никогда не будут использованы в симплекс-методе. Однако в общем случае их также следует добавлять в задачу линейного программирования. На рис. 7.3 изображены две проекции нашего множества ограничений: на координатную плоскость с осями p(vi) и p(viv2), а также на координатную плоскость с осями p(v2) и p(viv2). Более светлые треугольники — области, разрешенные аксиоматикой вероятностей; темная заливка и жирные линии — ограничения нашей
конкретной задачи.
Из приведенных ограничений ответ очевиден заранее: третье неравенство запрещает p(v2) быть больше -, а никакое другое p(v2) сверху не ограничивает. Попробуем получить этот ответ при помощи симплекс-
метода.
< -10 Р/ о\0 -110\p(vt)11 -110011/2, х =p(v2), А =, ъ =-100-3/4/^ P(V1V2) J-10000-1001° 01 °)чем приступить крешению этой задачи симплекс-методом,< -10 Р/ о\0 -110\p(vt)11 -110011/2, х =p(v2), А =, ъ =-100-3/4/^ P(V1V2) J-10000-1001° 01 °)чем приступить крешению этой задачи симплекс-методом,Задача линейного программирования, соответствующая данной задаче, выглядит следующим образом: шах[сТх|Ах < Ь}, гдеЗадача линейного программирования, соответствующая данной задаче, выглядит следующим образом: шах[сТх|Ах < Ь}, гдеПреждеПрежде
< -10 Р
/ о\
0 -11
0
\
p(vt)
11 -1
1
001
1/2
, х =
p(v2)
, А =
, ъ =
-100
-3/4
/
^ P(V1V2) J
-100
0
0-10
0
1° 0
1 °)
чем приступить к
решению этой задачи симплекс-методом,
< -10 Р
/ о\
0 -11
0
\
p(vt)
11 -1
1
001
1/2
, х =
p(v2)
, А =
, ъ =
-100
-3/4
/
^ P(V1V2) J
-100
0
0-10
0
1° 0
1 °)
чем приступить к
решению этой задачи симплекс-методом,
Задача линейного программирования, соответствующая данной задаче, выглядит следующим образом: шах[сТх|Ах < Ь}, где
Задача линейного программирования, соответствующая данной задаче, выглядит следующим образом: шах[сТх|Ах < Ь}, где
Прежде
Прежде
нужно найти вершину многогранника, соответствующего множеству ограничений. Для этого построим вспомогательную задачу линейного программирования, как было показано в предыдущем параграфе (размерность вектора вспомогательных переменных х' будет равна единице, так как есть лишь одно ограничение с отрицательной правой частью):
шах< 1(А"х —х') |шах< 1(А"х —х') |X х'X х'гдегдег =г =ОО////, х =, А =\ х' /, х =, А =\ х' /
шах< 1(А"х —х') |
шах< 1(А"х —х') |
X х'
X х'
где
где
г =
г =
О
О
//
//
, х =, А =
\ х' /
, х =, А =
\ х' /
Начальной вершиной для вспомогательной задачи можно взять нулевой вектор Я = 0. Ему на первой итерации симплекс-метода соответствует
матрица Ао = —Ц» получающаяся из последних четырех строк А. Вектор йо, который равен нулю везде, кроме компонентов, входящих в Ао, где он равен (c^Aq 1)Т, выглядит как (мы записываем длинные векторы в строчку для экономии места)
йо= ( Ойо= ( О0 0 0 0 -1 0 0 1 )т.0 0 0 0 -1 0 0 1 )т.
йо= ( О
йо= ( О
0 0 0 0 -1 0 0 1 )т.
0 0 0 0 -1 0 0 1 )т.
У него есть одна отрицательная компонента в позиции г^ = 6. Вектор у о. являющийся соответствующим столбцом матрицы — Ад1 = Ц, равен Уо = ( 1 0 0 0 у. Тогда среди произведений а{у о Аля разных строк йТ матрицы А найдутся три положительных (из которых все равны единице) — для строчек с индексами 1, 2 и 4. Вычислим
Ло =Ло =minj: М0>0minj: М0>03, - дхрй)У03, - дхрй)У0► = min <► = min <3.1-0 4-01 ’ 13.1-0 4-01 ’ 134*34*
Ло =
Ло =
minj: М0>0
minj: М0>0
3, - дхрй)У0
3, - дхрй)У0
► = min <
► = min <
3.
1-0 4-0
1 ’ 1
3.
1-0 4-0
1 ’ 1
3
4*
3
4*
и к = 5. Тогда Xi = Хо + ЛоУ = ( - 0 0 0 | • На следующей же \ 4/
итерации имеем, заменяя в матрице Ао строку, соответствующую г^, на строку %:
0-100Ai =00-10(о000 /0-100Ai =00-10(о000 // 100 —1 \/ 100 —1 \
0
-1
0
0
Ai =
0
0
-1
0
(о
0
0
0 /
0
-1
0
0
Ai =
0
0
-1
0
(о
0
0
0 /
/ 100 —1 \
/ 100 —1 \
/ зV
Таким образом, Су > 0, и вектор xi = I - 0 0 0 I является оп- \ 4/
3 тимальным для вспомогательной задачи. Так как 1^Х] = - = Ь", этот вектор является вершиной многогранника исходной задачи линейного
программирования.
Возвращаемся к исходной задаче, положив Xq = xi (точнее сказать, его первым трем компонентам). На первой итерации выберем строчки с номерами 2, 5 и 7 (чтобы выполнялось Aqxq = Ьо):
Ао =
^ 0-1
к 0
-1 1
0 0
-1 о
(cTA^)T =
/ о\о
к-1/
ио = ( 0 О О О О 0 -1 0 ) . Следовательно, ig = 7 и у у = ^ О 1 1 ). Тогда
Ау = ( 1 0 0 1 0 0 -1 -1 )Т
и произведения а,у положительны для j = 1 и 4. Итак,
. Г pj - ЩХ0 1.Ло = nun ^ —— > = min <j: Qjyo>O ( а,Уо J. Г pj - ЩХ0 1.Ло = nun ^ —— > = min <j: Qjyo>O ( а,Уо J1’ 11’ 11•* л2- )o = 4.1•* л2- )o = 4.Заменяя строку, соответствующую ig, на jg, a xq на х, = хо + ЛоУ, переходим к следующей итерации:Заменяя строку, соответствующую ig, на jg, a xq на х, = хо + ЛоУ, переходим к следующей итерации:1 0 0 0 0 ) , Ц =2, у!0 -1 1 0 0 0 -1 О )т,2 2/1 “ 41 0 0 0 0 ) , Ц =2, у!0 -1 1 0 0 0 -1 О )т,2 2/1 “ 4(у нас был лишь один вариант для )*, поэтому минимум выбирать не пришлось). Следующая итерация становится последней:(у нас был лишь один вариант для )*, поэтому минимум выбирать не пришлось). Следующая итерация становится последней:< 1 1 —1 \А2 =-10О\ о 01^< 1 1 —1 \А2 =-10О\ о 01^(dA?1)T =(dA?1)T =( 3/43/4 V1^( 3/43/4 V1^сТ XIсТ XI34’34’и это решение оказывается оптимальным. Таким образом, все сходится: максимальное значение р(х2) оказывается равным 3/4, чего мы ии это решение оказывается оптимальным. Таким образом, все сходится: максимальное значение р(х2) оказывается равным 3/4, чего мы иожидали.ожидали.
. Г pj - ЩХ0 1.
Ло = nun ^ —— > = min <
j: Qjyo>O ( а,Уо J
. Г pj - ЩХ0 1.
Ло = nun ^ —— > = min <
j: Qjyo>O ( а,Уо J
1’ 1
1’ 1
1•* л
2- )o = 4.
1•* л
2- )o = 4.
Заменяя строку, соответствующую ig, на jg, a xq на х, = хо + ЛоУ, переходим к следующей итерации:
Заменяя строку, соответствующую ig, на jg, a xq на х, = хо + ЛоУ, переходим к следующей итерации:
1 0 0 0 0 ) , Ц =2, у!0 -1 1 0 0 0 -1 О )т,
2 2/1 “ 4
1 0 0 0 0 ) , Ц =2, у!0 -1 1 0 0 0 -1 О )т,
2 2/1 “ 4
(у нас был лишь один вариант для )*, поэтому минимум выбирать не пришлось). Следующая итерация становится последней:
(у нас был лишь один вариант для )*, поэтому минимум выбирать не пришлось). Следующая итерация становится последней:
< 1 1 —1 \
А2 =-10О
\ о 01^
< 1 1 —1 \
А2 =-10О
\ о 01^
(dA?1)T =
(dA?1)T =
( 3/4
3/4 V1^
( 3/4
3/4 V1^
сТ XI
сТ XI
3
4’
3
4’
и это решение оказывается оптимальным. Таким образом, все сходится: максимальное значение р(х2) оказывается равным 3/4, чего мы и
и это решение оказывается оптимальным. Таким образом, все сходится: максимальное значение р(х2) оказывается равным 3/4, чего мы и
ожидали.
ожидали.
Практическая реализациясимплекс-метода
Мы уже рассмотрели симплекс-метод с теоретической стороны и предъявили пример применения его теоретической версии. Здесь мы дадим некоторые указания на счет того, как симплекс-метод реализовывать на практике. Как правило, практические реализации симплекс- метода следуют рассмотренным здесь направлениям; вероятно, эффективность наиболее прямолинейной реализации послужила одним из важных факторов популярности симплекс-метода.
Излагая материал этого параграфа, мы постепенно решаем задачу линейного программирования в виде
шах{сТх|х > 0, Ах < b}, Аб Mat(m,n), с,х б Rn, b б Rm. (7.8)
Иными словами, система, которая ранее имела вид Ах > Ь, теперь выглядит так:
/ -I \/ 0 \
I х < I I .
\ А у \ b у
Обозначим исходную, данную нам вершину многогранника, полученно
го из ограничении задачи, через Хк, через Ск — подматрицу I I, \ А у
состоящую из тех неравенств, которые при подстановке Хк становятся равенствами. По предложению 7.1 можно считать, что Ск — невырожденная матрица порядка п. Обозначим через Хк дефицит Хк = Ь—Ахк-
Иными словами, если l-я строка матрицы || встречается в Ск, то
\ А у
соответствующие компоненты вектора, составленного из текущей вершины и ее дефицита, равны нулю:
| Хк | = 0.(7.9)
\МХ
Говоря «соответствующие», мы имеем в виду компоненты с теми
же номерами: i-e ограничение из (7.8), г-я строка матрицы [|, г-й
\ А у( Хк \„,( X т\
ствуют друг другу.ствуют друг другу.компонент вектора I и г-и столбец матрицы I A I I соответ- \ хк уv 7
ствуют друг другу.
ствуют друг другу.
Рассмотрим теперь матрицу ^ А I у • Обозначим через Вк подматрицу ( А I у состоящую из тех столбцов, для которых соответству
ющие строки || не лежат в Ск. Невырожденность Вк немедлен-
\ А у
но следует из невырожденности Ск. Более того, из (7.9) и того, что (\ / хк \
I А I )= Ь, следует:
х' V Хк у
(
Хк \
, соответствующая столбцам Вк, равна Bv b: хк у
(
Хк \
I , соответствующая другим столбцам, равна нулю.
Хк У
Осталось лишь определить
(7.Ю)(7.Ю)
(7.Ю)
(7.Ю)
(
с А
I, соответствующая Вк. Отметим, что
(
и/ \
к I, находящиеся вне Ск (иными слова- ик /
ми, соответствующие столбцам Вк), равны нулю. Следовательно, этот вектор совпадает с вектором uk — вектором и, вычисленным на к-й итерации симплекс метода (см. § 7.4). Теперь все определения и обозначения готовы, и можно перейти к их применению на ниве программной реализации симплекс-метода.
Основными компонентами практической реализации симплекс- метода являются так называемые симплекс-таблица и операция вращения. Симплекс-таблицей, ассоциированной с Вк, называют матрицу следующего вида:
(7.11)(7.11)ик икГ сТхк
(7.11)
(7.11)
В^А Bj;1 В^Ь
Оказывается, такая матрица содержит все, что нужно для проведе-
(
Хк 1
1 можно получить Хк /
из B^'b, поскольку, как мы уже отмечали выше, B^'b — это ненулевая ( Хк \
часть вектора I I.
\ хк /
Как получить симплекс-таблицу? Ответ на этот вопрос дает следующее предложение. Мы не будем подробно останавливаться на его доказательстве, так как это доказательство проводится стандартными средствами линейной алгебры (фактически, это просто применение одного из алгоритмов для обращения матрицы).
Предложение 7.3. Симплекс-таблица (7.11) — это матрица, полученная из матрицы
—сТ ОТ О
A I b
при помощи следующих операций:
— умножение строки на ненулевое вещественное число;
— прибавление к одной из строк (любой) другой строки (любой, кроме верхней), умноженной на вещественное число, которые применены таким образом, чтобы подматрица Вк матрицы ( А I ) стала единичной, а в верхней строке над ней появились нули.
Теперь, для того чтобы производить итерации симплекс-метода, нужно последовательно проводить так называемые операции вращения. Они в точности соответствуют итерациям алгоритма из § 7.4; однако сейчас мы будем рассказывать не только то, что надо делать, но и то, как достаточно оптимально реализовать это в виде операций над симплекс-таблицей, т.е. именно то, что нужно для программной реализации симплекс-метода.
(
uf \/
I > 0, то Хк уже оптимален (это соответствует случаю ик /
и > 0 из § 7.4). Если же не все компоненты I „ I неотрицательны, \ Uk /
выберем минимальный индекс I*, для которого V-я компонента I k I
\ uk У отрицательна (это соответствует случаю и ^ 0 из § 7.4). В результате г*-я строка (| лежит в Cj<, и следовательно, г*-й столбец Г А I )
\ А у''
не лежит в В к-
На этом месте в алгоритме (см. § 7.4) говорится, что нужно выбрать вектор у, являющийся на самом деле столбцом матрицы (—Ар1). Обращать матрицы — дело непростое; не хотелось бы делать это на каждой итерации алгоритма. К счастью, в нашей таблице уже содержится в явном виде В^1. Этого оказывается достаточно.
По определению, у — единственный вектор, для которого dTy = О для всякой строки dT матрицы Ск, кроме г*-й строки матрицы (|
\ А у
(для нее dTy = — 1). Обозначим у = — Ау. Тогда I ^ I ~ единственный \ у у
вектор, удовлетворяющий уравнению
(a I ) ( У ) =0, v 7 \ У /
такой, что каждая компонента I I, соответствующая строке из Ск, \ У у
равна нулю, кроме г*-й компоненты, которая равна единице. Обозна- (А \( —ВГ^ \( у \
через д. ТогдаI — часть I ,
I УV 1/V У
/\/\/У\
соответствующая ( Bkg)>а вне(Вк g)в вектореIIстоят
vv7\УУ
нули. Таким образом, этот вектор можно легко получить из матрицы
В^1, которая входит в симплекс-таблицу.
Случай, в котором аТу ^ 0 для всякой строки аТ матрицы А, можно
не рассматривать — мы просто выдаем ответ, соответствующий неограниченной целевой функции. Переходим теперь к случаю, когда аТу > 0
(
Хк \
I на
Хк У
/ хк+1 А/хк\ /у\
I I = I I +Ло I I, где Ло — максимальное Л, для которого \ xk+j /\ хк У \ У /
xk+i принадлежит соответствующему системе многограннику. Иными
(
хк \
I равны 0), хк У
Ло — максимальное число, для которого
т.е. (обозначая нижним индексом t-ю компоненту)
Ло = min |(Bj^1b)t/(B^lg)t|t = 1,..., m; (B^'glt > oj . (7.13) Возьмем t*, на котором достигается минимум, и обозначим через j* номер соответствующего столбца матрицы ( А I
В соответствии с алгоритмом, описанным в § 7.4, Bk+i получается из Вк заменой t*-ro столбца на 1*-й столбец матрицы ( А I ). Как же пересчитать симплекс-таблицу для (к+ 1 )-й итерации алгоритма? Для этого мы воспользуемся предложением 7.3. Чтобы получить Bk+i из Вк, нужно добавить 1*-ю строку (с коэффициентами, конечно) к другим строкам и умножить 1*-ю строку на такое число, чтобы )*-й столбец стал базисным вектором, единица которого стоит в позиции t*. Эта операция не изменит (т — 1) базисный вектор es, у которых s / t*. Поэтому, по предложению 7.3, мы получили симплекс-таблицу.
Мы завершили алгебраическое описание симплекс-метода. Надеемся, что представленные в этом параграфе вычисления уже настолько
детализированы, что не должны представлять сложности для реализации.
§ 7.7. Метод эллипсоидов Хачияна
Долгое время симплекс-метод был даже теоретически лучшим известным алгоритмом для решения задач линейного программирования. Однако в конце 1970-х годов здесь был достигнут один из самых знаменитых прорывов в теории сложности: Леонид Генрихович Хачиян [119]
построил алгоритм, который решает задачу линейного программирования за полиномиальное число шагов.
В этом параграфе мы расскажем идею алгоритма Хачияна. Его нечасто включают в пособия и курсы по линейному программированию, поэтому мы сочли полезным привести его здесь. Он получил название «метод эллипсоидов», потому что ключевую роль в нем играет понятия эллипсоида. Прежде чем дать определение, мы напомним, что симметрическая матрица D е Mat(n, п) называется положительно определенной, если все ее собственные числа положительны. Из линейной алгебры известно [60,61,113], что следующие утверждения равносильны:
D положительно определена;
D = ВТ В для некоторой невырожденной матрицы В;
xTDx > 0 для всякого ненулевого вектора х.
Теперь можно дать определение эллипсоида.
Определение 7.1. Набор векторов Е С Rn называется эллипсоидом, если существуют вектор z € Rn и положительно определенная матрица D € Mat(n, п) такие, что
Е = ell(х, D) := {х|(х - z)TD~1 (х - z) < 1} .
Вектор z называется центром эллипсоида Е. Несложно видеть, что эллипсоиды — это в точности результаты аффинных преобразований единичной сферы {х|хТх < 1}.
Основным инструментом для метода эллипсоидов является следующее предложение.
Предложение 7.4. Пусть Е = ell(z, D) — эллипсоид в Rn, и пусть а — вектор из Rn. Пусть Е' — эллипсоид Е' = ellfz'.D'), имеющий минимальный объем (в прямом, геометрическом смысле этого слова; мы обозначаем объем Е через vol Е) среди всех эллипсоидов, содержащих множество ell(z, D) П{х|аТх < oTz}. Тогда Е' определен этим своим свойством единственным образом и
.1 Da
z — z ,,
п +1 VaTDaи2 /_2 DaaTD\
D = “5—7 I От • тт^п2 — 1 у п+1 aTDa /
Более того,
Доказательство. Мы дадим лишь набросок доказательства — заинтересованный читатель сможет восстановить детали самостоятельно или найдет их в [281] или [319].
Первая часть доказательства, о том, что соотношения (7.14) действительно задают эллипсоид Е' минимального объема, содержащий данное множество, следует из достаточно элементарных геометрических соображений (см. [281] для полного доказательства) в случае, если Е — единичная сфера (т.е. z = 0hD = 1). Затем остается заметить, что при аффинном преобразовании отношения объемов сохраняются, поэтому преобразованный из единичной сферы эллипсоид сохранит свойство минимальности объема.
Вторая часть следует из цепочки неравенств:
vol(ell(z',D')) /detD'vol(ell(z',D')) /detD'vol (ell(z, D))vol (ell(z, D))detDdetDn + 1n + 1e-1/2(n+1)e-1/2(n+1)
vol(ell(z',D')) /detD'
vol(ell(z',D')) /detD'
vol (ell(z, D))
vol (ell(z, D))
detD
detD
n + 1
n + 1
e-1/2(n+1)
e-1/2(n+1)
Первое равенство цепочки хорошо известно (определитель — это форма, напрямую связанная с объемом), последнее неравенство очевидно, так как 1 + х < ех, если х ^ 0. Второе равенство мы докажем для случая, когда D — единичная сфера. Тогда оно следует из того, что единственным ненулевым собственным числом матрицы (аТа)-1 • ааТ является единица с кратностью 1:
Теперь мы можем продемонстрировать идею метода Хачияна. Мы применим ее к задаче с бинарным ответом: по данной системе линейных неравенств Ах < b определить, имеет ли она решения. Оказывается [319], эта задача полиномиально эквивалентна общей задаче линейного программирования (7.1), т.е. любой полиномиальный алгоритм
для ее решения транслируется в полиномиальный алгоритм для решения ЗЛП. Мы сделаем два априорных предположения:
многогранник R := {х|Ах < Ь} ограничен и имеет непустую внутренность;
мы можем вычислять с неограниченной точностью.
Эти ограничения — то, что отделяет идею, которую мы здесь представим, от реально работающего алгоритма. Однако при помощи довольно тяжеловесных, но идейно несложных технических ухищрений оба эти ограничения удается обойти [319].
Кроме того, прежде чем переходить к рассмотрению алгоритма, определим то, как мы собираемся измерять его сложность. Мы считаем, что условия нашей задачи даны в рациональных числах. Определим размер участвующих в задаче величин:
р
размер рационального числа г = —, q > О определяется как q
size(r) := 1 4- |’log2(|p| + 1)1 + riog2(q + 1)];
размер вектора с = (уь... ,уп) определяется как
size(c) := n + size(yi) + ... + size(yn);
размер матрицы A = (ay) e Mat(m,n) определяется как n
size(A) := mn+ У m У" size(ay).i=i j=i
Размер рационального числа, таким образом, определяется в бинарной записи и логарифмически связан с величиной числителя и знаменателя. Размером задачи Ах < b будем считать суммарный размер матрицы А и вектора Ь. Именно от них будет полиномиален алгоритм Хачияна.
Приведем без доказательства [319] предложение, которое связывает два вида сложности.
Предложение 7.5. Пусть R С Rn — многогранник с вершинами в рациональных точках. Определим, два вида сложности Р:
сложность по граням — это минимальное ф такое, что ф >ti, и существует система линейных уравнений с рациональными коэффициентами Ах > Ь, которая определяет Rue которой размер каждого неравенства не превосходит Ф;
— сложность по вершинам — это мингьмалъное у такое, что у > п, и существуют такие векторы X],..., Хк, у 1 >...»у t с рациональными коэффициентами, что
R = Conv(xi,..., хк) + Cone(yi,...,yt),
и размер каждого из xt, yi не превосходит у (где Conv — выпуклая оболочка, Cone — коническая оболочка).
Тогда у < 4п2ф и ф < 4n2v.
Итак, мы начинаем рассмотрение с эллипсоида (точнее, сферы)
Ео = {х ||| х ||< г},
где радиус г выбран таким образом, чтобы R С Ео (например, можно выбрать 2V, где у = 4п2ф по предложению 7.5). Метод Хачияна состоит в том, чтобы рекурсивно выбирать последовательно уменьшающиеся в объеме эллипсоиды Eq, Ei , Е2,..., так, чтобы для каждого г выполнялось включение R С Ei. Иными словами, мы должны определить последовательность центров zo, zj,... и последовательность симметрических положительно определенных матриц Do, Di,... Первый эллипсоид Eq определяет
zo = 0, Dq = г2 • I.
Предположим теперь, что мы определили эллипсоид Ei 2 Р. Вели Zi удовлетворяет условию Azi < b, то мы уже решили задачу, и метод останавливается. Вели же Zi не удовлетворяет условиям Ах <Ь, то выберем (любое) неравенство а^х < 3k из Ах < Ь, которое нарушается вектором z^. По предложению 7.4 выберем Ei+i — эллипсоид минимального объема, содержащий ту часть Ei, которая находится «с правильной стороны» от Zi, а именно EiD{x|a^x < a^Zi). Тогда эллипсоид Ei+j снова содержит R, так как R С Ei и R С {xla^x < Pk) С {xla^x < a^z).
По предложению 7.4
У2[Еьм < e-V(2n+2)vol Ei*
а это значит, что
volEi<e"v(2n+2)(2r)n.
Теперь мы видим, что объем vol Ei экспоненциально убывает с ростом г, и осталось лишь показать, что объем vol R ограничен снизу разумной величиной. Действительно, это вытекает из ограничений на размер его вершин. Пусть xq, ... ,хп — линейно независимые вершины R
(они существуют, так как у R непустая внутренность). Напомним, что размер каждой из них не превышает -v = 2п2ф, где ф — сложность исходной системы. Тогда
vol R > vol Conv(xo,..., xn) =
detdet1xo1xo1Xn1Xn> ^— n^-tw > 2“2rw> ^— n^-tw > 2“2rw
det
det
1
xo
1
xo
1
Xn
1
Xn
> ^— n^-tw > 2“2rw
> ^— n^-tw > 2“2rw
Нижняя оценка на определитель следует из того, что размер каждого его элемента не превосходит -v и, следовательно, знаменатель дроби, представляющей собой определитель, не превосходит 2TVV.
Теперь получается, что, если мы дошли до эллипсоида Ем, где N = Тбп^у, то мы получили противоречие (вспомним, что г < 2^):
2-2™ < vol Р < vol En < e-N/<2n+2). (2т)п < 1-г™.
Поэтому либо алгоритм сам остановится раньше, найдя точку 2^ € R, либо мы остановим его после N итераций и выдадим отрицательный ответ. Так как N полиномиально ограничено размерами А и Ь, мы получили полиномиальный алгоритм для решения задачи линейного программирования.
Алгоритм Хачияна плох по многим причинам. Та его версия, что изложена здесь, пока не является полиномиальным алгоритмом. Во- первых, в процессе пересчета эллипсоидов нужно извлекать квадратный корень, а делать это сложно, и пока неизвестно, с какой точностью это нужно делать. Во-вторых, размеры величин zt, Dt вполне могут экспоненциально расти в процессе такого пересчета, и нужно показать, что этого не случится. Однако проблемы можно решить [119,319]: алгоритм Хачияна — действительно полиномиальный алгоритм для решения задач линейного программирования.
Но есть две нерешенные проблемы, которые делают алгоритм Хачияна малопривлекательным. Первая проблема: этот алгоритм безнадежен на практике. Существуют задачи размером в 50 переменных, для которых требуются более 24000 итераций метода Хачияна [224], причем итерации эти отнюдь не тривиальны (хоть и полиномиальны, конечно). Метод эллипсоидов несравним с симплекс-методом: последний хотя и экспоненциален в худшем случае, однако на практике справляется с ЗАП значительно лучше.
Вторая причина — теоретическая. Количество итераций, требующихся алгоритму Хачияна, существенно зависит не только от размерности подающейся на вход системы, но и от размера чисел, из которых состоят А и Ь. Эта особенность, конечно, не мешает ему быть полиномиальным, но, вообще говоря, крайне нежелательна. Предпринимались попытки создания алгоритма, количество итераций в котором не зависело бы от размера чисел (дальше всех продвинулся в этом направлении Мегиддо [276]), но они пока были безуспешны.
Метод эллипсоидов Хачияна представлет собой фактически первую ласточку строгого разграничения между теоретически и практически успешными алгоритмами. Алгоритм, имеющий лучшую верхнюю оценку сложности, вовсе не обязательно будет наиболее удачен для практической реализации.
7.8. Задача дробно-линейногопрограммирования
Кроме задач линейного программирования, описанных выше, в дальнейшем нам встретятся так называемые задачи дробно-линейного программирование. От задач линейного программирования они отличаются тем, что функция, которая оптимизируется, является не линейной функцией, а отношением двух линейных функций. Однако, как показано в [27], при определенных условиях задача дробно-линейного программирования может быть сведена к задаче линейного программирования. Основываясь на [27], мы докажем правомерность такого сведения при ограничениях, которые встретятся в данной книге при реализации алгоритмов апостериорного вывода в алгебраических байесовских сетях (§ 11.4). Для более детального и полного описания ситуаций, когда подобное сведение допустимо, рекомендуем обратиться к указанному источнику.
Определение 7.2. Задача дробно линейного программирования — это задача поиска минимума {или максимума) функции вида сТх + £, оТх + Р
при условии Ах > Ь. Здесь с и а ■— векторы, коэффициентов, х — вектор переменных, а Е, и $ — вещественные числа.
Более того, мы будем полагать, что
оТх + р > 0.
Чтобы соблюсти это дополнительное ограничение при попытке решить произвольную задачу гиперболического программирования, представим ее в виде трех задач с ограничениями оТх + р < 0, оТх + Р > 0 и оТх + р = 0. Вели qTx + Р < 0, то можно рассмотреть функцию
—сТх — Е,—оТх — р ’
и для нее это ограничение будет выполнено, а результат решения задачи совпадет с искомым (только знак у значения целевой функции поменяется). А если оТх + Р = 0, то либо это отношение является константой во всей области определения, либо оно не ограничено. Иными словами, эта ситуация требует отдельного рассмотрения, и это отдельное рассмотрение со сложностной точки зрения тривиально.
Теперь введем новые переменные — w и у; вводим мы их таким образом, что w = ух и у > 0. При этих предположениях наша задача может быть приведена к виду
Jw + Ey .
'r'olw + Py
при условиях Aw — yb > 0 и у > 0. Мы по-прежнему полагаем, что oTw + Ру > 0. Теперь заметим, что для любого вещественного Л > О F(w,y) = F(Aw,Ay), a Aw—yb > 0 =^ A(Aw) —(Лу)Ь > 0. Это значит, что множество допустимых векторов, на которых мы решаем задачу минимизации, представляет собой конус, причем значение оптимизируемой функции на каждом луче этого конуса постоянно. Значит, если множество, на котором мы ищем оптимум, мы ограничим таким образом, что в нем будет содержаться хотя бы по одной точке из каждого луча, то результат не изменится (трехмерный пример такого ограничения —
фактически, перехода от конуса к некоторому его сечению — показан на рис. 7.4).
Теперь обратим внимание на следующий факт: так как мы полагаем, что oTw + Ру > 0, то для любой пары (w,y) можно подобрать такое А > О, что qT (Aw) + Р(Ау) = 1. Значит, можно ограничить область поиска оптимума, добавив в нашу задачу условие oTw + Ру = 1. Но при этом ограничении F(w,y) = c^w + £у, т.е. F — линейна. Выпишем задачу, которая у нас получилась:
cTw + £у —> min,
oTw + Ру = 1, Aw — yb > О, у > 0.
К сожалению, это по-прежнему не задача линейного программирования. Все портит строгое неравенство у > 0. В книге [27] приводится доказательство того, что если условия oTw+Py = 1 и Aw—yb > 0 задают ограниченную область, то замена строгого неравенства на нестрогое не изменит решения. В задачах дробно-линейного программирования, которые встретятся в нашей книге, из условий
аТ w + Ру = 1
Aw — yb > О
будет следовать, что у > 1, поэтому мы сможем заменить условие у > О на условие у > 1 и получить таким образом задачу линейного программирования.
Этот подход к трансформации задач дробно-линейного программирования в задачи линейного программирования был применен в контексте вероятностного вывода в [348]. Там рассматривался вывод верхних и нижних оценок вероятностей пропозициональных формул по данным точечным оценкам вероятностей других формул через представление их в виде суммы вероятностей квантов.
. Заключение
Данная глава была посвящена анализу различных подходов и конкретных алгоритмов, служащих для решения задач линейного программирования. Эти задачи играют важнейшую роль для аппарата алгебраических байесовских сетей: фактически все нетривиальные алгоритмы нашей теории работают на основе решения ЗАП.
Мы не коснулись некоторых других алгоритмов, которые предназначены для решения подобных задач. Так, например, мы не рассмотрели так называемый метод внутренней точки (interior point method), который сейчас активно используется для решения ЗАП. Тем не менее мы надеемся, что изложенный в этой главе материал окажется достаточным для базового понимания теории ЗАП, а также для непосредственной программной реализации изложенных алгоритмов.
Глава 8
Представление данныхв программной реализации
В настоящее время является весьма актуальным вопрос о проведении на электронных цифровых машинах самых различных математических работ... Это выдвигает задачу разработки практически удобных и универсальных методов введения такого рода заданий в машины и единых методов выполнения этих заданий.
Л. В. Канторович^ 1956
...и животноводство!
А. и Б. Стругацкие
Какая наука когда-нибудь научила применять науку своевременно?
Фрэнсис Бэкон
. Введение
В этой главе мы впервые обратим внимание на сугубо практические аспекты, которые, тем не менее, могут существенно помочь в понимании теоретического материала. В § 8.2 будет описано несколько способов перенумерации логических формул. Мы предложим способ нумерации, для которого формулу будет легко выписать по ее номеру. Это позволит в программной реализации оперировать номерами квантов и конъюнктов; такие номера являются целыми неотрицательными числами, и их использование вместо самих пропозициональных формул, на наш взгляд, существенно упростит задачу выбора представления данных, программирование, а также повысит эффективность полученного кода. Кроме того, введение нумерации квантов и конъюнктов позволит в некоторых случаях явно выписать формулы, определяющие общий вид множества ограничений на вероятности элементов идеала цепочек конъюнкций.
В § 8.3 излагаются ключевые вопросы реализации алгоритмов, предложенных в последующих главах, на компьютере. Здесь мы дадим базовые сведения, необходимые для работы с двумя библиотеками, позволяющими решать задачи линейного программирования. В данном параграфе будут приведены фрагменты кода на языках С и Pascal, которые, как мы надеемся, помогут желающим реализовать алгоритмы, схемы которых описаны в настоящей книге.
Кроме рассмотрения вопросов, напрямую связанных с программной реализацией алгоритмов, мы в § 8.4 определим базовые понятия теории графов. Этот аппарат позволит нам впоследствии ввести некоторые новые понятия при работе с алгебраическими баесовскими сетями. Кроме того, он просто необходим при обсуждении байесовских сетей доверия.
8.2. Перенумерация формул
Одним из важных аспектов программной реализации является способ представления данных. Мы опишем достаточно естественную и в то же время несложную для реализации перенумерацию пропозициональных формул (квантов и конъюнктов). В главе 4 (примеры 4.3 и 4.4) показано соотношение между вероятностями на квантах и вероятностями на конъюнктах для случая двух и трех переменных. Давайте опишем это соотношение в общем случае.
Для того чтобы сопоставить целые числа и формулы, введем следующие обозначения: Хщ и Q^]. Смысл этих обозначений таков:
Х[у— для конъюнкта, соответствующего целому числу г.
Qy— для кванта, соответствующего целому числу j.
Теперь можно перейти непосредственно к описанию нумерации конъюнктов. Пусть есть множество атомарных пропозиций {xi, Х2,..., хп}. Тогда определим Хщ следующим образом:
^[г] := Д хк-
Ьк(г)=1
Здесь Ьк(г) обозначает к-тую цифру числа г в двоичном представлении (считая с младшего разряда). Кроме того, младший разряд считается первым, а не нулевым, как это зачастую бывает в программировании (особенно на С-подобных языках). Это связано с тем, что для человека естественнее нумеровать пропозициональные переменные не с нуля,
а с единицы. Так, например, 6,о = 1102 и соответственно Ь,(6) = О, Ь2(6) = 1, Ьз(6) = 1. Для программистов может показаться более удобной одна из следующих формул для вычисления bk(i):
Язык С: г » (к — 1 )&1,
Язык Pascal:(г shr (к—1)) and 1.
Введя нумерацию битов с единицы, а не с нуля, мы предпочли удобство восприятия некоторым незначительным техническим нюансам в программировании. Но удобство восприятия далеко не всегда оправдывает себя. Так, например, можно было бы нумеровать биты не справа налево, а слева направо, поскольку при чтении текста для нас первый бит — это старший бит. Но подобное «удобство» будет вносить большие проблемы. Среди них то, что значение Хщ станет зависеть от общего числа переменных, поскольку в подобной нотации немалую роль играют лидирующие нули. А это ведет к различным техническим неудобствам, связанным с тем, что необходимо заранее фиксировать конкретное общее число пропозиций.
Итак, для того чтобы читателю стала окончательно понятна описанная нумерация, приведем несколько примеров.
ПРИМЕР 8.1. Нумерация конъюнктов. Выпишем несколько конъюнктов:
Х(о] = е = ТХ[,] = х, Х(б) = х2х3 Х[,з] = Х,ХзХ4 Х[1000] = Х4ХбХ7Х8Х9Х,0Х(о] = е = ТХ[,] = х, Х(б) = х2х3 Х[,з] = Х,ХзХ4 Х[1000] = Х4ХбХ7Х8Х9Х,0Ою = 0г,110 = 12,610 = 1102, 1310-11012) ЮООю = 11111010002.Ою = 0г,110 = 12,610 = 1102, 1310-11012) ЮООю = 11111010002.
Х(о] = е = Т
Х[,] = х, Х(б) = х2х3 Х[,з] = Х,ХзХ4 Х[1000] = Х4ХбХ7Х8Х9Х,0
Х(о] = е = Т
Х[,] = х, Х(б) = х2х3 Х[,з] = Х,ХзХ4 Х[1000] = Х4ХбХ7Х8Х9Х,0
Ою = 0г,
110 = 12,
610 = 1102, 1310-11012) ЮООю = 11111010002.
Ою = 0г,
110 = 12,
610 = 1102, 1310-11012) ЮООю = 11111010002.
Теперь зададим перенумерацию квантов:
Q[i] := Л ХЧ Л I Л ХЧ •\bk(i)=1/\Ь,(г)=О /
Заметим, что несмотря на то, что нулевым позициям двоичной записи теперь соответствуют отрицания атомарных пропозиций, у нас не возникнет проблемы с лидирующими нулями, о которой говорилось выше:
,100010=11111,0,1,000,2
—zs—Ч^т-i—'
\\ 4
г#^1,_ * _Л ill-^1
Х[1000]-Х4ХбХ7Х8Х9Х10 ОпОООГХ^ХзХдХбХбХуХвХдХц)
Рис. 8.1. Нумерация квантов и конъюнктов.
во всех используемых алгоритмах нас будет интересовать только «положительно означенная» часть кванта. Но это — с точки зрения алгоритмов и их реализаций, а для математически строгих доказательств нам потребуется различать кванты разной длины. Для этого мы используем обозначение Q^, где п будет определять длину кванта.
Пример 8.2. Нумерация квантов
Cho = 02, ho = h. 6io = 1102) 1310 = H012, 100010 =11111010002.Cho = 02, ho = h. 6io = 1102) 1310 = H012, 100010 =11111010002.Так как предложенная нумерация, адаптированная к компьютерному представлению, определяет только положительно означенную часть кванта, то для корректности примеров предположим, что у нас всего п пропозициональных переменных.
Cho = 02, ho = h. 6io = 1102) 1310 = H012, 100010 =11111010002.
Cho = 02, ho = h. 6io = 1102) 1310 = H012, 100010 =11111010002.
Qto] =xix2...xn,
Q(U — xix2...xn>
Q(6] = XlX2X3X4...Xn,
Q[13] =X1X2X3X4X5...Xn,
QllOOO] =X1X2X3X4X5X6X7X8X9XioXn ...Xn,
Это были примеры, в которых длина фиксирована «на словах», а теперь — пара примеров с длиной, заданной конкретно:
Q[6) =X1X2X3X4X5,610 =001102,
Q*^ = xix2x3X4XsX6X7,13ю = 00011012.
Нумерации квантов и конъюнктов также проиллюстрированы на рис. 8.1.
Итак, мы ввели нумерацию; теперь, как и было обещано, обобщим соотношения, приведенные в примерах 4.3 и 4.4.
Теорема 8.1. При описанной нумерации зависимости между вероятностями квантов и конъюнктов определяется следующим образом:
( P(Q[O]) P(Q[1]) ••• P(Q[m]))T =
= In(p(X[0]) р(хп]) ... p(X[m]))T, где n — число атомарных пропозиций, над которыми построены набор квантов и идеал конъюнктов; m = 2П — 1, а матрица 1п определяется рекурсивно при помощи следующего соотношения:
-1п-11п-1-1п-11п-1(3.1)(3.1)
-1п-1
1п-1
-1п-1
1п-1
(3.1)
(3.1)
Доказательство. Будем вести доказательство по индукции. Из примера 4.3 мы знаем, что это соотношение верно для п = 2. Положим, что оно справедливо для п — 1, и докажем его для п. Для удобства положим I = 2П~1 — 1. В соответствии с вышеописанной нумерацией
( Р(Х[О]) ^
Р(Х[Ц)
P(X[W1)
Р(Х[т])
)
р ^[1]) р (^Iwi)
==
P(Q|ml)
P(X[oj)
Р(Х[1])
Р(Х[О]ХП) ’
\ р(Х[ухп) /
/ р (qS-11^)
„ /п(п-1] \
Р I Q щ Хп )
/ л[п— 1]\
Р ^Q[0] xnJ
\ р (Qdi Хп) /
Представим матрицу 1п в виде четырех блоков, каждый размером 1x1:
I JA И
П \ С D /
Кроме того, введем формальные обозначения:
(р(Хи) р(ХП]) ... p(Xw) )Т=Р(Х),
( Р(Х[0]Хп) PtXpjXn) ... р(Х[Цхп) )Т = Р(Ххп),
( p(Q[o] ^n^ v(Q[ij ^Хп) ••• p(Q[u ^n) ) =P(Qxn),(p(Q}of1lXn) PtQ^’xn) ... р(0|Дхп) )T = P(Qxn).
Данные обозначения введены исключительно для обеспечения «наглядности» следующей выкладки, которую можно сделать и без них, но это оказалось бы очень громоздко. В рамках этих обозначений соотношение, которое мы хотим доказать, примет вид
/ P(QxJ V f А в W р(х) А
\ P(Qxn) )\ С D Д Р(Ххп) ) "
Отсюда получаем:
P(Qxn)=AP(X) + BP(Xxn),
P(Qxn) = CP(X) + DP(Xxn).
Заметим, что имеют место следующие соотношения для вероятностей:
Р (Qi?-’1*™) = ^P(X[i]Xn)In-i(M)> j=o
Используя введенные выше обозначения и предположение индукции, получаем:
P(Qxn)=In-iP(Xxn),
P(QXn) = P(Q) - P(QXn) = In-lP(X) - In-iP(Xxn).
Но отсюда следует, что A = In-i> В = —In-i, C = 0, D = In-i, что и требовалось доказать.□
Рис. 8.2. Матрица I].
Здесь и далее вертикальная штриховка означает плюс один, горизонтальная — минус один, а незаштрихованные области считаются заполненными нулями.
Добавим еще одно замечание. Структура матрицы 1П позволяет нам судить о структуре идеалов цепочек конъюнкций (мы подробно поговорим об идеалах цепочек конъюнкций и связанном с этим понятием фрагмента знаний в главе 9). Они обладают регулярной и интересной структурой, повторяя себя при добавлении новых переменных. Мы решили проиллюстрировать это так, как изображено на рис. 8.9: темные вершины — это исходный фрагмент знаний (на этом рисунке нам требуется рассматривать идеалы с единицей; позднее мы обычно не будем включать единицу в идеал цепочек конъюнкций), белые — тот, который получится из него домно- жением на хз (сверху) или Х4 (снизу). Вся картинка, вместе взятая, представляет собой идеал цепочек конъюнкций на единицу большей размерности.
Мы описали рекурсивное построение матрицы перехода от вероятностей на конъюнктах к вероятности на квантах. Подобное рекурсивное построение требует достаточно большого количества памяти. Однако большинству систем, решающих задачи линейного программирования, достаточно получить на вход не все, а лишь ненулевое коэффициенты указанной матрицы.
Проверка на равенство элемента 1п(ц j) нулю может быть реализована проверкой утверждения г Л Aj / г, где АЛ обозначает побитовую конъюнкцию (AND), или эквивалентного ему г V Vj / }, где VV обозначает побитовую дизъюнкцию (OR). Иными словами, если I(iJ) / О, то единицы в двоичном представлении г могут быть только на тех ме-
Рис. 8.4. Матрица 1з.
Рис. 8.5. Матрица I4.
llll = = llll = llllllll = = l
Illi = = Illii
1111==1111
Illi =
Illi = = 1111
Illi =
1111 =
Illi Illi
i Illi Illi = Illi = = Illi = Illi Illi = Illi = = Illi Illi
1111 1111 =
Illi1111=
= Illi =11111111= = Illi =1111
Illi Illi = Illi1111=
= Illi =11111111= = Illi =1111
1111
1111=11111111= = = 1111 IS =1111
= = 1111 = 11111111 =
Illi = = Illi 1111==1111
Illi =
Illi = = 1111 Illi = 1111 =
Illi
Illi =
Illi = = 1111
Illi = 1111 =
Illi llllllll = llll = = llll = Illi Illi = = 11111111 =
= Illi
Illi
llll = = llll = llllllll = = llllllll = llll =
Illi == Illi= Illi Illi
1111==1111=1111 I
11111111= = 1111 =1111
1111
Illi =
Illi = = 1111
Illi =
1111 =
Illi
1111 = =
Illi
Illi
1111= 1111
11111111=
= 1111 =1111
1111=11111111 =
= = 1111
==1111
Illi =
Illi = = 1111
Illi =
1111 = Illi
Рис. 8.6. Матрица I5.
Рис. 8.7. Матрица Ц.
Рис. 8.8. Матрица I7.
XiX2x3
Рис. 8.9. Произведение идеалов.
стах, где они есть в двоичном представлении j. Как несложно заметить из рекуррентного соотношения 8.1, элемент матрицы может принимать одно из трех значений: — 1, 0, 1. При этом ненулевые элементы определяются по следующей формуле: In(i, j) = (—] )bits(j)-bits(v) _ (—1)blts() xor 1>) где bits(i) — количество единиц в двоичном представлении числа г, г хог ) — побитовое исключающее ИЛИ (XOR). Таким образом, для любой пары (г, j) несложно определить In(i,j), и пример кода, реализующего вычисления 1П(М)> будет приведен в следующем параграфе.
Разумеется, перебор всех возможных пар — неоптимальный алгоритм. Более эффективна генерация всевозможных пополнений числа г единицами. Иными словами, условие г V Vj = ) формально означает, что если в двоичной записи г на какой-либо позиции стоит единица, то в j на этой позиции тоже стоит единица. Таким образом, если у нас зафиксировано г, то, заменяя в нем произвольное количество нулей (с учетом максимальной длины двоичного представления, требующегося для квантов и конъюнктов над заданным конечным множеством атомарных пропозиций) на единицы, мы будем получать числа, удовлетворяющие условию i V Vj = j. Можно также перебирать различные значения для j и востанавливать все допустимые значения г, «обнуляя единицы» из двоичного представления j. Однако данные задачи несколько сложнее с точки зрения реализации, а эта процедура, видимо, не является самой медленной частью программы, поэтому проводить такую оптимизацию может оказаться нерациональным.
В теоретических выкладках и при разработке программных приложений полезной может оказаться матрица Jn := 1~1. Она так же, как и 1П ранее, задается рекурсивно:
= / Jn_! Jn-Л = / ! 1 \\ о Jn—1 / h \0 1 /
Заметим, что в матрице Jn присутствуют уже только нули и единицы. Элемент же — 1 невозможен, поскольку матрица фактически выражает вероятности ряда пропозициональных формул через вероятности квантов. Именно набор квантов играет в рассматриваемой версии вероятностной логики роль множества элементарных исходов.
§8.3. Псевдокод и программные реализации
В данном параграфе мы опишем псевдокод, который будем использовать, и покажем, как этот псевдокод можно реализовать, с применением двух разных библиотек линейного программирования. В качестве библиотек мы рассмотрим ILOG CPLEX и GLPK. Первая выбрана нами как удобный для программиста и надежный продукт, но продукт этот коммерческий, и использование ILOG требует приобретения дорогостоящей, по нашим меркам, лицензии. Вторая из библиотек выбрана в качестве приемлемой бесплатной альтернативы — разумеется, можно найти и другие.
В этой книге мы постарались максимально формализовать ряд алгоритмов. Такие формализации встретятся в качестве иллюстраций; однако стоит сказать, что несмотря на использование слова «алгоритм», это не алгоритмы в терминах ГОСТа. Это — схемы алгоритмов. Мы постарались описать используемые алгоритмы с необходимой для программной реализации полнотой, но при этом не вдавались в «компьютерно-лингвистические» детали, присущие отдельным языкам, за исключением подхода к изложению материала в текущей главе.
Опишем программный код формирования задачи линейного программирования для ее последующего решения на компьютере. Здесь мы будем использовать обозначения, отличающиеся от стандартных в описаниях библиотек решения ЗЛП, но максимально приближенные к задачам, появляющимся в настоящей книге. Так, например, в качестве переменных в наших задачах будут фигурировать вероятности конъюнктов, что и привело к обозначению F^. Мы будем оперировать следующими объектами:
переменные — Fc = (1со> Fei > • • •, 1cm) — вектор переменных, фигурирующих в ЗЛП;
целевая функция — с • Fc, где с = (со, ci,..., cm) — вектор коэффициентов;
граничные условия — условия вида k < let < ui> где к и Ut — вещественные числа, означающие нижнее и верхнее ограничения переменной R^ соответственно (в наших задачах всегда 0 < к < Ui < 1);
основные условия — условия вида 1^ < At • Рс < иА, где At = (Ato, An > • • • > Aim) — векторы коэффициентов ограничений.
Одна из границ основного условия (lA или иА) вполне может быть опущена (например, условие 1 < let + 2^ содержит только одну границу, но мы все равно относим его к этой категории). В наших задачах основные условия будут состоять из стандартного (вытекающих из аксиоматики теории вероятностей) и дополнительного (всех прочих) ограничений.
Общий алгоритм работы программы следующий:
создать задачу (т.е. экземпляр объекта «задача», который будет содержать все условия и к которому будет применен соответствующий решатель);
задать целевую функцию;
задать граничные условия;
задать основные условия;
запустить соответствующий решатель;
обработать ответ решателя.
Обратимся к примеру ЗАП из параграфа § 7.5 и опишем его решение при помощи библиотеки ILOG CPLEX на языке C++ и при помощи библиотеки GLPK на языке Pascal.
Напомним условия этого примера, но для записи будем использовать описанную ранее перенумерацию конъюнктов. Кроме того, введем обозначение I£i := р(Хщ) Так, например, 1^5 — это вероятность р(Х[5]) = p(xjx3). В указанных обозначениях задача примет следующий вид:
Тс1 ^сЗ — О,
Тс2 ^сЗ — 0>
— Тс1 ~ *с2 + ^сЗ О,
Р«1 >
РсЗ < i,
О < Pci <1,
0<Рс2<1,
0<Рс3<1.
Требуется найти максимум ^2- Для реализации на ILOG CPLEX добавим фиктивную переменную Тео > равную 1. Подобное введение фиктивной переменной полностью соответствует нашей нумерации, так как — это вероятность пустой цепочки конъюнкций, которая эквивалентна тождественной истине Т.
Пример 8.3. ЗЛП с ILOG
#include <ilcplex/ilocplex.h>
int main() {
// Создаем задачу. Объявляем необходимые объекты.
IloEnv env;// Обязательное окружение, в котором
// создаются объекты ILOG-библиотек.
IloModel model(env); // Собственно модель, к которой будет // применен солвер.
IloNumVarArray Pc(env); // Объект, описывающий переменные с // указанием граничных условий.
IloRangeArray A(env); // Объект, содержащий основные условия.
// Создаем переменные задачи и одновременно
// указываем их нижнии и верхний границы.
Pc.add(IloNumVar(env, 1.0 , 1.0)); // 1<=Рс_0<=1
Pc.add(IloNumVar(env, 0.75, 1.0)); // 0.75<=Pc_K=l
Pc.add(IloNumVar(env, 0.0 , 1.0)); // 0.0<=Pc.2<=l Pc.add(IloNumVar(env, 0.0 , 0.5)); // 0.0<=Pc.3<=0.5
// Задаем ограничение l-Pc_l-Pc_2+Pc_3>=0
A.add(IloRange(env, 0.0, Ilolnfinity ));
A[0].setCoef(Pc [0], 1)
A[0].setCoef(Pc[l], -1)
A[0].setCoef(Pc [2], -1)
A[0].setCoef(Pc[3], 1)
// Задаем ограничение Pc_l-Pc_3>=0
A.add(IloRange(env, 0.0, Ilolnfinity ));
A[1].setCoef(Pc [1], 1)
A[1].setCoef(Pc[3], -1)
// Задаем ограничение Pc_l-Pc_3>=0
A.add(IloRange(env, 0.0, Ilolnfinity ));
А [2].setCoef(Рс[2] , 1)
А [2].setCoef(Рс[3] , -1)
// Задаем целевую функцию, задача — максимизация. IloObjective obj = IloMaximize(env) obj.setCoef(Pc[2] , 1) ;
model.add(obj); // Передаем целевую функцию модели, model.add(А);// Передаем модели основные условия.
IloCplex cplex(model); //Создаем решатель для нашей модели
// Пытаемся решить построенную ЗЛП
if (! cplex. solve О) printf(”He удалось найти максимум Рс_2.п); else
printf(”Максимальное значение Рс_2 = %f11,cplex.getObjValue О);
В противоположность предыдущему, в примере 8.4 нумерация строк матрицы основных ограничений начинается не с нуля, а с единицы. Поэтому введение фиктивной переменной с нулевым индексом неудобно.
-[Создаем задачу.}
Ip := lpx_create_prob;
lpx_set_prob_name(Ip, ’sample’);
-[Задаем размер матрицы задачи.}
lpx_add_rows(1р, 3);-[Задаем кол-во основных ограничений.} lpx_add_cols(1р, 3);{Задаем кол-во переменных.}
{Задаем граничные условия 0.75<=Рс_1<=1} lpx„set.col„bnds(lp, 1, LPX„DB, 0.75, 1.0);
{Задаем граничные условия 0.0 <=Рс_2<=1} lpx_set_col_bnds(1р, 2, LPX_DB, 0.0 , 1.0);
{Задаем граничные условия 0.0 <=Рс_3<=1} lpx_set_col_bnds(1р, 3, LPX_DB, 0.0 , 0.5);
к: =0;
{Задаем ограничение -Рс_1-Рс_2+Рс_3>=-1.0} lpx_set_row_bnds(lp, 1, LPX_LO, -1.0, 0.0); ia[k]:= 1;ja[k]:=1;ar[k]:=-1;k:=k+l;
ia[k]:= 1;ja[k]:=2;ar[k]:=-1;k:=k+l;
ia[k]:= 1;ja[k]:=3;ar[k]:=1;k:=k+l;
{Задаем ограничение Pc_l-Pc_3>=0.0}
lpx„set_row_bnds(Ip, 2, LPX_LO, 0.0, 0.0);
ia[k]:= 2; ja[k] := 1; ar[k] := 1; k:=k+l;
ia[k]:= 2; ja[k] := 3; ar[k] := -1; k:=k+l;
{Задаем ограничение Pc_2-Pc_3>=0.0} lpx_set_row_bnds(lp, 3, LPX_LO, 0.0, 0.0); ia[k]:= 3; ja[k] := 2; ar[k] := 1; k:=k+l; ia[k]:= 3; ja[k] := 3; ar[k] := -1; k:=k+l;
{Задаем целевую функцию, задача — максимизация.} lpx_set_obj„dir(Ip, LPX„MAX);
lpx„set„obj„coef(Ip, 2, 1);
{Загружаем матрицу коэффициентов в задачу.} lpx„load„matrix(lp, k, @ia, @ja, ©ar);
{Пытаемся решить построенную ЗИП.} if (lpx„simplex(lp)<>LPX„E_OK)
then
write(’Не удалось найти максимум Рс_2’) else
write(’Максимальное значение Рс_2 ’,lpx_get_obj_val(lp));
lpx_delete_prob(lp);{Удаляем объект ЗАДАЧА, освобождаем память} end.
Из описанных двух примеров видно, что интерфейс ввода задачи у разных библиотек довольно похож, что позволит нам в последующих главах не ссылаться на конкретную реализацию, а схематично описывать необходимые шаги алгоритмов. Подчеркнем особо, что эти фрагменты кода не претендуют на всеохватывающую демонстрацию возможностей данных библиотек, а для поиска ответов на конкретные вопросы мы рекомендуем обращаться непосредственно к документации программных продуктов.
Приведем еще два фрагмента кода (по одному для каждого языка программирования), на которые будем ссылаться в дальнейшем. Это код, который задает ограничения на оценки истинности конъюнктов в идеале; сами ограничения вытекают из требований вероятностной логики, сформулированных в главе 4. Их применение встретится в явном виде в § 9.2 и в § 10.2. Кроме того, эти ограничения по умолчанию используются всегда, когда речь идет о непротиворечивости и выводе в АВС.
В предыдущем параграфе уже была математически описана матрица 1П, которая и является матрицей основных ограничений. Теперь покажем, как она задается в программном коде. Так как в реальной задаче могут возникать основные ограничения, вытекающие из наших знаний о предметной области, а не из условий, накладываемых вероятностной логикой, то в дальнейшем описываемую сейчас часть основных ограничений мы будем называть стандартнъими ограничениями. В общем виде стандартные ограничения записываются так: 1П Рс > 0- Здесь 1П — описанная ранее матрица, a Fc — вектор, состоящий из вероятностей конъюнктов. Обозначим через pow2(n) функцию, возвращающую 2П (п в нашем примере — число атомарных пропозициональных формул, идеал над которыми рассматривается). Еще нам потребуется функция, определяющая четность количества ненулевых бит, которую мы назовем parity (t). Эта функция возращает true (1), если количе-
ство ненулевых битов четно, и false (0) — в противном случае. Здесь мы приведем одну из возможных реализаций, предполагая, что t содержит не более 32 бит.
Пример 8.5. Реализации функции parity
int parity(int t) { t=t*(t»16);
t=t*(t»8);
t=t~(t»4);
t=t~(t»2) ;
t=t*(t»1);
return(!t&l)
}
function parity(x: integer) .-boolean;
begin
t := t
xor
(t
shr 16);
t := t
xor
(t
shr 8);
t := t
xor
(t
shr 4);
t := t
xor
(t
shr 2);
t := t
xor
(t
shr 1);
if x and 1
L then parity := false
else parity := true end;
Приведем теперь код, непосредственно задающий стандартные ограничения.
Пример 8.6. Стандартные ограничения с ILOG CPLEX for (i = 0; i < pow2(n); i++) {
A.add(IloRange(env, 0.0, Ilolnfinity ));
for(j = 0; j < pow2(n); j++)
if (i & j == i)
{
// Проверка на четность количества 1 в i xor j.
if (parity(i * j)) {A[i].setCoef(Pc[j], 1)};
else {A[i].setCoef(Pc[j], -1)};
}
Любители выразиться лаконично, что не всегда приводит к столь же понятным результатам или формулировкам, сколь более длинная запись, смогут найти немало мест в монографии для совершенствования своего искусства. В частности, вторую часть фрагмента программы можно было бы записать и так:
if (i & j == i) <A[i].setCoef(Pc[j], parity(i * j)? 1: -1)}
и даже еще короче.
Заметим, что на языке Pascal кода будет несколько больше (см. приводимый ниже пример). Это связано с тем, что строки и столбцы матрицы ограничений в GLPK нумеруются не с нуля, а с единицы, поэтому ограничения, соотвествующие нулевой (по номеру) строке матрицы, приходится задавать отдельно.
Пример 8.7. Стандартные ограничения Pascal GLPK for i:=l to pow2(n)-l do begin
lpx_set_row_bnds(Ip, i, LPX_LO, 0.0, 0.0);
for j := 1 to pow2(n)-l do
if (i & j = i)
begin
{Проверка на четность количества 1 в i xor j}
if parity(i xor j) then
begin
ia[k]: = i; ja[k] := j; ar[k] := -1; k:=k+l;
end else begin
ia[k]:= i; ja[k] := j; ar[k] := 1; k:=k+l; end end
end;
lpx_set_row„bnds(lp,pow2(n) , LPX_LO, -1.0, 0.0);
for j:=l to pow2(n)-l do begin
if (parity(i xor j)) then
begin
ia[k]: = pow2(n); ja[k] := j; ar[k] := -1; k:=k+l; end
else
begin
ia[k] := pow2(n); ja[k] := j; ar[k] := 1; k:=k+l; end
end;
После приведенных фрагментов кода мы будем считать, что читатель при необходимости сможет сам внести небольшие изменения, и в дальнейшем в схемах алгоритмов будем писать «задать стандартные ограничения», «добавить то или иное ограничение», «создать задачу» и «решить задачу», считая, что этого окажется достаточно. Заметим еще раз, что приведенные фрагменты кода — не панацея; за более точным и строгим описанием библиотек мы рекомендуем обратиться к их документации.
Основные понятия теории графов
Еще один математический объект, который многократно понадобится нам в дальнейшем изложении и при разработке программного обеспечения, — это граф. В данном параграфе мы формально изложим основные определения, необходимые для работы с графами. При обсуждении структуры содержания не раз возникали определенные сомнения, в какую часть книги поместить основы теории графов: на отдельную главу этот материал явно «не тянет» по объему, но и ни в какую из существующих глав вроде бы тоже не вписывается. Принятое нами решение поместить «элементы» теории графов здесь объясняется тем, что представление задач в виде графов автоматически дает удобное и естественное представление данных внутри компьютерной программы.
Графом называется пара (V, Е), где V — произвольное множество вершин, а Е — множество ребер. Под ребром мы будем понимать упорядоченную пару вершин; при этом для каждого ребра определяется, направленное оно или нет. Если ребро ненаправленное, то оно задает
сразу два упорядоченных множества вершин, отличающихся порядком. При этом важно отметить, что ненаправленное ребро — это ни в коем случае не пара направленных, это другой объект. При изображении мы будем обозначать направленное ребро стрелкой, а ненаправленное — просто линией. Например, в графе, изображенном на рис. 8.10, ребра (а, с), (b, е), (b,g), (d,f), (d, g) — направленные, a (c, d) и (d, e) — ненаправленные. Говоря о ненаправленном ребре (с, d), мы можем называть его (d, с) в отличие от направленных, в которых важен порядок вершин.
Введем еще ряд необходимых определений.
Маршрут в графе G — это последовательность таких вершин (возможно, повторяющихся) vj,... vj<, что для любого 1 < i < к—1 вершины vt и Vi+i соединены ребром (любым — допускается даже использовать направленные ребра в «неправильном» направлении). Маршрут, в ко-
что в наших примерах будут встречаться ребра нескольких типов, каждой упорядоченной паре вершин любого из рассматриваемых графов будет соответствовать не более одного ребра.
тором все вершины различны, называется путем. Мы будем называть путь vi^..Vk спуском. если каждое направленное ребро этого пути идет от Vi-i к vt для некоторого г. Циклом в графе называется любой маршрут, начинающийся и заканчивающийся в одной вершине и состоящий как минимум из двух вершин. Кроме того, мы говорим, что цикл направленный. если в цикле присутствует хотя бы одно направленное ребро, и не существует двух направленных ребер (vt,Vi+i) и (vj+i,Vj). Иными словами, при обходе направленного цикла все направленные ребра будут сонаправленнъш/и.
Введем несколько особых множеств вершин и покажем, что они собой представляют, на примере графа, изображенного на рис. 8.10:
родители (parents) ра(Х) —- множество вершин и таких, что существует вершина v Е X и направленное ребро от и к v, например pa({d,e,g}) ={b,d);
дети (children) ch(X) — множество вершин и таких, что существует вершина v е X и направленное ребро от v к и, например ch({d,e,g}) = {f,g};
соседи (neighbours) ne(X) — множество вершин и таких, что существует вершина v € X и ненаправленное ребро между v и и, например ne({d, е, g}) = {с, d, е, h};
граничащие (boundary) bd(X) — объединение множеств ра(Х) и пе(Х), например bd({d, е, g}) = {b,с, d, е,h.};
смежные (adjacents) ad(X) — объединение множеств ра(Х), ch(X) и пе(Х), например ad({d, e,g}) ={b,c,d, e,f, g,h};
семейство (family) Fam(X) — объединение множеств ad(X) и X, например ad({d, е, g}) = {b,c, d, e, f, g,h};
предки (ancestors) an(X) — множество вершин u таких, что существует вершина v е X и спуск от и к v, например an({d, е, д}) = {a, b,c, d, e,h};
последователи (descendants) ds(X) — множество вершин и таких, что существует вершина v € X и спуск от v к и, например ds({d,e,g}) ={c,d,e,f,g,h}.
Эти понятия проиллюстрированы на рис. 8.11, где выделенные области содержат вершины {d, е, д}, для набора которых и строятся соответствующие множества, чьи элементы более темной окраски.
Подграфом графа G = (V, Е) называется такой граф Н = (Ун, Ен)> что Ун С V, Ен С Е П (Ун х Ун), и если в Н ребро между вершинами
Смежные (adjacent)Семейство (family)
Рис. 8.11. Основные понятия теории графов.
Рис. 8.12. Примеры подграфов и не подграфов.Рис. 8.12. Примеры подграфов и не подграфов.
Рис. 8.12. Примеры подграфов и не подграфов.
Рис. 8.12. Примеры подграфов и не подграфов.
направленное, то и в G между этими вершинами — направленное ребро. На рис. 8.12 представлены четыре графа: слева располагаются подграфы для графа, изображенного на рис. 8.10, а справа — не подграфы.
Мы говорим, что граф связный, если для любых вершин существует путь между ними. Компонента ненаправленной связности вершины х — это максимальный связный подграф, содержащий только ненаправленные ребра и вершину х.
Дадим еще одно понятие, которое пригодится нам в дальнейшем. Каждой вершине и каждому ребру графа может быть приписан некоторый вес или даже несколько весов одновременно. Это значит, что существует весовая функция одна (или несколько), отображающая множество ребер и/или вершин на некоторое множество весов. Говоря о весе ребра или вершины, мы подразумеваем значение этой функции на соответствующем ребре или вершине.
Заключение
Данная глава была посвящена вопросам удобства представления данных, фигурирующих в аппарате байесовских сетей. Рассматривались как вопросы представления данных в приспособленном для разработки компьютерных приложений виде (перенумерация формул), так и вопросы, связанные с наглядностью представления сложных структур для человека (теория графов). Кроме того, некоторые базовые элементы алгоритмов были приведены с реализующими их исходными кодами, что, как предполагается, поможет реализовать алгоритмы, схемы которых приводятся далее.
Глава 9
Базовые понятия АБС
Ты помнишь, как все начиналось?
А. Макаревич
Все, помню, начиналось так...
Дэю. Дэюойс
Я думал лишь о символах — и мало О том, что их реально наполняло.
У. Б. Йейтс
На модном слове идеал.
Тихонько Ленский задремал...
А. С. Пушкин
. Введение
Фактически, все предыдущее изложение было направлено на то, чтобы подготовить читателя к тем аппаратам, которые мы начинаем описывать в этой главе. О получившем широкое распространение аппарате байесовских сетей доверия расскажут главы 14 и 15, а мы сейчас начнем систематическое изложение аппарата алгебраических байесовских сетей.
Впервые понятие алгебраических байесовских сетей ввел Владимир Иванович Городецкий, который заложил основы этого аппарата [38,40-42]. Затем работа была продолжена [31-33,108]. В нашей монографии существенно расширено изложение книги А. Л. Тулупье- ва [108] и представлены новые результаты, накопившиеся за минувшие пять лет, а также дано новое понимание некоторых теоретических аспектов, которые к моменту написания работы [108] были еще ясны не до конца.
В этой главе мы формально опишем основные понятия и принципы, которые используются при работе с алгебраическими байесовскими
сетями — одной из вероятностных моделей для представления баз фрагментов знаний с неопределенностью. Часть объектов, определяемых в этой главе, уже были определены ранее (например, идеал цепочек конъюнкций), но для удобства читателя мы воспроизведем эти определения еще раз и рассмотрим более подробно, уже в контексте непосредственно алгебраических байесовких сетей.
Фрагмент знаний
Пусть дан конечный набор элементарных пропозиций Т. Рассмотрим его непустое подмножество § = {si,...,sjJ. Над ним построим множество всевозможных положительно означенных конъюнкций S0 = {vi... vr : vi,..., vr € S, г = 0( 1 )k), которые для краткости будем называть конзюнктоми. Исключив из этого множества пустую цепочку, отвечающую тождественной истине, получим множество §△ = §° \ (е). Назовем это множество -идеалом положительно означенных конъюнкций (конъюнктов) над семейством атомарных пропозиций §. Здесь же отметим, что если мы введем на этом множестве описанный ниже порядок, то это будет идеалом и в классическом смысле теории частично- упорядоченных множеств:
Vci, с2 € S° Set [сi] D Set [сг] 4^ С] -< сг.
Поскольку множество §л является идеалом, то мы в отдельных удобных случаях будем использовать еще одно обозначение этого множества: (S) = §д. Очевидно, что в идеале существует лишь один минимальный элемент — максимальная по длине конъюнкция, а максимальных элементов может быть много —- все конъюнкции, представленные одним атомом. В подмножестве элементов идеала может быть несколько минимальных и максимальных элементов.
Поскольку идеал конъюнктов является частично упорядоченным множеством, его можно представить графически с помощью диаграмм Хассе, где частичный порядок, введенный на множестве, отображен с помощью ребер неориентированного графа, представляющих отношения непосредственного следования, а вершины графа — элементы этого множества. Далее мы предполагаем, что минимальные элементы рас-
положены наверху, а максимальные — внизу. Обычно принято располагать наверху максимальные элементы, а внизу — минимальные, однако мы приняли противоположное стандартному решение, руководствуясь удобством изображения. Конечно, можно было бы ввести обратный порядок, но принятый нами уже согласован с вероятностной логикой, и вероятность большего элемента в нашем порядке всегда не меньше вероятности меньшего.
На рис. 9.1 представлены идеалы над двумя атомарными пропозициями, на рис. 9.2 — над тремя, а на рис. 9.3 представлена диаграмма Хассе идеала над четырьмя атомарными пропозициями.
Внешний вид идеалов над двумя и тремя литерами может теперь объяснить выбор значка для обозначения идеала (△); если бы мы на диаграмме Хассе учли еще и пустую конъюнкцию, то стал бы ясен и выбор символа (°).
Теперь введем формальное определение фрагмента знаний. Если быть точным, это — определение математической модели фрагмента знаний.
Определение 9.1. Фрагмент знаний (ФЗ) с точечными оценками — это структура вида (С.р), где 6 — это идеал цепочек конъюнкций, ар — функция из С в интервал [0; 1].
Другими словами, если р претендует на то, чтобы быть вероятностью истинности пропозиций, то ФЗ с точечными оценками истинности — это идеал конъюнкций с точечными оценками вероятностей истинно-
сти каждого элемента этого идеала. Однако на самом деле определение шире, и р может быть какой-либо другой функцией, реализующей иной, не вероятностный, формализм оценок истинности.
Пример 9.1. ФЗ с точечными оценками
Рассмотрим фрагмент знаний второго порядка:
6 = {ХЬХ2}Д ={Х1,Х2,Х1Х2},
p(xi) = 0.5,
р(х2) = 0.7,
P(xix2) = 0.3.
Определение 9.2. Фрагмент знаний с интервальными оценками — это структура вида (С,р), где 6 — идеал цепочек конъюнкций, а р — функция из е в множество интервалов вида
{[а;Ь] : а,Ь е [0; 1], а < Ь).
Покажем, как соотносятся эти определения. Предположим, что в соответствии с первым определением дана функция р : С —> [0; 1]. Тогда можно определить интервальнозначную функцию р следующим равенством: VX € 6 р(Х) = [р(Х);р(Х)]. Таким образом, ФЗ с точечными оценками (С,р) можно отождествить с ФЗ с интервальными оценками (С,р). Объясним смысл этой интервальнозначной функции. Фрагмент знаний задает семейство точечных распределений вероятности истинности над входящими в него конъюнктами, где данные интервалы рассматриваются как допустимые множества значений для соответствующих точечных распределений.
Легко заметить, что не любая функция р, удовлетворяющая ограничениям, накладываемым ФЗ, т.е. такая, что VX € Ср(Х) G р(Х) будет вероятностным распределением. В главе 4 были описаны необходимые ограничения, и, говоря о ФЗ, будем считать, что эти ограничения тоже присутствуют.
Пример 9.2. Семейство распределений, задаваемое ФЗ
Рассмотрим фрагмент знаний второго порядка:
С = {Х1 , Х2}Д = {Xj , Х2, X] х2},
p(xi) = [0,0.5], р(х2) = [03,0.7], p(xix2) = [0,0.6]. Семейство точечных распределений, соответствующих этому ФЗ, — семейство распределений, удовлетворяющих следующим ограничениям:
0<p(xi) < 0.5, 0.2<р(х2) < 0.7, 0<p(xix2) < 0.6, P(xix2) > 0, pfxj-p(xix2) > 0, Р(х2)-p(xix2) > 0, 1-P(xi)-р(х2)+p(xix2) > 0.
Идеал, над которым введена структура фрагмента знаний, мы будем называть носителем этого фрагмента знаний.
Алгебраическая байесовская сеть
Рассмотрим семейство множеств атомов Ng- = {Ji,...,Jn}, причем множества атомарных пропозиций N могут пересекаться, а семейство множеств Ng- связно, т.е. не разделимо на два такие подсемейства, что любое множество одного семейства не пересекается ни с одним из множеств второго. Над каждым множеством атомарных пропозиций построим идеал:
Vje{l,...,n] ej=jf.
Для каждого идеала Ci зададим структуру ФЗ (Ct.Pi). Тогда семейство ФЗ {(Ct.Pi)}^ назовем алгебраической байесовской сетью (АВС). Множество Сд = (J Ci, будем называть носителем соответствующей АВС.
Объектом исследования нашей работы является неопределенность знаний в базах знаний (ВЗ), поэтому необходимо наладить связи между инженерией знаний и теорией АВС, указав на некоторые соответствия и дав несколько определений.
Как уже отмечалось, мы предполагаем вслед за Дж. Пиэрлом [305], что эксперт способен учитывать правила, связывающие лишь очень
ограниченное число простых (атомарных) утверждений о предметной области. Наиболее полно этот элемент знаний эксперта может быть отражен в характеристике вероятностных взаимосвязей над небольшой совокупностью пропозициональных формул. Предлагается в качестве соответствия такому фрагменту знаний (ФЗ) эксперта взять идеал над 2-3 атомарными пропозициями. Если на элементах ФЗ задано распределение вероятностей, то тогда определена вероятность и каждой пропозициональной формулы, которую можно построить над атомарными пропозициями, входящими в рассматриваемый ФЗ. Далее по тексту работы, говоря об «идеале», мы будем считать, что над ним введена структура «фрагмента знаний», если не оговорено иного.
Однако не исключено, что из высказываний эксперта можно извлечь не только оценки вероятностей цепочек конъюнкций, но и других формул, построенных на тех же атомарных пропозициях. Такие формулы, будучи добавленными к соответствующему ФЗ, образуют расширенный фрагмент знаний (РФЗ). Для РФЗ естественным образом определяется понятие носителя. Носитель РФЗ - это множество формул для которых задана точечная оценка вероятности р или интервальная оценка вероятности р.
Совокупность знаний эксперта организуется в базу фрагментов знаний. В теории АВС математическая модель такой БФЗ — это алгебраическая байесовская сеть. Мы исключаем из рассмотрения несвязные сети формул, поскольку их компоненты будут соответствовать независимым наборам знаний эксперта и, следовательно, могут быть интерпретированы как отдельные ВФЗ, представленные разными АБС.
Пример 9.3. Носители ФЗ и РФЗ Пример идеалов цепочек конъюнкций — носителей ФЗ:
С] = {xi,x2,xixi},
^2 ” (2*1 > 2^2»2*3 > 2^1^2, 2^12^3 > ^22*3» ^12-2 2з} •
Пример носителей РФЗ второго порядка:
{У1,У2,У1У2,У1 Vy2}>
{vi,v2,viv2,vi ®V2)V] Dv2).
Пример 9.4. Носитель АБС
Ниже приведен носитель АБС, состоящей из трех фрагментов знаний второго порядка:
{%] , X] Х2, Х2, Х2Х3 , Х3, Х3Х4, х4}.
А вот носитель другой АБС, циклической (о том, что это такое, мы расскажем ниже):
{Х] , X] Х2, Х2, Х2Х3, Х3, X] хз}.
АБС и распределение вероятностей
Как мы уже отмечали в главе 4, если рассмотреть идеал, например {хьх2}А, и задать вероятности его элементов, то мы таким образом получим данные, определяющие вероятность всех возможных пропозициональных формул над множеством атомарных пропозиций (атомов) T = {xi,x2}.
Пусть, например,
p(xj) = 0.45,
р(х2) = 0.85,
P(xix2) = 0.4.
Тогда можно вычислить вероятности всех квантов:
p(xix2) = 0.4,
р(х]Х2) = 0.05,
p(xix2) = 0.45, p(xjx2) = 0.1.
А зная вероятности квантов и ДНФ логической формулы, можно получить оценку ее вероятности:
X] D х2 = Х]Х2 Vxjx2 Vxix2,
p(xi D x2) = 0.95,
Х]фХ2 = xix2Vxix2,
p(xi©x2) = 0.5.
Рассмотрим теперь тот же самый идеал, но с другой вероятностью минимального элемента (т.е. фактически мы рассмотрим другую АВС):
p(xi) = 0.45,
р(х2) = 0.85,p(xix2) = 0.3.
Тогда вероятности квантов изменятся следующим образом:
p(xix2) = 0.3,
p(xix2) = 0.15,
p(xix2) = 0.55, p(xix2) = 0, а вероятности конъюнкции и эксклюзивной дизъюнкции станут такими:
P(xi D х2) = 0.45,
р(х]фх2) = 0.7.
То, что вероятности элементов ФЗ (не обязательно двухлитерного) линейно выражаются через вероятности соответствующего набора квантов, определено способом, которым мы ввели вероятность на пропозициях. И наоборот, вероятности всех квантов также линейно выразимы по формуле «включений-исключений» через вероятности элементов ФЗ.
Важный вывод вытекает из такого представления формулы вычисления вероятности кванта: существуют линейный оператор £, матрица которого 1П была уже описана в главе 8, и обратный к нему линейный оператор £° = С-1. Операторы С и С° действуют на Rm, где т = 2П-1, ап — количество переменных, входящих в рассматриваемый нами ФЗ. Эти операторы задают соответствие между вероятностями квантов и вероятностями конъюнктов.
Если рассматривать подыдеал, получающийся из TA, точнее, сеть конъюнкций |{х)}д ,{х2)д} с приписанными ее элементам оценками меры вероятности, то станет ясно, что ей соответствует целое семейство распределений вероятности над двухлитерными пропозициональными формулами. Любую сеть логических формул можно достроить до иде-
ала, а затем приписать точечные оценки вероятности тем элементам этого идеала, которые не входили в исходную сеть. Такая операция произвольного «продолжения» вероятности не всегда возможна — иногда в результате получается отрицательная (или большая единицы) «вероятность» какого-нибудь кванта, даже если вероятностные оценки положительных означиваний конъюнкций были все неотрицательны. В качестве примера, содержащего недопустимое с точки зрения вероятности означивание оценок истинности, рассмотрим
p(xi) = 0.45,
р(х2) = 0.85,p(xix2) = 0.2.
Из совокупности приведенных оценок должно было бы следовать
р(х]Х2) = 0.2,
P(xix2) = 0.25,
p(xix2) = 0.65,
P(xix2) = -0.1,
что, несомненно, противоречит принятой нами аксиоматике вероятности.
Рассмотрим понятие линейной комбинации алгебраических байесовских сетей с одинаковой структурой — состоящих из одних и тех же идеалов — и с точечной оценкой вероятности.
Пусть даны две АВС с одинаковой структурой и точечными оценками вероятностей:
е = {еь...,еп},
хе(1) = {е}^,
Pi :Хе(1)—>[0,1],
хе(2) = {е}^,
р2 :Хе*2* —> [0,1].
Тогда АВС Хе называется линейной комбинацией двух предыдущих, если
хе = [ef,...,e^,
Р :За, |3 € [0,1]: &Vf е 3VeР :За, |3 € [0,1]: &Vf е 3VeХе -4 [0,1], (а + (3 = 1 )& p(f) = apj(f) + pP2(f).
Р :
За, |3 € [0,1]: &Vf е 3Ve
Р :
За, |3 € [0,1]: &Vf е 3Ve
Будем фиксировать этот факт следующим образом: Хе = аХе(1) + |ЗХе(2).
Множество всех возможных линейных комбинаций двух АВС назовем линейной оболочкой и обозначим Span ^Хе^*,Хе*2^ . Понятие линейной комбинации и линейной оболочки очевидным образом распространяется на любое конечное семейство АВС одинаковой структуры.
Совершенно аналогично определяется линейная комбинация АБС с интервальными оценками вероятностей. Во введенных выше обозначениях (при замене р на р), Хе называется линейной комбинацией Хе*1* и Хе*2\ если
хе = [ef,...,e£],
р:Хе-4 [0,1],
За, ₽G [0,1] : (а+|3 = 1)& &VfeXe p(f) = aPl(f) + |3p2(f).
Под линейной комбинацией интервалов здесь понимается интервал, концы которого являются соответствующими линейными комбинаци
ями концов исходных интервалов.
Графическое представлениеи понятие цикла в АБС
Кроме уже рассматривавшегося нами графического представления АВС в виде диаграм Хассе, опишем еще несколько способов их визуализации. Два достаточно наглядных графических представления приведены на рис. 9.4.
Здесь треугольники (соответственно, прямоугольники) представляют собой фрагменты знаний, а множество, указанное в каждом из треугольников (прямоугольников), — это множество переменных, над которым построен соответствующий идеал. Однако не любая АВС может
<Х1,Х2,Х3>
Хз
<X3.X4.X5>
Х5
<Х5,Хб,Х7>
Рис. 9.4. Примеры графических представлений АБС.
быть изображена подобным образом — попробуйте так изобразить сеть, одна из атомарных пропозиций которой принадлежит сразу трем или более ФЗ. Так, например, при попытке изобразить сеть
«X 3, Х2, Х3}Д, {Х], х3, х4}д, {х,, х2, х4}д, {х2, х3, х4}д}^
мы сталкиваемся с весьма затруднительным требованием найти в каждом из треугольников по три угла, лежащие на нижнем ребре.
Несмотря на то что такие сложные примеры — явление не очень частое, опишем еще одно представление. Это представление позволит нам выделить класс АБС, которые мы будем называть ациклическими. Рассмотрим ABC N и построим соответствующий ей граф Gx следующим образом: в качестве вершин графа будем рассматривать ФЗ, входящие в нашу АВС. Каждой вершине мы сопоставим вес. В качестве веса будем использовать носитель соответствующего ФЗ (идеал над которым ФЗ задан). Ребра же строятся между вершинами, которые соответствуют пересекающиимся ФЗ. Для ребер мы тоже будем указывать веса. В качестве веса ребра рассматривается максимальный идеал, по которому пересекаются соответствующие ФЗ. Пример приведен на рис. 9.5.
Назовем цикл в графе АВС невъсроэюденнъил, если каждое ребро встречается не более одного раза, и среди весов вершин и ребер входящих в этот цикл существуют два не имеющих общих переменных идеала, которые соответствуют одной из вершин и одному из ребер цикла. Цикл называется выроэюденнъш, если он не
Рис. 9.5. АВС {{Х1,Х2,Хз}Д,{Х),Хз,Х4}Д,{х),Х2,Х4}Д,{Х2,Хз,Х4}Д}^.
является невырожденным. АБС называется ациклической (ААВС), если все присутствующие в ней циклы в ней вырожденные. В более ранних работах вместо ациклическая встречается термин простая.
Линейные цепи фрагментов знаний
Рассмотрим понятие линейной цепи фрагментов знаний. Интуитивно понятно, что должна представлять собой линейная цепь фрагментов знаний: на рисунке в линию выстроены диаграммы Хассе этих фрагментов, причем каждая диаграмма имеет общие элементы со своими непосредственными соседями по рисунку (пересекается с ними), и при этом из фрагментов знаний цепи не должно образовываться цикла.
Дадим индуктивное определение линейной цепи фрагментов знаний:
один фрагмент знаний С составляет линейную цепь ФЗ; этот единственный ФЗ является граничным в линейной цепи;
два пересекающихся, но не являющихся подмножествами друг друга фрагмента знаний С] и 62 составляют линейную цепь ФЗ; эти два ФЗ являются граничными в линейной цепи;
пусть даны три фрагмента знаний: Ci, 62 и Сз, причем все три могут иметь общие элементы, но обязательно (Ci П 63) С б 2 — условие, гарантирующее отсутствие цикла ФЗ, а также С] ПСг / 0 и Сг П Сз ^ 0 — это гарантирует связность цепи ФЗ. Ни один фрагмент знаний не является подмножеством ни одного из двух других. При перечисленных условиях три фрагмента знаний Ci, С2 и Сз составляют линейную цепь идеалов, при этом 62 называется внутренним, а два остальных — граничными;
пусть дана линейная цепь фрагментов знаний, содержащая не менее трех ФЗ, и в ней выделен один из ее двух граничных фрагментов знаний Сг со своим непосредственным соседом Ci, и пусть задан фрагмент знаний 63. Вели эти три идеала Cj, 62 и Сз, рассмотренные отдельно от остальных, образуют линейную цепь фрагментов знаний, в которой С2 — внутренний, a Ci и 63 — граничные, то совокупность идеалов из исходной линейной цепи и Сз является линейной цепью фрагментов знаний; в новой линейной цепи 62 объявляется внутренним, а фрагмент знаний Сз — граничным.
Линейные цепи фрагментов знаний являются частным случаем алгебраических байесовских сетей. АВС, построенная на линейной цепи фрагментов знаний, не содержит циклов, что обусловливает появление некоторых интересных свойств сети: возможности упрощения алгоритмов поддержания ее непротиворечивости, продолжения точечного распределения вероятности на элементы объемлющего фрагмента знаний, содержащего всю АБС, и др. Все указанные свойства будут подробно описаны далее. Заметим также, что любая АВС, не содержащая циклов фрагментов знаний, может быть разложена на совокупность линейных цепей идеалов; не исключено, что это разложение можно провести разными способами. Именно для описания процессов, происходящих в линейных цепях ФЗ, и был введен нами способ графического представления в виде треугольников и прямоугольников.
Ациклическая АБС и дерево смежности
Тщательная работа по определению и исследованию свойств циклов фрагментов знаний в алгебраических байесовских сетях и алгебраических байесовских сетей, состоящих из линейной цепи фрагментов знаний, требуется для последующего введения понятия ациклической алгебраической байесовской сети.
Ациклические АБС, как уже отмечалось и потом еще будет показано, обладают рядом интересных свойств; в частности, из интервальной непротиворечивости ациклической АВС следует ее глобальная непротиворечивость, а проверять наличие интернальной непротиворечивости заметно «проще» (т.е. не так трудоемко с точки зрения сложности вычислений); более того, даже на интуитивном уровне понятно, что в ациклической АВС «пути» распространения свидетельства не пересекаются; тем самым исчезает необходимость в интерпретации и обработке ситуаций, когда для одного и того же элемента АВС при одном и том же свидетельстве получены две (или более) разные апостериорные оценки. Допустимые ВСД над атомарными пропозициями погружаются именно в ациклические АВС.
И сказанное выше, и ряд других аспектов требуют скрупулезно выверенного подхода или подходов к определению ациклической АБС; исследования в этом направлении продолжаются. Недавно было предложено рассмотреть ациклическую АВС как дерево смеэюности — структура из теории графов, которая интенсивно эксплуатируется в теории байесовских сетей доверия (см. главу 14).
В первую очередь дерево смежности — это ненаправленное дерево в смысле теории графов; отметим, что оно — дерево, а значит, не содержит циклов.
В вершинах дерева смежности стоит набор пропозициональных формул. Иногда мы ограничиваемся набором атомарных пропозициональных формул, иногда допускаем и более сложные пропозициональные формулы.
Если у вершин дерева смежности существуют общие элементы, то между ними должен существовать пути. Существенно, что именно путь, а не обязательно одно ребро. Путь может состоять из одного или нескольких ребер.
Идеал конъюнктов каждого ФЗ рассматриваемой АВС поместим в вершину. Получится столько же вершин, сколько ФЗ в исходной АВС.
Если на этом множестве вершин можно построить дерево смежности, то исходная АВС будет ациклической.
Вместо того чтобы в вершины помещать весь идеал-носитель фрагмента знаний, им можно приписать лишь набор атомарных пропозиций, над которыми идеал строится. Для теории АБС эти подходы будут неразличимы, а вот в теории других байесовских сетей различие может оказаться существенным.
Свойства ациклической АВС, вытекающие из этого определения, а также отношение этого определения с другими возможными определениями ациклической АВС продолжают изучаться.
Заключение
В этой главе мы дали базовые определения теории алгебраических байесовских сетей. Нами была формально определена используемая впоследствии математическая модель фрагмента знаний, который уже упоминался в предыдущих главах, а также собственно алгебраическая байесовская сеть. Мы ввели удобные графические изображения АВС, рассмотрели понятия линейной комбинации нескольких сетей, цикла ФЗ и линейной цепи ФЗ — частного случая АБС. Кроме того, были рассмотрены два подхода к определению ациклической АБС.
В следующей главе мы перейдем к подробному рассмотрению одного из важнейших аппаратов, используемых в теории АВС — к синтезу согласованных оценок истинности. Речь пойдет о том, как выделить (илк сформировать) из набора оценок те, которые не противоречат друг другу и естественным ограничениям, а также о том, как оценить вероятность формулы, в АБС не входящей, но построенной над теми же переменными, что и сама сеть.
8 Зак. 3294
Глава 10
Непротиворечивость и априорный вывод
И в тесности, в перекрестности, Хочу, не хочу ли я — Черную топь неизвестности Режет моя ладья.
Н. Гиппиус
Из вихрей и противоборств возник Мир осязаемых
И стойких равновесий.
М. А. Волошин
С помощью всех вышеприведенных способов внимательный читатель найдет разрешение спорных вопросов... А если случайно противоречие будет до такой степени явным, что не сможет быть разрешено ни на каком разумном основании, то следует сопоставить авторитеты и предпочесть тот, свидетельства коего более сильны, а утверждения более вески.
Пъер Абеляр
Вели же еретики противятся сему нашему изъяснению, то спасет ли их какое умствование от явного противоречия себе самим?
О святом духе Василий Великий
Введение
Пусть пара экспертов оценивает вероятность истинности одной и той же атомарной пропозициональной формулы х. Из рассуждений первого эксперта следует, что р(х) € [0.1; 1.0], из рассуждений второго — р(х) € [0.05; 0.85].. Приведенные оценки не совпадают, а это значит, что они противоречивы, точнее, они противоречат друг другу. Однако на основе высказываний экспертов можно построить новую оценку р(х) е [0.1; 0.85], являющуюся пересечением исходных интервальных
оценок. Величина вероятности, удовлетворяющая последнему условию, будет удовлетворять также и первым двум — она является компромиссом между двумя противоречащими свидетельствами экспертов.
Допустим, что те же самые эксперты дали следующие оценки вероятности истинности пропозиции у: первый — р(у) € [0.2;0.5], второй — р(у) € [0.6; 0.9]. Пересечение соответствующих оценкам интервалов пусто. Получается, что его нельзя использовать в качестве уточнения. Но существует и другой возможный путь поиска компромисса — оценка р(х) G [0.2;'0.9], которая является минимальным интервалом, накрывающим объединение оценок экспертов. Такой подход позволяет решить некоторые конфликтные ситуации за счет использования модальности высказывания эксперта не «непременно так», а «бывает и так, что». Этот подход мы подробнее изложим в § 10.7. Дальнейшее изложение этой главы, вплоть до § 10.7, подразумевает модальность «непременно так».
Разумеется, при переходе от словесного представления знаний экспертов к представлению в форме фрагментов знаний или их совокупностей (АБС) будут появляться оценки вероятности истинности не одной пропозиции, а нескольких. Все эти оценки требуется согласовать не только между собой, как это было сделано выше, но и с аксиомами теории вероятностей.
Пусть на основании высказываний экспертов в результате пересечения полученных интервальных оценок нам удалось сформировать фрагмент знаний с точечными оценками вероятностей его элементов. Эти оценки не могут быть впрямую использованы для проверки выполнения аксиом вероятности, но на их основе можно получить точечные оценки вероятностей квантов из набора, соответствующего анализируемому фрагменту знаний. Если полученные оценки вероятностей квантов неотрицательны и их сумма в точности равна единице, то такое назначение вероятностей признается непротиворечивым. Оценки вероятностей элементов фрагмента знаний также признаются непротиворечивыми.
Если же на основании высказываний экспертов удалось сформировать лишь интервальные оценки вероятности элементов фрагмента знаний, то их следует воспринимать как ограничения, определяющие семейство возможных распределений вероятностей на фрагменте знаний. Эти интервалы могут быть сужены или превращены в пустые (и тогда
потребуется новая работа с экспертами по поиску источника неустранимого противоречия) на основе следующих рассуждений.
Выберем один из элементов фрагмента знаний. Из интервала, в котором может лежать его вероятность, выберем одно точечное значение. Если при этом вероятностям всех остальных элементов фрагмента знаний можно приписать точечные значения из соответствующих им интервалов вероятности так, чтобы получилось непротиворечивое точечное назначение вероятностей на фрагменте знаний, то мы считаем, что все выбранные точечные значения не противоречат аксиоматике вероятностей и исходным данным. Если все интервальные оценки состоят из непротиворечивых значений, то фрагмент знаний признается непротиворечивым. Если в интервалах оценок вероятностей есть значения, не удовлетворяющие условиям непротиворечивости, то они должны быть исключены из интервалов. С помощью такого приема мы можем либо получить непротиворечивый фрагмент знаний, либо сделать хотя бы один из интервалов пустым, что будет свидетельствовать о противоречии между исходными данными и аксиоматикой вероятностей.
С точки зрения теоретических построений, вопрос о непротиворечивости АВС и в случае точечных, и в случае интервальных оценок вероятностей решается одним и тем же приемом — погружением АВС во фрагмент знаний, ее содержащий. Если он будет непротиворечив, то и исходная сеть будет непротиворечива; если противоречив, то и исходная сеть должна быть признана противоречивой.
Следует обратить внимание, что в процессе определения непротиворечивости мы из исходных интервальных оценок вероятностей элементов фрагмента знаний пытаемся получить новую интервальную оценку, удовлетворяющую исходным оценкам и аксиоматике вероятностей. Это означает, что мы производим априорный вывод, целью которого как раз и является получение оценки вероятности пропозициональной формулы на основе аксиом вероятности и исходных данных, являющихся оценками вероятностей совокупности пропозициональных формул, в той или иной степени связанных с искомой оценкой. И наоборот, производя априорный вывод, мы обязаны получить непротиворечивую по отношению к аксиомам вероятности и исходным данным оценку вероятности пропозиции. Таким образом оказывается, что процесс поддержания непротиворечивости фрагмента знаний и АВС неразрывно связан с процессом априорного вывода на таковых. В силу сходства
процесс поддержания непротиворечивости и априорный вывод объединяются под общим названием синтез согласованных оценок истинности. Поэтому и мы анализируем оба процесса синхронно, посвятив этому анализу данную главу.
Непротиворечивостьи априорный вывод в ФЗ
Пусть, как и ранее, дан набор элементарных пропозиций Т, из него выделено подмножество S, над ним построен идеал С = §д, над элементами которого определена точечная функция рд, которая, как предполагается, задает распределение вероятностей над конъюнктами из идеала, которое можно распространить до распределения р° на множестве квантов Q(S), которое в свою очередь продолжается до распределения р над множеством всех пропозициональных формул 9го(S):
S = {S1,... , Sm},
рд : е—>[0;1],
р° :Q —И0;1],
р:>[0;1].
Будем говорить, что функция рА действительно задает распределение вероятностей на идеале С, или задает непротиворечивое назначение вероятностей на этом идеале, или что ФЗ (С,рл) — непротиворечив, и обозначать этот факт предикатом Consistent [С,рд], если соответствующая индуцируемая функция р° удовлетворяет следующим условиям:
V§eQ : p°(S)>0,(10.1)
£р°(§) = 1.(10.2)
s
Пусть теперь задана функция рА с интервальными значениями над элементами ФЗ 6 такая, что
рА : 6 —> {[а;Ь]: а,Ь € [0; 1], а < Ь}.
Будем говорить, что эта функция рА действительно задает назначение (assignment) интервальных оценок вероятностей над идеалом 6, или
задает непротиворечивое назначение вероятностей на этом идеале, или что ФЗ (6, рА) — интервалъно непротиворечив, и обозначать этот факт предикатом Consistent [6, рА], если выполнено следующее условие:
vfeevp е pA(f)
Эрд€{<р | <р : е—>[0;1]}:
(p^(f) = р)&
& (Vg € 6 : pA(g) € рА(д)) &
& Consistent [c,pA].
Интервалъно непротиворечивый фрагмент знаний можно также называть согласованным.
Мы будем говорить, что ФЗ с интервальными оценками рА согласуем, если существует такое непротиворечивое точечное распределение р, что
Vf € 6 (f) € pA(f).
Или, что то же самое, существует такое сужение оценок, что полученный фрагмент знаний будет непротиворечив.
Хальперн, Фатин и Мегиддо предложили свести проблему определения непротиворечивости интервальных оценок вероятностей к задачам линейного программирования (ЗЛП) [192,194,195]. Однако ими была дана лишь аксиоматизация, позволяющая работать с интервальными оценками вероятностей. Конкретные способы формирования моделей баз знаний и соответствующих им ЗЛП для решения на ЭВМ предложены не были.
Опишем способ построения ЗЛП, решая которую, мы сможем определить непротиворечивость или противоречивость ФЗ и уточнить исходные оценки вероятностей его элементов.
Распределение вероятностей на квантах полагается непротиворечивым, если выполнены условия (10.1) и (10.2). Выразив вероятности всех квантов через вероятности элементов ФЗ и подставив результаты в неравенство (10.1), мы получим систему линейных неравенств относительно вероятностей элементов ФЗ SA. Эта система неравенств формирует первое множество ограничений £*г* для ЗЛП, где г идентифицирует порядок ФЗ. Равенство (10.2) дает тривиальное тождество 1=1, поэтому оно не вносит никакого дополнительного ограничения в £^.
Вторая часть ограничений для ЗЛП — это множество Ф^. Оно состоит из линейных неравенств, которые накладываются на каждую в отдельности вероятность положительно означенной конъюнкции, и составляются, исходя из ограничений предметной области. Все линейные неравенства, входящие в Ф*’\ задают ограничения на максимальное и минимальное значения вероятности элемента ФЗ, т.е. ограничивают ее значения снизу и сверху.
Элементы множества ограничений предметной области имеют такой общий вид:
Po(f) <P(f) <Р^, где f — один из элементов ФЗ (положительно означенная конъюнкция); p(f) — оцениваемая величина вероятности упомянутого элемента; p^(f) — конкретное действительное число, представляющее собой исходную нижнюю оценку вероятности пропозиции f; р+(f) — конкретное действительное число, представляющее собой исходную верхнюю оценку вероятности пропозициональной формулы f.
Объединение множеств ограничений 8^* и Ф*’* обозначается через 5?(i):
В новых обозначениях задачи линейного программирования, которые нужно будет решить для каждой формулы ФЗ f, чтобы получить ее новые, согласованные с остальными нижнюю и верхнюю оценки вероятности, примут следующий вид:
р—(f) := minp(f),(10.3)
p+(f) := maxp(f).(Ю-4)
Если хотя бы для одного элемента ФЗ ЗЛП (10.3-10.4) не имеет решения, то такой ФЗ с приписанными его элементам оценками вероятности признается противоречивым.
Для описания множества 8*^ удобнее всего использовать нумерацию, введенную в главе 8, и матрицу перехода от вероятностей конъюнктов к вероятностям квантов, описанную в той же главе. Одна из таких матриц, для фрагмента знаний АВС, построенного над четырьмя атомарными пропозициями, приведена в примере 10.1.
Схема алгоритма проверки непротиворечивости фрагмента знаний приведена на рис. 10.1 (в ней буквой п обозначено количество атомарных пропозициональных формул, над которыми построен ФЗ).
Пример
10.1.
Матрица 1
4
/1 -
-1
-1
1
-1
1
1
-1
-1
1
1
-1
1
-1
-1 1 \
0
1
0
-1
0
-1
0
1
0
-1
0
1
0
1
0 -1
0
0
1
-1
0
0
—1
1
0
0
-1
1
0
0
1 -1
0
0
0
1
0
0
0
-1
0
0
0
-1
0
0
0 1
0
0
0
0
1
—1
-1
1
0
0
0
0
-1
1
1 -1
0
0
0
0
0
1
0
-1
0
0
0
0
0
-1
0 1
0
0
0
0
0
0
1
-1
0
0
0
0
0
0
-1 1
0
0
0
0
0
0
0
1
0
0
0
0
0
0
0 -1
0
0
0
0
0
0
0
0
1
-1
-1
1
-1
1
1 -1
0
0
0
0
0
0
0
0
0
1
0
-1
0
-1
0 1
0
0
0
0
0
0
0
0
0
0
1
-1
0
0
-1 1
0
0
0
0
0
0
0
0
0
0
0
1
0
0
0 -1
0
0
0
0
0
0
0
0
0
0
0
0
1
-1
-1 1
0
0
0
0
0
0
0
0
0
0
0
0
0
1
0 -1
0
0
0
0
0
0
0
0
0
0
0
0
0
0
1 -1
\0
0
0
0
0
0
0
0
0
0
0
0
0
0
0 1 )
Предположим, что эксперт, устанавливая связь между явлениями, указал на то, что утверждение х выполняется не реже, чем утверждение у. Мы еще не знаем никаких конкретных величин, оценивающих вероятности р(х) и р(у), однако уже можем выразить заданное экспертом правило:
Р(х) >р(у).
Разумеется, инженер по знаниям может предоставить и более конкретное высказывание; например, утверждение v справедливо по крайней мере в пять раз реже, чем w. Легко предложить соответствующую формализацию:
p(v) <5p(w).
Можно привести еще серию соотношений между вероятностями пропозициональных формул, которые представимы в ЗЛП:
P(v) < 3p(vw),
г = 1.
Создаем ЗЛП.
Задаем стандартные ограничения.
Задаем граничные условия.
Задаем целевую функцию «максимум p(XJ».
Запускаем решатель.
Если решения нет, то выходим с сообщением о противоречивости.
Запоминаем полученное значение.
Создаем ЗЛП.
Задаем стандартные ограничения.
Задаем граничные условия.
Задаем целевую функцию «минимум p(XJ».
Запускаем решатель.
Если решения нет, то выходим с сообщением о противоречивости.
Запоминаем полученные значения нижней и верхней оценок.
г = г + 1.
Если г < 2П, переходим к шагу 2.
Выводим полученные в процессе уточненные оценки.
ФЗ непротиворечив.
Рис. 10.1. Алгоритм поддержания непротиворечивости ФЗ.
p(v)+p(u) > 0.50,p(uv)+p(wv) < p(uy)+p(vy)+р(х),...
Заметим, что подобные ограничения отразятся на программе всего лишь строчкой «добавить ограничение...» после установки стандартных ограничений.
Важно, чтобы все получающиеся неравенства оставались линейными. Безусловно, отношения между объектами предметной области могут выражаться и нелинейно:
p(uv) > 0.60p(u)p(v),
но этот случай требует уже другого аппарата анализа и решения. Линейные же неравенства можно без труда ввести во множество ®*г\ чтобы учесть их влияние на результат решения ЗЛП.
При анализе каких-нибудь явлений эксперт может сформулировать правило, что утверждения у или/и z справедливы крайне редко. Предположим, что словам «крайне редко» отвечает вероятностный интервал [0.00; 0.05]. Тогда высказывание эксперта формализуется следующим образом:
0.00 <р(у Vz) <0.05.(10.5)
Но величина р(у Vz) не представлена в стандартных ЗЛП. В их постановке не учитывается влияние ограничений на значение вероятности дизъюнкции.
Тем не менее мы можем выразить вероятности всех формул из 5Г° (в том числе и р(у V z)) через вероятности формул из ФЗ. В нашем случае это будет:
р(у Vz) =р(у) + p(z) -p(yz).(10.6)
Введя новую переменную, пополнив £** равенством (10.6), a Ф^ — неравенством (10.5), мы получим новую ЗЛП, в которой учитывается наличие оценки (10.5). Вводя в рассмотрение новые пропозициональные формулы, мы фактически образуем расширенный ФЗ (РФЗ).
Пример 10.2. Оценки вероятности в РФЗ
Приведем еще несколько выражений, позволяющих учитывать влияние оценок вероятностей формул, не входящих в ФЗ:
р(хэу) = 1 -р(х) + р(ху)
р(хфу) = р(х)+р(у)-2р(ху)
р(х = у) = 1 — р(х) — р(у)+2р(ху)
p(xVyVz) = р(х)+р(у)+p(z)-р(ху)-p(xz)-p(yz)+p(xyz) р(х D (yz)) = 1-p(x) + p(xyz).
Таблица 10.1. Сужение интервалов оценки вероятностей элементов ФЗ
f
Х1
X2
X1X2
p°(f)
[0.6; 0.95]
[0.7; 0.99]
[0.2; 0.4]
p(f)
[0.6; 0.7]
[0.7; 0.8]
[0.3; 0.4]
Решая ЗЛП, следует обязательно учесть, что мы не только определяем, противоречив ФЗ или непротиворечив, но получаем новые оценки вероятностей его элементов. Таким образом осуществляется процесс поддерэюания непротиворечивости ФЗ: опираясь на старые, возможно несогласованные оценки вероятностей его элементов, мы получаем новые — согласованные, непротиворечивые, более точные. Если же ФЗ противоречив, то требуется повторение работы с экспертом по уточнению оценок или обновление интерпретации его высказываний.
Пример 10.3. Противоречивость
Противоречив следующий набор оценок вероятностей элементов ФЗ второго порядка:
p(xi) е [0.1;0.2],
р(х2) € [0.05;0.15],p(xix2) е [0.45; 0.60].
Пример 10.4. Уточнение оценок
В таблице 10.1 приведены численные значения исходных оценок р° и уточненных оценок р. Видно, что уточнение оценок относительно требований непротиворечивости может повлиять на все интервалы сразу.
Процесс поддержания непротиворечивости имеет и иное толкование. На основе сведении, содержащихся в ФЗ, мы получаем новые, не исключено, что более точные. Этими сведениями являются вновь полученные оценки вероятности истинности элементов ФЗ. Следовательно, мы осуществляем априорный вывод. Таким образом, априорный вывод лежит в основе процессов поддержания непротиворечивости.
Однако мы можем пожелать оценить истинность пропозиции f € ^(S), не обязательно входящей в соответствующий ФЗ §△. Вели этот ФЗ непротиворечив, то нам нет необходимости проверять оценки вероятностей его элементов еще раз. Но, тем не менее, оценка вероятности пропозициональной формулы f не должна противоречить уже имеющимся. Чтобы получить эту оценку, должна быть построена линейная форма, выражающая p(f) через вероятности элементов ФЗ. Это можно сделать, разложив f в СДНФ, получив выражение p(f) через вероятности квантов из Q(S) и подставив выражение вероятностей квантов через вероятности элементов §д. Затем ищутся максимум и минимум полученной линейной формы на соответствующем множестве ограничений 9?*1\ Таким образом, априорный вывод в ФЗ осуществляется под влиянием процесса поддержания непротиворечивости.
Чтобы оценить влияние качественных соотношений вероятностей на точность получаемых в априорном выводе оценок, можно рассмотреть три примера (10.5, 10.6, 10.7): в первом из них будут заданы только качественные ограничения, во втором — стандартные, а в третьем — оба множества ограничений.
Пример 10.5. Качественные оценки
Пусть нам дан следующий набор качественных оценок вероятностей элементов трехлитерного ФЗ:
р(х)>р(у),р(у)>p(z),
р(хфу)=p(x®z),p(xVz)>4p(yz),
Р(х)<p(y)+p(z), р(х)+р(у)+p(z)>1.75,
Р(ху)+p(xz)+p(yz)<8p(xyz),p(xyz)<0.75p(xy).
При таких данных окончательная оценка будет следующая:
р(х) е [0.596939; 0.952381], p(z) е [0.208333; 0.576531], p(xz) € [0.107143;0.532258], p(xyz) € [0.107143;0.1875].р(х) е [0.596939; 0.952381], p(z) е [0.208333; 0.576531], p(xz) € [0.107143;0.532258], p(xyz) € [0.107143;0.1875].р(у) е [0.4375:0.714286], р (ху) е [0.173469; 0.583333], p(yz) € [0.142857;0.25],р(у) е [0.4375:0.714286], р (ху) е [0.173469; 0.583333], p(yz) € [0.142857;0.25],
р(х) е [0.596939; 0.952381], p(z) е [0.208333; 0.576531], p(xz) € [0.107143;0.532258], p(xyz) € [0.107143;0.1875].
р(х) е [0.596939; 0.952381], p(z) е [0.208333; 0.576531], p(xz) € [0.107143;0.532258], p(xyz) € [0.107143;0.1875].
р(у) е [0.4375:0.714286], р (ху) е [0.173469; 0.583333], p(yz) € [0.142857;0.25],
р(у) е [0.4375:0.714286], р (ху) е [0.173469; 0.583333], p(yz) € [0.142857;0.25],
Пример 10.6. Количественные оценки
Пусть в том же ФЗ, что и в примере 10.5, известны только следующие оценки его элементов:
р(х)€[0.15,0.80],р(у)€[0.20;0.85],
p(z)е[0.45;0.90],р(ху)е[0.10;0.95],
p(xz)е[0.20;0.95],p(yz)€[0.15;1.00],
p(xyz)€[0.00; 0.11].
Тогда при решении соответствующей ЗАП получим:
р(х)
е
[0.20; 0.80],
р(у)
е
[0.20; 0.85],
p(z)
е
[0.45; 0.90],
Р(ху)
е
[0.10; 0.66],
p(xz)
е
[0.20; 0.80],
P(yz)
е
[0.15; 0.81],
p(xyz)
е
[0.00; 0.11].
Пример 10.7. Количественные и качественные оценки Объединяя множества исходных данных примера 10.5 и примера 10.6, получим наиболее точные результаты:
р(х)€[0.596939,0.80],р(у)€[0.475,0.627143],
p(z)е[0.45,0.576531],р(ху)€[0.173469,0.41],
p(xz)€[0.204762,0.522857],p(yz)€[0.15,0.25],
p(xyz) е [0.107143,0.11].
Заметим, что особенно легко проверить непротиворечивость ФЗ или произвести в нем априорный вывод, когда оценки истинности всех его элементов точечные. Тогда вместо решения ЗАП нужно просто подставить точные значения в линейные формы, выражающие вероятности квантов, или в линейную форму, выражающую искомую вероятность формулы, не входящей в ФЗ (и показать, что все полученные оценки неотрицательны). Такая простота работы с точечным распределением вероятностей на элементах ФЗ объясняется тем, что оно однозначно задает распределение вероятностей на квантах, а значит, и на всех пропозициональных формулах, которые можно построить над соответствующим ФЗ множеством атомарных пропозиций.
Таблица 10.2. Точечные оценки вероятностей
f
X Dy
У D z
хфу
У ©Z
X = z
X]X3
p(f)
0.67
0.65
0.58
0.62
0.40
0.75.
f
xVy Vz
' (xVy) D z
x D (xy)
p(f)
0.95
0:52
0.42
Пример 10.8. Точечная оценка вероятности
Предположим, что нам известны следующие величины вероятностей элементов ФЗ третьего порядка:
p(xi)=0.63,р(х2)=0.55,
р(х3)=0.47,p(xix2)=0.30,
P(xixs)=0.25,р(х2х3)=0.20,
р(х1х2хз)=0.05.
Рассчитанные вероятностные оценки некоторых пропозициональных формул представлены в табл. 10.2.
Рассмотрим частный случай априорного вывода, связанный с моделированием правил формальной логики в приложениях искусственного интеллекта, использующих меру истинности пропозициональных формул.
Итак, в приложениях по искусственному интеллекту широко используются обобщения следующих правил вывода [43]:
modus ponens х,х D у ^ у;
modus tollens у,х D у [= х;
modus tollendo ponens х,х Vy |= у;
modus ponendo tollens х.хфу |=y;
modus tollendo tollens x,x = у |= y.
Кроме того, употребляется значительный по объему набор формул, позволяющий связать величины ц(х), р(у) и ц(ху) или ц(х), ц(у) и ц(х\/у). Здесь ц(-) — какая-либо из используемых в ИИ мер истинности пропозициональной формулы.
Чтобы выявить некоторые свойства априорного вывода, обобщающего перечисленные правила формальной логики, мы приводим несколько таблиц, в которых определяется вероятность пропозицио-
Таблица 10.3. Оценкар(хЛу) пор(х),р(у)
Р(х)
р(у)
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0.0
0.0
0.0
0.0
0.0
0.0
0.2
0.0
[0.0; 0.2]
[0.0; 0.2]
[0.0; 0.2]
[0.0; 0.2]
0.2
0.4
0.0
[0.0; 0.2]
[0.0; 0.4]
[0.0; 0.4]
[0.2; 0.4]
0.4
0.6
0.0
[0.0; 0.2]
[0.0; 0.4]
[0.2; 0.6]
[0.4; 0.6]
0.6
0.8
0.0
[0.0; 0.2]
[0.2; 0.4]
[0.4; 0.6]
[0.6; 0.8]
0.8
1.0
0.0
0.2
0.4
0.6
0.8
1.0
Таблица 10.4. Оценкар(х\/у) пор(х),р(у)
Р(х)
Р(у)
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0.0
0.2
0.4
0.6
0.8
1.0
0.2
0.2
[0.2; 0.4]
[0.4; 0.6]
[0.6; 0.8]
[0.8; 1.0]
1.0
0.4
0.4
[0.4; 0.6]
[0.4; 0.8]
[0.6; 1.0]
[0.8;1.0]
1.0
0.6
0.6
[0.6; 0.8]
[0.6;1.0]
[0.6;1.0]
[0.8; 1.0]
1.0
0.8
0.8
[0.8;1.0)
[0.8; 1.0]
[0.8;1.0]
[0.8; 1.0]
1.0
1.0
1.0
1.0
1.0
1.0
1.0
1.0
Таблица 10.5. Оценка р(у) по р(х),р(х э у)
р(х)
Р(
X эу)
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0
0
0
0
0
[0.0; 1.0]
0.2
0
0
0
0
[0.0; 0.8]
[0.2; 1.0]
0.4
0
0
0
[0.0; 0.6]
[0.2; 0.8]
[0.4; 1.0]
0.6
0
0
[0.0; 0.4]
[0.2; 0.6]
[0.4; 0.8]
[0.6; 1.0]
0.8
0
[0.0; 0.2]
[0.2; 0.4]
[0.4; 0.6]
[0.6; 0.8]
[0.8;1.0]
1.0
0.0
0.2
0.4
0.6
0.8
1.0
Таблица 10.6. Оценка р(у) по р(х),р(х Vy)
р(х)
Р
[xVy]
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0
0
0
0
0
[0.0,1.0]
0.2
0
0
0
0
[0.0;-0.8]
[0.2; 1.0]
0.4
0
0
0
[0.0; 0.6]
[0.2; 0.8]
[0.4; 1.0]
0.6
0
0
[0.0; 0.4]
[0.2; 0.6]
[0.4; 0.8]
[0.6; 1.0]
0.8
0
[0.0; 0.2]
[0.2; 0.4]
[0.4; 0.6]
[0.6; 0.8]
[0.8; 1.0]
1.0
0.0
0.2
0.4
0.6
0.8
1.0
Таблица 10.7. Оценка р(у) по р(х),р(хфу)
р(х)
р(хфу)
0.0
0.2
0.4
0.6
0.8
1.0
0.0
0.0
0.2
0.4
0.6
0.8
1.0
0.2
0.2
[0.0; 0.4]
[0.2; 0.6]
[0.4; 0.8]
[0.6; 1.0]
0.8
0.4
0.4
[0.2; 0.6]
[0.0; 0.8]
[0.2; 1.0]
[0.4; 0.8]
0.6
0.6
0.6
[0.4,0.8]
[0.2; 1.0]
[0.0; 0.8]
[0.2; 0.6]
0.4
0.8
0.8
[0.6; 1.0]
[0.4; 0.8]
[0.2; 0.6]
[0.0; 0.4]
0.2
1.0
1.0
0.8
0.6
0.4
0.2
0.0
Таблица 10.8. Оценка р(у) по р(х),р(х = у)
Р(х)
р(х = у)
0.0
0.2
0.4
0.6
0.8
1.0
0.0
1.0
0.8
0.6
0.4
0.2
0.0
0.2
0.8
[0.6; 1.0]
[0.4; 0.8]
[0.2; 0.6]
[0.0; 0.4]
0.2
0.4
0.6
[0.4; 0.8]
[0.2; 1.0]
[0.0; 0.8]
[0.2; 0.6]
0.4
0.6
0.4
[0.2; 0.6]
[0.0; 0.8]
[0.2; 1.0]
[0.4; 0.8]
0.6
0.8
0.2
[0.0; 0.4]
[0.2; 0.6]
[0.4; 0.8]
[0.6; 1.0]
0.8
1.0
0.0
0.2
0.4
0.6
0.8
1.0
Таблица 10.9. Оценка р(у Т по р(х),р(х D у)
Р(х)
р(х Dy)
[0.00;0.05)
[0.15;0.25]
[0.35;0.45]
[0.55;0.65]
[0.75; 0.85]
[0.95; 1.0]
[0.00; 0.05]
0
0
0
0
0
[0.00; 1.0]
[0.15;0.25]
0
0
0
0
[0.00; 0.85]
[0.10; 1.0]
[0.35; 0.45]
0
0
0
[0.00:0.65]
[0.10; 0.85]
[0.30; 1.0]
[0.55; 0.65]
0
0
[0.00:0.451
[О.Ю;О.65]
[0.30; 0.85]
[0.50; 1.0]
[0.75; 0.85]
0
[0.00:0.251
[0.10;0.45]
[0.30; 0.65]
[0.50; 0.85]
[0.70; 1.0]
[0.95; 1.00]
[0.00; 0.05]
[0.10;0.25]
[0.30;0.45]
[0.50; 0.65]
[0.70; 0.85]
[0.90; 1.0]
Таблица 10.10. Оценка р(у) по р(х),р(хфу)
Р(х)
р(х®у)
[0.00; 0.05]
[0.15; 0.25]
[0.35; 0.45]
[0.55; 0.65}
[0.75; 0.85]
[0.95; 1.0]
[0.00; 0.05]
[0.00; 0.10]
[0.10; 0.30]
[0.30; 0.50]
[0.50; 0.70]
[0.70; 0.90]
[0.90; 1.00]
[0.15; 0.25]
[0.10; 0.30]
[0.00; 0.50]
[0.10; 0.70]
[0.30; 0.90]
[0.50; 1.00]
[0.70; 0.90]
[0.35; 0.45]
[0.30; 0.50]
[0.10; 0.70]
[0.00; 0.90]
[0.10; 1.00]
[0.30; 0.90]
[0.50; 0.70]
[0.55; 0.65]
[0.50; 0.70]
[0.30; 0.90]
[0.10; 1.00]
[0.00; 0.90]
[0.10;0.70]
[0.30; 0.50]
[0.75; 0.85]
[0.70;0.90]
[0.50; 1.00]
[0.30; 0.90]
[0.10; 0.70]
[0.00; 0.50]
[0.10; 0.30]
[0.95; 1.00]
[0.90; 1.00]
[0.70; 0.90]
[0.50; 0.70]
[0.30; 0.50]
[0.10; 0.30]
[0.00; 0.10]
нальной формулы, стоящей справа в правиле вывода, исходя из вероятностей тех двух формул, которые стоят слева: табл. 10.3-10.10.
Анализ таблиц значений функций истинности приводит к заключению, которое нельзя назвать неожиданным. Во-первых, при переходе к значениям вероятностей детерминированных утверждений мы получаем обычные таблицы истинности соответствующих пропозициональных формул. Во-вторых, как следует из разбора данных табл. 10.5, 10.6 и 10.9, не все возможные сочетания входных вероятностей непротиворечивы (на это указывает и Нильссон [286,288]). Исходя из этого, можно утверждать, что интерпретация обобщения правила modus ponens большинством разработчиков экспертных систем невозможна в терминах априорного вывода. В-третьих, таблицы значений для modus ponens и modus tollendo ponens одинаковы, что, впрочем, вполне естественно, ибо совпадают соответствующие формулы для расчетов. Следовательно, эти правила равноценны в случае априорного вывода.
Переход во входных данных от точечной оценки вероятностей к интервальной увеличивает неопределенность результатов (величину интервала результирующей оценки вероятности). Во всех случаях наибольшая неопределенность результатов наблюдается в середине таблиц и спадает по направлениям к их углам, если там не отмечены противоречивые данные.
Завершая обзор полученных численных результатов, заметим вслед за [288], что многие рассмотренные ранее подходы к манипулированию неопределенностью «делают (иногда неявные и непризнаваемые) дополнительные предположения о лежащих в их основе распределениях совместных вероятностей». Это влечет появление точечных оценок там, где, как показали приведенные выше результаты расчетов, мы вправе ожидать появление интервальных оценок или сообщений о противоречивости исходных данных.
§ 10.3. Цепочки с отрицательнымиозначиваниями
Опишем важный, с точки зрения упрощения вычислений, частный случай априорного вывода, касающийся получения оценок вероятностей цепочек конъюнкций атомов с разными означиваниями.
По определению, членами ФЗ являются положительно логически означенные цепочки конъюнкций с приписанными им оценками вероятностей. Однако для рассуждений над вероятностями могут потребоваться оценки вероятностей конъюнкций, содержащих не только положительно означенные атомы. Для определения таких оценок существуют достаточно простые алгоритмы, опирающиеся на структуру ФЗ.-
Получение оценки вероятности логического означивания конъюнкции, содержащей отрицание, опирается на вероятностную аксиому аддитивности.
Рассмотрим частный случай: когда в цепочке конъюнкций есть только одно отрицание xZ, где Z — остаток цепочки (возможно, пустой), не содержащий отрицательно означенных литер. Из аксиомы аддитивности следует, что
p(xZ) =p(Z)-p(xZ),
где вероятности p(Z) и p(xZ) известны, поскольку цепочки xZ и Z положительно означены, а значит, входят в ФЗ. Единственная проблема, которая может тут возникнуть, — это пустота цепочки Z (Z = е). Но мы интерпретируем е как тождественную истину Т, а, значит, ее вероятность тоже известна: р(е)=р(Т) = 1.
Рассмотрим теперь общий случай. Пусть
X = XiX2...Xq,
Z = Z]Z2...Zr,
X = X]X2..Xq.
Предполагается, что цепочка XZ входит в ФЗ. Требуется оценить вероятность цепочки XZ. Эту оценку можно получить за несколько шагов, аналогичных рассмотренному в частном случае.
Во-первых, по алгоритму, предложенному выше, надо получить оценки вероятностей цепочек вида X] Yj, где Yj — остатки всех встречающихся в заданной ФЗ цепочек конъюнкций, содержащих хр Во-вторых, надо заместить элементы ФЗ вида X]Yj элементами xiYj с приписанной им вероятностью. Очевидно, что если ФЗ была непротиворечива, то она такой же и останется. Далее нужно повторять описанные действия с цепочками вида ^Y^... xqYv В результате пересчетов и замен элементов мы получим требуемую вероятность. В этом случае мы также
Таблица 10.11. Переозначивание элементов ФЗ* {{хьх2,хз}А}Д
p(f)
Означивания аргументных мест
Х1,Х2,Хз
Х1,Х2,Х3
Х1,Х2,ХЗ
X] ,Х2)ХЗ
p(xi)
0.80
: о2о
0.20
0.20
р(х2)
0.50
0.50
0.50
0.50
р(хз)
0.20
0.20
0.80
0.80
p(xix2)
0.40
0.10
. 0.10
0.10
Р(Х]Хз)
0.15
0t05
0.15
0.15
р(х2хз)
0.10
' ОЛЮ
0.40‘
0.40
р(*1Х2Хз)
' 0.05
0.05
0.05
0.10
опирались на следствие аксиомы аддитивности, но более общее: p(xZ) =p(Z) — p(xZ).
Пример 10.9. Последовательное переозначивание
Рассмотрим пример с последовательным лереозначиванием трех атомов в ФЗ, построенной над одним трехлитерным ФЗ.гВсе данные приводятся в табл. 10.11.
Процесс расчетов следующий:
при переозначивании атома X] в X]:
р(Х1) = 1-p(xi),
Р(Х]Х2) = р(х2)-р(Х1Х2),
p(xix3) = р(хз)-р(Х1Хз), р(Х]Х2хз) = р(х2хз)-p(xix2x3);
при переозначивании атома хз в хз:
р(хз) = 1—р(хз),
Р(Х]Хз) = р(хт)-р(Х1Хз),
р(х2х3) = р(х2)-р(х2хз), p(xix2x3) = p(xix2)-p(xix2x3);
— при переозначивании атома х2 в х2:
р(х2) = 1-р(х2), Р(Х1Х2) = p(xi)-р(Х1Х2), р(х2х3) = р(хз)-р(х2х3),
Р(Х1Х2Х3) = Р(Х!Х3) -p(xix2x3).
Следует отметить, что все расчеты внутри каждого этапа можно проводить параллельно.
При переходе к интервальным оценкам вероятностей элементов ФЗ нельзя сохранить при вычислениях вышеописанный подход. Более строго было бы сказать, что при его сохранении тоже можно получить оценки вероятностей различных логических означиваний цепочек конъюнкций, входящих в заданный ФЗ, но они будут недостаточно точны. Более того, процессы переобозначения будут неассоциативны. Это свойство интервальных вычислений: если а и b — интервалы и с = а — Ъ, то, вообще говоря, а / с + Ь.
Тем не менее существует способ оценивания вероятности цепочки конъюнкций, который дает самую точную оценку из возможных и при котором процесс переозначивания ассоциативен. Это — решение ЗЛП.
Имеется в виду следующее: для рассматриваемого означивания, скажем, Х]Х2х3х4, устанавливается уравнение, связывающее его вероятность с вероятностями цепочек конъюнкций, входящих в ФЗ. В нашем случае имеет место следующая зависимость:
р(х1х2х3х4) = р(х2х4) -p(x!X2x4) -р(х2х3х4) +p(x1x2x3x4).
Затем установленная линейная связь вносится во множество ограничений одной из стандартных ЗЛП (ее вид определяется степенью непротиворечивости сети), и относительно новой переменной решаются задачи поиска максимума и минимума.
Пример 10.10. Переозначивание трех атомов
Рассмотрим пример с переозначиванием сразу трех атомов в ФЗ АВС, построенной над одним трехлитерным ФЗ. Все данные приводятся в табл. 10.12.
Процесс расчетов опирается на следующие выражения:
p(yi) =
Р(У2) =
Р(Уз) =
р(У1Уг) =
Р(У1Уз) =
Р(У2Уз) =
= 1-р(У1),
= 1—р(уг),
= 1-р(уз),
= 1 -р(У1)-р(У2)+р(У1У2),
= 1-р(У1)-р(Уз)+р(У1Уз),
= 1-р(У2)-р(Уз)+р(У2Уз)>
Таблица 10.12. Переозначивание элементов ФЗ {{у, ,У2>Уз)л}^
Означивания
p(f)
У1.У2.УЗ
У1>У2>УЗ
p($1)
[0.70; 0.75]
[0.25; 0.30]
Р(У2)
[0.80; 0.85]
[0.15; 0.20]
Р(Уз)
[0.90; 0.95]
[0.05; 0.10]
Р(У1У2)
[0.50; 0.75]
[0.00; 0.20]
Р(У1Уз)
[0.60; 0.75]
[0.00; 0.10]
Р(У2Уз)
[0.70; 0.85]
[0.00; 0.10]
Р(У1У2Уз)
[0.40; 0.75]
[0.00; 0.10]
Р(У1У2Уз) = 1 -р(У1)-р(Уг)-Р(уз) +
+ р(У1Уг) +р(У1Уз) +р(У2Уз) -Р(У1У2Уз).
Относительно каждой переменной, стоящей в равенствах слева, решается ЗЛП на поиск максимума и минимума. Если бы все оценки истинности конъюнктов были точечными, то это были бы явные выражения для пересчета.
В приведенных выше примерах мы каждый раз явно выписывали формулы для пересчета вероятностей при переозначивании атомов. Но это были частные случаи. Теперь выпишем общую формулу для переозначивания произвольного количества элементов ФЗ, которую можно использовать, например, в компьютерной реализации. Воспользуемся нумерацией введенной нами в главе 8 (8.1). Пусть р(Хщ) означает вероятность конъюнкта Хщ во фрагменте знаний, до переозначива- ний. Положим, что ( — индекс, соответствующий максимальному по длине конъюнкту, все элементы которого переозначиваются. Определим р^(Хщ) как вероятность Хщ после переозначивания. Мы вынуждены добавить индекс 4 к конъюнкту, чтобы избежать путаницы с тем, где у нас конъюнты до переозначиваний, а где — после. Например, Ху, = Х]Хз, а после переозначивания xi —> xi, соответствующего индексу 1, значение будет таким: Х^ = Х1Х3. Вели £ЛЛг = 0, то Хщ = Хщ, и, значит, пересчет вероятностей не нужен. В остальных случаях формула
г = 1.
Вели 4 Л Аг = 0, то присваиваем Рс(Х^) = p(XBj) и переходим к шагу 10.
t = iAAC
)=О,Р((Х^)=О.
Если г V Vj ^ г, то переходим к шагу 8.
Если t V Vj / j, то переходим к шагу 8.
PdX^)=Pc(Xftl) + In(tJ)*p(Xm).
) = ) + 1.
Если j < 2П, переходим к шагу 5.
г = 1+1.
Если г < 2П, переходим к шагу 2.
Выводим пересчитанные вероятности.
Рис. 10.2. Алгоритм переозначивания атомов. Точечный случай.
для пересчета вероятностей будет следующей:
Pc(XfyX= X In(iAA<J)p(X0]).
iWj=i(iAA()Wj=j
В этой формуле VV означает побитовую дизъюнкцию, АЛ — побитовую конъюнкцию, £ — побитовое отрицание <, а 1п — та самая матрица перехода от вероятностей конъюнктов к вероятностям квантов, которую мы уже упоминали в контексте АБС и отдельно подробно рассматривали в § 8.2. На рис. 10.2 и W.3 приведены схемы алгоритмов пересчета вероятностей при переозначивании для точечного и интервального случаев. Таким образом, в дальнейшем мы будем считать, что умеем делать переозначивание.
§ 10.4. Непротиворечивостьи априорный вывод в АБС
Пусть дана ABC Nc и минимальный идеал С, содержащий эту сеть. Пусть также над элементами Nc определена интервальная функция р^, которая, как предполагается, задает назначение интервальных оценок вероятностей над этой сетью:
р^ : Хс —► {[a;b] : a,b G [0; 1], а < Ь).
1 = 1.
Вели 4 Л Лг = 0, то присваиваем Р^(Х^) = р-(Х[ц), Р((Хщ) =р+(Х[у) и переходим к шагу 14.
Создаем ЗЛП.
Задаем стандартные ограничения.
Задаем граничные условия.
Задаем целевую функцию «максимум Рг.(Х^)», коэффициенты целевой функции берутся из описанной формулы.
Запускаем решатель.
Вели решения нет, то выходим с сообщением о противоречивости.
Запоминаем полученное значение.
Задаем целевую функцию «минимум Р((Хщ)», коэффициенты целевой функции беруться из описанной формулы.
Запускаем решатель.
Вели решения нет, то выходим с сообщением о противоречивости.
Запоминаем полученное значение.
1 = 1+1.
Если г < 2П, переходим к шагу 2.
Выводим пересчитанные оценки вероятностей.
Рис. 10.3. Алгоритм переозначивания атомов. Интервальный случай.
Будем говорить, что функция р^ действительно задает распределение интервальных оценок вероятностей на АБС Nc или непротиворечивое назначение интервальных оценок вероятностей на этой АБС, или что АБС Nc — интервалъно непротиворечива, и обозначать этот факт предикатом Consistent [Nc, р^], если выполнено следующее условие:
Эрл е {ф : ф:6—> {[а;Ь] : а,Ь е [0;1], а < Ь}} :
(Vf eXc:pA(f) =P^(f))&
&&Consistent C,pConsistent C,p
&
&
Consistent C,p
Consistent C,p
ABC, удовлетворяющую описанному условию, мы будем называть согласованной или, что синонимично, глобалино непротиворечивой.
Как и в случае фрагмента знаний, мы будем говорить, что АВС со- гласуема, если существует сужение оценок, дающее непротиворечивую АВС.
В. И. Городецкий в ряде своих работ и научных докладов первым указал на необходимость различения нескольких степеней непротиворечивости баз знаний с неопределенностью. Развивая его идеи, мы будем рассматривать четыре степени непротиворечивости.
Локально непротиворечивой называют сеть, в которой задание каждого фрагмента знаний непротиворечиво (связи между фрагментами не рассматриваются). Таким образом, при поддержании локальной непротиворечивости структура АВС и пересечения рассматриваемых ФЗ не имеют значения.
Экстернально непротиворечивой называют локально непротиворечивую сеть, в которой интервальные оценки на вероятности истинности пропозиций, входящих в два или более фрагментов знаний, совпадают.
Интернально непротиворечивой называют локально непротиворечивую сеть, в которой для всякого значения вероятности из какой-либо интервальной оценки существует общее распределение вероятностей, совпадающее на пропозициональных формулах, общих для двух или более ФЗ. Иными словами, в такой сети должна быть разрешима задача линейного программирования, состоящая из всех заданных в сети ограничений, в которых не различаются одни и те же переменные, входящие в разные ФЗ; при этом полагается, что распределение вероятностей едино для всех ФЗ, входящих в АВС. Заметим, что здесь требуется совпадение не только оценок вероятностей, но и самих вероятностей.
Глобально непротиворечивой называют сеть, которая может быть непротиворечивым образом погружена в объемлющий фрагмент знаний, т.е. сеть, интервально непротиворечивую в соответствии с данным выше определением.
Локальная и глобальная непротиворечивость — это, фактически, непротиворечивость фрагментов знаний, которая уже выписывалась формально. Теперь выпишем формально понятие экстернальной и ин- тернальной непротиворечивости. Рассмотрим АБС N, состоящую из фрагментов знаний {Сс}^. Каждому ФЗ соответствует интерваль-
интервальная оценкаинтервальная оценкапересечениеФЗпересечениеФЗобщие границы упересекающихся ФЗ
интервальная оценка
интервальная оценка
пересечениеФЗ
пересечениеФЗ
единое распределение на пересекающихся ФЗ
Рис. 10.4. Экстернальная и интервальная непротиворечивости.
нозначная функция pt. При этом каждой функции pt соответствует пара функций р7 и р^, так что Vf € 6 pjf) = [рГ(f),p+(f)]. Тогда мы говорим что X экстернально непротиворечива, если выполняются два ограничения:
VC; Consistent [Ct, pj,
vet vcj vf g etn Cj: (Pt-(f) = pf(f))&(p^(f) = Pj+(f)).
Если выполняется требование экстернальной непротиворечивости, то можно говорить о единой для всей сети интервальной функции р, такой, что Vi plet = Pi- Здесь plet обозначает сужение на соответствующий идеал.
Для интернальной непротиворечивости дополнительно к ограничениям экстернальной требуется добавить условие
Vf G N VpGp(f) 3p:N —>[0,1]:
(p(f) = p) & (VCt G N Consistent [CbpleJ) & (Vg G M p(g) G p(g)).
Очевидно, что каждая последующая степень непротиворечивости не слабее предыдущей. Фактически алгоритмы проверки и поддержания непротиворечивости для каждой из степеней АВС уже были изложены в их определениях: нужно решать серии задач линейного программирования, которые разнятся в зависимости от исследуемой степени. Основной смысл введения различных степеней непротиворечивости заключается в том, что вычислительная их сложность увеличивается от первой к последней. Стоит отметить, что все описанные здесь степени непротиворечивости дают в общем случае разный результат.
Экстернальную и интернальную непротиворечивости иллюстрирует серия рис. 10.4-10.6. На первом из них (рис. 10.4) показан простейший случай — точечное пересечение двух ФЗ второго порядка по одной
Рис. 10.5. Непротиворечивость двух ФЗ с точечным пересечением.
Рис. 10.6. Непротиворечивость ФЗ с меньшим под-ФЗ в пересечении.
пропозиции; этот рисунок нужен в основном для того, чтобы ввести обозначения. Кроме того, он иллюстрирует понятия интернальной и экстернальной непротиворечивостей. Рис. 10.5 иллюстрирует случай, в котором экстернальная непротиворечивость совпадает с интернальной, — случай точечного пересечения фрагментов знаний. А на рис. 10.6 изображена ситуация, в которой, как мы увидим в примере 10.13, эти понятия отличаются.
Пример 10.11. Ограничения непротиворечивостей
Рассмотрим разные степени непротиворечивости на примере сети {{х>у}Л>{у>г}л}^. Она состоит из двух ФЗ: {х.у.ху} и {y,z,yz}. Пусть на первом ФЗ задана интервальнозначная функция Р] = [рГ;Р]"1) а на втором — р2 = [p^ipjb Выпишем условия на эти интервальнозначные функции, соответствующие каждой из степеней непротиворечивости:
Локальная непротиворечивость:
Vf € {х,у,ху} Vt € lpr(f);Pi"(f)] Bpi :{х,у,ху}-» [0; 1]:
' Pi(f) =т,
1 - Pi (х) - Pi (у) + Р1 (ху) > О, Pi(x)-Pi(xy) >0,
< Pi(y)-Pi(xy) >0, Р?(х) <pi(x) <pf(x), р?(у) < Pi (У) <Р1"(У), . Р?(ху) <Pi(xy) <р+(ху);
Vf е {y,z,yz} Vt € [р£(f);p2 (f)l Зрг :{y,z,yz}-i [0;1]: p2(f) =t,
1 -P2(y) -P2(z) +p2(yz) > 0, Р2(У)-Р2(У2) > 0,
* P2(z)-p2(yz) >0, P2(y) < P2(y) < P2(y). Pl(z) <Pz(z) <P^(z), , P2 (yz) < P2(yz) < pj(yz).
Экстернальная непротиворечивость:
Pi (у) =P2(y), рЛу) =P2 (у)-
Vf e {x,y,xy} Vt e [p7 (f );p^ (f)] 3pi :{x,y,xy}—» [0;1] :
' Pi(f) = t,
1 - Pt (x) - pi (y) + pi (xy) > 0, Pi(x)-pi(xy) >0,
* Pi(y)-Pt(xy) >0, P?M < Pt(x) < p^x), Р?(У) <Pi(y) <Pi"(y).
„ P?(xy) <Pi(xy) <pf(xy);
Интервальная непротиворечивость:
Vf e {x,y,xy} Vt 6 Ip7(f);p^(f)] 3pi :{x,y,xy}[0;l]:
3p2:{y,z,yz}-» [0;1]:
' pt(f) =T,
1 -Pi(x) —pi(y) +Р1(ху) > 0, Pi(x) -Pi(xy) > 0, Pi(y) -pi(xy) > 0, P7(x) <Pi(x) <p^(x), p?(y) <pHy) <pt(y).
( P?(xy) <pi(xy) <p^(xy), 5 1 -P2(y)~P2(z) +P2(yz) > 0,
Р2(У) ~P2(yz) > 0, P2(z)-p2(yz) > 0, Pa (y) ^Pz(y) <P2(y).
P7(z) < p2(z < p£(z), P7(yz) ^ P2(yz) < pj(yz), . рИу) =Рг(у);
Vfe{y,z,yz) Vt € [p^(f);p2 (f)]
Зрг :{y,z,yz} -» [0; 1]: p2(f) — t,
1 -P2(y) -P2(z) +p2(yz) > 0, P2(y)-P2(yz) >0,
< p2(z) -p2(yz) > 0, рГ(у) < рг(у) < p2(y), Pl(z) <p2(z) <pj(z), . Pl(yz) < p2(yz) < pj(yz).
Vf e {y,z,yz} Vt € [p7(f);p£(f)] 3pi :{x,y,xy}—» [0; 1] : 3p2 :{y,z,yz}-> [0;1] :
p2(f) =T,
1 -Pi(x)-pi(y)+pi(xy) >0 Pi(x) -pt(xy) > 0, Pi(y) -Pi(xy) > 0, P?(x) <Pi(x) <pf(x), p?(y) <Pi(y) <pt(y).
< P?(xy) <pi(xy) <p^(xy),
1 -Р2(У) -P2(Z) +p2(yz) > 0, Р2(У) -Р2(У2) > 0, p2(z) -p2(yz) > 0, р7(у) ^ Pz(y) < p2 (y).
Pl(z) <P2(z<P^(z), Pl(yz) <P2(yz) <p£(yz), . Pt(y) =P2(y).
Глобальная непротиворечивость:
Vf € {х.у.ху} Vt е [pF(f);pf (f)] Эр : {х, у, z, ху, у z, xz, ху z} -» [0; 1 ] : ' 1-р(х)-р(у)+р(ху)-p(z)+ +p(xz) + p(yz) - p(xyz) > 0 p(x) -p(xy) -p(xz) +p(xyz) > 0, p(y)-p(xy)-p(yz)+p(xyz) >0, p(xy) -p(xyz) > 0 p(z) -p(xz) -p(yx) +p(xyz) > 0, p(xz) — p(xyz) > 0
< p(yz)-p(xyz) > 0 p?(x) <p(x) <pt(x), P?(y) <p(y) <Pi"(y). p?(xy) <p(xy) <p^(xy), P£(y) <Р(У) <Рг(У). Pit*) <P(z) <P2(z), P2 (yz) <p(yz) <p£(yz); 0 < p(xz) < 1, . 0 < p(xyz) < 1;
Vfe{y,z,yz} Vt € [Pz (f);Pz (f)l Эр : {x, у, z, xy, yz, xz, xyz} -> [0; 1]: ' 1 — p(x)— p(y) +p(xy)-p(z)+ +p(xz) + p(yz) - p(xyz) > 0 p(x) - p(xy) - p(xz) + p(xyz) > 0, p(y)-p(xy)-p(yz)+p(xyz) >0, p(xy) -p(xyz) > 0 p(z) - p(xz) - p(yx) + p(xyz) > 0, p(xz) -p(xyz) > 0
< p(yz)-p(xyz) > 0 p?(x) <p(x) <pf(x), рГ(у) <р(у) <pt(y). p?(xy) <p(xy) <pf(xy), p^(y) <р(у) <Pz(y)- PF(z) <p(z<pj(z), pF(yz) <p(yz) <Pi(yz); 0 < p(xz) < 1,
. 0 < p(xyz) < 1.
Приведенный только что пример соответствует простейшему случаю АВС, изображенному на рис. 10.4. Как нетрудно заметить, в случае интервальной непротиворечивости два условия отличаются только тем, что нам формально приходится разделять оценки р1 и р2. То же самое происходит и при описании глобальной непротиворечивости. В действительности, можно было с помощью небольшого трюка избежать этого дублирования и выписать одно общее условие, как мы и поступим в следующем примере, но на самом деле это просто способ «спрятать» оба идеала под один дополнительный квантор, и в первый раз мы его не использовали, чтобы читателю была понятнее структура ограничений. Теперь приведем ограничения, соответствующие разным степеням непротиворечивости для более сложной ситуации, изображенной на рис. 10.6.
Пример 10.12. Ограничения непротиворечивостей - 2
Рассмотрим разные степени непротиворечивости на примере сети ^,х,у}д,{х,у,г}д}д. Она состоит из двух ФЗ: С] = {w,x,wx,y,wy,xy,wxy} и 62 = {х, у, ху, z, xz, yz, хуz), обладающих тремя общими элементами, которые образуют идеал (х, у) = {х, у, ху} (рис. 10.7). Пусть на первом ФЗ задана интер-
вальнозначная функция Р] = [р7;рЛ> а на ВТОРОМ ~ Р2 = IPz »Р21* Выпишем условия на эти функции, соответствующие каждой из степеней непротиворечивости.
Локальная непротиворечивость:
Vfee, Vre[p7(f);p+(f)]
3pi :C1 -) [0;l]: ' pi (f) = т,
1 - Pl (w) - P! (x) + P) (wx)-
-Pi(y) +Pi(wy) +Pi(xy) -p^wxy) > 0, Pl(w) -Pi(wx) -Pi(wy) +pi(wxy) > 0, Pt(x) -Pi(wx) -Pi(xy) +Pi(wxy) > 0, Pi(wx) -pHwxy) > 0, Pi(y) -Pi(wy) -Pi(xy) +Pi(wxy) > 0, < Pi(wy) -Pi(wxy) > 0, Pt(xy) -Pi(wxy) > 0, p?(w) < pHw) < pf(w), p?(x) < P1 (x) <pf(x), P7(wx) < Pi(wx) < pf(wx), P?(y) <Pi(y) <Pi"(y)- p?(wy) <Pi(wy) <p7(wy), P?(xy) <Pl(xy) <pf(xy), . P7(wxy) < Pi(wxy) < p7(wxy).
Vf€e2 VT€[p2(f);p?(f)l 3P1 :e2^[0;1]:
' P2(f) =T, 1 - P2(x) - p2(y) + P2(xy)- -P2(z) + p2(xz) + p2(yz) -p2(xyz) > 0, p2(x) -p2(xy) -p2(xz) + p2(xyz) >0, P2(y)-P2(xy)-p2(yz)+p2(xyz) >0, P2(xy) -p2(xyz) > 0, P2(z) -P2(xz) -p2(yz) +p2(xyz) > 0, p2(xz)-p2(xyz) > 0, P2(yz) -p2(xyz) > 0, Pl(x) <P2(x) <pj(x), Pl(y) <P2(y) <P2(y)> Pl(xy) <p2(xy) <Рг(ху), P2 (z) < p2(z) < p£(z), P7(xz) < p2(xz) < p^(xz), P2 (yz) < p2(yz) < pj(yz),
. P7(xyz) < p2(xyz) < pj(xyz).
Экстернальная:
pfM =Р2М- рЛ*) = Р2 (х)- рГ(у) = рТ(у). рЛу) =P2fy)- р?(ху) =Р2 (ху), р^ху) =Р2 '(ху).
VfeCi VTe[pnf);p+(f)]
Зр, : Ci-U0; 1]:
' Pi (f) = 4,
. 1 -Pi(w)-Pi(x)+Pi(wx)-
-Р1 (у)+Pi(wy)+pi(xy)-Pl(wxy) >0,, Pl(w) -pi(wx)-pt(wy)+Pt(wxy) > 0,Pi(x)-Plfwx)-p^xy)+pi(wxy) >0,Pl(wx) -Pi(wxy) >0,' Pi(y)-Pi(wy)-Pi(xy)+Pi(wxy) >04, pi(wy)-Pi(wxy) > 0,| Pi(xy)-pi(wxy) > 0,p?(w) < Pi(w) < pf (w),p?(x) <Pl(x) <pt(x),P?(wx) < Pi(wx) < p^(wx),p?(y) <pi(y) <pt(y),P?(wy) < Pi(wy) < pflwy),p?(xy) <Pi(xy)<pf(xy),. P7(wxy) < Pi(wxy) < p^(wxy).
Vf€C2 VT€[P2(f);p?(f)]
3P1 :e2-»[0;1]:
' p2(f) =T,
1 -P2(x)-P2(y)+Pl(xy)-
-Pi(z) +P2(xz) +p2(yz) -p2(xyz) > 0,P2(x) -p2(xy) -p2(xz) + P2(xyz) > 0,P2 (У) - P2 (ХУ) - P2 (УZ.) + P2 (ХУZ) > 0,Pz(xy) — p2(xyz) > 0,p2(z) -p2(xz) — p2(yz) +p2(xyz) > 0,p2(xz)-p2(xyz) > 0,P2(yz) -p2(xyz) > 0,Рг(х) <P2(x) <pj(x),Рг(у) <P2(y) <Рг(У)>Рг(ху) <Pz(xy) <Рг(ху),VlW <P2(z) <V2^VP2 (xz) < p2(xz) < pj(xz),Pl(yz) < P2(yz) < pj(yz),. P2 (xyz) < P2(xyz) < p£(xyz).
Рис. 10.7. Оценки с различными требованиями к согласованности.
Интервальная:
VI €{1,2} VfeCi VT€[pr(f);p+(f)] Эр, : Ct-» [0;1] Зр2 : C2 —» [0; 1]: ' Pt(f) =т, Pl(x) =p2(x), Pi(y) =P2(y), Pl(xy) =p2(xy), 1 - P1 (w) - Pl (x) + P1 (wx)-
-Pi(y) +pi(wy) +Pi(xy) -Pi(wxy) > 0, Pi(w) -pi(wx) -pi(wy) +pi(wxy) > 0, Pi(x) -pi(wx) -Pi(xy) +Pi(wxy) > 0, Pl(wx) -pi(wxy) > 0, Pi(y) -Pi(wy) -Pi(xy) + pi(wxy) > 0, pi(wy) -pi(wxy) > 0, Pi (xy) — pi (wxy) > 0, p?(w) < Pl(w) < pf(w), p?(x) <Pi(x) <pf(x), P7 (wx) < P1 (wx) < pf (wx), P?(y) <Pi(y) <Pi"(y), < p?(wy) <pi(wy) <pf(wy), p?(xy) <Pl(xy) <pf(xy), P7(wxy) < Pt(wxy) < pf (wxy), 1 -Pz(x) — p2(y) +Pz(xy)-
-p2(z) + P2(xz) + P2(yz) - Pz(xyz) > 0, P2(x) -p2(xy) -p2(xz) +p2(xyz) > 0, P2(y) -P2(xy) -p2(yz) +p2(xyz) > 0, P2(xy) -P2(xyz) > 0, P2(z) -p2(xz) -p2(yz) +p2(xyz) > 0, p2(xz)-p2(xyz) >0, P2(yz) -P2(xyz) > 0, P2(x) <P2(x) <P2(x), P2(y) <P2(y) <P2(y), P2 (xy) < P2(xy) < P2(xy), P2(z) <P2(z) <p£(z), P2 (xz) < p2(xz) < pj(xz), P2 (yz) < P2(yz) < p2 (yz), . P2 (xyz) < p2(xyz) < pj(xyz).
I > (2ftXAt)d > 0 ' ‘L > (2ftnt)d > 0 4 > (2XAt)d > 0
‘I > (2Ai)d> о ‘(2ftx)^d > (2fix)d > (2ftx)5d ‘(2ft)^d> (2ft)d> (2ft)Id ((2X)^d > (2X)d > (2X)5d ‘(2)^d > (2)d > (2)^d ‘(ftx)^d > (ftx)d > (ftx)5d ‘(ft)^d> (ft)d> (ft)4 ‘(x)^d > (x)d > (x)^d ‘(ftxnt)^d > (ftXAt)d > (ftXAt)2d ‘(ftx)2d> (ftx)d > (ftx)2d ‘(ftM)jd > (ftnt)d > (fuu)2d ‘(fi)jd> (ft)d> (ft)2d ‘(XAt)^d > (xnt)d > (XAt)2d ‘(х)^> (x)d > (X)2d ‘(AtjJ^d > (At)d > (M)2d ‘0 < (2ftxAt)d — (2ftx)d *0 < (2ftxnt)d— (2ftnt)d
‘0 < (2ftXAt)d 4- (2ftx)d — (2fuu)d — (2ft)d > ‘0 < (2ftXM)d— (2XAt)d
‘0 < (sfixMjd 4- (2ftx)d — (2xnt)d — (2x)d ‘0 < (^ftXAt)d 4- (2fuu)d — (2XAt)d — (2Ai)d
‘0 < (2ftXAt)d — (2ftx)d 4- (2fuu)d 4- (2ft)d—
— (2XAt)d 4- (2X)d — (2At)d — (2)d ‘0 < (2ftXAt)d— (flXAt)d
‘0 < (2ftxM)d 4- (zftx)d — (ftxA4.)d — (ftx)d ‘0 < (2ftXAt)d 4- (2ftAt)d — (ftXAt)d — (fuvt)d
‘0 < (2fxxat)d— (2fix)d4- (2ftAl)d4- (2ft) d— -(ftxAt)d 4- (ftx)d - (ftnt)d - (ft)d
*0 < (2ftXAt)d4- (2X/U)d— (ftXM)d— (XAt)d
‘0 < (2ftXM)d— (2ftx)d4- (2XAt)d4- (2X)d-
—(ftxAt)d4- (ftx)d— (xM)d— (x)d
‘0 < (2ftXAt)d — (2ftnt)d 4- (2XAt)d 4- (2At)d—
— (ftXM)d+ (fuu)d— (XAt)d— (At)d
‘0 < (2ftxnt)d 4- (2ftx)d — (2ftnt)d — (2ft)d 4- (2XAt)d—
—(2x)d 4- (2Ai)d 4- (2)d — (ftxAt)d — (ftx)d4- 4-(fuu)d 4- (ft)d — (xAt)d4- (x)d — (At)d — [ ^=(^)d .
: [L *0] ^~ {2ftXM‘2ftX<2fUU<2ft<2XM<2X‘2At‘2‘ftXAt<ftX(ftAt‘ft‘XA4<X<At} : d£
[(;)+d *• W 2d] э ХА ’3 э M {z' 1} 9 1A
:EEH4VEgovj
Требования экстернальной и интернальной непротиворечивости в рассмотренном частном случае двух фрагментов знаний третьего порядка различаются на общем идеале (х,у) (соответствующие элементы на рис. 10.7 выделены более темным цветом). Если экстернальная непротиворечивость требует совпадения границ интервальных оценок, то интервальная непротиворечивость требует согласованности распределений на общем идеале (х,у).
Пример 10.13. Экстернальная и интернальная непротиворечивости Рассмотрим сеть {{t,x,y}^,{x,y,z}^}^ со следующими ограничениями:
p(t) е [0.4;0.4],р(х) е [0.8; 1.0],р(у) е [0.6;0.6],p(z) е [0.5; 0.7],p(tx) е [0.4; 0.4],p(ty) G [0.0; 0.0],р(ху) G [0.4; 0.6],p(xz) е [0.5;0.5],p(yz) € [0.5; 0.5],p(txy) G [0.0; 0.0],p(xyz) G [0.4; 0.5].
Каждый из двух фрагментов знаний, {1»х,у}д и {x,y,z}^, с соответствующими ограничениями непротиворечив, а, значит, вся сеть экстернально непротиворечива. Однако она не является интернально непротиворечивой. Если мы положим p(z) = 0.7, то нельзя будет подобрать остальные оценки в заданных интервалах таким образом, чтобы оба ФЗ одновременно были непротиворечивы.
Пример 10.13 показал, что из одних и тех же исходных данных мы получили разные оценки для интернальной и экстернальной непротиворечивостей. Таким образом, дополнительные ограничения интернальной непротиворечивости оказались существенными. Открытым остается вопрос: существует ли экстернально непротиворечивая сеть, которая в процессе поддержания интернальной непротиворечивости даст пустое множество в качестве оценки хотя бы для одного из конъюнктов?
9 Зак. 3294
Рассмотрим еще один пример, который разделит понятия глобальной и интернальной непротиворечивости.
Пример 10.14. Различие глобальной и имтернальной оценок
Рассмотрим сеть
со следующими точечными оценками: р(х) = 0.5, р(у) = 0.5, p(z) = 0.5, р(ху) = 0.5, p(xz) = 0.5, p(yz) = 0. Тогда для любого ФЗ оценка непротиворечива. Однако попытка построить оценку для xyz окончится самым печальным образом. Так как p(yz) = 0, то мы должны предположить, что p(xyz) = 0. Но тогда
p(xyz) = р(х) — р(ху) — p(xz) + p(xyz) = 0.5 — 0.5 — 0.5 + 0 = —0.5,
что противоречит принятой нами аксиоматике вероятностной меры истинности. Таким образом, эта сеть не является глобально непротиворечивой.
Заметим, что важным моментом примера 10.14 является то, что данная сеть не является ациклической. Позже мы докажем, что для ациклических сетей понятия глобальной и интернальной непротиворечивости совпадают.
Существует и другое основание для деления степеней непротиворечивости АБС на классы. Рассмотрим семейство всех подмножеств мощности к множества всех атомов, входящих в АБС. Надстроим над каждым таким подмножеством ФЗ и потребуем выполнения условия экстернальной непротиворечивости АВС с добавленными вновь образованными ФЗ. Если удается удовлетворить условие экстерналь- *!ной непротиворечивости пополненной АБС, то назовем такую АВС к- непротиворечивой. Заметим, что если к равно мощности множества всех атомов, то к-непротиворечивая сеть будет в таком случае и глобально нецротиворечивой (также и наоборот). Если ki < кг, тогда кг- непротиврречивая сеть будет также и ki -непротиворечивой. Обратное же утверждение неверно, к-противоречивость переводит разговоры о сложности алгоритмов поддержания непротиворечивости на АБС в область параметризованной сложности (parametrized complexity) — сложность алгоритмов будет выражаться экспоненциальной функцией от к, но если считать к фиксированным (константой), то сложность в зависимости от п будет полиномиальной.
Понятие к-непротиворечивости становится особенно важным при рассмотрении алгоритмов априорного и апостериорного выводов на АБС. Однако, несмотря на свою важность, применение к-непро- тиворечивости в априорном и апостериорном выводах остается практически неизученным.
Приведем две теоремы о непротиворечивости линейной оболочки АВС.
Теорема 10.1. Пусть даны, две глобально непротиворечивые ABC N] u N2 с одинаковой структурой и два действительных числа ос и |3, такие что
а, Р G [0;1],а+ 0 = 1.
Тогда АБС N3 = oN] + 0^2 будет также глобально непротиворечива.
Доказательство. Сопоставим сетям X], N2 и N3 векторы дей-
1 , Р2 и Р3 , компонентами которых являются точечные оценки вероятностей элементов этих сетей. По определению линейной комбинации имеет место равенство:
Pf = aPf + pPf.
ABC Ni и N2 как глобально непротиворечивые можно пополнить до непротиворечивых ФЗ. Дополняя каждый получившийся ФЗ тождественно истинной пропозицией с равной единице вероятностью, мы получим также соответствующие им векторы Р^ и Р2, которые содержат векторы Р^ и Р^ как подвекторы. Рассмотрим ФЗ 63, пополнению которого тождественно истинной пропозицией соответствует вектор Р3, такой что
р» = аР^ + 0Р^.
Очевидно, что он содержит Р^ как подвектор.
Будет ли ФЗ Сз непротиворечив с оценками вероятностей, определяемыми вектором Р3? Чтобы утвердительно ответить на поставленный вопрос, надо показать, что компоненты вектора Р3,
Рз = ^(Рз),
удовлетворяют условиям (10.1) и (10.2). Поскольку числа а, 3 и компоненты векторов Р^, Р2 — неотрицательны, то требование (10.1), очевидно, выполнено. Осталось показать (10.2): сумма компонент Рз равна единице.
Пусть 1 — вектор, каждая компонента которого равна единице, совпадающий по размерности с вектором Р3. Введем в рассмотрение еще два вектора Р; и Р2:
Pi = W?),
р2 = £°(Р2).
Поскольку построенные ФЗ, соответствующие Nj и Х2, непротиворечивы, справедливы равенства
Р11=1,
Р21=1,
и требуется доказать, что
Р31=1.(Ю.7)
Справедливость равенства (10.7) можно установить, проведя следующие выкладки:
Р31 = £°(Р^)1 = £°(аР? + З^)1 =
= (^(аР?) + £,°( рР$))1 = (а£°(Р^) + З^ЧРгШ =
= (aPi + |ЗР2)1 = aPi1 + 3P2I = а+ 3 = 1.
Таким образом, мы доказали, что существует непротиворечивый ФЗ, содержащий ABC N3, а это значит, что она глобально непротиворечива.
D
Теорема 10.2. Пусть N — конечное семейство глобально непротиворечивых АВС. Тогда любая АБС NY е Span [М] maiotce является глобально непротиворечивой.
Доказательство. Теорема доказывается по индукции, базой и переходом в которой служит предыдущая теорема о линейной комбинации глобально непротиворечивых АВС. □
Математически идеальным вариантом непротиворечивости АВС является ее глобальная непротиворечивость, что обеспечивает соблюдение вероятностной аксиоматики над всеми пропозициональными формулами, которые только можно построить над атомами сети. Последнее очень важно в вопросах, касающихся априорного и апостериорного выводов, — в оценках вероятностей, полученных в результате, не будет чисел отрицательных или бблыпих единицы. Существуют условия, при которых глобальная непротиворечивость АБС проверяется и достигается очень легко.
Теорема 10.3. Если ациклическая АВС интерналъно непротиворечива, то она также глобально непротиворечива.
Доказательство. Теорема доказывается по индукции. Если сеть состоит из одного ФЗ, то утверждение теоремы верно. Пусть теперь сеть состоит из п ФЗ. Тогда, поскольку сеть ациклическая, можно выбрать «крайний» ФЗ. Рассмотрим его и фрагмент, с которым наш крайний имеет наибольшее пересечение. Тогда мы находимся в условиях теоремы о композиции распределений бинарных последовательностей. Над обоими ФЗ построим общий ФЗ с распределением вероятностей, полученным по упомянутой теореме. В результате получится ациклическая сеть с п — 1 ФЗ. Завершение доказательства теоремы очевидно. □
Алгоритмы
Предполагается, что алгоритм поддержания непротиворечивости действует все время, пока заполняется база знаний, — если поступают новые данные об интервалах, в которых может находиться вероятность пропозиций, входящих в АБС, то они заносятся в сеть и выполняется алгоритм, поддерживающий БЗ в непротиворечивом состоянии. Т^кой порядок работы позволяет точно определить, на каком именно шаге возникает противоречие вводимых знаний с уже накопленными.
Итак, опишем схематично алгоритмы поддержания различных степеней непротиворечивости. Для глобальной непротиворечивости АВС алгоритм полностью соответствует алгоритму для поддержания непро-
Создаем ЗАП.
Добавляем условия каждого из ФЗ.
Добавляем условия равенства переменных, соответствующих в разных ФЗ одному и тому же.
Для каждой вершины решаем задачу на максимум и задачу на минимум с построенными ограничениями.
Если хотя бы одна из задач не имеет решения, то сеть противоречива.
Процесс поддержания интервальной непротиворечивости закончен.
Рис. 10.8. Алгоритм. Интервальная непротиворечивость.
тиворечивости ФЗ. Единственная оговорка: при задании граничных оценок на элементы, не входящие в АВС, используется оценка [0;1]. Алгоритмы для поддержания интернальной и экстернальной непротиворечивостей приведены на рис. 10.8 и 10.9 соответственно.
Для завершения анализа процедур, поддерживающих непротиворечивость, нам следует ответить на два вопроса — сходится ли описанный алгоритм и, если он сходится, то является ли результат корректным, т.е. становится ли АБС непротиворечивой?
Теорема 10.4. Алгоритм поддержания непротиворечивости АБС завершает работу и имеет на выходе один из двух результатов: непротиворечивые оценки вероятностей элементов данной АБС или сообщение о противоречивости исходных оценок вероятностей элементов данной АБС.
Доказательство. Как видно из описания алгоритма, он состоит в том, что на предварительно сформированных множествах линейных неравенств £ (строится на основе требований аксиоматики вероятностей и выбранного уровня непротиворечивости) и D (строится на основе данных, поступивших при анализе предметной области) решается задача линейного программирования для каждого элемента данной АБС. Задача линейного программирования может не иметь решения для одного или нескольких элементов АБС. Тогда алгоритм прекращает работу и выдает сообщение о противоречивости исходных оценок вероятностей
Выбираем любой крайний ФЗ.
Поддерживаем его непротиворечивость.
Уточняем границы всех содержащихся в нем переменных.
Записываем ФЗ в стек.
Удаляем ФЗ из сети — убираем переменные, принадлежащие только этому ФЗ и никакому другому.
Если есть еще ФЗ в сети, то переходим к шагу 1. Иначе идем дальше.
На этом шаге мы имеем пустую АВС и стек, содержащий ФЗ.
Извлекаем ФЗ из стека.
Если оценки на переменные, по которым извлеченный из стека ФЗ пересекается с уже построенной АБС, не совпадают с оценками АБС, то записываем в ФЗ новые оценки.
Поддерживаем непротиворечивость этого ФЗ.
Добавляем ФЗ к АВС.
Если стек не пуст, то переходим к шагу 8. Иначе идем дальше.
Процесс поддержания экстернальной непротиворечивости закончен.
Рис. 10.9. Алгоритм. Экстернальная непротиворечивость.
элементов данной АВС. Если же удалось решить задачу линейного программирования для всех узлов АВС, то на основе полученных решений формируется множество новых оценок вероятности элементов АВС и алгоритм прекращает работу.□
Творвма 10.5. Оценки вероятностей элементов АВС, полученные в результате применения алгоритма поддержания непротиворечивости, являются непустыми замкнутыми промежутками.
Доказательство. Если алгоритм завершил работу выдачей сообщения о новых оценках вероятностей элементов АБС, то, значит, были решены все задачи линейного программирования, и каждому узлу приписаны значения максимальной и минимальной оценок его вероят-
ности. Причем как для максимальной, так и для минимальной оценки вероятности рассматриваемого элемента существует такое точечное оценивание вероятностей других элементов, что все вместе взятые оценки вероятности задают распределение вероятностей, непротиворечивое в соответствии с заданной степенью непротиворечивости. Следует заметить, что все эти точечные оценки должны лежать между соответствующими максимальными и минимальными оценками вероятностей — в противном случае решение задач линейного программирования оказалось бы некорректным.
В результате решения задач линейного программирования максимальная и минимальная оценки вероятности одного и того же элемента могли совпасть. Тогда утверждение теоремы истинно — точка является непустым замкнутым промежутком.
Рассмотрим теперь случай, когда вероятность пропозиции из АВС лежит между несовпадающими максимальной и минимальной оценками. Всем ли внутренним точкам образовавшегося промежутка будут соответствовать непротиворечивые точечные означивания других пропозиций, лежащие между своими новыми максимальными и минимальными оценками?
Величину, лежащую между двумя другими несовпадающими величинами, можно выразить в виде линейной комбинации последних. Рассмотрим коэффициенты линейной комбинации, выражающей вероятность пропозиции, лежащей между максимальной и минимальной вероятностями этой же пропозиции. Эти коэффициенты положительны и в сумме дают единицу, поэтому мы можем, сославшись на теорему 10.1, построить на этих коэффициентах линейную комбинацию АВС с точечными оценками вероятностей, соответствующими максимальной и минимальной вероятностям данной пропозиции. Заметим, что получится АВС с согласованной точечной оценкой вероятности всех своих элементов, причем оценки вероятности каждого элемента будут лежать между новыми максимальными и минимальными вероятностями, полученными в результате применения алгоритма поддержания непротиворечивости. Волее того, эта АВС оказывается непротиворечивой с заданной в алгоритме поддержания непротиворечивости степенью — это следует из применения теоремы о линейной комбинации непротиворечивых в целом АВС к каждому ФЗ, составляющему рассматриваемую АБС. □
Теорема 10.6. Оценки вероятностей элементов АВС, полученные в результате применения алгоритма поддержания непротиворечивости, являются непротиворечивыми в соответствии с той степенью непротиворечивости, требования которой описывают множества £ u D.
Доказательство. Доказательство следует из двух предыдущих теорем. □
Достаточно сложной проблемой, с которой приходится сталкиваться при программной реализации алгоритма поддержания непротиворечивости, является размерность (по количеству переменных) решаемых задач линейного программирования. Однако имеется возможность значительно упростить множества ограничений и даже сделать алгоритм распределенным, если требуется рассматривать задачу локальной или экстернальной непротиворечивости, или непротиворечивости немаксимального порядка (к-непротиворечивости).
В этом случае АБС может распасться на множество ФЗ относительно небольшой размерности, и тогда задачи линейного программирования, поставленные для каждого ФЗ в отдельности, будут содержать значительно меньшее количество переменных. Во- лее того, задачу для разных ФЗ можно будет решать на разных процессорах.
Сначала должны быть решены задачи линейного программирования для каждого ФЗ в отдельности, а затем следует произвести операцию согласования оценок вероятностей — пропозициональной формуле, входящей в разные ФЗ, ставится в соответствие пересечение всех интервалов оценок ее вероятности, полученных в разных частях АВС. Если результирующий интервал оказывается пустым, то исходные оценки вероятности пропозиций в АБС признаются противоречивыми. В противном случае повторяется процесс решения задач линейного программирования для каждого ФЗ в отдельности, а затем — процесс согласования вероятностей. Если не происходит изменений оценки вероятностей никакой формулы из АВС, то алгоритм прекращает работу, в противном случае повторяется цикл: задача линейного программирования, согласование, проверка на пустые интервалы, проверка на то, что вероятностные оценки не изменились.
Критерии прекращения работы алгоритма могут быть и другими. Например, если максимальное изменение оценок вероятностей меньше заранее определенного порога, то алгоритм останавливается и сеть полагается непротиворечивой в заданной степени и с данной точностью.
§ 10.6. Оценки не входящих в АБСцепочек конъюнкций
Над атомами, входящими в алгебраическую байесовскую сеть, не являющуюся фрагментом знаний, можно построить больше цепочек конъюнкций с положительным логическим означиванием, чем в ней содержится. Встает вопрос: можно ли оценить их вероятности менее тривиальной оценкой, чем [0; 1]? Теоретически ответ положительный: нужно достроить АБС до объемлющего ФЗ, решить ЗАП для достижения его непротиворечивости и, как частное решение, получить искомую оценку. Однако, если соответствующий покрывающий ФЗ окажется достаточно высокого порядка, то ЗАП либо невозможно будет решить, либо ее решение займет столь длительное время, что необходимость получения оценки вероятности отпадет, ибо результат потеряет актуальность.
Можно попытаться не достигать непротиворечивости ФЗ, покрывающего сеть, а дополнить рассматриваемую АБС тем ФЗ, который содержит цепочку конъюнкций, вероятность которой мы пытаемся оценить. Затем можно будет решить ЗАП, отвечающую удовлетворяющей нас степени непротиворечивости пополненной сети, и получить менее точную, но зато достижимую за разумный промежуток времени оценку. Однако существуют и другие способы оценивания вероятности конъюнкций, не входящих в АБС — менее точные, но более простые. Два из них мы предлагаем ниже.
Рассмотрим АБС Хз^з, состоящую из двух трехлитерных ФЗ (см. рис. 10.10). Предположим, что нам надо оценить вероятность цепочки Х1Х2Х3Х4, не входящей в сеть Хз(2)з-
Предлагаемое решение состоит в том, чтобы представить данную цепочку конъюнкций следующим образом: Х1Х2Х3Х4 = Х1Х2Х3 ЛХ2Х3Х4. Тогда искомую оценку вероятности можно будет получить из решения вторичной ЗЛП, множество D*1' которой состоит из четырех неравенств:
р(х1х2х3х4) > О,
p(xix2x3)-p(xix2x3x4) > О,р(х2х3х4) -р(х1х2х3х4) > О,
1 -р(Х]Х2Хз) -р(х2х3х4)+р(х1х2х3х4) > 0.
Множество оценок из предметной области составят ограничения для Вероятностей р(Х1Х2Хз) И р(Х2ХзХ4).
Пример 10.15. Вторичная ЗЛП
Пусть среди известных нам оценок вероятностей элементов АБС Хз(2)з имеются следующие:
р(х)Х2Хз) € [0.95; 1.00],
р(хгХзХ4) € [0.60; 0.75].
Тогда, решая вышеописанную ЗЛП, мы придем к выводу:
р(х1Х2ХзХ4) € [0.55;0.75].
Рис. 10.10. Диаграмма Хассе АВС N3(2)3-
Рис. 10.11. Диаграмма Хассе АБС Кггг-
Наиболее общий вариант продления меры вероятности в случае АВС таков: над сетью строится ФЗ, производится решение ЗАП для его элементов, из одного из получившихся интервалов оценки вероятности новых элементов выбирают точку (нижнюю границу, середину, верхнюю границу или др.), снова решают ЗАП, и так далее, до тех пор, пока всем элементам ФЗ не будет приписана точечная вероятностная мера. Однако такой способ для получения оценки вероятности одной цепочки конъюнкций расточителен. Волее того, можно было бы остановиться на результатах решения первой ЗАП и удовлетвориться интервальным результатом.
Рис. 10.12. Схема вывода со вторичной ЗАП.
Другой вариант, значительно более простой, чем предусмотренный в общем случае, состоит в применении дополнительной гипотезы, позволяющей однозначно восстанавливать вероятность новых элементов. Совсем не обязательно, чтобы гипотеза была явно сформулирована; главное, чтобы она давала явный алгоритм для расчетов. (Хотя, конечно, саму гипотезу тоже знать небесполезно — она определяет точно наши предположения о продолжаемом распределении).
Примером такого алгоритма может служить алгоритм, основывающийся на теореме о композиции распределений СВП. Вго можно применить для любой ациклической АВС или для любой ациклической связной подсети данной АБС, если достаточно продления вероятности именно над ней одной. Этот подход иллюстрируют примеры 10.16 и 10.17.
Пример 10.16. Различная точность оценок
Пусть известны следующие оценки вероятностей:
р(х<) = 0.55,
р(хг) = 0.85,
р(х3) = 0.90,
р(х4) = 0.58,
p(xi%2) = 0.55,
P(xix3) = 0.55,
р(хгхз) = 0.80,
р(Х2Х4) = 0.50,
р(хзХ4) = 0.53, р(Х2ХзХ4) = 0.50.
p(xix2x3) = 0.55,
Мы получим следующие оценки на вероятность элемента Х1Х2Х3Х4 по методу:
вторичной ЗАП:
р(х]Х2Х3Х4) е [0.15;0.50];
надстройки ФЗ:
р(х]Х2Х3Х4) € [0.25;0.50];
продолжения распределения из теоремы о композиции распределений бинарных последовательностей:
р(х]Х2ХзХ4) = 0.34375.
Пример 10.17. Оценка посредством продолжения
Рассмотрим АБС N222» представленную на рис. 10.11, при следующих точечных вероятностных оценках:
p(xi)=0.1,р(х2)=0.4,
Р(хз)=0.8,р(х4)=0.5,
р(х]Х2)=0.05,р(х2Хз)=0.25,
р(х3х4)=0.4.
На основе заданных вероятностей можно оценить вероятности положительно логически означенных конъюнкций, содержащихся в ФЗ, построенном над N222, решая соответствующие ЗАП. Помимо этой интервальной оценки, можно привести точечную, выведенную на основе теоремы о композиции распределений бинарных последовательностей. Все результаты приведены в табл. 10.13.
Заметим, что, как и должно быть, точечные оценки расположены между границами соответствующих интервалов. Точечные оценки по теореме о ком-
Таблица 10.13. Оценки вероятностей в {{х,, Х2,хз,Х4}л}^
f
Означивания аргументных мест
интервальная
точечная
X1X3
[0.00; 0.10]
0.0770(3)
Х1Х4
[0.00; 0.10]
0.05
Х2Х4
[0.05,0.35]
0.20
X1X2X3
[0.00; 0.05]
0.03125
Х1Х2Х4
[0.00; 0.05]
0.025
X1X3X4
[0.00; 0.10]
0.0385165
X2X3X4
[0.00; 0.25]
0.125
X1X2X3X4
[0.00; 0.05]
0.015625
позиции распределений бинарных последовательностей определяются единственным образом — доказательство будет рассмотрено ниже.
У рассмотренного примера есть особенность: на самом деле случайные величины £3 и £4 независимы. Последнее позволило несколько сократить расчеты по определению величин «продолженной» вероятности.
Может потребоваться оценка вероятности пропозициональной формулы, построенной над набором атомов, который принадлежит двум или более ФЗ и не входит целиком ни в один из них. В этом случае самую точную интервальную оценку вероятности, неопределимой над ФЗ, можно получить уже рассмотренным способом: достроить АВС таким образом, чтобы в ней появился ФЗ, через вероятности элементов которого можно арифметически выразить вероятность, оценку на которую мы пытаемся получить.
Другой способ: разбить формулу на несколько подформул, оценки вероятностей которых известны. Над ними построить ФЗ, над которым и оценивать искомую вероятность. Остается решить ЗАП, но полученная оценка будет весьма неточной.
Пример 10.18. Оценка через подформулы
Пусть нам известны вероятности элементов сети, состоящей из двух двулитерных ФЗ:
P(xi) = 0.7,
р(х2) = 0.8,
р(х3) = 0.9,p(xix2) = 0.7,Р(х2х3) = 0.8.
Требуется оценить вероятность пропозициональной формулы Х]Х2 ®х2хз. Обозначим:
У, ^xix2, у2 ^ х2х3.
Тогда получим:
Х1Х2 ®Х2ХЗ =У1 Фу2.
Следующий шаг — построить ФЗ {у, ,у2}л- Вероятность пропозициональной формулы у 1 ф у2, очевидно, можно в таком ФЗ оценить как
Р(У1 ®У1) =p(yi) +р(уг) -2р(У1У2).
Решая задачу линейного программирования, окончательно получаем ответ: р(у, фу2) € [0.1,0.5].
Точечную оценку мы можем получить для неопределимой в ФЗ вероятности тремя путями: либо благодаря особому стечению обстоятельств; либо продолжая распределение вероятности по теореме о композиции вероятностных распределений бинарных последовательностей, если исходные данные являются точечными; либо используя еще какой- нибудь способ продолжения вероятностной меры.
Пример 10.19. Тривиальная оценка
Пусть нам дана сеть следующего вида:
Мех21 = {{Х1,Х2}Д,{Х2,ХЗ,Х4,Х5,Х6,Х7}Д,{ХЗ,Х7,Х8,Х9}Д,}^ .
Требуется оценить вероятность р(х]Х2ХзХ4ХзХбХ7Х8Х9). Имеются данные для всех элементов сети, и среди них р(хзХ9) = 0. Тогда мы можем с абсолютной уверенностью утверждать, что р(х]Х2ХзХ4ХдХбХ7Х8Х9) = 0. Такой вариант мы и называем стечением благоприятных обстоятельств.
Пример 10.20. Оценки через погружение в ФЗ
Рассмотрим данные из примера 10.18. Продолжая вероятностное распределение на элементы трехлитерного ФЗ, покрывающего сеть, мы получим:
Р(Х]Х3) = 0.7,
р(х]Х2х3) = 0.7.
По формуле
p(xix2 ех2х3) =p(xix2) +р(х2х3) -2p(xix2x3)
мы имеем точечную оценку искомой вероятности:
р(х]Х2фх2х3) =0.1.
Заметим, что при решении ЗЛП для трехлитерного ФЗ с данными из примера 10.18 оценка получается точечная, и она совпадает с только что полученной.
Объемлющая непротиворечивость
В этом параграфе мы рассмотрим альтернативный подход к введению понятия непротиворечивости. Он позволяет делать выводы в ситуации, когда АБС является противоречивой в том смысле, который вкладывался в это понятие в предыдущих параграфах. Фундаментальное отличие данного подхода — несколько другая интерпретация сведений, поступивших от экспертов. Вели раньше высказывания экспертов понимались с модальностью «непременно так», то в данном случае мы будем интерпретировать их как «бывает и так, что». Например, пусть исходное утверждение эксперта звучало как р(х) € [0.3; 0.4]. Классическая его интерпретация — «для всякого распределения вероятностей, отвечающего моделируемой ситуации, вероятность пропозициональной переменной заключена в интервале [0.3; 0.4]». Интерпретация, принятая в данном параграфе: «для каждого значения р € [0.3; 0.4] существует отвечающее моделируемой ситуации распределение вероятностей, в котором вероятность х равна р». Такой подход позволит нам придать смысл противоречивым высказываниям экспертов, накрыв их объемлющим множеством оценок, в котором реализуется каждая из предложенных экспертами оценок, но, возможно, не все сразу.
Непротиворечивой оболочкой для ABC N, возможно с противоречивыми оценками, мы будем называть непротиворечивую ABC Nc
такую, что структуры N и Nc совпадают, а оценки элементов Nc накрывают соответствующие оценки элементов X Очевидно, что такая сеть существует. Например, если в качестве всех оценок рассмотреть интервал [0;1], то полученная сеть будет гарантированно непротиворечива и интервалы эти накроют любые возможные исходные оценки; но эта сеть не даст нам никаких реальных сведений. Более того, почти для любой АБС N существует огромное количество сетей Хс, поэтому вторым необходимым критерием построения непротиворечивой оболочки будет в каком-то смысле минимальная неопределенность. В качестве критерия неопределенности мы будем использовать сумму длин интервалов оценок вероятностей элементов АБС. Или формально:
U(N) = 2jp+(x)-p-(x)),x€N
где р+(х) и р~(х) — верхняя и нижняя оценки вероятности х соответственно.
Рассмотрим в качестве начальной АБС ФЗ С. Будем считать, что на нем были заданы оценки ро+(х) и ро~(х); тогда можно выписать естественные требования для р+(х) и р“(х):
Vx G е р-(х) < ро"(х); р0+(х) < р+(х),(10.8)
Vx € 6 0 < р-(х) < 1; 0 < р+(х) < 1.(10.9)
Кроме этих условий, нам потребуется, чтобы получаемые оценки р_(х) и р+(х) давали непротиворечивую АБС. Но обычная проверка требует серии ЗАП и фиксированных оценок. Мы поступим по-другому. Введем множество переменных р“(х) и р+(х) (здесь мы определяем по две переменные для каждой пары х и у, лежащих в С), а затем рассмотрим следующие ограничения:
Vx G С Vy G С р—(х) < р-(х) < р+(х); р—(х) < р+(х) < р+(х); (10.10)
Vx € С Рх(х) = р"(х); р+(х) = р+(х);(10.11)
Vx € 6 £(Рх0); £(р+()).(10.12)
Здесь £ (РхО) и £ (р£ 0) обозначают стандартные, уже описывавшиеся ограничения S, но с заменой р() на р“() и р+() соответственно. Если
выполняются условия (10.10-10.12), то оценки р~(х) и р+(х) задают непротиворечивую АБС. Соответствующая ЗАП — это минимизация U(C) при условиях (10.8-10.1’2). Таким образом, вопрос о минимальной непротиворечивой оболочке свелся к решению задачи линейного программирования. Но, к сожалению, решение данной ЗАП снова может быть не единственным.
Заключение
Хальперн, Фатин и Мегиддо дали аксиоматизацию меры вероятности пропозициональной формулы и способов рассуждений об интервальных оценках вероятностей. Это позволило нам предложить новый способ построения множества ограничений для ЗАП, решаемых в процессе поддержания непротиворечивости ФЗ и БФЗ (если они представлены в виде математической модели, в данном случае — в виде АБС), а также априорного вывода в них. Даны схемы алгоритмов этих процессов и описаны некоторые их модификации. Показано, что алгоритм поддержания непротиворечивости сходится и его результаты корректны.
При поддержании непротиворечивости БФЗ может заметно сократиться неопределенность внесенных в нее знаний за счет их согласования (совместной обработки). Процессы поддержания непротиворечивости и априорного вывода взаимосвязаны и опираются на решение ЗАП.
Точные результаты поддержания непротиворечивости и априорного вывода получаются при погружении АБС в объемлющий ФЗ, но этот прием невозможно применить на практике для АБС, построенных над большим количеством атомарных пропозиций. За счет ослабления требований непротиворечивости и уменьшения точности результатов априорного вывода можно добиться существенного снижения объема вычислений при решении задачи оценивания непротиворечивости. Кроме того, существует весьма широкий и достаточный для многих приложений класс БФЗ, представимых в виде ациклической АБС, поддержание непротиворечивости которой без потерь сводится к поддержанию непротиворечивости ее частей.
Показано, что некоторые из предложенных ранее подходов к манипулированию неопределенностью не только, по словам Нильссона [286,288], «делают (иногда неявные и непризнаваемые) дополнитель-
ные предположения о лежащих в их основе распределениях совместных вероятностей», что влечет за собой появление точечных оценок меры неопределенности там, где мы вправе ожидать появление интервальных оценок, но и зачастую игнорируют противоречивость исходных данных. Тем не менее дополнительные, корректно обоснованные предположения о распределениях, согласующиеся с существующими связями в предметной области, позволяют получать более точные априорные оценки.
Кроме того, в главе рассмотрен альтернативный подход к введению понятия непротиворечивости АВС. Этот вариант непротиворечивости можно назвать «объемлющим», поскольку получающиеся с его помощью оценки накрывают все исходные. Модальность, стоящая за объемлющей непротиворечивостью, — это «бывает и так, что» в противовес обычной — «непременно так». Основная и пока не решенная проблема в новом виде непротиворечивости — неединственность не только накрывающих оценок вообще, но даже накрывающих оценок, минимизирующих заданный функционал (такой, например, как суммарная длина интервалов). Поэтому стоит вопрос выбора «канонического» представителя из равнонеопределенных накрывающих сетей.
Глава 11
Апостериорный вывод
И если приоткрылись мне Истоки следствий и причин, То чувствам ясны не вполне Соотношенья величин.
В. С. Шефнер
Эта же идея развита и в статье «Апостериори, а-приори», где допускается правомерность и того, и другого хода познания, причем при «априорном» познании «ум наш все же не иначе как опытом должен быть возбуждаем к деятельности».
А. И. ГАЛИЧ 3. А. Каменский, 1995
Введение
Апостериорный вывод — во многом определяющий аппарат для развития теории байесовских сетей. Именно ради него замышлялись байесовские сети, и именно из-за него они называются байесовскими (как мы увидим ниже, в простейших случаях апостериорный вывод — это просто применение теоремы Байеса). Суть апостериорного вывода очень проста и может быть проиллюстрирована на следующем примере.
Предположим, что имеется байесовская сеть (хоть алгебраическая, хоть доверия), в которой существует связь между переменными х и у (в байесовской сети доверия это значит, что заданы условные вероятности р(у|х), р(у|х), в алгебраической байесовской сети — что заданы маргинальные вероятности р(х), р(у), р(ху)). Мы начинаем использовать систему и оказывается, что высказывание у в рассматриваемой нами ситуации истинно. Очевидно, эта информация (в терминологии байесовских сетей эта информация называется свидетелъством') должна увеличить наши знания не только об у, но и об х. Как отразится это на вероятности истинности х?
В теории байесовских сетей для учета поступающих свидетельств применяется аппарат условных вероятностей. В данном простейшем случае можно просто записать по определению или по теореме Байеса
f । t = Р(ХУ) =р(х)р(у|х)
р(х) р(х)р(у|х) + (1 - р(х))р(у|х) и получить требуемую вероятность как для алгебраических байесовских сетей, так и для байесовских сетей доверия.
Однако обычно не все так просто. Во-первых, структура байесовской сети может быть гораздо сложнее — нужно будет пересчитывать вероятности сразу нескольких узлов, связанных с тем, о котором поступило свидетельство. Во-вторых, оценки вероятностей этих узлов (в случае алгебраических байесовских сетей) могут быть не точечными, а интервальными. В-третьих, само свидетельство вовсе не обязано иметь вид «высказывание у истинно» — оно может быть недетерминированным («вероятность истинности у равна 7/8») или даже содержать неопределенность («мы убедились, что у справедливо с вероятностью от 3/8 до 5/8»).
В этой главе мы начнем рассмотрение апостериорного вывода для алгебраических байесовских сетей; развитый аппарат будет учитывать и детерминированные, и недетерминированные свидетельства, а в главе 12 появятся свидетельства с неопределенностью.
Виды свидетельств и целиапостериорного вывода
Будем считать, что у нас построен ФЗ на основе идеала цепочек конъюнкций с точечными или интервальными оценками истинности его элементов или ВФЗ на основе алгебраической байесовской сети. В указанный ФЗ или в указанную ВФЗ входят, в частности, атомарные пропозициональные формулы, над которыми и могут быть построены свидетельства (их мы иногда будем называть атомарными свидетельствами) и кортежи свидетельств. Свидетельства и их кортежи могут быть детерминированными, недетерминированными и недетерминированными с неопределенностью. Кортежи свидетельств могут быть представлены, в свою очередь, с помощью отдельного фрагмента знаний, описывающего некий сложный комплекс свидетельств. Формаль-
но* и отдельное атомарное свидетельство можно представить в виде ФЗ первого порядка.
Рассмотрим далее формальную запись различных вариантов свидетельств и их кортежей. При этом будем считать, что свидетельства и их кортежи строятся над атомарными пропозициональными формулами xi,X2,xm, входящими в ФЗ или БФЗ. Вели рассматривать лишь отдельное атомарное свидетельство, использующее лишь одну атомарную пропозициональную формулу, то индекс будем опускать: х. Остальные атомарные пропозиции, входящие в рассматриваемый фрагмент, обозначим через У1,У2>• • • >Ук- Скользящую переменную, перебирающую элементы идеала {уьУ2, • • • ,Ук}А> —• через Z или Zy. Примем уже упоминавшееся выше соглашение относительно обозначений:
X = xiX2...xm, Y = y1y2...yk,
X = xjx2...xm, Y = y1y2...yk.
Детерминированным (или атомарным) свидетельством являются сведения о том, что какое-то утверждение, соответствующее атомарной пропозиции, оказалось либо истинным, либо ложным. Например, установлено, что утверждение х истинно; тогда соответствующее свидетельство запишется как (х). Если же установлено, что утверждение х ложно, свидетельство будет содержать в своей записи отрицание этой атомарной пропозиции: (х). Кортеж детерминированных свидетельств состоит из цепи атомарных свидетельств, например (xix2) или (х^хг), или (xix2), или (Х1Х2), или (Х1Х2Х3) и т.д. Запись кортежа детерминированных свидетельств может приобретать вид (X), что служит сокращением для более длинной записи (X) = (xix2... xm). Аналогично (X) = (xix2.. .xm). В последнем случае мы подчеркиваем, что нас интересует некоторое означивание цепочки конъюнкций X, рассматриваемое в качестве поступившего свидетельства. Такое обозначение чаще всего используется в формулах для пропагации недетерминированных свидетельств или их кортежей.
Недетерминированное свидетельство характеризуется апостериорной вероятностью своей истинности. В этом случае запись свидетельства выглядит следующим образом: (р[а](х)), т.е. мы знаем апостериорную оценку вероятности всех двух означиваний х.
Кортеж недетерминированных свидетельств характеризуется апостериорным распределением вероятностей конъюнкций означиваний атомарных пропозициональных формул, входящих в кортеж. Формаль-
ная запись кортежа недетерминированных свидетельств (р[а](Х)) или, что одно и то же, (P[a](xiX2 • • -Хщ)). т.е. мы знаем апостериорную оценку вероятности всех означиваний (X) = (Х]Х2... хт). Заметим, что соответствующее распределение вероятностей может быть задано на идеале вида {х], Х2,..., хт}д как точечные оценки и, как правило, именно так и задается. Кроме того, подчеркнем, что апостериорное распределение вероятностей характеризует связи между атомарными свидетельствами и между наборами атомарных свидетельств. Возможность отчитывать такие зависимости является важным свойством аппарата, а также сказывается на результатах апостериорного вывода. Распределение на идеале должно быть непротиворечивым.
Если же представить себе семейство апостериорных распределений вида Рту^ = Рт^хаХ2 - • -х^, заданное на идеале интервальными оценками вероятностей (обязательно непротиворечивыми!), то мы получим кортеж недетерминированных свидетельств с неопределенностью (и как частный случай — отдельное недетерминированное свидетельство с неопределенностью). Такой кортеж запишется в виде
(Р[а](Х) е Рг[Х]>[а]
или, если расписать то же самое более подробно,
(Р[а](Х1Х2...Хт) е Рг^Хг-.-Хт)).
[а]
Существенно, что получающееся семейство апостериорных распределений вероятностей выпуклое и задается множеством линейных ограничений ранее рассмотренного вида 3?Л,1П = gA,m(j j)A,m
Для краткой записи произвольного свидетельства или кортежа свидетельств будем пользоваться обозначением (()), а называть такое обозначение будем свидетельством общего вида.
Первой задачей апостериорного вывода является оценка вероятности, или ожидаемой вероятности появления свидетельства, или кортежа свидетельств над заданным ФЗ 6, или заданной ВФЗ Nkpb: Р((0)1^) и соответственно p((())|Nkpb)-
Результаты первой задачи можно использовать [38,40], например, в формуле Байеса, если у нас есть несколько классов ситуаций, описанных ФЗ или ВФЗ, которым [классам] присвоено априорное распределение вероятностей.
Второй задачей апостериорного вывода является оценка апостериорной вероятности или ожидаемой апостериорной вероятности цепочек конъюнкций ранее определенного вида Zy, входящих в ФЗ или ВФЗ, но не имеющих общих атомарных пропозиций с поступившим свидетельством или кортежем свидетельств: Pq(ZyI(())).
Важный частный случай
Далее в работе будет интенсивно использоваться аппарат условных вероятностей. Одну из особых ситуаций, возникающих при работе с условными вероятностями, мы рассмотрим отдельно. Определим условную вероятность p(Y|X) соотношением
p(XY)=p(Y|X)p(X).(11.1)
При р(Х) > 0 из указанного определения можно выразить p(Y|X):
p(Y|X) =
Р(Х)
Однако не всегда следует ожидать выполнения условия р(Х) > 0; таким образом, для организации вычислений мы должны хорошо представлять, что будет происходить с тензором условной вероятности в случаях, когда вероятность одного (или нескольких — но не всех!) означиваний будет равна нулю: р(Х) = 0.
Укажем, во-первых, что, согласно аксиоматике вероятностной логики, 0 < p(XY) < р(Х), и поэтому при р(Х) = 0 соотношение (11.1) превратится в
0 = p(Y|X)-0,
а последнее является линейным уравнением относительно p(Y|X), допускающим в качестве решения любое действительное число. Поскольку «переменная» p(Y|X) — вероятность, будем считать, что она в вышеописанном случае принимает значения из замкнутого промежутка [0; 1]. Или, в терминах настоящей работы, интервальная оценка вероятности p(Y|X) равна [0;1]:
(p(X)=0) => (p(Y|X) = [0; 1]),
(р(Х)=0) =4 (p"(Y|X) = 0),(р(Х)=0)(p+(Y|X) = 1).
Вели вероятностная модель базы фрагментов знаний с неопределенностью содержит оценку какого-то означивания X, равную нулю (р(Х) = 0), и на вход нам поступает кортеж детерминированных свидетельств (X), содержащий именно это означивание цепочки конъюнкций, то мы приходим к заключению, что вероятность возникновения такого кортежа свидетельств в классе ситуаций, описываемых нашей базой фрагментов знаний, равна нулю: р((Х)|ВФЗ) = 0. Кроме того, наша база фрагментов знаний не может дать сколько-нибудь нетривиальные оценки условных вероятностей своих элементов при свидетельстве (X), поскольку не рассчитана на такие апостериорные сведения; а значит, исходя из изложенного выше особого свойства тензора условной вероятности, для всех цепочек Y из БФЗ, не содержащих общих с X атомарных пропозиций, апостериорная оценка вероятности будет неинформативной:
Pa(Y|(X)) = [0; 1].
§11.4. Вывод в ФЗпри детерминированных свидетельствах
В настоящем разделе мы рассмотрим несколько примеров, а в следующей главе обобщим их и формализуем. Рассмотрим случай ФЗ 6 над атомарными пропозициями из цепочки xY. Обозначим символом р априорное распределение вероятностей над 6. Предположим, что вероятности всех элементов 6 заданы точечно и непротиворечиво и поступило детерминированное свидетельство (х). В этом случае первая задача апостериорного вывода решается с помощью формулы
р«х)|С) =р(х).
Вторая задача апостериорного вывода решается на основе формулы для расчета условной вероятности (обязательно с учетом особого случая р(х) = 0, рассмотренного в § 11.3):
„ 17 l/v\l P(xZy)pa(ZY|(x))- р(х) .
Получившаяся апостериорная вероятность будет точечной, за исключением указанного особого случая.
Пусть при тех же условиях поступило детерминированное свидетельство (х). Формулы для решения первой и второй задач апостери-
орного вывода будут:
р((х)|С) =р(х) = 1 -р(х),„ (7 1/?\1 P^Zy) p(Zy)-p(xZy)Pa(ZY|(x)) =■
В общем случае для отдельного свидетельства произвольного означивания (х) формулы приобретут вид:
р((х)|С) = р(х),
Pa(ZYl(x)) -
Напомним, что в случае возникновения особой ситуации р(х) = О апостериорная вероятность цепочек Zy становится неопределенной: P0(ZY|(x)) = [0; 1].
Вслед за [38,40] заметим, что как в случае отдельного детерминированного свидетельства, так и в случае кортежа детерминированных свидетельств можно «переобозначить» элементы ФЗ таким образом, чтобы поступившее детерминированное свидетельство или кортеж детерминированных свидетельств можно было бы считать построенными над положительно означенными атомарными пропозициями.
В случае детерминированного свидетельства и точечных оценок вероятностей элементов во фрагменте знаний перерасчет можно вести по формуле:
p(xZY) = p(ZY) - p(xZY).
В случае кортежа детерминированных свидетельств (Х+Х_) (Х+ — положительно означенные атомарные свидетельства, Х_ — отрицательно означенные) будет применяться эта же формула для перерасчета последовательно, пока не исчерпаются все атомарные пропозиции, вошедшие в отрицательно означенную часть кортежа детерминированных свидетельств Х_.
Описав процесс переобозначения в § 10.3, мы можем считать, что на вход поступают лишь положительно означенные свидетельства и кортежи детерминированных свидетельств. Соответственно, мы ограничим рассмотрение некоторых видов апостериорного вывода только ими.
Пусть при тех же условиях и сделанных переобозначениях поступил кортеж детерминированных свидетельств (X). Тогда первая и вторая
Вели р(Ху) = 0, то сообщаем, что все апостериорные оценки равны [0; 1] и завершаем работу.
г= 1.
Ра(Ху) = p(Xywi])/p(Xy).
i = г + 1.
Вели г < 2П, переходим к шагу 3.
Выводим рассчитанные апостериорные вероятности.
Рис. 11.1. Алгоритм. Апостериорный вывод. Точечный случай.
задачи апостериорного вывода будут решены с помощью следующих формул:
р«х)|е)=р(х),pa(ZY|(X))-.
Предположим теперь, что оценки вероятностей элементов ФЗ могут быть как точечными, так и интервальными. Мы можем продолжать считать, что на вход поступают лишь положительно означенные детерминированные свидетельства и кортежи детерминированных свидетельств, поскольку переобозначение элементов ФЗ можно произвести на основе априорного вывода нижних и верхних оценок истинности «новых элементов» ФЗ: p~(X+X_Zy) и p+(X+X-Zy). Вероятность p(X+X_Zy) выражается через вероятности исходных элементов ФЗ 6 по линейной формуле включений-исключений. Волее того, означивание кванта X+X_Zy соответствует определенному значению индекса в формулах, приведенных в главе 8; это позволит воспользоваться указанными формулами для построения целевого функционала задач линейного программирования, возникающих при работе с переобозначением атомарных пропозиций, входящих в элементы фрагмента знаний С. Процесс переобозначения рассмотрен нами в § 10.3. Схема алгоритма пропагации детерминированного положительно-означенного свидетельства приведен на рис 11.1. Мы предпологаем, что поступило сви- детельсво Ху. Алгоритмы апостериорного вывода в других ситуациях мы формально выпишем в главе 12.
Пример 11.1. Апостериорный вывод на ФЗ второго порядка
Рассмотрим фрагмент знаний второго порядка 6 = {х, .xz.xjxi}, построенный над А = {xi ,Х1}. Заданы непротиворечивые интервальные оценки ис-
тинности элементов фрагмента знаний Ол*2:
Р?<p(xi)<Pl".
<Р2<р(х2)<pj,
Р?2Р(Х]Х2)<Р^2-
На вход поступает детерминированное свидетельство (х]). Для особого случая р(х]) = 0 результаты апостериорного вывода у нас уже рассмотрены. Будем предполагать, что р(х]) имеет либо точечное значение, отличное от нуля, либо интервальную оценку с различающейся верхней и нижней границами. Нижней границей этой интервальной оценки вполне может быть ноль.
Первая задача апостериорного вывода будет иметь простой ответ, выражающийся интервальной оценкой вероятности свидетельства над данным ФЗ: p«xi)ie) = р(х!),
p~(xi) < p(<xi>ie) <p+(xi).
Вторая задача апостериорного вывода сводится к решению задач гиперболического программирования:
-,,, и •Р(Х1Х2)
Р (x2| xi ) = min ,Э?Л.2 p(Xi)
+,,, uР(Х]Х2)
Покажем, что возникшие экстремальные задачи сводятся к задачам линейного программирования (впервые этот переход был предложен в [83]). Введем величину Е, = ^77 • При сделанных предположениях она строго положительна; более того, Е, € П;оо). Умножим неравенства из множества ЛА’2 = £A,2(JDA’2, соответствующего рассматриваемому фрагменту знаний, на переменную Е,:
' Р(Х1Х2) > О,р(Х1) -р(Х!Х2) > О, р(х2) -p(xix2) > О, 1 -p(xi) -р(х2)++p(xix2) > О,Р? < Р(Х1) <pf, Р2 <р(хг) <Р2., р?2 <Р(Х1Х2) <Pi2-' Р(Х1Х2) > О,р(Х1) -р(Х!Х2) > О, р(х2) -p(xix2) > О, 1 -p(xi) -р(х2)++p(xix2) > О,Р? < Р(Х1) <pf, Р2 <р(хг) <Р2., р?2 <Р(Х1Х2) <Pi2-f.p(xix2) > О, £p(xi)-£,p(x1x2) >0, £р(хг) - fp(xix2) > о, Е,- £p(xi) - £р(х2)+ +£р(х1х2) > 0, £Р? < f.P(xi) < £р^, i.P2 < £р(Х2) < i,P2.. £рГ2 ^ ^.p(xix2) < £pt2-f.p(xix2) > О, £p(xi)-£,p(x1x2) >0, £р(хг) - fp(xix2) > о, Е,- £p(xi) - £р(х2)+ +£р(х1х2) > 0, £Р? < f.P(xi) < £р^, i.P2 < £р(Х2) < i,P2.. £рГ2 ^ ^.p(xix2) < £pt2-
' Р(Х1Х2) > О,
р(Х1) -р(Х!Х2) > О, р(х2) -p(xix2) > О, 1 -p(xi) -р(х2)+
+p(xix2) > О,
Р? < Р(Х1) <pf, Р2 <р(хг) <Р2.
, р?2 <Р(Х1Х2) <Pi2-
' Р(Х1Х2) > О,
р(Х1) -р(Х!Х2) > О, р(х2) -p(xix2) > О, 1 -p(xi) -р(х2)+
+p(xix2) > О,
Р? < Р(Х1) <pf, Р2 <р(хг) <Р2.
, р?2 <Р(Х1Х2) <Pi2-
f.p(xix2) > О, £p(xi)-£,p(x1x2) >0, £р(хг) - fp(xix2) > о, Е,- £p(xi) - £р(х2)+ +£р(х1х2) > 0, £Р? < f.P(xi) < £р^, i.P2 < £р(Х2) < i,P2.
. £рГ2 ^ ^.p(xix2) < £pt2-
f.p(xix2) > О, £p(xi)-£,p(x1x2) >0, £р(хг) - fp(xix2) > о, Е,- £p(xi) - £р(х2)+ +£р(х1х2) > 0, £Р? < f.P(xi) < £р^, i.P2 < £р(Х2) < i,P2.
. £рГ2 ^ ^.p(xix2) < £pt2-
Неравенства не поменяют знак, поскольку £, строго положительна. Заменим переменные d(f) = £,р(f). Отметим, что d(xi) = 1. В получившееся множество неравенств включим дополнительный элемент — линейное неравенство £,> 1. Получившееся множество неравенств назовем Яд’2:
£.> 1,
d(xix2) > О,
Ял’2Ял’21 <tpt.d(x2) < £,pj, d(xix2) < bp^1 <tpt.d(x2) < £,pj, d(xix2) < bp^1 — d(xix2) > О, d(x2)- d(xix2) > О, £-1 -d(x2) + d(x,x2) > О,
Ял’2
Ял’2
1 <tpt.
d(x2) < £,pj, d(xix2) < bp^
1 <tpt.
d(x2) < £,pj, d(xix2) < bp^
£рГ<1.
i,P2 < d(x2),
. £,Р72 < d(xix2),
Отметим, что получившееся множество 3?^’2 линейно относительно содержащихся в нем переменных вида d(f) и £,. При такой замене переменных задачи гиперболического программирования свелись к задачам линейного про
граммирования:
Р (x2|(xi)) = min{d(xix2)},
Р^СхгКх.)) = max{d(x1x2)}.
$Л.2
Пример 11.2. Апостериорный вывод на ФЗ третьего порядка
Рассмотрим построенный над А = {x1.x2.x3} фрагмент знаний третьего порядка 6 = {х] ,Х2,x3.x]Х2»Х1Хз,Х2Хз,Х1Х2Хз). Заданы непротиворечивые интервальные оценки истинности элементов фрагмента знаний ®л’3:
р?
<P(xi)
< рГ,
Р2
<р(х2)
< pj.
Рз
< Р(хз)
< Рз.
Р?2
<Р(Х1Х2)
< Ри.
РГз
< Р(Х1Хз)
- Ргз>
Р23
<р(х2х3)
< Р23.
Р123
< р(Х1Х2Хз)
- Риз
На вход поступает детерминированное свидетельство (xi). Для особого случая, р(х]) = 0, результаты апостериорного вывода у нас уже рассмотрены. Мы будем предполагать, что р(х]) имеет либо точечное значение, отличное от нуля, либо интервальную оценку с различающейся верхней и нижней границами. Эта интервальная оценка в качестве нижней границы может
содержать ноль.
Первая задача апостериорного вывода снова будет иметь ответ, выражающийся интервальной оценкой вероятности свидетельства над данным ФЗ:
P((xi)|C) =p(xi),
P-(xi) < р((х1)|С) < р+(хт).
Вторая задача апостериорного вывода сводится к решению серии задач гиперболического программирования для Z G {х2,х3,х2х3}:
—1*7\!\\* РМ + /71/P(X)Z)
Р (Z|(X1)) = nun —:—г, р+ Z|(Xi) = max—:—-. эгл>3 p(xi)' $л з p(xi)
Покажем, что возникшие экстремальные задачи снова сводятся к задачам линейного программирования. Введем величину £, - При сделанных предположениях она строго положительна; более того, £, е [1;оо). Помножим неравенства из множества Ял’3 = 6A,3UDA,3) соответствующего рассматриваемому фрагменту знаний, на переменную £,. Неравенства не поменяют знак, поскольку £, строго положительна. Заменим переменные d(f) = £,p(f). Отметим, что d(xi) = 1. В получившееся множество неравенств включим дополнительный элемент — линейное неравенство £, > 1. Получившееся множество неравенств назовем ^,3:
d(xix2x3) > О,
d(xix2) - d(xtx2x3) > О,
d(xjx3) - d(xix2x3) > О,
1 — d(xjx2) — d(x,x3) + d(xix2x3) > 0,
d(x2x3) — d(xix2x3) > 0,
Ла’3Ла’3d(x2) — d(xix2) — d(x2x3) + d(xjx2x3) > 0, d(x3) - d(xix3) - d(x2x3) + d(xix2x3) > 0, £ — 1 - d(x2) - d(x3) + d(xix2)+
Ла’3
Ла’3
+d(xix3) + d(x2x3) - d(xix2x3) > 0,
£.Р2 < d(x2), £р3 < d(x3), £.Рй ^ d(xix2), ^РГз ^ d(xix3), £рЬ < d(x2x3), £р?23 ^ d(xix2x3),£.Р2 < d(x2), £р3 < d(x3), £.Рй ^ d(xix2), ^РГз ^ d(xix3), £рЬ < d(x2x3), £р?23 ^ d(xix2x3),d(x2) < £р£, d(x3) < £р|, d(xjx2) < £pf2, d(xix3) < £,pf3, d(x2x3) < f.p23, d(xix2x3) < ^p^-d(x2) < £р£, d(x3) < £р|, d(xjx2) < £pf2, d(xix3) < £,pf3, d(x2x3) < f.p23, d(xix2x3) < ^p^-
£.Р2 < d(x2), £р3 < d(x3), £.Рй ^ d(xix2), ^РГз ^ d(xix3), £рЬ < d(x2x3), £р?23 ^ d(xix2x3),
£.Р2 < d(x2), £р3 < d(x3), £.Рй ^ d(xix2), ^РГз ^ d(xix3), £рЬ < d(x2x3), £р?23 ^ d(xix2x3),
d(x2) < £р£, d(x3) < £р|, d(xjx2) < £pf2, d(xix3) < £,pf3, d(x2x3) < f.p23, d(xix2x3) < ^p^-
d(x2) < £р£, d(x3) < £р|, d(xjx2) < £pf2, d(xix3) < £,pf3, d(x2x3) < f.p23, d(xix2x3) < ^p^-
Вторая задача апостериорного вывода в случае фрагмента знаний третьего порядка снова сводится к решению серии задач линейного программирования:
р (Z|(xi)) = min d(Z),p+(Z|(xi>) = maxd(Z),Z е {Х2,Хз,Х2Хз}.
Пример 11.3. Апостериорный вывод: кортеж свидетельств
Снова рассмотрим построенный над А = {х],Х2,хз} фрагмент знании 6 = {xi, Х2»хз, X] Х2, X] хз > Х2Х3, X] Х2Х3}. В отличие от предыдущего примера, на вход поступает кортеж детерминированных свидетельств (Х1Х2). Для особого случая, р(х]Х2) = 0, результаты апостериорного вывода у нас уже рассмотрены. Будем предполагать, что р(х]Х2) имеет либо ненулевое точечное значение, либо интервальную оценку с различающимися границами. Эта интервальная оценка в качестве нижней границы может содержать ноль.
Заданы непротиворечивые интервальные оценки истинности элементов фрагмента знаний 1)л’3:
p?
<P(xi)
< ph
PI
<P(X2)
< ph
Рз
< р(хз)
< Ph
P?2
< p(xix2)
ph.
P?3
<P(X1X3)
— Pl3>
P23
<P(X2X3)
P23'
P123
< p(x,x2x3)
— P123
И снова, вот уже в третий раз подряд, первая задача апостериорного вывода будет иметь простой ответ:
p((xix2)ie) = p(xix2),P~(xiX2) <p((xix2)|C) <P+(X1X2).
Вторая задача апостериорного вывода сводится к решению серии задач гиперболического программирования (формулу оставим в более общем виде, чем могло бы потребоваться, — это удобно для подготовки к восприятию последующих обобщений):
Р (Z|(xix2)) = minР (Z|(xix2)) = minp(x;x2Z)Р(Х]Х2) ’p(x;x2Z)Р(Х]Х2) ’p+(Z|{x1x2)) = max дЛ,3p+(Z|{x1x2)) = max дЛ,3p(xix2Z)P(X)X2) ’p(xix2Z)P(X)X2) ’
Р (Z|(xix2)) = min
Р (Z|(xix2)) = min
p(x;x2Z)
Р(Х]Х2) ’
p(x;x2Z)
Р(Х]Х2) ’
p+(Z|{x1x2)) = max дЛ,3
p+(Z|{x1x2)) = max дЛ,3
p(xix2Z)
P(X)X2) ’
p(xix2Z)
P(X)X2) ’
Z € {х3}.
Покажем, что возникшие экстремальные задачи снова сводятся к задачам линейного программирования. Введем величину f, = ^77x7)* ^Ри сделанных предположениях она строго положительна; более того, £,6 [1; оо). Помножим неравенства из множества 3tA,s = £A’3|JDA’3, соответствующего рассматриваемому фрагменту знаний, на переменную Неравенства не поменяют знак, поскольку £, строго положительна. Заменим переменные d(f) = £,p(f). Отметим, что d(x]X2) = 1. В получившееся множество неравенств включим дополнительный элемент —• линейное неравенство £, > 1. Получившееся множество неравенств назовем ^d(xix2):
£>1>
d(X]X2X3) > О,
1 - d(xix2x3) > О,
d(xix3) - d(xiX2X3) > О,
d(xi) - 1 - d(xiX3) + d(x]X2X3) > О,
d(x2x3) - d(x]X2X3) > 0,
d(x2) - 1 - d(x2X3) + d(x]X2X3) > 0,
mA,3 _^dtxixz) — 'mA,3 _^dtxixz) — 'd(x3) - d(xiX3) - d(xix3) + d(xiX2X3) > 0, £.-d(xi)-d(x2)-d(x3) + 1 +
mA,3 _
^dtxixz) — '
mA,3 _
^dtxixz) — '
+d(xiX3) + d(x2X3) — d(xtX2X3) > 0,
£,P7 < d^), f.P2 < d(x2), i-Рз < d(x3), iPi2 -£р?з ^ <*(*1Хз).i.P23d(x2X3),£p?23 ^ d(xix2x3),£,P7 < d^), f.P2 < d(x2), i-Рз < d(x3), iPi2 -£р?з ^ <*(*1Хз).i.P23d(x2X3),£p?23 ^ d(xix2x3),d(xi) < £pf, d(x2) < Ep^, d(x3) < £.pt, 1 < £.рГ2. d(xix3) < i,p^3, d(x2X3) < £p£3, d(x!X2X3) < £,p^23d(xi) < £pf, d(x2) < Ep^, d(x3) < £.pt, 1 < £.рГ2. d(xix3) < i,p^3, d(x2X3) < £p£3, d(x!X2X3) < £,p^23
£,P7 < d^), f.P2 < d(x2), i-Рз < d(x3), iPi2 -
£р?з ^ <*(*1Хз).
i.P23d(x2X3),
£p?23 ^ d(xix2x3),
£,P7 < d^), f.P2 < d(x2), i-Рз < d(x3), iPi2 -
£р?з ^ <*(*1Хз).
i.P23d(x2X3),
£p?23 ^ d(xix2x3),
d(xi) < £pf, d(x2) < Ep^, d(x3) < £.pt, 1 < £.рГ2. d(xix3) < i,p^3, d(x2X3) < £p£3, d(x!X2X3) < £,p^23
d(xi) < £pf, d(x2) < Ep^, d(x3) < £.pt, 1 < £.рГ2. d(xix3) < i,p^3, d(x2X3) < £p£3, d(x!X2X3) < £,p^23
Вторая задача апостериорного вывода в случае фрагмента знаний третьего
порядка и двулитерного кортежа детерминированных свидетельств сводится к решению серии задач линейного программирования:
р (Z|(X!X2)) = niin d(Z),Жа(х,х2)
p+(Z|(xix2)) = max d(Z),
Z e {x3}.
10 Зак. 3294
В примере 11.3 мы разобрали только кортеж положительно означенных детерминированных свидетельств. В случае другого означивания свидетельств следовало бы применить алгоритм переобозначения элементов идеала цепочек конъюнкций.
§ 11.5. Вывод в ФЗ
при недетерминированных свидетельствах
Основная идея апостериорного вывода при недетерминированных свидетельствах и их кортежах — искать ожидаемые оценки или, что более строго, искать математическое ожидание этих оценок (верхние и нижние границы математического ожидания — если в свидетельстве или их кортеже помимо недетерминированности присутствует еще и интервальная неопределенность).
В/ качестве распределения вероятности случайной величины выступает распределение вероятностей над недетерминированным свидетельством или их кортежем.
В качестве значений случайной величины выступают априорные (первая задача) и апостериорные (вторая задача) вероятности, которые получаются при переборе всех означиваний свидетельства или кортежа свидетельств.
Означивания в данном случае рассматриваются как детерминированные свидетельства или их кортежи. Но при этом на означиваниях уже задана вероятность ру (или семейство вероятностей Рг[а]). Такой подход был предложен в [108].
Подчеркнем, что на данный момент мы уже знаем, как с помощью задач линейного программирования рассчитывать следующие величины:
точечная оценка р((())|С),
нижняя граница интервальной оценки р_((())|С),
верхняя граница интервальной оценки р+((())|е),
интервальная оценка р((())|е),
точечная оценка Pa(Zy|(())),
нижняя граница интервальной оценки Pa(Zy| (())),
верхняя граница интервальной оценки Ра (Zyl(()))>
- интервальная оценка pQ(Zy|(())).
Расчет ведется как в точечном, так и в интервальном случае исходных оценок в ФЗ, если мы имеем детерминированное свидетельство или их кортеж (()).
Пусть задан фрагмент знаний С, на вход которого поступило недетерминированное свидетельство (p[Qj(x)). В случае точечных оценок вероятностей рассмотрим случайные величины ^((Р[а](х))|С) и ^а(2у|(Р[а](х))). Это — дискретные случайные величины. Опишем законы распределения их значений.
£((р[а](х))|е) принимает значения р((х)|С) с вероятностью Р[а](х). Означивания х в двух последних формулах связаны. Отметим, что Р[о](х) известна, а способ расчета величин р((х)|С) описан — это первая задача апостериорного вывода при детерминированном свидетельстве.
^a(ZYKP[a](x))) принимает значения pa(ZY|(x)) с вероятностью Р[а](х). Означивания х в двух последних формулах связаны. Отметим, что Р[а](х) известна, а способ расчета величин pa(ZY|(x)) описан — это вторая задача апостериорного вывода при детерминированном свидетельстве.
Решением первой задачи апостериорного вывода при недетерминированном свидетельстве является математическое ожидание соответствующей случайной величины:
p((P[a](x))ie) = E^((P[a](x))ie),p((p[ai(x))ie) = ^p(x|e)p[a](x).
X
Решением второй задачи апостериорного вывода является также математическое ожидание:
^a(ZY|(P[a](x)» = E^Q(ZY|(P[a](x))),^a(ZY|(P[a](x))) = ^Pa(ZY|(x))p[al(x).
X
Отметим, что получающееся ожидаемое распределение вероятностей над цепочками ZY непротиворечиво, поскольку является линейной комбинацией по P[Qj(x) — неотрицательным нормированным на единицу весам других непротиворечивых распределений вероятностей над этими цепочками (см. § 9.4, а также [98,108]).
В случае интервальных оценок в фрагменте знаний мы будем рассматривать случайные элементы, значением которых является замкнутый промежуток, — интервальная оценка истинности цепочки конъ-
юнкций. Фактически, мы будем работать со случайными величинами, представляющими собой верхние и нижние границы указанных замкнутых промежутков.
Итак, в случае интервальных оценок вероятностей рассмотрим дискретные случайные величины ^((р[о](х))|е) и ^a(ZY|(p[Q](x))). Опишем законы распределения их значений.
£((Р[а](х))|С) принимает значения р((х)|С) с вероятностью P[Q](x). Означивания х в двух последних формулах связаны. Отметим, что Р[а](х) известна, а способ расчета величин р((х)|С) описан — это первая задача апостериорного вывода при детерминированном свидетельстве.
Ра(2у|(Р[а](х))) принимает значения pa(ZY|(x)) с вероятностью Р[а](х). Означивания х в двух последних формулах связаны. Отметим, что Р[а](х) известна, а способ расчета величин pa(ZY|(x)) описан — это вторая задача апостериорного вывода при детерминированном свидетельстве.
Решением первой задачи апостериорного вывода при недетерминированном свидетельстве является математическое ожидание соответствующего случайного элемента:
_ X_ Xp«P[a](x))ie) = Ep«p(a](x))ie),p((p[a](x))ie) = ^p4(x)ie)p[Q](x);22p+((x)ie)p[^
_ X
_ X
Решением второй задачи апостериорного вывода является также математическое ожидание:
L xL xPa(ZYl(P[a](x))) = EpQ(ZY|(P[a](x))), 0a(ZYl(P[a](x))) = ^P~(ZY|(x))p[a](x);^p+(ZY|(x))pW^^
L x
L x
Отметим, что получающееся ожидаемое распределение интервальных оценок вероятностей над цепочками ZY непротиворечиво, поскольку является линейной комбинацией по неотрицательным нормированным на единицу весам других непротиворечивых распределений интервальных оценок вероятностей над этими цепочками (см. предложение
3.2).
Пусть задан фрагмент знаний С, на вход которого поступил кортеж недетерминированных свидетельств (р[а](Х)).
В случае точечных оценок вероятностей рассмотрим случайные величины ^((Р[а](Х))|С) и £а(2у|(Р[а](Х))). Это — дискретные случайные величины. Опишем законы распределения их значений.
^((Р[а](Х))|С) принимает значения р((Х)|С) с вероятностью Р[а](Х). Означивания X в двух последних формулах связаны. Отметим, что Р[а](Х) известна, а способ расчета значений р( (Х)|С) описан — это первая задача апостериорного вывода при кортеже детерминированных свидетельств.
£а(2у|(Р[а](Х))) принимает значения pa(ZY|(X)) с вероятностью Р[а](Х). Означивания X в двух последних формулах связаны. Отметим, что распределение Р[а](X) известно, а способ расчета величин pa(ZY|(X)) описан — это вторая задача апостериорного вывода при кортеже детерминированных свидетельств.
Решением первой задачи апостериорного вывода при кортеже недетерминированных свидетельств является математическое ожидание соответствующей случайной величины:
р«Р[а](х))|е) = Е^((р[а](х))|е),
P«P[aj(x))ie) = ^р(Х|е)Р[о](х).
X
Решением второй задачи апостериорного вывода является также математическое ожидание:
^a(ZY|(P[a](X)» = E^a(ZY|(P[a](X))),^a(ZY|(P[a](X))) = Xpa(ZY|(x))p[a](X).
X
Отметим, что получающееся ожидаемое распределение интервальных оценок вероятностей над цепочками ZY непротиворечиво, поскольку является линейной комбинацией по неотрицательным нормированным на единицу весам р[a] (X) других непротиворечивых распределений интервальных оценок вероятностей над этими цепочками (см. предложение 3.2).
В случае интервальных оценок в фрагменте знаний мы будем рассматривать случайные элементы, значением которых является замкнутый промежуток, — интервальная оценка истинности цепочки конъюнкций. Фактически мы будем работать со случайными величинами, представляющими собой верхние и нижние границы указанных замкнутых промежутков.
Итак, в случае интервальных оценок вероятностей рассмотрим дискретные случайные величины Р((Р[а](Х))|С) и Pa(2Y|(p[a](X))). Опишем законы распределения их значений.
Р«р[а](Х))|е) принимает значения р((Х)|С) с вероятностью Р[а](Х). Означивания X в двух последних формулах связаны. Отметим, что распределение Р[а](Х) известно, а способ расчета величин р((Х)|С) описан — это первая задача апостериорного вывода при кортеже детерминированных свидетельств.
Ра(2у|(Р[а](Х))) принимает значения pa(2Y|(X)) с вероятностью Р[а](Х). Означивания X в двух последних формулах связаны. Отметим, что распределение Р[а](Х) известно, а способ расчета значений ра(2у1(Х)) описан — это вторая задача апостериорного вывода при кортеже детерминированных свидетельств.
Решением первой задачи апостериорного вывода при кортеже недетерминированных свидетельств является математическое ожидание соответствующего случайного элемента:
p((p[Q](x)>ie) = Ep((p[a](xw
p((p[Q](x))ie) = 2>-((х)|е)Р[а](х);]Гр+((^.
. *х.
Решением второй задачи апостериорного вывода является также математическое ожидание:
Pa(ZYl(P[a](X)» = Epa(2Y|(P[a](X))),
Pa(ZYl(P[a](^)» = Ep;(ZYKX))p[Q](X);52p+(ZY|(X))p[a](X) .
XX. X
X
X
Пример 11.4. Распространение свидетельства
В завершение главы приведем численный пример, наглядно иллюстрирующий все то, что мы описывали в этой главе. Рассмотрим процесс распространения свидетельства на примере сети {{x.y^^y.z^Jz, t}^^. Мы будем не только проводить пропагацию свидетельств в рамках отдельно взятых фрагментов знаний, но и передавать эти свидетельства от одного фрагмента знаний к другому. Обоснование правомерности этого действия будет дано в главе 17, а сейчас нас интересует только сам процесс вычислений. Пусть даны следующие точечные оценки:
р(х)=0.5, р(ху)=0.1, р(у)=0.4, p(yz)=0.3,
p(z) = 0.8, p(zt) = 0.5,p(z) = 0.8, p(zt) = 0.5,P(t) =0.6,P(t) =0.6,
p(z) = 0.8, p(zt) = 0.5,
p(z) = 0.8, p(zt) = 0.5,
P(t) =0.6,
P(t) =0.6,
и поступило свидетельство (х).
Проведем апостериорный вывод во фрагменте знаний {х,у}л:
Ра(х) = 1,
„ Р(ХХУ) р(ху) 0.1 лэ
р(х) р(х) 0.5
„ Р(ху) 0.1
= ^Г = оЗ = 0’2'
Теперь перейдем ко второму фрагменту знаний {y,z}A. В этот фрагмент знаний поступило недетерминированное свидетельство Р[а](у) = 0.2. Как уже говорилось, для того чтобы распространить недетерминированное свидетельство, нужно провести пропагацию двух детерминированных. Проведем пропагацию свидетельства (у), которая ничем не отличается от пропагации свидетельства (х) в предыдущем фрагменте знаний:
рГ(у) = 1>
рГ(у*) =рГ(у*) =pS°s(z) =pS°s(z) =р(ух) = 03Р(у) 0.4Р(ух) = 03Р(у) 0.4р(ух) = 03Р(у) 0.4Р(ух) = 03Р(у) 0.4= 0.75,= 0.75,= 0.75.= 0.75.
рГ(у*) =
рГ(у*) =
pS°s(z) =
pS°s(z) =
р(ух) = 03
Р(у) 0.4
Р(ух) = 03
Р(у) 0.4
р(ух) = 03
Р(у) 0.4
Р(ух) = 03
Р(у) 0.4
= 0.75,
= 0.75,
= 0.75.
= 0.75.
Пропагация свидетельства (у) потребует несколько больших усилий. Вначале перейдем к фрагменту знаний {у,г}д. Для этого надо вычислить р(у) и P(yz):
Р(у) = 1 -р(у) =0.6,p(yz) = p(z)-p(yz) =0.5.Проведем пропагацию:
Р™9(у) = 1,рПед(^) = Р(У^ = 05 =5Ра ly Jр(у)0.66’
рпед(г) = Р(У^) = 05 = 5Р“ 121р(у)0.6б'
Теперь надо снова перейти к ФЗ {у, г}д: р;е9(у) = 1-рГ9(у) = о,
P™9(yz)=p;e9(z)-pSe9(yz)=0.
Итак, мы провели пропагацию двух детерминированных свидетельств. Просуммируем оценки, полученные в результате этих пропагаций, с коэффициентами из нашего недетерминированного свидетельства:
Ра(у) =P^os(y) -Р|а](у) +Р^е9(у) -Р|а](9) = 1 - 0.2 + 0. (1 - 0.2) = 0.2,
Pa(yz) = pS°s(yz) • Р|а)(у) + Paeg(yz) • Р|а](у) = 0.75 • 0.2 + 0 . (1 - 0.2) = 0.15,
549
Pa(z) = P^W • Р(а1(у) + рГ9(*) • P[a](y) = 0.75 • 0.2 + - • (1 - 0.2) = -. ОOU
Продолжим распространение свидетельства. Для этого распространим свидетельство P[a](z) = || во фрагменте знаний {z,t}^. Это в точности повторяет то, что мы делали во фрагменте знаний {y,z}A:
pSosW = i>
рГ (zt) = ^ = ^| = 0.625, РГ (Z) = ^ = ^ = 0.625,p(z) О.оp(z) О.о
p(z) = 1 — p(z) = 0.2, p(zt) = p(t) -p(zt) = 0.1;
рГ9(г) = 1,
pneg(zt) = ^^ = — = 0 5 pneg(t) = El^I = — = 05
Pa 1 J p(z) 0.2Pa ltJ p(z) 0.2U-3>
p™9 (z) = 1 - p™9 (z) = 0,p™ 9 (zt) = p"e9 (t) - p£eg (yz) = 0;
49/49 \49
Pa(z) = PSOS W • P[a}(^) + P™9(z) . P[Ql(z) = 1 . ^ + 0 . 1 - g
OU\OU /OU
49/49 \49
pQ(zt) = p£os(*). p[a) (z) + p™9 (zt). p[al(y) = 0.625 .-+01-- =-1,
\ bV / zb
49/49 \299
Pa(t) = pS°s(t). p[al(z) + рГ9М. p[a](z) = 0.625 . - + 0.5 • (1 - g ) =~.
Мы провели пропагацию свидетельства (х), т.е. рассчитали оценки вида pa(f) для всех формул входящих в нашу сеть. Можно заметить, что некоторые вычисленные значения были очевидны и так. Например, очевидно, что апостериорная вероятность события yz при условии z равна нулю. Однако мы выписали эти вычисления формально для того, чтобы было видно, какие формулы используются. В случае же программной реализации такие ситуации желательно обработать отдельно — для сокращения времени работы программы.
Рис. 11.2. Цикл ФЗ АВС второго порядка.
Достаточное условиенепротиворечивости цикла в АБС
Апостериорный вывод, который мы рассмотрели выше, в этом параграфе позволит нам получить новый результат, представляющий собой возможный подход к циклическим АВС. Алгоритм, который мы здесь изложим и проиллюстрируем, помогает понять, противоречив ли цикл из ФЗ АВС, а если цикл непротиворечив, то алгоритм дает конкретное распределение, согласованное с данными цикла. Точнее говоря, мы дадим достаточное условие непротиворечивости цикла (которое, тем не менее, не будет необходим-ым\ Кроме того, если непротиворечивость цикла удастся проверить этим условием, то цикл, как мы покажем ниже, преобразуется в цепь фрагментов знаний.
Начнем с простейшей ситуации — цикла из фрагментов знаний второго порядка (рис. 11.2). Алгоритм, который мы предлагаем, должен вести себя следующим образом.
Рис. 11.3. Разъятый цикл ФЗ АВС второго порядка.
Сначала выберем вершину (в нашем примере это вершина w). Для того чтобы достаточное условие выполнялось, нам не важно, какая именно это вершина. Поэтому, если с одной вершиной не получилось, ничто не противоречит тому, что может получиться с другой, — теоретически алгоритм может выглядеть так: «перебираем вершины до тех пор, пока не получится»; и только если ни в одной из вершин цикла достаточное условие не выполняется, придется признать поражение (неприменимость данного метода к данному циклу).
Выбрав вершину, мы хотим теперь временно исключить ее из цикла, тем самым разорвав его. Для этого придется изъять из цикла фрагменты знаний {u,w}A и (w,v}A. Ими мы займемся отдельно; для этого нужно будет достроить полученную пару фрагментов знаний до объемлющего ФЗ третьего порядка {u, w,v}A, добавив конъюнкты uv и uwv (рис. 11.3).
Итак, фактически у нас остались длинная цепь из фрагментов знаний второго порядка и недостроенный фрагмент знаний третьего порядка; такую сеть нам нужно проверить на непротиворечивость. Чтобы
Рис. 11.4. Пропагация в разъятом цикле.
учесть влияние бывшего цикла на ФЗ третьего порядка, поступим следующим образом: вычислим по имеющимся данным вероятность p(uv). Для этого нужно (рис. 11.4) пропагировать свидетельство (v) вдоль по длинной цепи, вычислив таким образом условную вероятность p(u|(v)), а затем получить вероятность p(uv) по формуле
p(u|(v))p(v) =p(u|v)p(v) =p(uv).
В итоге получаем цепь из фрагментов знаний второго порядка vz^... zisxi... xmu (фактически эту цепь можно считать единым ФЗ, приняв за основу построения этого единого ФЗ гипотезу об условной независимости, которую мы обсуждали в § 4.4 в контексте теоремы о композиции случайных бинарных последовательностей и еще будем обсуждать в § 17.5) и ФЗ третьего порядка {u,w,v}A, которые пересекаются по ФЗ второго порядка {u,v}A, причем в пересечении оценки вероятностей согласованы. На последнем шаге алгоритма нужно просто провести процесс поддержания непротиворечивости в ФЗ третьего порядка, где заданы вероятности всех конъюнктов, кроме p(uwv). Если
Рис. 11.5. Общий вид цикла ФЗ АБС.
интервал для этого конъюнкта будет не пуст, то мы получим семейство распределений, удовлетворяющее всем исходным данным цикла (нужно будет только продолжить его на длинную цепь, что уже фактически было сделано при апостериорном выводе), и тем самым докажем непротиворечивость исходного цикла. Более того, из этого семейства можно будет выделить распределение, удовлетворяющее гипотезе условной независимости несоседствующих фрагментов знаний относительно ФЗ, лежащих между ними в длинной цепи VZ]<... Z] sxi... xmu. А вот если в результате интервал для p(uwv) окажется пуст, это будет означать, что гипотеза условной независимости в этой сети несовместима с исходными данными. Но это вовсе не означает, что исходный цикл глобально
Рис. 11.6. Преобразование цикла в цепь.
непротиворечив. Вполне возможно, что распределение получится достроить каким-либо иным способом.
Для простоты мы рассматривали случай цикла из ФЗ второго порядка. Однако для более общей ситуации, изображенной на рис. 11.5, фактически ничего не меняется. В случае, когда пересекаются только соседние фрагменты знаний в цикле (рис. 11.5, вверху), достаточно, как и в случае ФЗ второго порядка, изъять один фрагмент знаний W и построить объемлющий ФЗ над XmXTnutlWVZkvZk. А в случае, когда пересечения могут происходить и между более далекими фрагментами знаний (рис. 11.5, внизу), может потребоваться удалить из цикла больше одного фрагмента знаний и построить объемлющий фрагмент над всеми ФЗ, с которыми пересекался исходный ФЗ S. Однако суть алгоритма от этого не меняется: по-прежнему подсчитываем условные вероятности путем пропагации свидетельства (теперь уже это может оказаться не одно свидетельство, а целый кортеж, причем пропагиро- вать придется уже не одно, а все возможные означивания элементов этого кортежа), подставляем результат в ФЗ, построенный над изъ-
ятыми фрагментами, и проверяем полученный ФЗ на непротиворечивость. Основная идея, как и прежде, заключается в том, что после изъятия нескольких соседствующих элементов от цикла останется цепь ФЗ, свойства которой мы хорошо знаем.
Далее. Пока что мы всего лишь проверили цикл на непротиворечивость. Что делать с ним, даже если непротиворечивость уже установлена нашим методом? Погружать цикл в объемлющий ФЗ дорого, да и не понятно в таком случае, в чем же будет выигрыш от применения нашего метода. К счастью, есть идея, позволяющая преобразовать такой ФЗ в линейную цепь из ФЗ третьего-четвертого порядка. Для этого (возвращаемся в случай цикла из ФЗ второго порядка) отметим, что наш изъятый фрагмент знаний пересекается с двумя ФЗ: {хт, и}л и {zm,v}A. Чтобы получилась цепь, нужно эти два ФЗ объединить; давайте так и сделаем, создав единый ФЗ (xm, u,v, zm}A. Оценки вероятностей в нем восстанавливаются точечно при помощи гипотезы об условной независимости; нужно только знать оценку вероятности p(xmzm), которая получится пропагацией свидетельства (xmzm) по той же схеме, которой мы пользовались выше. Затем повторим процедуру, получив ФЗ {Хщ-!, xm, zm, zm_i}A (именно этот момент изображен на рис. 11.6, где заштрихованы два новообразованных ФЗ) и т.д. В итоге получим цепь из ФЗ четвертого порядка (один из них может оказаться третьего порядка, если общее число переменных в цепи окажется нечетным). С этой цепью можно работать точно так же, как с любой другой цепью ФЗ. Аналогично можно поступить и когда ФЗ исходного порядка имеют порядок больше двух; в любом случае получится примерно двукратное увеличение порядка участвующих в сети фрагментов знаний.
Заключение
В этой главе мы ввели понятие апостериорного вывода и концептуально описали подход к алгоритмизации его различных видов. Этот вывод соответствует классическому байесовскому выводу, который ши-
роко используется в ряде интеллектуальных систем на практике и является основным объектом теории байесовских сетей доверия — она также будет изложена в главах 14 и 15.
Мы рассмотрели апостериорный вывод, при котором в фрагмент знаний или сеть поступают детерминированные («утверждение истинно») или недетерминированные («вероятность истинности утверждения равна р»), но в любом случае «точечные» свидетельства. В следующей главе мы рассмотрим естественное (особенно в контексте АБС) обобщение этих рассуждений на случай, когда поступающие свидетельства содержат неопределенность. Иными словами, мы научимся обрабатывать ситуацию, при которой в сеть поступают свидетельства вида «вероятность истинности утверждения лежит в интервале [р-,р+]».
Глава 12Апостериорный выводс неопределенностью
...Может, Там оно найдется — То, что прячется В тиши, Что никак Мне не дается — В глубине На дне Души...
До#с. Стивенс
Time seemed poised in uncertainty.
J. R. R. Tolkien'
Введение
В предыдущей главе мы рассматривали апостериорный вывод для фрагментов знаний, в котором в качестве свидетельств поступали точечные оценки вероятностей: детерминированные свидетельства — оценки 0 или 1, недетерминированные — любое значение из [0; 1]. Пришла пора инкорпорировать в апостериорный вывод недетерминированные свидетельства с неопределенностью — такие свидетельства, которые утверждают, что вероятность фигурирующей в них пропозициональной переменной принадлежит некоторому, не обязательно точечному, подынтервалу [0; 1]. Мы обобщим апостериорный вывод в § 12.2.
Для сохранения ясности при изложении большого количества формально-математических деталей вычислений предыдущая глава фактически рассматривала алгоритмы апостериорного вывода ad hoc, на примерах. А в этой главе мы формализуем апостериорный вы-
«Казалось, время балансировало в неопределенности». — Дж. Р. Р. Толкиен.
вод (кроме математической строгости, это принесет очевидную пользу для потенциальной программной реализации) — фактически мы приведем общий алгоритм построения задачи линейного программирования, соответствующей задаче апостериорного вывода в фрагменте знаний АВС. Мы сделаем это в § 12.3.
Кроме того, в предыдущей главе шла речь только об апостериорном выводе в одном фрагменте знаний. При всем удобстве перехода от задач гиперболического программирования к линейному, рассмотренного в предыдущей главе, даже задачи линейного программирования экспоненциального размера — это слишком много. Нужно научиться проводить апостериорный вывод в алгебраических байесовских сетях, переходя от одного ФЗ к другому и учитывая пересчитанные на предыдущих шагах оценки вероятностей для дальнейшего распространения влияния поступившего свидетельства. Этот вопрос для ациклических АВС мы будем решать в § 12.4.
Вывод в ФЗ при свидетельствахс неопределенностью
По результатам предыдущего раздела заметим, что величины вида ра(2у|Х), p~(Zy|X) и p+(Zy|X) вычисляются с помощью задач линейного программирования. Эти величины можно считать константами в функционалах вида
^pa(ZY|X)p[a](X), ^p-(ZY|X)p[al(X), £p+(ZY|X)p[a](X) х х х
над переменными вида P[Q](X). При этом указанные функционалы становятся линейными формами; если нам известны линейные ограничения над множеством переменных Р[а](Х), то мы можем искать максимум и минимум соответствующих функционалов, решая возникающие задачи линейного программирования. Этот прием и лежит в основе апостериорного вывода в случае (p[Q](x) G Pi[Q][x]) — недетерминированного свидетельства с неопределенностью, а также в случае (P[a](X) G Рг[а][Х]) — кортежа недетерминированных свидетельств с неопределенностью. Семейства распределений Рг(а;[х] и Pr[a] [X] как раз и задаются с помощью линейных ограничений, вытекающих из аксио-
матики вероятностей и предметной области, на переменные вида р [а] (х) и Р[а](Х) соответственно.
В случае точечных оценок в исходном фрагменте знаний и одном недетерминированном свидетельстве с неопределенностью решение первой задачи апостериорного вывода достигается с помощью задач линейного программирования вида:
Р (<Р[а](х) е Pr[x])|C) =min{Е£((р[а1(х))|е)},
[а]Р[а)(х)€Рг|а]М
Р+(<Р[а](х) € Рг[х])|С) =max{Е£((р[а](х))|е)} ,
[а]Р|а) (х)еРг|а| [х]
52pUx)ie)p[Q](x)52pUx)ie)p[Q](x)22р((х)|е)р[а](х)< X22р((х)|е)р[а](х)< XР ((Р[а](х) € Pr[x])|C) = min
52pUx)ie)p[Q](x)
52pUx)ie)p[Q](x)
22р((х)|е)р[а](х)
< X
22р((х)|е)р[а](х)
< X
[а]р[а1 (х)€Рг[а] [х]
Р+((Р[а](х) е Рг[х])|е) = max
[а]Р[а] (х)€Рг[а] [х]
Решение второй задачи апостериорного вывода —- с помощью сле
дующих задач:
Р (2у|(Р[а](х) G Pr[x])) =min{E^Q(ZY|(p[a](x)))} ,
[а]Pla] (х)€РГ[а] М
p+(ZY|(P[a](x) € Pr[x])) =max{E^a(ZY|(p[a](x)))} ,
[а]Р(а] (x)GPr[a) [х]
Р (Zy|(p[q](x) G Pr[x])) = min
XXхх[а]Р[а] (х)€Рг[а| [х]
X
X
х
х
P+(ZY|(p[a](x) € Рг[х])) = max
МР[а](Х)€Рг(а]М
В случае точечных оценок в исходном фрагменте знаний и кортеже недетерминированных свидетельств с неопределенностью решение первой задачи апостериорного вывода достигается с помощью задач линейного программирования вида:
Р~«Р[а](Х) € Рг[Х])|е) = .min _ {Е^«р(а](Х))|е)} ,
ИP|a)(X)€Pr|a][Xl 1J
P+«P[a](X) € Pr[X])|C) = max . {E^((p[a](X))|e)} ,
[a]Pfa)(X)€Pr[alpq ^j
< £p«x>ie)p[a](x) к. X.< £p«x>ie)p[a](x) к. X.Р+(<Р[а](Х) G Pr[X])|e) = max 1Q1ры (х)еРг(а] [Я]Р+(<Р[а](Х) G Pr[X])|e) = max 1Q1ры (х)еРг(а] [Я]< Lp«x)ie)p[Q](x)L< X,< Lp«x)ie)p[Q](x)L< X,Р (<Р[а](Х) G Pr[X])|C) = min toр[а|(Х)€Рг|а|[Х]
< £p«x>ie)p[a](x) к
. X.
< £p«x>ie)p[a](x) к
. X.
Р+(<Р[а](Х) G Pr[X])|e) = max 1Q1ры (х)еРг(а] [Я]
Р+(<Р[а](Х) G Pr[X])|e) = max 1Q1ры (х)еРг(а] [Я]
< Lp«x)ie)p[Q](x)L< X,
< Lp«x)ie)p[Q](x)L< X,
а решение второй задачи — с помощью таких ЗАП: p-(ZY|(p[a](X) G Pr[X])) = .min {e0q(2 ИPla](X)€Prla|[X]*•
P+(ZY|(P[a](X) G Pr[X])) = max . (E0a(2 ИP[aj (x)ePr(al [X] <•
< £pQ(ZY|(X))p[a](X) к< X,< £pQ(ZY|(X))p[a](X) к< X,< ^Ра(гУ|(Х))р[а](Х) I ., XJ< ^Ра(гУ|(Х))р[а](Х) I ., XJр (ZY|(p[a](X) G Pr[X])) = min _
< £pQ(ZY|(X))p[a](X) к
< X,
< £pQ(ZY|(X))p[a](X) к
< X,
< ^Ра(гУ|(Х))р[а](Х) I .
, XJ
< ^Ра(гУ|(Х))р[а](Х) I .
, XJ
ИPia)(x)ePrIaJ[X]
P+(Zy|(p[q](X) g Pr[X])) = max _ МР[а1(Х)€Рг|а1(Х]
{ЕГ«Р[а](х))|е)},{ЕГ«Р[а](х))|е)},{Е^+((р[а](х)>|е)},{Е^+((р[а](х)>|е)},В случае интервальных оценок в исходном фрагменте знаний и одном недетерминированном свидетельстве с неопределенностью решение первой задачи апостериорного вывода достигается с помощью задач линейного программирования:
{ЕГ«Р[а](х))|е)},
{ЕГ«Р[а](х))|е)},
{Е^+((р[а](х)>|е)},
{Е^+((р[а](х)>|е)},
Р (<Р[а](х) е Рг[х])|е) = min
[а]Р[а) (х)€Рг|а| М
Р+«Р[а](х) G Рг[х])|е) = max
[а]Р[а]М€Рг1а]М
P ((P[ai(x) G Pr[x])|e) = min ,.Jyp ((x)|e)p[a](x) [a]PlalMePriajM .
P+«P[a](x) G Pr[x])|C) = max < [a]Pla] (x)€Pr|a] [x]а решение второй задачи — с помощьюp-(ZY|(p[a](x) G Рг[х]>) = min [a]p[a] (x)GPi(a) MP+(ZY|(p[a](x) G Pr[x])) = toP|al (x)6Pf|al [x]P+«P[a](x) G Pr[x])|C) = max < [a]Pla] (x)€Pr|a] [x]а решение второй задачи — с помощьюp-(ZY|(p[a](x) G Рг[х]>) = min [a]p[a] (x)GPi(a) MP+(ZY|(p[a](x) G Pr[x])) = toP|al (x)6Pf|al [x]^р+((х)|е)р[а](х)^р+((х)|е)р[а](х){E^-(ZY|(p[Q](x)))},{E^-(ZY|(p[Q](x)))},{E^(Zy|(P[q](x)))},{E^(Zy|(P[q](x)))},
P+«P[a](x) G Pr[x])|C) = max < [a]Pla] (x)€Pr|a] [x]
а решение второй задачи — с помощью
p-(ZY|(p[a](x) G Рг[х]>) = min [a]p[a] (x)GPi(a) M
P+(ZY|(p[a](x) G Pr[x])) = toP|al (x)6Pf|al [x]
P+«P[a](x) G Pr[x])|C) = max < [a]Pla] (x)€Pr|a] [x]
а решение второй задачи — с помощью
p-(ZY|(p[a](x) G Рг[х]>) = min [a]p[a] (x)GPi(a) M
P+(ZY|(p[a](x) G Pr[x])) = toP|al (x)6Pf|al [x]
^р+((х)|е)р[а](х)
^р+((х)|е)р[а](х)
{E^-(ZY|(p[Q](x)))},
{E^-(ZY|(p[Q](x)))},
{E^(Zy|(P[q](x)))},
{E^(Zy|(P[q](x)))},
P (ZY|(P[a](x) G Pr[x])) = min ^ У pa(ZY|(x))p[Q1(x)
[a]p[al (X)ePr|aj [x]^
maxPfa] (х)€РГ[а) МmaxPfa] (х)€РГ[а) М
max
Pfa] (х)€РГ[а) М
max
Pfa] (х)€РГ[а) М
p+(ZY|(P[Q](x) € Рг[х])) = [о]
< У p+(ZY|(x))р[а](х) >.
< 5с,
В случае интервальных оценок в исходном фрагменте знаний и кор
теже недетерминированных свидетельств с неопределенностью решение первой задачи апостериорного вывода достигается с помощью задач линейного программирования:
р-«Р[а](Х) е Pr[X])|e) = min _ {ЕГ«Р[а](х))|е)
[alР[а](Х)еРг|а![Х] I
Р+«Р[а](Х) € Рг[х])|е) =
[а]
max
P(aJ (X)ePrlQ) [X]
{E^+«P[a](x))ie)}
P(<P[a](X)GPr[X])|C)= min ,
MP|a)(X)€Prla|[Xl
P+((P[a](X)GPr[X])|C)= max _
ИP[a](X)ePr1Q|[X]
а решение второй задачи — с помощью
< £p-«x)ie)P[Q](X) L /х
< у P+«x)ie)P[a](X) L
, X,
p-(ZYl(p[Q](X)ePr[X])) =
[a]
min
pfal(X)GPlfa] [XI
{e^(Zy|(P[q](X)»}
P+(ZY|(P[a](X) € Pr[X])) =
[a]
max
P|a)(X)GPr[a][Xl
{e^(ZyI(p[oj(X)»},
p-(ZY|(P[a](X) e Pr[X])) = min J У p;(ZY|(X))P[a](X) > ,[alP|al(X)ePrIal[X] 1 ^T-
p+(ZY|(P[a](X) e Pr[X])) = max _
[a]p|Q| (X)€Prlal [X]
< ^P^ZY|(X»P[a](X) >.
§ 12.3. Формализация апостериорноговывода над ФЗ
Ключевым моментом апостериорного вывода во фрагменте знаний с интервальными оценками истинности его элементов является вычисление оценок вида pa(ZYl(Xe)), т.е. когда апостериорные оценки вычисляются при кортеже детерминированных свидетельств. Формулы
PQ(ZY|(Xe) =PQ(ZY|(Xe) =предыдущего раздела в значительной степени опираются на этот этап вычислений. Частные случаи решения возникающих экстремальных задач были рассмотрены в § 11.3; в настоящем же разделе мы приведем формальную запись множества ограничений 5?^^) в общем случае, используя аппарат индексации цепочек конъюнкций, описанный в главе 8. Отметим, что множество линейных ограничений Я^^ строится для поиска минимума и максимума величин d(ZY) = p(ZY|(Xe)); при этом
PQ(ZY|(Xe) =
PQ(ZY|(Xe) =
min (d(ZY)}; max {d(ZY)} mA,n
L <UXe)^(Xe).
Напомним, что в первую очередь элементы ФЗ переименовываются таким образом, что поступающий кортеж детерминированных свидетельств (Хе) содержит только цепочку конъюнкций положительно означенных атомарных пропозициональных формул Хе.
Выберем индекс £ так, чтобы запись Х[у задавала бы именно цепочку конъюнкций Хе:
XW = Хе.
Используя обозначения предыдущих разделов, введем
Р(ХМ)
и напомним, что случай равенства знаменателя формулы нулю, р(Х[у) = 0, при вычислениях рассматривается особым образом. Далее мы предполагаем, что либо р(Х[у) = р > 0, либо эта величина имеет интервальную оценку. Указанная интервальная оценка может содержать нуль в качестве нижней границы. Кроме того, следуя обозначениям предыдущих разделов, определим
d(Xw) = £p(Xw), i е {0,... ,2^-1},
и заметим, что d(X[g) = 1.
Множество Я^ будет состоять из четырех частей, и первая из этих частей будет включать только один элемент: {Е, > 1}. Вторая часть так же будет состоять из одного ограничения {d(X^) = 1}.
Создаем массив типа boolean (BOOL) для внесения пометок размером 2П.
Снимаем все пометки в массиве.
1 = 1.
Если г помечено в массиве, переходим к шагу 23.
Создаем ЗЛП.
Задаем стандартные ограничения для переменных d(XM).
Задаем условия вида £,р_(Хщ) < d(X[j]).
Задаем условия вида £,р+(Ху]) > dfXg]).
Задаем условие £, > 0.
Задаем условие d(X[^) = 1.
Задаем целевую функцию «максимум dfX^wy)»-
Запускаем решатель.
Вели решения нет, то выходим с сообщением о противоречивости.
Запоминаем полученное значение как Ра(Хщ) и как Pj(X[iwa).
Помечаем элементы г и г V V( в массиве.
Создаем ЗЛП.
Задаем стандартные ограничения.
Задаем граничные условия.
Задаем целевую функцию «минимум d(X[iVV^)».
Запускаем решатель.
Вели решения нет, то выходим с сообщением о противоречивости.
Запоминаем полученные значения как Ра(Хщ) и как Pa(X[twy)-
г = 1+1.
Если г < 2П, переходим к шагу 4.
Выводим полученные апостериорные оценки.
Рис. 12.1. Алгоритм пропагации свидетельства ФЗ АВС.
Третья часть З^Хе) будет включать в себя множество ограничений, возникших из исходных, задаваемых предметной областью (считается,
верхнюю и нижнюю оценки для фиктивной переменной. В случае же GLPK надо задавать тип ограничений на переменную LPX_FX.
что процесс поддержания непротиворечивости уже был выполнен):
{ £p~(Xw) < d(Xw), d(Xw) < £,P+(XW) }.=o .
В четвертую часть войдут ограничения, получившиеся с помощью замены переменных из неравенств, задаваемых вероятностной аксиоматикой. Если ввести обозначение d = (d(X[o]),..., dfXpn-j]))!’ (мы уже поступали так в § 8.2), то эти ограничения можно записать следующим образом:
{In-d>0}.
Подробное описание матрицы 1П, а также аналогичные рассуждения уже были нами, проведены в главе 8.
В итоге, объединяя все полученные ограничения, мы можем записать:
^} = {£. > 1, d(Xw) = 1} U {1П • d > 0}U
U{£,p-(XW) < d(Xw), d(Xw) < £,P+(XW)&1.
{d(Zy)} являются задачами линейного программирования. На{d(Zy)} являются задачами линейного программирования. НаОтметим, что множество Э?а(хе) содержит только линейные ограничения, а получающиеся экстремальные задачи вида min^A.n {d(Zy)} и
{d(Zy)} являются задачами линейного программирования. На
{d(Zy)} являются задачами линейного программирования. На
Шс1ХгпА,п
^(Хе)
рис. 12.1 приведена схема алгоритма пропагации детерминированного свидетельства Х[^. Мы постарались быть максимально подробными — фактически в профессиональной системе решения ЗЛП, такой, например, как ILOG CPLEX, каждый пункт алгоритма (кроме, конечно, пунктов вроде «задаем стандартные ограничения», но их мы уже подробно описывали ранее) будет записываться одной-двумя строками кода.
Теперь перейдем к схеме алгоритма вывода при недетерминированном свидетельстве. На рис. 12.2 и 12.3 приведены схемы алгоритмов для точечного и интервального случая соответственно. Обращаем особое внимание на то, что, проводя каждый раз пропагацию детерминированных свидетельств, вовсе не обязательно переделывать все шаги алгоритма с рис. 12.1. Например, если библиотека, используемая для решения ЗЛП, позволяет удалять ограничения из задачи, то стандартные ограничения можно из итерации в итерацию сохранять, а обновлять только изменяющуюся часть ограничений. Возможны и другие пути оптимизации этого алгоритма.
Переупорядочиваем ФЗ так, чтобы свидетельство приняло вид Xi ... хт.
Ра(Хы) = 0 для всех s от 0 до 2П — 1.
i = 2m-l.
Если P[a](Q^) = 0, то переходим к шагу 11.
t = (2m-1)AAl.
Проводим переозначивание с индексом t.
Проводим пропагацию детерминированного свидетельства. Его индекс каждый раз равен 2т — 1.
Проводим переозначивание с индексом t.
Обозначим через q(X[sj), q“(X[s]), q+(X[s]) оценки, полу- ченые на предыдущем шаге.
Ю. Pa(X[s]) = Pa(X[s]) + q(X[s])p[a](Q^) для всех s от 0 до 2п-1.
i = i-1.
Если i > 0, переходим к шагу 4.
Выводим полученные апостериорные оценки.
Рис. 12.2. Алгоритм пропагации недетерминированногосвидетельства ФЗ АВС. Точечный случай.
12.4. Апостериорный вывод в цепях ФЗи ациклических АБС
В этом параграфе мы опишем концепцию распространения влияния свидетельства или кортежа свидетельств в цепи фрагментов знаний и в ациклической байесовской сети, снабдив изложение графическими иллюстрациями. Идея такого распространения была предложена в {38,40] для цепей фрагментов знаний с точечными оценками вероятностей их элементов; однако оказалось, что она работает лишь для цепей фрагментов знаний, которые попарно имеют не более одной атомарной пропозиции. В [108] был предложен способ распространения влияния кортежа недетерминированных свидетельств в цепи фрагментов знаний с точечными оценками вероятностей истинности их элементов; этот же способ был обобщен на ациклическую алгебраическую байесовскую сеть, в которой также допускались только точечные оценки вероятностей истинности. Указанный способ опирается на гипотезу условной независимости. В настоящей работе мы приведем обобщение способа
Переупорядочиваем ФЗ так, чтобы свидетельство приняло вид xi... хт.
р£(Хм) = 0,p-(X[s]) = 0 для всех s от 0 до 2П - 1.
i = 2m—1.
Если P[a](Q^) = 0, то переходим к шагу 12.
t = (2m-1)AAL
Проводим переозначивание с индексом t.
Проводим пропагацию детерминированного свидетельства. Его индекс каждый раз 2Ж — 1.
Проводим переозначивание с индексом t.
Обозначим через q(X[s]), q“(X[s]), q+(X[sj) оценки, полученные на предыдущем шаге.
Ю. pi(X[s]) = pa(X[s]) + q+(X[s]) *p[a](Q^) для всех s от 0 До 2^-1.
Pa(X[s]) = Pa(X[s]) + q“(X[sJ) *P[ai(Q^) для всех s от О до 2^-1.
г = г—1.
Если г > 0, переходим к шагу 4.
Выводим полученные апостериорные оценки.
Рис. 12.3. Алгоритм пропагации недетерминированногосвидетельства ФЗ АВС. Интервальный случай.
из [108], которое допускает недетерминированный кортеж свидетельств с неопределенностью и интервальные оценки в цепи фрагментов знаний и в ациклической алгебраической байесовской сети. Изложение будет опираться на графический материал, представленный в ряде рисунков.
Рассмотрим сначала цепь, состоящую из двух фрагментов знаний — (Х1Х12) и (Х12Х2) (рис. 12.4). На вход поступили свидетельства, касающиеся фрагмента знаний (Хе). Отметим, что это может быть произвольный вид совокупности свидетельств: одно детерминированное, кортеж детерминированных, недетерминированное, кортеж недетерминированных свидетельств, недетерминированное с неопределенностью, кортеж недетерминированных свидетельств с неопределенностью. Мы можем разъять два рассматриваемых фрагмента знаний в области их пересечения, помня о том, что у них есть общий идеал цепочек конъюнкций (т.е. общий «подфрагмент» знаний). На рисунке он обозначен как Х12.
Выбрав формулы для решения второй задачи апостериорного вывода, подходящие для вида поступивших свидетельств и вида оценок вероятности истинности элементов ФЗ, рассчитаем апостериорные вероятности в первом-фрагменте знаний. Оценки, полученные на общем идеале, передадим дальше — во второй фрагмент знаний — как совокупность свидетельств (подходящего вида); оценки передаются с помощью фрагмента знаний, построенного на указанном общем идеале.
Выбрав формулы для решения второй задачи апостериорного вывода, подходящие для вида поступивших свидетельств и вида оценок вероятности истинности элементов ФЗ, рассчитаем апостериорные вероятности во втором фрагменте знаний (на рис. 12.4 все эти процессы показаны подробно; маленький ФЗ над стрелкой означает, что мы передаем семейство апостериорных распределений на подфрагменте знаний, т.е., фактически, фрагмент знаний и передаем). Таким образом, влияние поступившей совокупности свидетельств распространено; оценки апостериорных вероятностей получены. Отметим, что во фрагмент знаний, являющийся «носителем» исходной совокупности свидетельств, могут входить атомарные пропозиции сразу из двух ФЗ, составляющих цепь. В этом случае на этапе вычислений, когда расчеты ведутся с детерминированными свидетельствами, сначала пропагируется часть детерминированного свидетельства в одном фрагменте знаний, а потом оставшаяся часть —- в другом фрагменте знаний.
Заметим, что получившийся фрагмент знаний мог бы быть пропа- гирован дальше, если бы со вторым ФЗ пересекался третий; этот прием распространения влияния свидетельств как раз и применяется в цепи ФЗ общего случая, а также в ациклической алгебраической байесовской сети. Сходным образом совокупность свидетельств пропагируется в цепи фрагментов знаний общего вида (рис. 12.5).
Пусть на вход поступила совокупность свидетельств, представленная фрагментом знаний. Отметим, что это может быть произвольный вид совокупности свидетельств: одно детерминированное, кортеж детерминированных, недетерминированное, кортеж недетерминированных свидетельств, недетерминированное с неопределенностью или, наконец, кортеж недетерминированных свидетельств с неопределенностью. Если совокупность свидетельств построена над атомарными пропозициями, входящими только в первый слева фрагмент знаний, мы будем последовательно распространять их влияние от одного фрагмен-
Рис. 12.4. Апостериорный вывод в цепи из двух ФЗ.
Рис. 12.5. Апостериорный вывод в цепи ФЗ произвольной длины.
та знаний к другому, слева направо в разъятой цепи (рис. 12.5): мы можем разъять цепь в областях пересечения двух соседствующих фрагментов знаний (X^-ijXiXij+i) и (Xlj+iXi+iXi+ij^)) помня о том, что у них есть общий идеал цепочек конъюнкций (т.е. общий «подфрагмент» знаний) (Xij+i).
XiX2 XiX2х2х3х2х3Х3Х4Х3Х4
XiX2
XiX2
х2х3
х2х3
Х3Х4
Х3Х4
Рис. 12.6. Апостериорный вывод в цепи из трех ФЗ порядка 2.
Выбрав формулы для решения второй задачи апостериорного вывода, подходящие для вида поступивших и образующихся «промежуточных» свидетельств и вида оценок вероятности истинности элементов ФЗ, рассчитаем апостериорные вероятности по всей цепи. Оценки, получаемые на общем идеале, передаются внутри пар фрагментов знаний — от левого к правому — как совокупность свидетельств (подходящего вида); передача оценок осуществляется с помощью фрагмента знаний, построенного на общем идеале указанной пары фрагментов зна-
Рис. 12.7. Апостериорный вывод в цепи из трех ФЗ порядка 3.
ний. Таким образом, влияние поступившей совокупности свидетельств распространено; оценки апостериорных вероятностей получены.
Если во фрагмент знаний, являющийся «носителем» исходной совокупности свидетельств, входят атомарные пропозиции сразу из нескольких ФЗ, составляющих цепь, то, как и в случае двух фрагментов знаний, когда расчеты достигают этапа «обработки» детерминированных свидетельств, сначала пропагируется часть детерминированного свидетельства в одном фрагменте знаний. Затем пропагация осуществляется в другом ФЗ, и т.д., пока не исчерпается набор атомарных пропозиций, содержащихся в совокупности свидетельств, представленной фрагментом знаний.
Ациклическая алгебраическая байесовская сеть может быть разъята на цепи фрагментов знаний, вдоль которых будет распространяться влияние полученных свидетельств. Разъятие сети на цепи возможно именно потому, что цепь является ациклической.
Позволим себе еще два рисунка, которые должны прояснить ситуацию на более низком уровне — уровне отдельных пропозиций, а не фрагментов знаний. На рис. 12.6 видно, как происходит апостериорный вывод в случае цепи из трех фрагментов знаний второго порядка (разумеется, в более длинной цепи процесс происходил бы точно так же). В данном случае мы можем ограничиться в обозначениях полужирным начертанием — ведь мы передаем информацию об интервальной оценке вероятности одной пропозиции. А рис. 12.7 служит примером апостериорного вывода для цепи из трех ФЗ третьего порядка, и в их пересечениях передавать приходится уже настоящие маленькие фрагменты знаний. Кроме того, рис. 12.7 иллюстрирует еще одно важное замечание, которое следует здесь сделать. Совершенно не важно, пересекаются ли только соседние ФЗ в цепи или пересечение имеет более сложную структуру — можно все равно последовательно производить апостериорный вывод. На рис. 12.7 пересечение всех трех фрагментов знаний непусто (хз принадлежит каждому из них), но при этом распространение свидетельства происходит как ни в чем ни бывало, последовательно: от фрагмента знаний (XJX2X3) через (Х2Х3Х4) к (Х3Х4Х5).
Заключение
В этой главе выполнены две функции. Во-первых, в ней было изложено обобщение результатов главы 11 на случай недетерминированных свидетельств с неопределенностью. Во-вторых, мы изложили алгоритм обобщения апостериорного вывода на случай ациклических алгебраических байесовских сетей — ведь до сих пор речь шла лишь об одном-единственном фрагменте знаний. В конце концов, именно здесь мы построили формализованную, готовую для практической реализации теорию апостериорного вывода в АВС.
Начиная с главы 14, мы будем систематически рассматривать байесовские сети доверия. Апостериорный вывод в байесовских сетях доверия (см. главу 16) можно рассматривать как частный случай апостериорного вывода, который мы рассмотрели здесь: ациклические байесовские сети доверия, построенные над пропозициональными формулами, вкладываются в ациклические алгебраические байесовские сети; результаты пропагации детерминированных свидетельств в обеих сетях совпадают, и при пропагации свидетельств оба аппарата опираются на гипотезу условной независимости (см. также [108]).
Пропагация свидетельств — важнейшая часть алгоритмического аппарата байесовских сетей доверия (см. главы 14-15). Фактически, этим байесовские сети доверия завоевали популярность как системы представления знаний с неопределенностью, а учитывая, что проблем с непротиворечивостью у ВСД нет по построению, пропагация свидетельств становится единственной нетривиальной операцией над байесовской сетью доверия. Однако в аппарате ВСД рассматривается пропагация только детерминированных свидетельств (т.е. свидетельств вида «случилось х»), В аппарате алгебраических байесовских сетей апостериорный вывод естественным образом обобщается до недетерминированных свидетельств с неопределенностью, причем задачи апостериорного вывода, как и алгоритмы априорного вывода и поддержания непротиворечивости, являются задачами линейного программирования.
Глава 13
Устойчивость операций в БФЗ
Есть рифмы в мире сём: Разъединишь — и дрогнет.
М. Цветаева
Человеческое благоразумие еще никогда не поднималось до такой высоты, которую оно себе предписало; а если бы оно ее и достигло, то предписало бы себе нечто высшее, к чему бы всегда тянулось и чего жаждало; вот до чего наша сущность враждебна всякой устойчивости.
Опыты М. Монтенъ
Введение
Мы исходим из того, что в общематематическом смысле устойчивость характеризирует качественно или количественно степень колебания результата от степени допустимых вариаций исходных данных. В соответствующих разделах математики по-своему раскрываются эти понятия: исходные данные, допустимая вариация, степень или мера вариации, степень или мера колебания результата, — и выражаются закономерности, связывающие ключевые понятия.
Знания об устойчивости того или иного вычислительного метода или процесса имеют прямое практическое значение. Если колебания результата велики по сравнению с вариацией исходных данных, то для получения результата с приемлемой точностью приходится требовать и исходных данных с определенной степенью точности, порой весьма значительной. Если исходные данные получаются в результате статистического эксперимента, то для увеличения их точности придется произвести больше экспериментов; если исходные данные получает инженер по знаниям в диалоге с экспертами, то тем больше экспертов ему придется опросить и тем изощреннее интервью придется
строить; чем точнее прибор, измеряющий физические величины, тем он дороже. Вели характеристики устойчивости известны, то, опираясь на знания о допустимых колебаниях результата, мы можем выдвигать обоснованные требования к точности исходных данных, не допуская тем самым перерасхода ресурсов, обычно являющихся дефицитными. Понимание актуальности указанного вороса может быть существенно расширено при знакомстве с глубоким анализом проблем устойчивости (робастности) в смежной области исследований (свойства Т-норм и Т-конорм), предпринимаемым коллективом авторов, который возглавляет В. Я. Крейнович. Ряд работ по этому направлению публиковался в журнале Reliable Computing, а также в работах [251-253,293,345]).
Базовые обозначения и определения
В данном разделе мы попытаемся описать проблему устойчивости вывода в отношении ФЗ и сетей ФЗ (в том числе АВС) в самом общем виде, а затем представим более конкретные подходы к определению устойчивости, позволяющие получить конкретные численные результаты.
Для удобства обобщим старые и введем некоторые новые обозначения. е^ — фрагмент знаний г-го порядка; £[е*г*,А,у| — множество ограничений, накладываемых некой аксиоматикой А на соотношения значений (точечной) меры истинности -v входящих во фрагмент знаний С^ пропозициональных формул. Аналогичное множество ограничений для ABC ЛГ обозначим £[A/", A,V|. При необходимости факт того, что фрагмент знаний пополнен пропозициональной формулой или формулами, не входящими в идеал цепочек конъюнкций, будем обозначать апострофом е<гК Тогда соответствующее множество ограничений будет обозначаться £ [6 ^', А, vl •
Множества исходных данных представим в виде D[e^l\ v], DtC^'.'v] и ©[АЛ v] соответственно. Разные наборы исходных данных для одного и того же объекта (ФЗ, пополненного ФЗ или АВС) будем индексировать, например Dpjt/CB.v] и D[2j[/CB,v], или различать иначе, с помощью других индексов и диакритических знаков. Здесь вместо /СВ могут быть употреблены 6^, С'11' или М.
Фиксированную целевую функцию на каком-то объекте /СВ из вышеперечисленных (результат априорного вывода или вектор таких ре-
П Зак 3294
зультатов, или иной вид результата), зависящую от исходных данных и выбранной аксиоматики обозначим W£[^B a^DIA/-, vl). Оценку различий (величины колебания) значений целевой функции обозначим через си, например tu(Wi, W2). Чаще всего в роли си выступает заранее заданная метрика.
Показатель несходства множеств исходных данных относительно одной и той же меры истинности обозначим D, например DtDp^O.Tj.D^r/CB,^]).
Показатель несходства мер истинности на одном и том же объекте (это может быть набор относительно произвольных ограничений или ограниченные колебания значений мер истинности на одинаковых элементах, измеренных с помощью заранее заданной метрики) выразим как ркв^ь^г)-
При введенных терминах, мы можем более точно описать класс зависимостей, качественную или количественную характеристику которых мы хотели бы знать:
— си относительно D,
— си относительно р.
Если множество возможных значений показателя си и D упорядочено (имеет структуру решетки, линейно упорядочено и пр.), то будут информативными следующие показатели устойчивости. Оценками устойчивости могут являться две величины. Первая из них — cumjn — будет, равна
„ n w(W№Av]№l/CB,<W£[№
di<D(®°[/CB>v],D[/CB,-v])<d2
.вторая — cumax —
max ш (W£KB A-viOTO.vB.WerKB АзД^ ,
при известных исходных данных ®°[/СВ,т]. Величины di и di из множества возможных значений D подчиняются соотношению di < da- Разумеется, левая или правая часть соответствующих неравенств может отсутствовать. Тогда соответствующая характеристика будет ограничена только сверху или только снизу.
В рассмотренном случае наиболее интересным результатом было бы получение аналитических или хотя бы алгоритмически вычислимых функциональных зависимостей: mmin(di. d?) и tumax(di, d2).
Похожие по своей структуре оценки можно получать и для второго случая сочетания данных:
Штш:= . ™*n ш (^(/cB.A^iJ^^^-^iD.VVg^B A/v ])), ei<PCB(^i ,^2)<e2
штах:= „ max (^^E^B.A.-V! ](^[^C^, Л/т]), W^^b ^ ^ j)) . е1<Ркв(^1,^2)<£2
При этом считается, что нам известно Df/CB,^], а мера V2 пробегает все допустимые аксиоматикой А, исходными данными D^B.-vj] и ограничениями £1 ^.ркв^ь^г) < Е2 классы распределений £[/СВ, А,^]. Мера ^2 поэтому и называется допустимой вариацией меры -vi — из всего возможного множества распределений £] < р^в^ь^г) < £2 она пробегает лишь те, которые соответствуют принятой аксиоматике А, т.е. входящие в £ [/СВ, A, "vj ■
Величины .£i и £2 из множества возможных значений р подчиняются соотношению £i < £2. Разумеется, левая или правая часть соответствующих неравенств может отсутствовать. Тогда соответствующая характеристика будет ограничена только сверху или только снизу.
В рассмотренном случае наиболее интересным результатом было бы получение аналитических или хотя бы алгоритмически вычислимых функциональных зависимостей: ^^(сь £2) и cu^^fEi,£2).
Наиболее привычную форму вышеперечисленные зависимости приобретут, если мы предположим, что р —- метрика, £ — неотрицательная величина, которая характеризует точность исходных данных, a W( ) — мера истинности -v(-) какой-нибудь пропозициональной формулы f, оценка величины которой дается над расширенным фрагментом знаний. Пренебрежем порядком фрагмента знаний, тогда соответствующая формализация определения максимальной величины колебаний оценки истинности относительно допустимых вариаций исходных данных примет вид:
5 := max Mf) — ^(f)|.
Ф[е',"у] U p("v,'9)<£ иU £[e',A,v] U £[е',АЛ]
В свою очередь, определение структуры зависимости и вычисление величины 5(e) становится задачей исследования устойчивости величины оценки истинности пропозициональной формулы f относительно допустимых вариаций исходных данных.
До сих пор мы рассматривали случаи, когда доступны сведения об исходных данных D[C']> хотя задача определения устойчивости вида
5':= maxMf) ~^(f)! •
E[e',A,v] U £[е',АЛ] иU p(^v,^)<£
также имеет смысл. Очевидно, что 6(e) < 5'(е). Наличие такой оценки сверху позволяет для данной структуры /СВ с аксиоматикой £ [/СВ, A, -v] определить максимальную неустойчивость оценки истинности каждой интересующей нас пропозиции без наличия исходных данных и в дальнейшем осуществлять приближенные расчеты, не прибегая к повторным вычислениям. С другой стороны, наличие сведений об исходных данных может существенно снизить предполагаемый показатель неустойчивости интересующего нас результата.
Приведенные выше наиболее общие постановки задач характеризуют скорее план возможных исследований, чем конечный результат. Однако для некоторых конкретных реализаций аксиоматик, ФЗ, вариаций исходных данных и целевых функций нами были получены алгоритмы, позволяющие численно оценить устойчивость результата относительно вариаций исходных данных. При этом поиск конкретного показателя сводится к решению серии задач линейного программирования. Одна из таких типичных ситуаций будет рассмотрена в следующем параграфе.
Устойчивость априорного выводав ФЗ порядка 2
Рассмотрим один из простейших случаев, дающих, однако, достаточно полное понимание существа проблемы.
Рассмотрим ФЗ АВС второго порядка — С = {х],Х2)д. Введем пополненный ФЗ С' := Cu{xi D х2}. Аксиоматика А — аксиоматика теории вероятностей. Мера истинности р — мера вероятности истинности пропозиции. Тогда
£[е',ТВ,р] := £р2) U{p(x! D х2) = 1-p(xj)+р(х]Х2)},
£[С',ТВ,р] := £^и№(х! Эх2) = М(%1)+Ш)},
DtC'.p] := Dp2) U {p7(xi Dx2) <р(х, D х2) < Ро (*1 Эх2)}.
Показатель допустимых различий ре(р>£) будет представлять собой стандартную метрику на функциях — максимум абсолютных величин разностей значений функций на одинаковых аргументах:
Ре(Р,£) :=max|p(f) -P(f)|.
fee
Следует обратить внимание, что перебираются формулы ФЗ 6, а не пополненного ФЗ С'.
Выберем показатель колебаний результата — абсолютная величина разности вероятностей истинности импликации, которая получается после априорного вывода:
ш(р(х] ЭХ2),0(Х1 Dx2)) = |p(xi Dx2)-^(x! D х2)|.
Именно этот показатель наиболее информативен при точечных исходных данных. При интервальных исходных данных пришлось бы рассматривать колебания границ интервала истинности импликации, колебание величины интервала и т.п.
Пусть задано £ — неотрицательное вещественное число; оно ограничивает возможность вариации исходных данных:
Ре(Р>£) < е.
или, раскрывая предыдущее выражение, max|p(f) — £(f)| < е. fee
Для удобства дальнейшего изложения преобразуем это условие в эквивалентный набор Кре(р,р)(Е) линейных ограничений:
-Е<р(х1) - £(xi)<e,
-Е < р(х2) - £(х2) < £,
-£ < р(Х1Х2)- ^(Х1Х2) < £.
Очевидно, что £[е',ТВ,р], StC'.TB,^], ©[С'.р] и Кре(р,р)(Е) содержат только линейные ограничения. Обозначим объединение всех перечисленных множеств ограничений как Z/(e), а объединение первых трех -1М
Решим ряд задач линейного программирования:
5,+(е) := max(p(xi dx2)-^(xi Эх2
6' (е) := min fp(xi D хг) — ^(xi э Х2
Выбрав максимум абсолютных значений из соответствующих пар, мы вычислим следующие показатели устойчивости:
при наличии исходных данных 5(e) := тах{|6+(£)|, |5“(е)|},
абсолютный показатель (возникающий при отсутствии сведений об исходных данных) S^e) := тах{|6'+(£)|, |5/—(е)|}.
Пример 13.1. Состав множеств ограничений ZV(e) и U'V^
По определению, £[С',ТВ,р] состоит из следующих соотношений: p(xix2) > о, p(xj) — р(х]Х2) > О, P(x2)-p(xtx2) > О,
1 -р(Х]) -р(х2)+р(Х!Х2) > О, 1-p(xi)+p(x)X2) = p(xiDx2); множество условий, наложенных на Р — £[е',ТВ,р], состоит, очевидно, из аналогичных соотношений:
Р(Х]Х2)> О,
£(xi) -P(xix2) > О, ^(х2) -0(xix2) > О,
1 -P(xi)-р(х2) +0(Х1Х2) > О,
1 —^(xi) +P(xix2) = №iDx2); исходные данные D[e',p] построены из набора
Ро (Xi) <Ро(xz) <Ро (Xi) <Ро(xz) <Ро(Х1Х2) <РПХ1 эх2) <Ро(Х1Х2) <РПХ1 эх2) <Р(Х))Р(х2)Р(Х1Х2)р(Х1 Э х2)Р(Х))Р(х2)Р(Х1Х2)р(Х1 Э х2)<Ро (xi),<Ро(х2),< Ро (Х1Х2),<Po(Xl DX2),<Ро (xi),<Ро(х2),< Ро (Х1Х2),<Po(Xl DX2),
Ро (Xi) <
Ро(xz) <
Ро (Xi) <
Ро(xz) <
Ро(Х1Х2) <
РПХ1 эх2) <
Ро(Х1Х2) <
РПХ1 эх2) <
Р(Х))
Р(х2)
Р(Х1Х2)р(Х1 Э х2)
Р(Х))
Р(х2)
Р(Х1Х2)р(Х1 Э х2)
<Ро (xi),
<Ро(х2),
< Ро (Х1Х2),
<Po(Xl DX2),
<Ро (xi),
<Ро(х2),
< Ро (Х1Х2),
<Po(Xl DX2),
а соотношения, описывающие допустимую вариацию RPe(р,р)(е), таковы:
-Е<Р(Х]) - 0(xi)<£,
-e<P(x2) - Р(х2) < €,-£<P(X1X2)-£(Х]Х2)<£.
Тогда объединение всех перечисленных выше множеств 1/(е) (как мы условились его обозначать) состоит из:
P(xix2) > О,
P(xi)-p(xix2) > О, Р(х2)-p(xix2) > О, 1 - P(xi) - р(х2) + p(xi х2) > О, 1 -p(xi) +p(xix2) = p(xlDx2),
P(xjX2) > О, P(xi)-P(xix2) > 0, P(x2)-P(xjx2) > 0, 1 -P(xi)-0(x2) +P(X)X2) > 0, 1 -P(xi) +P(xix2) = №iDx2),
-E<P(X1)-P(Xl)<E,
-£ < P(x2) - P(x2) < £,
-E<P(X1X2)-P(X]X2) < E,
Po(Xl) <
P(xi)
<Po(Xl),
Po(X2) <
P(xz)
< p+(x2),
Po(X1X2) <
P(X1X2)
< pj(xix2),
Po (xi D X2) <
P(X] D X2)
<p+(xi Dx2
Множество 1/'(e) (без исходных данных) состоит из:p(xix2) > 0,P(xj)-p(xix2) > 0,р(х2)-Р(Х!Х2) > 0,1 -p(xi) -р(х2) +p(xix2) > 0,1 -p(xi) +p(xix2) = p(xiDx2),
Р(Х]Х2)>0,
£(xi)-0(xix2) > 0, Р(хг) -P(xix2) > 0, 1 — P(xi) -P(x2) +P(xjx2) > 0, 1 -^(xi) +^(xix2) = 0(xiDx2),
-E < p(Xi) — P(Xl)< £,
-€<Р(Х2)-Р(Х2)< £,
-Е <р(Х!Х2) ~Р(Х1Х2)< €.
Таким образом, мы смогли убедиться, что набор соответствующих ограничений линеен и задачи поиска экстремумов величины колебаний результата сводятся к ЗЛП.
Пример 13.2. Чувствительность 6'(е) оценки р(х] V %2 Vхз)
На рис. 13.1 представлен график, изображающий зависимость величины 6'(с) — максимального изменения точечной оценки p(xi Vx2 Vxs) — при допустимой вариации (произвольных) исходных данных, ограниченной показателем вариации с. По оси абсцисс откладываются значения с, а по оси ординат — 6'(с). Изменения величины p(xi V Х2 V хз) анализируются над фрагментом знаний, образованном над идеалом (хз ,Х2,хз).
В рассматриваемом случае множество U1^ состоит из объединения множеств неравенств вида 83[(х] ,Х2,хз)»ТВ,р] и 83[(х] ,Х2,хз) ,ТВ,р] — эти два множества определяются требованиями аксиоматики теории вероятностей к распределению вероятностей на идеале конъюнктов третьего порядка, а также множества неравенств, вытекающих из задания величины допустимой вариации р(р,Р) < с:
Vf € (X1,X2,X3) -E<p(f)-^(f) <Е.
Решаются задачи:
6,+ (е) := шах (р(хз Vx2 VX3) — P(xj VX2 VX3)) ,
5' (с) := min (p(xi Vx2 Vx3)-P(xi Vx2 Vx3)).
Как указано выше, выбрав максимум абсолютных значений из полученной пары, мы получим абсолютный показатель (возникающий при отсутствии сведений об исходных данных)
&Че) := тах{|5'+(£)|, |5'~(£)|}.
Аналогичный подход мог бы быть применен к другим ФЗ, сетям ФЗ (в том числе и АБС) в рамках других аксиоматик. При этом в некоторых случаях (в частности, ФЗН, ФЗ ТДШ и их сетей) нахождение величины конкретного показателя сводилось бы к решению ряда задач линейного программирования и поиску соответствующих максимумов и минимумов. При использовании подходов к оценке неопределенности, противоречивости и тесноты связи, развиваемых в теории Косовского-Тишкова [57-59], утверждений в ФЗ и их сетях во время поиска оценки величины аналогичных показателей, предположительно, возникают задачи смешанного и целочисленного линейного программирования, а также некоторые виды переборных задач, решаемые с помощью библиотек программ из Optimization Suite компании ILOG — http: //www. ilog. com.
Устойчивость поддержаниянепротиворечивости
Дадим формализацию понятия устойчивости поддержания непротиворечивости. В этом параграфе мы будем, на самом деле, говорить даже не о непротиворечивости, а о несколько более слабом понятии со- гласуемости АВС. Напомним, что АВС называется согласуемой, если существует хотя бы одно непротиворечивое точечное распределение, все значения которого на конъюнктах, входящих в АБС, лежат внутри соответствующих интервальных оценок. По определению, из любой согласуемой АВС после процесса поддержания непротиворечивости получится непротиворечивая.
Можно рассмотреть два естественных подхода к определению понятия устойчивости поддержания непротиворечивости. Назовем алгеб-
раическую байесовскую сеть X на множестве переменных
S ={Х1,Х2,...,ХП)
•устойчиво согласуемой с показателем устойчивости е > 0, если она согласуема, и для всякого конъюнкта X 6 X и всяких
—Е < 51, 5й < £
байесовская сеть Хе, множество ограничений которой вместо ограничения
Р"(Х)<р(Х)<р+(Х)
содержит ограничение
Р~(Х) + 51 < р(Х) < р+(Х) + 5й,
также согласуема. Иными словами, алгебраическая байесовская сеть устойчиво согласуема, если она остается согласуемой при небольших колебаниях одного из начальных данных.
Другим естественным подходом в данном случае будет следующее определение. Назовем алгебраическую байесовскую сеть N на множестве переменных S множественно устойчиво согласуемой с показателем устойчивости е > 0, если она согласуема, и для всякого набора конъюнктов Xi, Х2,..., Х^ € X и всяких
-Е < 5^, 5^,6^, 5^,6^,5^, < е
байесовская сеть Ne, множество ограничений которой вместо ограничений вида
Р"(ХГ) < Р(ХГ) < р+(Хг) содержит ограничения
Р"(ХТ) + 51 < р(Хг) < р+(Хг) + 5й, также согласуема. Иными словами, алгебраическая байесовская сеть множественно устойчиво согласуема, если она остается согласуемой при одновременных небольших колебаний любой совокупности начальных данных. Следующий пример показывает, что эти устойчивости могут иметь на одной и той же АВС разные показатели.
Пример 13.3. Различие показателей устойчивости
Рассмотрим АБС на фрагменте знания второго порядка {хт.хг}^ со следующими ограничениями:
0.2 < p(xixi) < 0.6, 0.6 < p(xi) < 1.0, 0.6 < р(хг) < 1.0.
В этом случае сеть будет устойчиво согласуема с показателем 0.2, но не будет множественно устойчиво согласуема с показателем 0.2, так как в этом случае сдвигами границ отрезков на 0.2 можно получить противоречивую сеть со следующими ограничениями:
0.4 < р(х)Х2) < 0.4, 0.8 < p(xi) < 0.8, 0.8 < р(хг) < 0.8.
Вопрос о соотношении этих понятий для расширенных фрагментов знаний пока остается открытым. Следующие две теоремы показывают соотношения между показателями двух типов устойчивости для отдельных ФЗ и АБС, из них состоящих.
Теорема 13.1. Устойчиво согласуемся алгебраическая байесов
ская сеть с показателем устойчивости с является множествен
2П—Г2П—Гно устойчиво согласуемой с показателем устойчивости
2П—Г
2П—Г
где п — количество атомарных пропозии.ионал'ьных переменных,
над котор'ыми построена данная АБС.
Доказательство. Докажем это для фрагмента С, в который вкладывается наша сеть. Этого достаточно, так как степень устойчивости АБС совпадает с соответствующей степенью устойчивости ФЗ, где в качестве оценок конъюнктов, не входящих в АБС, взяты интервалы [0; 1]. Если ФЗ 6 устойчиво согласуем, то для каждого конъюнкта X € 6 существует такое точечное распределение рх : 6 —> [0; 1], что вероятность заданного конъюнкта X лежит в интервале (р~(Х);р+(Х)], а вероятности всех остальных конъюнктов лежат в исходных интервалах. Построим распределения для каждого конъюнкта. Теперь задача сводится к тому, чтобы построить новое распределение р, для которого уже все вероятности можно отделить от границ исходных интервалов одновременно. Определим
р(Х) = £р¥(Х)/(2п-1).
гее
Очевидно, что
VXeep(X) е [р-(Х) + е/(2п-1),р+(Х)-е/(2п-1)].
Покажем, что полученное распределение непротиворечиво. Выберем произвольное ограничение из £п и выпишем это ограничение для каждого распределения рх- Просуммируем выписанные неравенства и раз-
делим на их количество 2П — 1. Мы получим верное неравенство, в точности говорящее, что построенное распределение р удовлетворяет выбранному ограничению. А так как ограничения выбрано произвольно, то р удовлетворяет всем ограничениям. Это и значит, что распределение р непротиворечиво.□
Заметим, однако, что в общем случае доказать лучший результат невозможно, так как существует следующий пример, реализующий доказанную выше нижнюю оценку.
Пример 13.4. Переход к множественной устойчивости
Рассмотрим фрагмент знаний порядка п со следующими ограничениями: £k < p(xt1xt2 .. .xik) < £к +3(1 — £)п для нечетного к,
£к — 3(1 — £)п < р(х|1Х|2 .. .Хгк) < £к для четного к, где £ выбран так, что £к + 3(1 — £)п < 1, £к — 3(1 — £)п > 0 для любого к. Указанный ФЗ является устойчиво согласуемым с показателем (1 — £)п, и при этом максимальный показатель множественной устойчивой согласуемо- сти в точности равен (1 — с)п/(2п — 1). Покажем, что это действительно так. Рассмотрим точечное распределение p(xi1xt2 .. .xtk) = £k. Оно соответствует ситуации, когда все переменные независимы, и вероятность истинности каждой равна £. При этом вероятность произвольного кванта равна £1(1 — £)п-1, где I — количество положительных вхождений переменных в квант. Заметим, что при указанных условиях на £
£^(1 — £)П—> (1 -£)П
для любого L
Мы знаем, что матрица, задающая соотношения вероятностей квантов и вероятностей конъюнктов, содержит только — 1, 0 и 1. По этой причине изменение вероятности произвольного конъюнкта на 5 отразится на вероятностях квантов следующим образом: вероятность одних квантов увеличится на 5, вероятность других — уменьшится на 5, а вероятность оставшихся не изменится. Так как минимальная вероятность кванта равна (1 — £)п, то мы гарантированно можем изменить вероятность произвольного кванта на (1 — £)п в произвольную сторону так, что вероятности всех квантов останутся неотрицательны. Это доказывает, что показатель устойчивой согласуемости не меньше (1 — £)п. Теперь обратимся к явному выражению вероятности кванта Х]Х2...хп и заметим, что вероятности конъюнктов четной длины входят со знаком плюс, а вероятности конъюнктов нечетной длины — со знаком минус. Теперь обратимся к нашим оценкам. Сдвинув каждую из границ интервалов вглубь на 5, ДЛЯ КОНЪЮНКТОВ четной ДЛИНЫ получим р(Х|, Хг2 . . . Xik) < £k — 5, а для конъюнктов нечетной длины — р(х^, xt2 ... xtk) > £k + 5. Из этих выражений и из
условия р(Х]Х2.. .хп) > 0 получаем, что (1 — е)п — (2П — 1)5 > 0, а следовательно, (1 — е)п/(2п — 1) > 5. Это доказывает, что показатель множественной устойчивой согласуемости не больше (1 — е)п/(2п — 1). Заметим, что этот показатель достижим: для конъюнктов четной длины р(xt, хЕ2... xtk) = ek — 5, для нечетной — p(xi, Xi2 ... xlk) = Ek + 5.
Теорема 13.2. Пусть АБС множественно устойчиво согласу- ема с показателем е. Тогда, если все интервалы оценок истинности конъюнктов этой АБС имеют длину не менее 4е, то данная АБС устойчиво непротиворечива с показателем 2е.
Доказательство. Как и в предыдущей теореме, мы будем доказывать для ФЗ С, в который погружается наша сеть. Рассмотрим произвольный конъюнкт X = Xi, Xi2 ... xtk и покажем, что существует распределение р такое, что
р-(Х) + 2е < р(Х) < р+(Х) - 2е и p-(Y) < p(Y) < p+(Y) при Y ^ X.
Так как наша АВС множественно устойчиво согласуема, то существует распределение рЕ такое, что p~(Y) + £ < pE(Y) < p+(Y) — £ для всех Y € С. Возможны три случая:
p-(Y) + £<pE(Y)<p-(Y)+2£,
p-(Y) + 2£<pe(Y)<p+(Y)-2£,
p+(Y) — 2е < pe(Y) < p+(Y) — £.
Если имеет место случай (2), то необходимое распределение уже построено. Предположим, что имеет место случай (1). Покажем, что существует распределение такое, что р(Х) = р—(X) + 2е. Для удобства записи введем обозначение 5 = р~(Х) + 2е —рЕ(Х) и заметим, что 5 < £. Возьмем распределение рЕ(Х) и, меняя его значение на квантах, построим новое распределение р. Мы увеличим значение на квантах входящих в СДНФ конъюнкта X и уменьшим на квантах, не входящих в нее, так, чтобы
У (p(q)-pe(q)) = 8 qGQuants(X)
И
У (p(q)-Pe(q)) = -8.
q^Quants(X)
Это можно сделать, так как
У Pe(q) =-Ре(Х) > Е > 5.q^Quants(X)
Значение распределения на любом конъюнкте определяется суммой значений распределения на некотором наборе квантов, а следовательно, в результате только что описанного изменения значения на каждом конъюнкте изменятся не более чем на 5. Значит p_(Y) < p(Y) < p+(Y) для любого конъюнкта Y, и по построению р“(Х) + 2е < р(Х) < < р+(Х) — 2е. Нам удалось построить необходимое распределение. Для случая (3) построение аналогично, но мы будем уменьшать значения на тех квантах, которые входят в СДНФ конъюнкта, и увеличивать на тех, которые не входят. □
Требование на минимальную длину интервала естественно, так как показатель устойчивости не может превышать половины длины наименьшего интервала. Но если это условие не выполняется, то показатель устойчивой непротиворечивости будет в точности равен половине длины наименьшего интервала. Чтобы это доказать, просто возьмем в качестве е четверть длины наименьшего интервала. Следующий пример показывает, что невозможно доказать большего увеличения показателя при переходе от множественной устойчивой согласуемости к устойчивой согласуемости.
Пример 13.5. Переход от множественной устойчивости
Рассмотрим АБС на фрагменте знания второго порядка со следующими ограничениями: 0.3 < р(х]Х2) < 0.6, 0 < p(xi) < 0.4, 0 < p(xi) < 0.4. В этом случае сеть будет множественно устойчиво согласуема с максимальным показателем 0.05, при этом максимальный показатель устойчивой согласуемости будет равен 0.1.
Отметим, что, разумеется, не всякая непротиворечивая сеть является устойчиво непротиворечивой. В качестве тривиального примера можно рассмотреть сеть, представляющую собой фрагмент знаний второго порядка с ограничением p(xi) = 0. Тогда обязательно p(xjX2) = 0, и, разумеется, всякое сколь угодно малое колебание оценок вероятности Р(Х]Х2), отделяющее эту оценку от нуля, сделает данную алгебраическую байесовскую сеть противоречивой. Релевантным в рассмотренном
примере было то, что оценка одного или нескольких конъюнктов сети была точечной, а не интервальной. Покажем, что это существенно для неустойчивости.
Теорема 13.3. Пусть дана алгебраическая байесовская сеть, в которой после процесса поддержания непротиворечивости каждый из отрезков [р-(Х),р+(Х)] имеет непустую внутренность (ненулевую длину). Тогда эта сеть после процесса поддержания непротиворечивости устойчиво согласуема. Волее того, в этом случае она множественно устойчиво согласуема.
Доказательство. После процесса поддержания непротиворечивости мы гарантированно можем построить серию распределений рх такую, что для VY € 6
Рх(Х) = (р+(Х) -р-(Х))/2 и p~(Y) < px(Y) < p+(Y). Положим
£ = min хее£ = min хеер+(Х)-р-(Х)2р+(Х)-р-(Х)2
£ = min хее
£ = min хее
р+(Х)-р-(Х)
2
р+(Х)-р-(Х)
2
Тогда эта серия распределений показывает, что сеть является устойчиво согласуемой с показателем г, а значит, и множественно устойчиво согласуемой (как минимум, с показателем ^йтт)- □
Другие типы устойчивости
В границах обозначенного метода можно было бы ставить задачи поиска показателей устойчивости и способов их оценки касательно апостериорного вывода. При этом мы столкнулись бы с необходимостью получать два различных класса показателей устойчивости.
Первый класс — зависимость колебаний результата от порядка поступления свидетельств. В наиболее общем (одновременно — наименее употребимом) случае, когда сеть ФЗ достраивается до объемлющего ее ФЗ или когда алгоритм апостериорного вывода строится на (возможно, неявном) предположении о возможности распространения сети ФЗ до объемлющего ФЗ, результат апостериорного вывода не зависит от порядка поступления детерминированных свидетельств. Иными словами, имеет место абсолютная («непоколебимая») устойчивость.
В остальных случаях все зависит от конкретно выбранного алгоритма апостериорного вывода, приводящего, как правило, к значению, лишь аппроксимирующему искомую величину.
Второй класс — зависимость колебаний результатов апостериорного вывода от вариаций исходных данных. Метод формирования показателей устойчивости и их последующего оценивания приводит к экстремальным задачам, исследование которых нами только начато.
Устойчивость апостериорного вывода в ФЗ или их сетях отличается от предыдущих предметов исследования. В этой главе мы уже рассмотрели задачу с двух сторон: с одной стороны, мы рассматривали устойчивость поддержания непротиворечивости как процесса, с другой стороны — устойчивость непротиворечивости как бинарного состояния: либо непротиворечиво, либо противоречиво. (Состояние объекта следует отличать от состояния наших знаний об объекте: либо непротиворечив, либо противоречив, либо не знаем). Мы уже дали корректную постановку задачи об устойчивости непротиворечивости объекта: какова величина (допустимой) вариации исходных данных или уже согласованных оценок истинности элементов данного объекта, чтобы объект той же структуры, но с новыми (проварьированными) оценками, являлся бы также непротиворечивым. Дополнительный вопрос: новый объект непротиворечив или к нему может быть применен процесс согласования оценок, и лишь тогда будет получен непротиворечивый объект? Насколько в последнем случае будут различаться
— исходные,
— исходные согласованные,
— проварьированные и
— проварьированные согласованные
оценки истинности исходного и полученного объектов?
Все эти вопросы для устойчивости результатов апостериорного вывода пока остаются открытыми. Кроме того, в § 10.7 мы ввели новый вид непротиворечивости — так называемую объемлющую непротиворечивость, которая может найти достаточно широкие практические применения. Хотя вопрос бинарной устойчивости в данном случае не стоит (объемлющий набор оценок можно найти всегда), вопросы устойчивости как зависимости оптимального значения целевого функционала от варьирования начальных данных также остаются открытыми.
Отдельно стоит вопрос о понятии допустимой вариации. Можно ли вообще получить содержательное определение этого термина в случае рассмотрения устойчивости непротиворечивости?
Заключение
Предложенный метод введения понятия устойчивости, определения ее параметров и поиска способа определения величин этих параметров позволил начать исследование важного аспекта процессов априорного и апостериорного выводов, а также устойчивости состояния непротиворечивости. Знание характеристик устойчивости результата по отношению к исходным данным позволяет предъявлять более обоснованные требования к точности этих данных. Предъявление адекватных требований к точности позволяет экономить ресурсы, затрачиваемые на проведение экспериментов, организацию труда инженера по знаниям, закупку прецизионной аппаратуры.
Проведенное исследование, однако, нельзя рассматривать как законченное. Представленный метод состоит из положений, которые формируют в том числе и план исследований в данной области теории ИИ. Направления будущих работ лежат в изучении свойств устойчивости процессов логического вывода и состояний непротиворечивости ФЗ и сетей ФЗ, неопределенность знаний в которых представляется с помощью характеристик и степеней истинности, вводимых в теории вероятности, теории нечеткой логики (как классического, так и обобщенного варианта), теории Демпстера-Шеффера, подходе Косовского-Тишкова и других дискретных многозначных логиках.
Глава 14
БСД: основные определения
When the only tool you have is a hammer, all your problems look like nails.
L. Zadeh
Введение
Вынося в эпиграф к этой главе известнейшее высказывание «отца» нечеткой логики Лотфи Заде, мы руководствовались отнюдь не только уважением к его персоне (такое уважение уместнее было бы проявить уже в главе 6). Смысл этого высказывания по сути эквивалентен китайскому «пусть расцветают все цветы»: даже если проблемы действительно похожи на гвозди, все же стоит присмотреться к ним поближе и попробовать применить, например, отвертку —- вдруг на них обнаружится подходящая прорезь...
Эта идея является определяющей для композиции данной книги; многие и многие ее части связаны с основными разделами, посвященными байесовским сетям, лишь косвенно, а в некоторых случаях мы могли бы ограничиться ссылками на имеющуюся литературу, а не пе- реизлагать материал самостоятельно. Такие разделы вошли в книгу именно для того, чтобы «набор инструментов», который, как мы скромно надеемся, появится у читателя к концу изучения этой монографии, был хоть немного представительнее одинокого молотка.
У этой идеи есть и еще один, скрытый смысл: именно она послужила основой для фактически параллельного создания аппарата алгебраических байесовских сетей. Аппарат байесовских сетей доверия, который мы рассмотрим в этой и двух последующих главах, долгое время служил универсальным «молотком» для построения вероятностных экспертных систем на байесовском выводе. Молоток казался настолько
большим, что им пытались забивать даже тупоносые болты — то есть решать проблемы, для которых байесовских сетей доверия попросту недостаточно (подробнее об одном из таких примеров см. главу Т8). В результате несколько иного взгляда на такие проблемы в б. СССР параллельно родились алгебраические байесовские сети — новый аппарат представления знаний с неопределенностью, который сейчас является прямым конкурентом байесовских сетей доверия.
Мы постарались достаточно полно изложить основы работы с байесовскими сетями доверия. Нехватка источников на русском языке в этом предмете поистине всеобъемлюща: нам не известно ни одного русскоязычного источника, будь то монография русского автора или перевод иностранной, в котором систематически излагался бы аппарат байесовских сетей доверия! Имеющиеся публикации по этой теме, как правило, носят характер упоминания, но и они мало доступны. Поскольку этот аппарат — один из определяющих для нынешнего состояния искусственного интеллекта, особенно в экспертно-вероятностной его части (относящейся к разделу мягких вычислений), мы будем стараться создать у читателя законченное впечатление. Однако мы, конечно, не можем полностью изложить богатый материал, накопленный зарубежными исследователями. Для дальнейшего чтения мы рекомендуем превосходные монографии [169, 237, 308], которые целиком посвящены байесовским сетям доверия. Наше изложение будет следовать этим книгам.
Основная идея БСД
Байесовские сети доверия решают практически ту же задачу, что и описанные уже нами ранее алгебраические байесовские сети: они должны выражать зависимости между различными переменными, которые (и зависимости, и переменные) можно представить в виде направленного графа причинно-следственных связей. Граф в байесовских сетях доверия ациклический — это входит в определение и является одной из основных причин, по которым алгоритмы, рассматриваемые нами в
этой и следующей главах, работают. Под словом «ациклический» здесь понимается отсутствие направленных циклов — ненаправленные циклы (ситуация, в которой находятся узлы t, u, v и w на рис. 14.1) разрешены. Однако даже разрешенные ненаправленные циклы в ВОД имеют очень большое значение: даже случай единственного ненаправленного цикла получил подробное отдельное рассмотрение [128,354], а большинство алгоритмов на самом деле работает тем хуже, чем большего размера ненаправленные циклы встречаются в базовом графе сети. Нами предпринимаются попытки обобщить ВС Д-исчисления на случай направленных циклов; получается нечто очень похожее на алгебраические байесовские сети. Текущее положение дел в этой области мы отразим в главе 18, а пока сконцентрируемся на существующем, активно применяющемся на практике и описанном в [169,237,308] аппарате.
Пример байесовской сети доверия изображен на рис. 14.1 как характерный пример для того типа рассуждений, который свойствен аппарату ВСД. Вершинами ациклического направленного графа являются утверждения, а направленные ребра соответствуют причинноследственным связям между этими утверждениями.
В нашем примере мы рассмотрели задачу диагностирования проблемы, которая произошла с компьютером. Модель, конечно, построена весьма упрощенная, но на ней достаточно хорошо будут видны все интересующие нас особенности аппарата ВСД — для того она и предназначена. Суть рассуждений, которые (подчас неосознанно) проводит человек в подобных случаях, такова: он наблюдает следствия (на мониторе ничего не видно, жесткий диск не обнаруживается при диагностике, индикатор питания на системном блоке не горит) и на основе этих следствий делает выводы о возможных причинах (промежуточная причина — компьютер не загружается, а также ее родители: на жестком диске появились дефектные секторы и нарушен контакт блока питания), а потом, наверное, и о первопричине всех неприятностей (компьютер упал со стола). Все рассуждения при этом имеют вероятностную природу: например, возможно, что даже при появлении дефектных секторов жесткий диск вполне диагностируется, но при этом может оказаться поврежден загрузочный сектор, и компьютер загрузиться с этого жесткого диска не сможет. И наоборот (снизу вверх), нельзя с уверенностью утверждать, что если индикатор питания не горит, то контакт блока питания нарушен: возможно, вышел из строя
Рис. 14.1. Пример базового графа байесовской сети доверия.
сам светодиод. Получается, что выводы можно делать лишь с какой- то степенью уверенности, оценить которую (и, соответственно, помочь избрать наилучший путь решения проблемы) и призваны байесовские сети доверия.
Одной из основных идей использования байесовских сетей доверия является пропагацил свидетельств: в систему поступает информация о том, что события, соответствующие тем или иным ее узлам, произошли (или не произошли). Рассуждения, лежащие в основе аппарата
Последовательная связьПоследовательная связьРис. 14.2. Виды связей, используемых для d-разделимости.Рис. 14.2. Виды связей, используемых для d-разделимости.
Последовательная связь
Последовательная связь
Рис. 14.2. Виды связей, используемых для d-разделимости.
Рис. 14.2. Виды связей, используемых для d-разделимости.
БСД, должны учитывать возможные поступления свидетельств. В следующем параграфе мы дадим мотивацию ключевого для байесовских сетей понятия d-разделимости, а затем уже перейдем непосредственно к формальному рассмотрению.
Типы связей между узлами сетии d-разделимость
В байесовской сети доверия связь (говоря языком теории вероятностей и вероятностной логики, — зависимость) на самом деле имеется отнюдь не только между узлами, непосредственно связанными ребром. Законы, по которым распространяется эта связь, имеют практическую природу, т.е. происходят из требований здравого смысла. Требования эти формализованы в понятии d-разделимости, которое мы сформулируем в конце параграфа, но начнем разговор с той самой идеологической мотивации.
Последовательная связь. (Serial connection). Прямая связь между узлами сети (рис. 14.2). В нашем примере (рис. 14.1) так связаны, к
примеру, узлы t, и и х («Компьютер упал со стола», «Нарушен контакт блока питания» и «Индикатор питания не горит»),
В этом случае t влияет на и, а и, в свою очередь, влияет на х, и узлы t и х получаются связанными: если компьютер упал со стола, то оценка вероятности того, что индикатор питания перестанет гореть, повышается. Однако, если в и поступило свидетельство, связь между t и х нарушается: если мы твердо знаем, что контакт блока питания нарушен, нам уже не важна причина этого события —- упал ли компьютер со стола или еще что-то произошло — на вероятность следствия это уже не повлияет.
Расходящаяся связь. (Diverging connection). В этой ситуации у одного узла сети несколько потомков (рис. 14.2). В нашем примере такая ситуация складывается, например, в узлах t, и и v.
Информация об одном из потомков может повлиять на вероятность другого потомка одного и того же узла. Это связано с тем, что не только информация о произошедшей причине повышает вероятность следствия, но и случившееся следствие повышает вероятность причины. Например, если мы знаем, что контакт шины жесткого диска нарушен, то вероятность того, что компьютер упал со стола, повышается (по сравнению с неизменно хорошо работающим контактом). А это, в свою очередь, повышает вероятность того, что и контакт блока питания отойдет.
Если общий предок уже получил означивание, то связь нарушается. Действительно, коль скоро мы уже твердо знаем, что компьютер упал со стола, то свидетельство о том, что отошел один из контактов, не повлияет на вероятность того, что другой контакт нарушен.
Сходящаяся связь. (Converging connection). Этот тип связи возникает, когда два узла имеют общего потомка (рис. 14.2). На рис. 14.1 эта ситуация соответствует узлам u, v и w.
Данная ситуация — самая интересная. Казалось бы, связи между узлами и и v нет: если произошло и, то это повлияет на вероятность события w, но вероятность v измениться не должна: да, компьютер с большей вероятностью не загружается, но мы же знаем, что на винчестере появились дефектные секторы; это не должно повлиять на вероятность того, что отошел контакт у блока питания.
Однако ситуация меняется, если свидетельство w уже получено. Действительно, после получения свидетельства w вероятности обеих его причин повышаются: раз уж компьютер не загружается, значит, что-то не так — неизвестно, что именно, но обе причины становятся более вероятными. Если теперь мы вдруг узнаем, что одна из причин произошла, это должно понизить вероятность другой причины: ведь следствие уже объяснено, и его влияние на вторую причину должно уменьшиться. Итак, в случае сходящейся связи зависимость должна появляться, только если общий потомок (или любой из его потомков — там ситуация будет аналогичной) уже получил какое-то означивание.
Итак, теперь у нас все готово, чтобы дать определение d- разделимости. Это можно было бы сделать, просто замкнув по транзитивности полученное выше отношение; но мы все же дадим подробное разъяснение.
Определение 14.1. Два узла направленного графа х и у называются d-разделенными, если для всякого пути из х в у (здесь не учитывается направление ребер) существует такой промежуточный узел z (не совпадающий ни с х, ни с у), что либо связь в пути в этом узле последовательная или расходящаяся, и узел z получил означивание, либо связь сходящаяся, и ни узел г, ни какой-либо из его потомков означивания не получил.
В противном случае узлы называются d-связанными.
Итак, мы поняли, какое свойство графов, на которых строятся байесовские сети доверия, соответствует условной независимости (в самом прямом, вероятностном, смысле). Однако сами вероятности, равно как и любые другие меры истинности, еще не появлялись. В следующем параграфе мы заполним этот досадный пробел, а затем перейдем к тем аспектам формализации, которые необходимы для построения алгоритмов пропагации свидетельств и пересчета вероятностей.
Вероятности и определение БСД
В предыдущих параграфах мы рассуждали о том, что ребра базового графа ВСД задают причинно-следственную связь между событиями, а d-связь между узлами уже полностью задает их условную независимость друг от друга (конечно, d-связанные узлы тоже могут оказаться
независимыми, но это будет стечением обстоятельств, никак не следующим из свойств графа ВСД, и рассчитывать на это нельзя). Теперь мы формализуем это понятие с точки зрения теории вероятностей. Читателям, не знакомым с понятиями независимости и условной независимости, рекомендуем сначала обратиться к главе 3.
Байесовские сети доверия, как мы уже много раз упоминали, основаны на аппарате условных вероятностей. Формально это означает, что для каждого узла-потомка нужно задать распределение его вероятностей при условии различных означиваний его предков, если таковые имеются. Вели предков у узла х нет, нужно задать его маргинальные вероятности — р(х) и р(х). Если у узла х один родитель у, то для задания узла ВСД нужно задать следующий набор вероятностей:
Р(х|у), р(х|у), р(х|у), р(х|у).
Разумеется, достаточно задать два значения, а не четыре — например, р(х|у) и р(х|у), а остальные получатся автоматически: Р(х|у) = 1 -р(х|у), р(х|у) = 1 -р(х|у).
Однако если предков у вершины больше, количество требуемой информации возрастает экспоненциально. Например, если у вершины х два предка — у и z, нужно задать не четыре вероятности, по два на каждый узел, а восемь:
p(x|yz), p(x|yz), p(x|yz), p(x|yz),p(x|yz), p(x|yz), p(x|yz), p(x|yz).
И так далее: для полного задания узла с п потомками требуется задать 2n+1 условных вероятностей. Такой набор условных вероятностей называется таблицами потенциалов (название, происходящее из чуть более общей ситуации, получит свое объяснение в § 14.5). Иногда тот же набор называют тензором условных вероятностей (см., например, [308]). Как мы всегда поступали ранее, таблицу потенциалов для переменной х с предками У1,У2>---.Уп будем обозначать Р(х|у1У2 • • -Уп)- Пути в обход не существует: действительно, распределение вероятностей задает именно столько информации. Поэтому байесовские сети доверия стараются строить так, чтобы минимизировать число предков, которые могут быть у одного узла.
Итак, мы можем теперь дать основное определение главы.
Определение 14.2. Рассмотрим ациклический направленный граф, в вершинах которого стоят пропозиции из множества
р(О = о.от
Рис. 14.3. Пример байесовской сети доверия.
S = {xi,..., хп}. Предположим, что к каждому узлу х с предками Уъ У2> • • •/ У к приложена таблица условных вероятностей (потенциалов) p(x|yiy2.. .ук)- Предположим, что если два узла х иу d-разделены при введенных свидетелъствах Ё, то р(х|Ё) = р(х|уЁ). Тогда такая конструкция называется байесовской сетью доверия.
Вообще говоря, определение байесовской сети доверия обычно дается в более общем случае. Переменные, стоящие в узлах сети, не обяза-
тельно должны быть булевскими: они могут принимать любое конечное число различных значений (разумеется, суммарная вероятность этих значений равна единице); более того, возможны и другие конструкции. Однако мы будем рассматривать случай булевских переменных, так как предметом настоящей книги является именно логико-вероятностный подход к байесовским сетям (а многозначная логика, к сожалению, все же выходит за рамки нашего исследования). Суть происходящего от этого ничуть не меняется, алгоритмы, которые мы изложим, естественным образом обобщаются и на случай многозначных переменных (более того, каждая переменная может иметь свое собственное множество значений, — важно лишь, чтобы все они были конечными).
Условие о d-разделимости, участвующее в определении ВСД, тесно связано с понятием условной независимости (см. § 3.8). В случае последовательной или расходящейся связи для выполнения этого условия «крайние» переменные должны быть условно независимы при известной «центральной» переменной — мы уже говорили об этом в предыдущем параграфе в терминах «должно влиять — не должно влиять». Иными словами, если переменные х, у и z связаны последовательной или расходящейся связью (пусть узел у расположен между х и z), то должно выполняться равенство р(х|у) = p(x|yz) (симметричное условие p(i|y) = p(z|xy) при условии р(х|у) > 0 эквивалентно данному по теореме Вайеса).
Вообще говоря, если некоторый набор переменных X d-разделяет две данные переменные х и у (т.е. при присваивании переменным из X каких-либо означиваний х и у оказываются d-разделены), то х и у должны быть условно независимы при известном X: р(х|Х) =р(х|уХ).
Продолжим пример, который мы уже начали рассматривать, определив на построенном графе (рис. 14.1) байесовскую сеть доверия (т.е. вероятности). Вероятности (рис. 14.3), как и описано выше, представляют собой для узла t маргинальную вероятность p(t) (разумеется, p(t) получается вычитанием p(t) из единицы), для узла w — таблицу условных вероятностей p(w|u.v), а для остальных узлов — две условные вероятности при условии их единственного предка. Например, одна из
возможных байесовских сетей доверия с этой структурой выглядит так:
p(t)
= 0.01,
P(u|t)
= 0.16,
P(u|t)
= 0.05,
p(w|uv)
= 0.95,
P(v|t)
= 0.1,
P(v|t)
= 0.001,
p(w|uv)
= 0.25,
p(x|u)
= 0.2,
p(x|u)
= 0.025,
p(w|Uv)
= 0.9,
P(y|w)
= 0.4,
P(y|w)
= 0.001,
p(w|tlv)
= 0.02,
p(z|v)
= 0.99,
p(z|v)
= 0.001.
Эти вероятности также изображены на рис. 14.3. Хотим сразу же подчеркнуть, что мы не претендуем на построение настоящей экспертной сети, и вероятности (равно как и сама структура примера), скорее всего, лишь весьма приближенно соотносятся с реальностью. Зато в качестве учебного примера годятся.
Сразу же отметим, что по базовым свойствам вероятностей можно без проблем вычислить совместные вероятности элементов ВСД; однако тому, как это делать эффективно, фактически и будет посвящено все дальнейшее изложение.
Пример 14.1. Вычисление совместных вероятностей в БСД
Вычислим в нашем примере совместные вероятности цепочки uvw:
p(uvw) = p(w|uv) 2ZtP(ult)P(vlt)p(t) =0.000199025, p(uvw) = p(w|uv) £t p(u|t)p(v|t)p(t) = 0.000010475, p(uvw) = p(w|uv) £д p(u.|t)p(v|t)p(t) = 0.012722625, p(uvw) = p(w|uv) ^p(u|t)p(v|t)p(t) = 0.038167875, p(ilvw) = p(w|ilv) £^ p(U|t)p(v|t)p(t) =0.00160245, p(ilvw) = p(w|iiv) £д p(il|t)p(v|t)p(t) = 0.00017805, p(ilvw) = p(w|u.v) 21i Р(й|1)р(у|1)р(1) = 0.01894239, p(uvw) = p(w|iiv) ^p(il|t)p(v|t)p(t) = 0.92817711.
Для самоконтроля желающие могут проверить, что сумма получившихся вероятностей действительно равна единице.
Здесь, кстати говоря, возникает интересный феномен: назначение вероятностей в модели, конечно, соотносится с реальностью с ощутимой долей «произвола», и конкретные значения вероятностей, участвующих в модели, оценены весьма и весьма приблизительно. Однако, по всей видимости, решения, принимаемые на основе этой модели, будут пра-
вильными. Видимо, объяснение этого феномена во многом оказалось бы связано с понятиями устойчивости и чувствительности — одни из наиболее подробно изучающихся и заслуживающих дальнейшего внимания свойства байесовских сетей. В главе 13 мы рассмотрели устойчивость в терминах теории алгебраических байесовских сетей. Подробно излагать последние результаты теории устойчивости ВСД мы в этой книге не будем, а заинтересованного читателя отсылаем к [237], где изложены основные результаты и приведены дальнейшие ссылки.
Наш пример позволяет проиллюстрировать все три типа связи между узлами и, как следствие, все возможные ситуации d-разделимости. Например, узлы и и v d-связаны расходящейся связью через узел t. А если w или у получат означивание, то и и v станут d-связаны еще раз: сходящейся связью через узел w.
Потенциалы, маргинализация и тензоры
В литературе по байесовским сетям доверия ВСД зачастую формализуются посредством так называемой теории потенциалов — вещественнозначных функций, заданных на конечной области определения (яркий пример такого подхода — книга Ф. Йенсена [237]; сам Дж. Пи- эрл такой подход не использовал [308]). Для байесовских сетей доверия потенциал — это та самая таблица совместных (или, что то же самое, условных при фиксированном условии) вероятностей, однако потенциал вовсе не обязан представлять собой вероятности.
В этой главе, чтобы сохранить единство обозначений по всей монографии, будем использовать вместо принятых в теории потенциалов обозначений те, которые мы повсеместно используем во всей остальной книге, рассматривая распределения вероятностей над цепочками атомарных пропозиций. Следует отметить, что, хотя потенциал — это более общее понятие, чем вероятность, в области байесовских сетей доверия все равно приходится учитывать специфические свойства именно вероятностей (такие, как единичная нормализация). Поэтому изложение теории ВСД, по нашему мнению, от перехода на вероятностные обозначения ничуть не проиграет. А в этом и следующем параграфах мы изложим те понятия, которые в теории потенциалов действительно обобщены по сравнению с вероятностным случаем. Кроме чуть большей общности, это изложение нужно еще и для того, чтобы ввести читателя
в круг понятий и обозначений, весьма часто применяющихся, в теории ВСД. Наконец, сразу же .отметим, что в главе 20 .мы на самом деле излагаем один из конкретных способов задания потенциалов.
Итак, потенциал ср — это функция из его области определения бот(ф) в R; нам потребуются только.потенциалы с дискретной (не более чем счетной, а на самом деле — конечной) областью определения. Потенциалы можно перемножать. Эта операция в абстрактной теории потенциалов не имеет какого-либо конкретного «физического смысла», а определяется аксиоматически по приведенным ниже аксиомам. В нашем случае, когда потенциалы соответствуют таблицам условных вероятностей, эта операция соответствует декартову произведению таблиц (см. § 14.6, где дано соответствующее определение для случая вероятностей). Произведение потенциалов обладает следующими свойствами: Pot 1. dom(ф1ф2) = dom(ф1) U dom(ф2).
Pot 2. Ф1Ф2 = Ф2Ф1 (коммутативность).
Pot 3. (ф1фг)фз = Ф1(ф2фз) (ассоциативность).
Pot 4. Число .1 — потенциал над пустой областью определения, и при этом 1 • ф — ф для всякого ф (нейтральный элемент).
Еще одна важнейшая операция, которую можно проводить с потенциалами, — это так называемая маргинализация. Проиллюстрируем ее на вероятностном примере. Общая идеология применения теории потенциалов к ВСД такова: потенциал — это таблица условных вероятностей вида p(X|V), где X и Y — некоторые цепочки конъюнкций атомарных пропозиций. Таблицы совместных вероятностей вида р(Х) являются частным случаем этой идеологии — когда Y = е.
Предположим, что нам задана таблица совместных вероятностей р(ху). Чтобы найти вероятность р(х), нужно сложить соответствующие вероятности: р(х) = р(ху) + р(ху). Вообще говоря, если задана таблица вероятностей р(х№ • • Дп), то, чтобы вычислить вероятность р (AteIxt) некоторого подмножества I С 1..п, нужно просуммировать по оставшимся вероятностям:
рЫ = Л НЛЯ* Л\i€l / AjeTTn\i ^J \^1 9б1..п\1
6 Будьте осторожны: здесь в одной и той же формуле тильды над xt обозначают произвольное фиксированное означивание, а тильды над х, — скользящий индекс суммирования по всем означиваниям!
Таким образом, из распределения вероятностей над xi,..., хп получается его проекция на (х^, г € I}. Этот процесс и называется маргинализацией. Для абстрактных потенциалов важны следующие ее свойства:
Pot 5. dom(22x((p)) = dom(<p) \{х}.
Pot 6. ^ZxZly Ф = Ly £ХФ (коммутативность).
Pot 7. Если x ^ dom((pi), то 22хф]фг = Ф1 52хФ2 (дистрибутивность).
На маргинализацию можно (и должно) смотреть как на проекцию. Если domcp = I, то маргинализация булевских переменных из некоторого подмножества J С I — это проекция потенциала на оставшиеся булевские переменные I \ J. Поэтому мы вслед за [237] будем иногда обозначать маргинализацию через <р^х:
^Ф =
J
В интересующем нас случае, когда потенциалы представляют собой условные вероятности вида р(х|Х), где X — некоторая цепочка конъюнкций, можно добавить еще одно важное свойство:
Pot 8. р(х|Х) +р(х|Х) = 1 (нормировка).
Итак, мы изложили основные понятия теории потенциалов, которую часто применяют авторы книг о байесовских сетях доверия. Однако мы в дальнейшем язык потенциалов будем использовать лишь как вспомогательный, а основное изложение будем вести на языке вероятностей. Почему так?
Первый ответ на этот вопрос тривиален — язык потенциалов не используется у нас ни в каком другом месте, и использовать его для описания ВСД противоречило бы принципу единства обозначений. Однако это возражение, казалось бы, достаточно слабое — если уж потенциалы часто встречаются в других работах и дают реальное обобщение условных и совместных вероятностей, то почему бы их и не использовать?
Второй ответ содержится в последней из вышеприведенных аксиом — Pot 8. Как только изложение от базовых аспектов переходит к свойствам непосредственно байесовских сетей доверия, тут же оказывается, что те самые дополнительные свойства вероятности, которые в теории потенциалов не используются, оказываются нужны и даже принципиальны. Поэтому представляется естественным использовать
единственный реально нужный для описания БСД язык от начала до конца.
Есть и третий ответ. На самом деле, использование потенциалов способно достаточно серьезно запутать изложение (что и происходит во многих источниках по теории БСД). Действительно, рассмотрим потенциал <р = p(x|yz). Его область определения domtp = {x,y,z}, и ни в определении, ни в обозначениях не проглядывается никакой асимметрии между переменными, лежащими в области определения. Однако совершенно очевидно, что тензор условной вероятности несимметричен.
Эта асимметрия проявляет себя и впоследствии. Предположим, что нам нужно найти произведение двух потенциалов — p(x|yz) и p(yz|t). На языке теории вероятностей все более или менее очевидно:
P(x|t) = £.p(x|yz)p(yz|t).
92
Однако, если мы перейдем на язык потенциалов, то становится не очень понятно, по какому принципу следует перемножать эти потенциалы, — нужно суммировать произведения соответствующих означиваний пропозиций у и z, а просто общее декартово произведение не имеет естественного вероятностного аналога. Разумеется, в теории БСД эти затруднения решаются; однако решаются они, опять же, путем отступления от языка потенциалов и перехода на язык вероятностей. Все вышесказанное убедило нас в том, что оптимальным будет использовать вероятностные обозначения с самого начала. Впрочем, мы изложили основы теории потенциалов и в дальнейшем иногда будем отмечать, как тот или иной объект называется на «потенциальном» языке, чтобы у читателей впоследствии не возникало трудностей с пониманием западной литературы.
Здесь же имеет смысл поговорить о еще одном языке, использовать который в данном случае можно было бы даже более адекватно. Речь идет о тензорном исчислении.1 Как известно, тензор ранга (n,m)
7По причинам, авторам этой книги не вполне понятным, тензорное исчисление обычно кажется людям, не имеющим прямого отношения к математике, одной из самых сложных ее областей. В классической научной фантастике середины прошлого века (казалось бы, от ее авторов можно было бы ожидать более разумного подхода) слова «тензорное исчисление» практически синонимичны словам «очень сложная математика». На самом же деле тензор — совершенно безобидный и совсем
над векторным пространством V — это элемент пространства
S™(V) = V ® V ® ... ® V® V* ® V* ® ... ® V*,
где в произведении участвуют п копий V и тп копий сопряженного пространства V* (сопряженное пространство V* —- это пространство линейных функционалов на V). Так, например, тензор ранга (0,0) — это скаляр, тензор ранга (1,0) — вектор, ранга (0, тп) — полилинейная (в данном случае тп-линейная) функция. Подробно рассматривать основы тензорной алгебры мы здесь не будем, а отошлем читателя к книгам [55,72,90]. Сами же двинемся дальше.
Одной из основных операций тензорной алгебры является так называемая свертка. Это операция, которая понижает валентность тензора на 2 (валентность тензора ранга (п, тп) равна п+тп), переводя тензор ранга (п, тп) в тензор ранга (п — 1, тп — 1) путем суммирования по разновариантным индексам. Например, Е]]^’" ’^1 под действием свертки по )о и io перейдет в
“йin — 2— “iikjn •k
Обычно свертка используется тогда, когда нужно записать тензор, являющийся произведением двух других тензоров. Например, произведение матриц в тензорном виде — это свертка произведения двух тензоров ранга (1,1). Если мы, следуя тензорным обозначениям, обозначим матрицу А через А], а матрицу В — через В^, то АВ — это свертка А^В^ по у.
(ABJ^J^AiB^.
Внимательному читателю наверняка уже стало ясно, к чему мы клоним. Действительно, маргинализация в том виде, в котором она описана выше, очень напоминает свертку тензора. Но тензорный подход обладает важным отличительным свойством — у тензора две группы индексов, и тензор несимметричен относительно этих двух групп. Соответственно, этот язык лучше подходит для описания тех процессов, которые происходят при действиях с условными вероятностями. Уже
не сложный объект, подавляющее большинство областей современной математики куда сложнее.
12 Зак 3294
встречавшийся выше пример
р№ = ^p(x|yz)p(yz|t)
У*
можно рассматривать как свертку произведения двух тензоров:
рх _ рх pyz
(по общепринятым в тензорном анализе соглашениям, знаки суммирования по одинаковым индексам в произведении двух тензоров опускаются). Этим и объясняются термины тензор условных вероятностей и тензор совместных вероятностей, которые мы применяем вслед за Дж. Пиэрлом, избегающим употребления языка потенциалов.
Однако этот подход также встречает ряд формальных трудностей, —- все же таблицы условных вероятностей — не совсем тензоры. В конечном счете мы приняли решение не пытаться втиснуть условные вероятности в прокрустово ложе более общих теорий (хотя, вероятно, это можно было бы сделать), а работать с ними как собственно с вероятностями; такой подход представляется нам и более логичным, и более честным, и, вообще говоря, более естественным.
Правило декомпозиции
Возвращаемся к байесовским сетям доверия. В этом параграфе мы представим одно из основополагающих свойств БСД, которое вытекает из условий d-разделимости и соответствующей этой d-разделимости условной независимости.
Итак, предположим, что сеть построена на множестве атомарных пропозиций 8 = {xi, %2,..., хп}. Если мы работаем с полной таблицей совместных вероятностей p(xiX2...xn) (иными словами, с потенциалом, определенным на всем 8), то нет никаких проблем с тем, чтобы вычислить p(xi) или р(Хг|Ё) для какого-нибудь набора свидетельств Ё. Однако размер такой таблицы растет очень быстро —• экспоненциально. Очень скоро работать с ней становится невозможно.
Байесовские сети доверия потому и стали так популярны, что позволяют раскладывать большое распределение вероятностей в произведение сравнительно небольших, работать с которыми можно. В общем случае, чтобы задать распределение над п пропозициями, нужно задать информацию размером О(2П); однако если мы, например, сможем выра-
зить это же распределение как произведение к распределений, каждое из которых связывает n/k переменных, то общее количество информации снизится до O(k2n//k). Полагаем, всем очевидна разница между 2100 и 10 • 210 или, еще лучше, 50 • 22.
Для удобства введем широко применяющееся ниже обозначение: через И, где 11 — некоторое множество булевских переменных, будем обозначать Axgux.
Отметим, что под «произведением» здесь понимается то самое произведение потенциалов, о котором шла речь в двух предыдущих параграфах. А в нашем частном случае это означает, что в БСД большие распределения вероятностей раскладываются в меньшие при помощи следующей теоремы/
Теорема 14.1. (Правило декомпозиции). Для БСД, построенной на мноэюестве переменных S = {xi,X2,... ,хп}; общее распределение вероятностей р(х]Х2.. .хп), которое индуцирует заданные в этой БСД тензоры условных и маргинальных вероятностей и согласовано с условной независимостью, вытекающей из й-разделимости узлов, существует, единственно и представляет собой произведение всех тензоров, заданных в байесовской сети доверия:
р(§) = Пр№М)-
хез
где ра(х) — множество родителей узла х в базовом графе сети.
Доказательство. Будем проводить доказательство по индукции. Если в сети есть только одна переменная (и, соответственно, только один узел в графе), утверждение теоремы очевидно.
Предположим, что теорема верна для всех сетей размером до п включительно. Рассмотрим байесовскую сеть доверия с п +1 переменной (обозначим множество ее переменных через S). Базовый граф сети — ациклический (именно здесь — ключевое место всей теории, где требуется ацикличность!), поэтому в сети существует узел х, у которого нет ни одного потомка (можно просто взять любой узел сети и идти от него вдоль ребер: поскольку циклов быть не может, рано или поздно пройти дальше не получится, так как количество узлов — конечное число).
Рассмотрим множество родителей данного узла ра(х). Это множество d-разделяет х с остальной сетью (это верно по результатам § 14.4
для последовательной и расходящейся связей, а сходящейся связи у х ни с кем быть не может, так как у х нет потомков). Значит,
p(x|S\{x}) =р (х|ра(х)} .
Теперь применим индукционное предположение к сети, полученной из исходной выбрасыванием узла х. Имеем
P(S\W)= П р(у|ра(у)).
уеи\{х)
Осталось лишь скомбинировать два полученных факта по одному из базовых свойств условной вероятности:
р(§)=р(Я|§м5)р(§\й) =
= р(х|ра(х)) JJ р(у|ра(у)) = fjp(y|pa(y)).
yeu\{x)yell
Отметим, что разложение p(S) = p(x|S \{x))p(S \{х}) имеет место для всякого распределения вероятностей, а, значит, мы вместе с существованием общего распределения вероятностей над всей сетью доказали по индукции и единственность тоже.
□
Правило декомпозициисо свидетельствами
Для апостериорного вывода в ВОД нужно учитывать ситуации, в которых некоторые узлы получили означивания. В классической теории БСД рассматриваются только те случаи, когда узлы получают так называемые «жесткие свидетельства» (hard evidence), в теории АБС они называются детерминированными; иными словами, нам становится наверняка известно, верны или нет некоторые из составляющих сеть пропозиций.
Как в данном случае вычислять апостериорные вероятности в БСД? Для этого обычно используются промежуточные таблицы вероятностей, представляющие собой обычные таблицы совместных вероятностей, в которых приравнены нулю все элементы, соответствующие тем случаям, которые, как известно из свидетельств, не имеют места. Эти
объекты мы будем обозначать как р(ХЛЁ), где X — цепочка, совместную вероятность которой мы хотим рассмотреть, а Ё — поступившие свидетельства. Мы могли бы и не писать знак Л — на самом деле наш язык позволяет записать р(ХЁ), и семантика этого объекта будет именно такой, какой нужно. Но для удобства чтения и понимания материала мы решили на уровне обозначений отделить внесенные в сеть свидетельства от других пропозиций.
p(uvwAw) = 0, p(uvw A w) = 0, p(uvwAw) = 0, p(UvwAw) = 0.p(uvwAw) = 0, p(uvw A w) = 0, p(uvwAw) = 0, p(UvwAw) = 0.Например, пусть переменная w получила означивание w; иными словами, мы знаем, что компьютер не загружается. Тогда p(uvwAw) будет иметь следующий вид (воспользуемся данными из примера 14.1):
p(uvwAw) = 0, p(uvw A w) = 0, p(uvwAw) = 0, p(UvwAw) = 0.
p(uvwAw) = 0, p(uvw A w) = 0, p(uvwAw) = 0, p(UvwAw) = 0.
p(uvwAw) = 0.000199025, p(uvwAw) = 0.012722625, p(uvwAw) =0.00160245, pfuvwA w) = 0.01894239,
Очевидно, получившаяся Pg — новая совокупность (таблица) оценок над X:
р£(Х)=р(ХЛЁ),
не является распределением вероятностей над X (и вообще распределением вероятностей не является) хотя бы потому, что сумма элементов этой таблицы, как правило, будет меньше единицы. Однако из этой промежуточной таблицы затем получается таблица нужных условных вероятностей по следующему правилу (в нижеприведенной формуле Y — подцепочка X, a Z — оставшаяся часть X = YZ):
рС№ =рС№ =(14-1)(14-1)£2р(ХЛЁ)£2р(У2лё)р(Улё)
рС№ =
рС№ =
(14-1)
(14-1)
Р(Ё)Р(Ё)р(Ё)
В этой формуле мы неявно предполагаем, что р(Ё) > 0; однако может так случиться, что в исходной сети р(Ё) = 0. В теории АБС мы
в таком случае говорили, что никаких выводов сделать нельзя, и присваивали всем конъюнктам оценки вероятностей [0; 1]. Теория же ВСД оперирует точечными оценками, поэтому единственным выходом в данном случае будет признать, что эта сеть не соответствует предметной области. Действительно, как она может ей соответствовать, если на практике случилось то, вероятность чего в сети равна нулю? В таком случае нужно вернуть сеть на доработку инженерам по знаниям.
Пример 14.2. Взаимодействие свидетельства и исходов
Рассматриваемый пример актуализирует связь предшествующих рассуждений о получающейся таблице, которая не является распределением вероятностей, с ранее дававшимся комментарием, связанным с поступившим свидетельством, заставляющим исключить несовместимые с ним исходы, а вероятность на оставшихся — нормировать заново.
Заметим, что р(ХЛЁ) является распределением вероятностей над означиваниями цепочки ХЁ = X Л Ё. Однако здесь присутствует очень сложный момент, связанный с сочетанием обозначений в одной цепочке разных аргументных мест над одной и той же атомарной пропозициональной формулой. Следует учитывать, что в X и Ё входят именно такие различающиеся аргументные места, построенные над одними и теми же атомарными пропозициями. Если означивания хотя бы одного такого аргументного места в цепочке X не совпадает с означиванием соответствующего ему аргументного места в Ё, то в этих обстоятельствах X Л Ё становится тождественно равной F, а ее вероятность приобретает значение нуля.
Фактически в результате описанного выше комбинирования свидетельства и цепочек из множества элементарных событий, состоящего из означиваний цепочки X, исключаются исходы, несовместимые со свидетельством Ё.
В формуле (14.1) величина (или таблица величин) р(Ё) — априорная вероятность того, что такие свидетельства могут быть получены. Ее можно также получить из таблицы р(ХЛЁ), просто просуммировав все элементы (те, которые соответствуют не входящим в Ё означиваниям, уже равны нулю). Давайте рассчитаем p(u,|w) по этому правилу (легко видеть, что априорная вероятность p(w) = 0.03346649):
p(u|w) = ^^^ = 0386107 • • • . p(u|w) = ^§^р^ = 0.61389288... .
Получились действительно условные вероятности, в частности сумма p(u|w) + p(u.|w) равна единице.
Точно такой же объект можно рассмотреть и для тензора условных вероятностей: из p(X|W) получается p(XAE|W) путем приравнивания нулю тех элементов таблицы условных вероятностей, которые противоречат Ё.
Теперь из теоремы 14.1 вытекает правило декомпозиции со свидетельствами. Для байесовской сети доверия, построенной на множестве переменных S = {х 1, Х2,..., хп} со внесенными свидетельствами Ё, об-
щая таблица вероятностей p(xiX2... хп Л Ё) представляет собой произ-ведение р(8) всех таблиц распределений, заданных в байесовской сети:Р(§) =Цр(х|ра(х)).
хе§
Здесь нулю приравнены условные вероятности тех означиваний х (х € 8), которые противоречат Ё, т.е. хЛ Ё = F.
Кроме того, для всякого подмножества V С 8
Р(У|Ё) =Р(У|Ё) =£~р(8ЛЁ)Р(Ё)£~р(8ЛЁ)Р(Ё)
Р(У|Ё) =
Р(У|Ё) =
£~р(8ЛЁ)
Р(Ё)
£~р(8ЛЁ)
Р(Ё)
Маргинальные вероятностиузлов БСД — примеры
В этом и последующих параграфах мы поведем речь о том, как вычислять маргинальные вероятности узлов в байесовских сетях доверия. Иными словами, наша цель —- выработать хороший алгоритм для вычисления, например, p(xj в данной байесовской сети доверия, построенной на пропозициях X], Х2,..., хп.
Начнем с нашего постоянного примера, изображенного на рис. 14.1.
Предположим, что мы хотим вычислить p(z) — вероятность того, что индикатор питания не горит. Для этого необходимо маргинализировать все остальные переменные из общего распределения — просуммировать общее распределение по всем остальным переменным:
р(х) = У" p(tu.vwxyz), p(z) = У" p(tiivwxyz).
tuvwxyt'LLVWXy
Воспользуемся правилом декомпозиции (теорема 14.1). Из структуры графа видно, что общее распределение вероятностей раскладывается в произведение меньших распределений:
p(z) = У p(t) У p(v|t)p(z|v) У р(й|1) У р(х|й) У p(w|uv) У p(y|w).tvйхwу
Мы рекомендуем читателю провести вычисления самостоятельно — как для тренировки и лучшего понимания того, как проводить маргинализацию, так и для понимания, насколько это все же проще, чем
подсчитывать таблицу из 27 = 128 значений полного совместного распределения вероятностей. В результате получается:
p(z) to 0.0030, p(z) « 0.9970.
Отметим, что столь низкая вероятность получилась отчасти из-за того, что вероятность падения компьютера со стола невелика — всего лишь 0.01; если бы мы вычисляли значения при условии того, что компьютер упал (т.е. внесли бы в сеть свидетельство t), результат был бы значительно больше, а именно:
p(z|t) to 0.100, p(z|t) « 0.900.
Доверие к z возросло более чем в 33 раза.
В последовательности вычисления сумм порядок в принципе не важен — маргинализация коммутативна, и важно лишь, чтобы сначала вычислялись суммы, зависящие от других переменных, а затем суммировались эти другие переменные. Например, нужно сначала просуммировать по w, и только потом — по и или V, иначе сумму будет не подсчитать, так как p(w|uv) зависит от и и v.
Доменные, моральныеи триангулярные графы
В этом параграфе мы изложим теоретико-графические построения, которые нам пригодятся в дальнейшем.
Определение 14.3. П-устъ У = {p(xi|Xi),... .p^mlXm)} — набор распределений вероятностей над множеством атомарных пропозиций S = {xi,..., хп}. Доменный граф для У — это ненаправленный граф, вершины -которого — элементы S; две вершины связаны ребром тогда и тол-ько тогда, когда они обе встречаются в цепочках, над которыми определено одно и то же распределение вероятностей p(xJXi) € У.
На рис. 14.4 изображен доменный граф для нашего постоянного примера со сломанным компьютером. По сравнению с исходным графом добавилось одно ребро — между и и v. Такие ребра называются в теории байесовских сетей доверия моральными (идея определения в том, что они соединяют родителей одного и того же ребенка). Сам же
Рис. 14.4. Моральный граф примера из рис. 14.1.
доменный граф в случае байесовских сетей доверия называется моральным графом (это чуть более частный случай, чем доменные графы — в нашем рассмотрении это выражается в том, что вместо цепочек X; должны стоять атомарные пропозиции х^).
Обращаем внимание читателя на то, что моральный граф — это вовсе не базовый граф байесовской сети доверия (хотя, действительно, выглядят они похоже). Во-первых, моральный граф — ненаправленный, во-вторых, в нем добавляются моральные ребра. Мы еще раз обратимся к моральным графам, когда будем говорить о цепных графах (см. главу 20), которые являются обобщением ациклических направленных графов, используемых в аппарате байесовских сетей доверия.
Чтобы двигаться дальше, нужно — пока лишь в общих чертах и неформально — понять, как в ВСД могут происходить априорный вывод и пропагация свидетельств. Процесс вывода может выглядеть следующим образом: на каждом шаге из доменного графа удаляется одна из его вершин; при этом соответствующие распределения вероятностей пересчитываются так, чтобы из них исключалась пропозиция, соответствующая этой вершине.
На языке теории потенциалов такой процесс называется элиминацией переменных и определяется как проекция общего произведения всех потенциалов, стоящих в соседях данного узла, на множество переменных, из которых исключена пропозиция, соответствующая элиминированному узлу. В простейшей ситуации в БСД элиминируется «крайний» узел, т.е. узел, у которого в БСД (в направленном графе) нет потомков. В данном случае, если в эту вершину или ее предков не были внесены свидетельства, то получится и вовсе единица:
Х.Р№У1У2---Ук) = 1.
В более сложном случае — если мы захотим элиминировать узел, у которого в исходном графе БСД были потомки — нам придется строить произведение нескольких распределений, отвечавшие предкам и потомкам этого узла. Давайте рассмотрим пример, который наглядно проиллюстрирует, что происходит в данном случае.
Пример 14.3. Элиминация переменной в БСД
Попробуем элиминировать переменную и из БСД, которую мы постоянно используем в качестве примера; ее моральный граф изображен на рис. 14.4. Для этого нужно рассмотреть общее произведение всех распределений вероятностей ее соседей, а затем просуммировать по и. Вот интересующий нас объект:
^ р (v|t )р (й|1)р (w|u.v)p (х|й)р (t).
й
Сам по себе, в отрыве от контекста, этот объект не обязательно совпадает с общим распределением вероятностей p(xwuvt). Однако на выручку приходят структура БСД и понятие d-разделимости. Прежде всего отметим, что
p(tl|t)p(t) =р(й1).
Затем вспомним, что условия d-разделимости в узле t гарантируют нам условную независимость узлов и и v при известном t (поскольку узел w в этом рассуждении не получил означивания, сходящаяся связь в нем не мешает). Это значит, что p(v|t) =p(v|ut) и
p(v|t)p(ii|t)p(t) = p(v|ut)p(u.t) =p(xivt).
Продолжаем собирать общее распределение из кусочков. Узел w связан с узлом t дважды, однако обе связи — последовательные, и, таким образом, w условно независим от t при условии uv. Это позволяет нам записать, что p(w|uv) =p(w|uvt) и
p(w|uv)p(v|t)p(u|t)p(t) = p(w|uvt)p(uvt) =p(wuvt).
Остался лишь последний coup de grace — х связан с остальной частью сети через последовательное или расходящееся соединение по вершине и, а, значит, условно независим от остальных узлов при условии и. Итого получаем:
p(v|t)p(u|t)p(w|uv)p(x|u)p(t) =p(x|u)p(wuvt) =
= p(x|wuvt)p(wuvt) =p(xwuvt).
Суммирование теперь дает совместное распределение всех узлов, кроме элиминированного и:
^p(v|t)p(u|t)p(w|uv)p(x|u)p(t) = У~ p(xwuvt) = p(xwvt). йй
Однако стоит отметить, что это совместное распределение уже не раскладывается столь же удобно, как предыдущее; оно может и вовсе не раскладываться на произведение более простых распределений. На моральном графе это отражается дополнением множества соседей элиминированной вершины до полного подграфа (клики): таким образом, в дальнейшем с распределением вероятностей над этой кликой придется работать как с единым распределением. Итак, если элиминировать и из нашего примера, то в результате моральный граф будет выглядеть так, как показано на рис. 14.5.
При элиминации узла х мы работаем с распределениями вероятностей, в областях определения которых содержится х; иными словами, мы работаем с переменными-соседями х по моральному графу. А когда х уже элиминирована, вводим в рассмотрение новое распределение вероятностей, построенное над всеми бывшими соседями х; иными словами, мы замыкаем множество соседей х, т.е. дополняем его до полного графа. В графе при этом (рис. 14.5) могут появиться новые ребра. Последние указывают на то, что те распределения вероятностей, которые нам приходится рассматривать после элиминирования переменной, ранее не рассматривались (не были заданы). Их придется восстанавливать из начальных данных. Кроме того, новые ребра резко увеличивают размер областей определения этих распределений: в исходном моральном графе размер максимального полного подграфа (клики) был равен трем, а после элиминирования у стал равен четырем; именно размер клик морального графа отвечает за размер таблиц совместных вероятностей, которыми приходится оперировать.
Рис. 14.5. Моральный граф после элиминирования переменной и.
В общем, цель уже ясна: нужно постараться избегать добавления новых ребер при элиминировании переменных. На это и будет нацелен наш алгоритм.
Определение 14.4. Идеальной элиминирующей последовательностью для данной задачи маргинализации называется такая последовательность подлеэюагцих маргинализации булевских переменных, что при их элиминировании в этой последовательности ни разу ни одного ребра в моральный граф добавлено не будет.
Например, предположим, что мы хотим спроецировать исходные распределения вероятностей на {z} (вычислить p(z)). Тогда, если мы начнем элиминацию с и, это будет, как мы только что видели, далеко не лучшим выбором, особенно если учесть, что идеальная элиминирующая последовательность существует; например, таковой является последовательность х, у, w, u, t, v (на рис. 14.6 представлена элиминация булевских переменных по этой последовательности; картинку следует читать слева направо, сверху вниз).
Рис. 14.6. Идеальная элиминирующая последовательность.
Замечание. Неверно, что при работе с идеальной элимини- руюгцей последовательностью будет достаточно рассматривать только те распределения вероятностей, которые были заданы изначально. Например, в приведенной выше последовательности после элиминирования х, у и w для элиминирования и нужно рассматривать p(tuv). Как мы увидим ниже в предложении 14.1, на самом деле всякий полный подграф морального графа определяет набор пропозиций, совместное распределение вероятностей над которыми придется рассмотреть полностью.
Оптимальность выбранного пути ищем при помощи следующего критерия: мы хотим минимизировать максимальную длину цепочек, совместные вероятности над которыми встретятся нам по пути (можно было бы минимизировать суммарную длину, но фактически, как мы увидим чуть позже, это то же самое). Покажем, что идеальные элиминирующие последовательности — это все, что нам нужно, т.е. что на самом деле найти идеальную элиминирующую последовательность — это и значит минимизировать нашу целевую функцию.
Предложение 14.1.1. Еслихд, ..., х^ ..., xt — идеальная
элиминирующая последовательность, и множество соседей Xt образует полный подграф, то xt, X], ..., xt_], Xt+i, ..., Xi —- также идеальная элиминирующая последовательность. Такие вершины называются симплициальными.
Рассмотрим множество клик, которые появятся в моральном графе в процессе последовательной элиминации переменных по какой-либо последовательности. Оставим в нем только максимальные по включению элементы {выбросим клики, являющиеся подграфами других клик}. Тогда такие множества для любых идеальных элиминирующих последовательностей совпадают и представляют собой множество клик {максимальные полные подграфы} морального графа сети.
Доказательство. 1. Если мы начнем с элиминирования х^, новых ребер в моральном графе при этом не возникнет (так как во множестве соседей Xt и так любые два элемента соединены ребром). Рассмотрим теперь элиминацию какой-нибудь другой переменной Xj. Новое ребро после элиминации может возникнуть, только если у Xj были два соседа, не связанные ребром. Однако после элиминации Xi новых соседей ни у какой другой вершины не появилось (ребер не добавилось), поэтому множество соседей Xj осталось прежним.
Рассмотрим некоторую клику V морального графа. Пусть х — первая пропозиция из V, которая должна быть элиминирована в выбранной последовательности. Множество соседей х содержит все множество V \ {х}, поэтому цепочка, которую нужно рассматривать при элиминировании х, содержит всю клику х.
Предположим, что эта цепочка содержит и другие элементы, не входящие в клику. Значит, в нее входит некоторая переменная у, которая также была соседом х. Но элиминирующая последовательность идеальна — Y была связана со всеми другими соседями х, а это означает, что VU{Y} — полный подграф, и мы получили противоречие с максимальностью V.
С другой стороны, пусть W — некоторая клика, появляющаяся в процессе элиминирования. Поскольку новых ребер при элиминировании не добавляется, W должен быть полным подграфом исходного графа. Это значит, что W либо сам является кликой, либо лежит в некоторой клике, а во втором случае W просто не будет максимальным по включению элементом среди областей определения, так как всякая клика является областью определения одного из участвующих распределений вероятностей.
□
Из этого предложения можно сделать вывод о том, что элиминация по любой из идеальных элиминирующих последовательностей является оптимальной со сложностной точки зрения. Следовательно, для того чтобы максимально эффективно найти маргинальные вероятности данной вершины, достаточно найти любую идеальную элиминирующую последовательность, заканчивающуюся на этой вершине.
Итак, мы свели нашу исходную задачу к поиску идеальной элиминирующей последовательности. Чтобы решить эту задачу поиска, нам нужно ввести еще два понятия из теории графов, а уже в следующем параграфе мы вернемся в юдоль БСД.
Определение 14.5. Ненаправленный граф называется триангу- лярным, если у него существует идеальная элиминирующая последовательность.
Обозначим через Nbr(x) множество соседей вершины х, а через Fam(x) — множество соседей вместе с самой х: Fam(x) = Nbr(x)U{x}. Например, вершина симплициальна тогда и только тогда, когда Fam(x) — клика.
Если перейти на привычный язык теории графов, то триангуляр- ный граф — это такой граф, у которого каждый цикл длиной 4 или более разделен на меньшие циклы (т.е. в нем существуют напрямую со-
Рис. 14.7. Несоседние симплициальные вершины.
Рис. 14.8. Граф, не являющийся триангулярным.
единенные вершины). Легко видеть, что это действительно эквивалентно существованию идеальной элиминирующей последовательности. В самом деле, с одной стороны, идеальную элиминирующую последовательность найти легко: нужно просто удалять вершины, следя за тем, чтобы в процессе элиминации больших циклов последовательно элиминировать «крайние» вершины треугольников, на которые эти циклы разбиты (утверждение наглядно очевидное, но при формальной записи требующее долгих разбирательств, которые мы опустим, так как нигде и никогда в дальнейшем не будем пользоваться этой переформулиров-
кой на языке теории графов). С другой стороны, у графа, для которого это условие не выполнено, идеальной элиминирующей последовательности не может существовать. Рассмотрим цикл длины по крайней мере 4, для которого ни одна из вершин не соединена ни с какой другой, кроме своих соседей в цикле. Тогда, какую бы вершину из этого цикла мы ни элиминировали первой, ее соседи не будут связаны, и придется вводить дополнительное ребро.
Следует еще отметить, что слово «триангулярный» может ввести в заблуждение. Например, граф, изображенный на рис. 14.8, не является триангулярным; его можно сделать триангулярным, добавив ребро, например так, как на рис. 14.8 (справа).
Теорема 14.2. У неполного триангулярного графа, содержащего по крайней мере три вершины, всегда есть две несоседних сим- плициалъных вершины (см. рис. 14.7).
Доказательство. Доказывать будем по индукции. Ваза индукции — случай трех вершин — очевидна: у неполного графа из трех вершин несоседние симплициальные вершины — это просто вершины степени 1 (или 0, если граф несвязный).
Пусть теперь утверждение теоремы верно для всех графов с менее чем п вершинами. Рассмотрим граф Gen вершинами и его идеальную элиминирующую последовательность. Первая из вершин этой последовательности (обозначим ее через х), очевидно, симплициальна. Рассмотрим граф G', который получается из G удалением вершины х. G', очевидно, триангулярен.
Предположим, что утверждение теоремы неверно. Пусть каждая симплициальная вершина G' либо была симплициальной и в G, либо лежит в Nbr(x). Т.к. G не является полным, в нем должны быть вершины, не являющиеся соседями х. Если G' полный, то подойдет любая из таких вершин. Если же G' не полный, то в нем есть две несоседние симплициальные вершины. Но если бы они обе были соседями х, то в G' они были бы соседями (по симплициальности х). Таким образом, мы пришли к противоречию. □
Следствие 14.2.1. У триангулярного графа с по крайней мере двумя вершинами всегда есть две симплициальные вершины.
Доказательство. Применим теорему 14.2 и отметим, что у графа с двумя вершинами обе неизбежно симплициальны. □
Следствие 14.2.2. В триангулярном графе для каждой вершины. х существует идеальная элиминирующая последовательность, заканчивающаяся на х.
Доказательство. Поскольку у каждого триангулярного графа есть по меньшей мере две симплициальные вершины, мы можем на каждом шаге элиминировать не совпадающую с х симплициаль- ную вершину. То, что при элиминировании симплициальной вершины граф остается триангулярным, следует из первого пункта предложения 14.1. □
Следствие 14.2.3. Ненаправленный граф триангулярен тогда и только тогда, когда все его вершины можно элиминировать, последовательно элиминируя симплициальные вершины.
Доказательство. Из следствия 14.2.2 ясно, что с триангулярным графом такую процедуру осуществить можно, а из существования такой процедуры следует, что существует идеальная элиминирующая последовательность (совпадающая с этой последовательностью симпли- циальных вершин). □
Подведем краткий итог. Мы рассмотрели понятия доменного и морального графов, а также идеальной элиминирующей последовательности, и поняли, что даже моральный граф, в котором соедининены родители каждого сына, отнюдь не гарантирует наличие идеальной элиминирующей последовательности. Для этого его нужно сначала триангулировать. О триангуляции мы поговорим в § 14.11, а сейчас обратимся к еще двум понятиям, ключевым для описания алгоритмов пропагации.
Дерево смежности и дерево сочленений
Рассмотрим ненаправленный граф G и множество его клик Clique(G). Дерево смежности (join tree) — это дерево, вершинами которого служат элементы Clique(G) (клики графа G), а ребра организованы так, что для любых двух вершин дерева смежности Ci, С2 любая вершина на пути от Ci к С2 содержит их пересечение Ci Г) С2.
На рис. 14.9 изображено дерево смежности, соответствующее моральному графу нашего примера. Мы снабдили его так называемыми сепараторами, которые обозначены вершинами в виде прямоугольни-
Рис. 14.9. Дерево смежности для морального графа из рис. 14.4.
ков. Сепараторы добавляются на каждое ребро и содержат пересечение клик, соответствующих крайним вершинам этого ребра (они потребуются нам чуть позже). Дерево смежности, вообще говоря, вовсе не обязано существовать. Для наших целей потребуется всего одна, но важная теорема, которая как раз и дает необходимые и достаточные условия существования дерева смежности.
Теорема 14.3. Ненаправленной граф триангулярен тогда и только тогда, когда для него существует дерево смежности.
Доказательство. Докажем сначала, что из существования дерева смежности вытекает триангулируемость. Рассмотрим дерево смежности и его лист С — клику с одним соседом (обозначим соседа через D). Каждая вершина, входящая в клику С и еще хоть в какую-нибудь клику исходного графа, должна входить также и в D (так как все пути к С проходят через D). Следовательно, в С есть вершина х, не лежащая ни в какой другой клике, — иначе С была бы подмножеством D. Тогда Fam(x) — полный подграф (если бы он не был полным, можно было бы рассмотреть соседа х, не лежащего в С, и дополнить их до
несовпадающей с С клики, содержащей х). Это значит, что х симплици- альна, и, таким образом, ее можно элиминировать, а затем повторить рассуждение, получив в конечном счете идеальную элиминирующую последовательность.
Теперь докажем обратное следствие. Для этого опишем алгоритм, позволяющий по триангулярному графу строить его дерево смежности. Итак, предположим, что у нас есть триангулярный граф. По теореме 14.2, у него есть симплициальная вершина. Рассмотрим клику С], содержащую эту вершину. Элиминируем из нее все переменные, множества соседей которых полностью лежат в этой же клике (например, сама симплициальная вершина будет такой переменной). Эта клика будет вершиной дерева смежности, а те вершины, которые не будут элиминированы (т.е. те, у которых есть соседи вне этой клики), войдут в сепаратор Si, отделяющий выделенную нами вершину от остального дерева. Затем выберем еще одну симплициальную вершину (граф после элиминации остается триангулярным), рассмотрим содержащую ее клику С2 и повторим процесс до тех пор, пока все вершины не будут элиминированы. Соединим каждый сепаратор St с какой-либо кликой Cj, j > к, в которой отвечающее St множество вершин содержится полностью (это всегда можно сделать, так как St — сам клика, и если какая-то его вершина лежит в Cj, то и весь Si лежит в Cj). Процесс построения дерева смежности из морального графа нашего примера показан на рис. 14.10 (следующим после изображенных шагом будет уже собственно построение дерева смежности, которое показано на рис. 14.9).
Осталось доказать, что результат этого процесса — дерево смежности. Во-первых, отметим, что у каждого сепаратора St, кроме той клики С<, которая его породила, есть еще только одна клика Cj, с которой он в результате будет соединен. Отсюда следует, что полученный граф — дерево. Для доказательства того, что выполняется свойство дерева смежности, рассмотрим клики Ci и Cj, которые пересекаются по множеству вершин С. Рассмотрим вершину х е С. Так как она не была элиминирована из Ci, то вошла в сепаратор Sf, это значит, что есть клика Ck, к > г, в которую входит х, а по произвольности х — и все С. Теперь можно просто повторить рассуждение и по индукции доказать, что С содержится во всех сепараторах на пути от Ci до Cj (путь существует и он — единственный, потому что граф — дерево).
□
Рис. 14.10. Построение дерева смежности из триангулярного графа.
Однако дерево смежности — это еще не совсем тот объект, который нам нужен для разработки алгоритмов пропагации. На самом деле, нам потребуется так называемое дерево сочленений. Это не что иное, как все то же самое дерево смежности, но снабженное некоторой дополнительной структурой. Дадим точное определение:
Определение 14.6. Дерево сочленений морального графа — это его дерево смежности, где каждой вершине дополнительно приписаны тензоры условных вероятностей исходной ВСД, области определения которых полностью содержатся в соответствующей клике морального графа, а каждый из сепараторов содержит
Рис. 14.11. Дерево сочленений для морального графа из рис. 14.4.
два почтовых ящика, предназначенных для передачи пересчитанных тензоров условных вероятностей в одну и другую сторону.
С точки зрения программной реализации и реального математического содержания дерево сочленений, конечно, ничем не отличается от дерева смежности — дополнительные структуры вводятся исключительно для удобства и наглядности выполнения алгоритмов.
Дерево сочленений нашей БСД выглядит так, как показано на рис. 14.11. Однако в дальнейшем, чтобы не загромождать рисунки, мы не будем выписывать тензоры условных вероятностей.
Построение дерева сочлененийи триангуляция
Обратимся к алгоритмической стороне построения дерева сочленений (или, что с точки зрения построения эквивалентно, дерева смежности). Сразу следует разделить два принципиально различных случая. Первый случай, когда моральный граф сразу получился триангуляр-
ным, мы разберем здесь; сложностей он не представляет. Ситуация, когда моральный граф нужно перед построением дерева сочленений (или параллельно этому процессу) триангулировать, значительно более сложная, и мы лишь бегло коснемся некоторых способов решения возникающих задач.
Главное преимущество, которое предоставляет триангулярный моральный граф, — это возможность найти в нем так называемую идеальную нумерацию вершин. Чтобы дать определение, вспомним введенное нами в § 8.4 понятие семейства Fam некоторого множества вершин графа. Для ненаправленных графов (каковыми являются интересующие нас в данный момент моральные графы) семейство Fam(X) — просто множество X, объединенное со всеми своими соседями (со всеми вершинами, соединенными ребром хотя бы с одной из вершин X). Нумерация вершин — присвоение каждой вершине некоторого номера (если быть формальным, то — биективное отображение множества вершин графа V на начальный отрезок натурального ряда {!,..., |V|}); мы будем обычно обозначать нумерации буквой о.
Определение 14.7. Фиксируем граф G = (V, Е). Нумерация
a:{1,...,|V|}^V
называется идеальной, если для всякого г мнооюество вершин
Fam(ff(i)) П сг({1,..., г})
индуцирует полный подграф G.
Иными словами, идеальная нумерация — это такая нумерация, для которой на каждом шаге семейство текущей вершины представляет собой клику, если учитывать в нем только уже пронумерованные вершины. Пример идеальной нумерации д ля нашего (триангулярного) морального графа представлен на рис. 14.12. Легко видеть, что множества
Fam(a(1)) П о(1) = {х},Fam(o(3)) П а({1,..., 3}) = {u,t},Fam(a(5)) А а({1,... ,5}) = {u,v, w},Fam(o(7)) А ст({1,... ,7}) = {v,z}Fam(a(1)) П о(1) = {х},Fam(o(3)) П а({1,..., 3}) = {u,t},Fam(a(5)) А а({1,... ,5}) = {u,v, w},Fam(o(7)) А ст({1,... ,7}) = {v,z}Fam(o(2)) П ст({1,2}) = {х,и},Fam(a(4))na({l,...,4}) ={u,t,v},Fam(o(6)) П ff({1,... ,6}) = {w,y},Fam(o(2)) П ст({1,2}) = {х,и},Fam(a(4))na({l,...,4}) ={u,t,v},Fam(o(6)) П ff({1,... ,6}) = {w,y},
Fam(a(1)) П о(1) = {х},
Fam(o(3)) П а({1,..., 3}) = {u,t},
Fam(a(5)) А а({1,... ,5}) = {u,v, w},
Fam(o(7)) А ст({1,... ,7}) = {v,z}
Fam(a(1)) П о(1) = {х},
Fam(o(3)) П а({1,..., 3}) = {u,t},
Fam(a(5)) А а({1,... ,5}) = {u,v, w},
Fam(o(7)) А ст({1,... ,7}) = {v,z}
Fam(o(2)) П ст({1,2}) = {х,и},
Fam(a(4))na({l,...,4}) ={u,t,v},
Fam(o(6)) П ff({1,... ,6}) = {w,y},
Fam(o(2)) П ст({1,2}) = {х,и},
Fam(a(4))na({l,...,4}) ={u,t,v},
Fam(o(6)) П ff({1,... ,6}) = {w,y},
индуцируют клики в моральном графе. Справедливости ради отметим, что для нашего примера найти неидеалъную нумерацию было бы до-
Рис. 14.12. Идеальная нумерация вершин морального графа.
вольно сложно: для этого нужно, чтобы и t, и w получили меньшие номера, чем и или v.
Идеальная нумерация позволяет с легкостью строить дерево сочленений (см. ниже), но как найти саму идеальную нумерацию? Оказывается, что цели достигает простейший «жадный» алгоритм; этот алгоритм в теории ВСД обычно называется MCS (maximum cardinality search). Нужно просто на каждом шаге искать вершину, для которой мощность множества уже пронумерованных соседей максимальна. Схема алгоритма представлена на рис. 14.14. Хотя алгоритм очень прост, доказательство того, что он корректно работает, достаточно сложно и объемно. Поэтому мы не приводим его здесь, а отсылаем читателя к [324,339].
Теперь, когда у нас есть идеальная нумерация, можно столь же простым алгоритмом получить дерево смежности, а значит, и дерево сочленений. Алгоритм, изображенный на рис. 14.15, постепенно строит множество клик С, которое содержит все максимальные полные подграфы исходного графа.
Дерево смежности теперь можно строить по следующему принципу: соединять очередную добавленную в дерево клику Ct и Cj с максимальным j из тех, для которых вершина с номером j соединена с вершиной, имеющей номер г в моральном графе (разумеется, относительно той самой идеальной нумерации, которая строится в алгоритме на рис. 14.15 параллельно с построением дерева смежности). Это также отражено в алгоритме, где постепенно строится множество вершин дерева смежности Е (рис. 14.15). Из того, что Fam(o(i)) П а({1,...,1}) является полным подграфом, следует и нужное нам для построения дерева смежности свойство этой последовательности: если Ct = {o-(ii),ff()2),---.^(is),ff(i)}> где h < h < ... < is, TO
CtHjCkC Ck.k<i
Это свойство гарантирует, что пересечение любых двух клик содержится во всех кликах на пути от одной из них к другой (основное свойство дерева смежности).
Результат этого процесса является не вполне деревом смежности — в нем будут лишние, немаксимальные клики. Однако если удалить те клики, которые содержатся хотя бы в одном из своих соседей, и соединить их соседей напрямую, то полученное дерево будет деревом смежности (доказательство этого факта, очевидно, опирается на доказательство того, что maximum cardinality search дает идеальную нумерацию, и тоже не будет приведено здесь). Этот процесс мы также включили в изображенную на рис. 14.15 схему алгоритма. А на рис. 14.13 изображен результат применения этого алгоритма к нашему моральному графу (более темные — те клики, которые должны быть удалены на последнем шаге алгоритма). Чтобы подчеркнуть неединственность многих рассматриваемых понятий, мы выбрали такую идеальную нумерацию, что в результате получилось не то же самое дерево смежности, что мы рассматривали раньше; однако это дерево — тоже дерево смежности для морального графа с рис. 14.4.
Рис. 14.13. Построение дерева сочленений.
Для всех г от 1 до |V|:
найти еще не пронумерованную вершину х, для которой |Fam(x) П о( 1,..., i — 1 )| максимальна (если таких вершин несколько, выбрать любую произвольным образом);
присвоить ей номер г, т.е. положить а(г) = х.
Выдать полученную нумерацию.
Рис. 14.14. Поиск идеальной нумерации в триангулярном графе.
Все вышеописанные алгоритмы работают, если граф триангуляр- ный. Что делать, если граф не триангулярен? Ответ на этот вопрос, казалось бы, прост — триангулировать. Но как это делать?
Простейший алгоритм триангуляции представлен на рис. 14.16. Это — очередная вариация MGS, опирающаяся на идеальную нумерацию. Сначала нужно построить идеальную нумерацию алгоритмом, приведенным на рис. 14.14.’ Затем нужно поочередно добавлять ребра так, как указано на рис. 14.16. В случае, если граф уже триангулярен, множество добавляемых ребер на каждом шаге будет пусто. А если граф не триангулярен, то на каждом шаге подграф, индуцируемый
’Полученная нумерация, разумеется, не будет идеальной, так как идеальных нумераций для нетриангулярных графов не существует, — речь идет о том, чтобы запустить алгоритм и получить некоторую нумерацию вершин на выходе.
С = 0.
Е = 0.
Для всех г от 1 до |V|:
найти еще не пронумерованную вершину х, для которой |Fam(x) П а(1,... ,г — 1 )| максимальна (если таких вершин несколько, выбрать любую произвольным образом);
присвоить ей номер г, т.е. положить ст(г) = х;
Ci = {Fam(a(i))na({1,...,i})};
C = CU[Ci};
Е = Е U (Сь Cj), где j = тахк<и1>к)еЕ к.
Для всех г от 1 до |V|, если Ci полностью содержится в одном из своих соседей (Э) : Ci С С, Л (Ci, С,) € Е), то удалить Ci из С и соединить соседей Ci напрямую.
Выдать граф (С.Е).
Рис. 14.15. Построение дерева смежности.
Построить идеальную нумерацию а при помощи алгоритма с рис. 14.14.
Для всех г от |V| до 1:
(а) Е = Еи{(х,у) |
|х,у € Fam(a(i)J П ст({1,... ,г—1}, (х,у) £ Е}.
Выдать граф (У,Е).
Рис. 14.16. Простейший алгоритм триангуляции.
Fam(a(i)) П а({1,... ,1}), будет дополнен до полного подграфа, и в результате мы получим триангулярный граф с идеальной нумерацией а.
Этого алгоритма оказывается достаточно для некоторых практических нужд, но на самом деле он далеко не всегда дает хорошие результаты. «Хорошие» в данном случае означает, что алгоритм триангуляции должен добавлять как можно меньше ребер в моральный граф, ведь каждое добавленное ребро — это некоторое условие независимости, от которого приходится отказаться, а в результате — больший размер таблиц вероятностей, которые приходится рассматривать при пропагации. Приведенный на рис. 14.14 алгоритм не всегда дает оптимальные результаты (на рис. 14.17, а изображен исходный граф, на рис. 14.17, б —-
Рис. 14.17. Неидеальная работа алгоритма триангуляции.
один из вариантов оптимальной триангуляции, а на рис. 14.17, в — результат применения используемого нами алгоритма триангуляции).
В связи с этим возникает задача поиска оптимальной триангуляции. Однако эта задача вычислительно сложна — еще в 1981 г. было доказано, что она NP-полна [363]. Поэтому обычно рассматривают задачу не оптимальной, а лшнилюлъной триангуляции. Минимальная триангуляция — это триангуляция, при удалении любого ребра из которой она перестает быть минимальной. Например, результат применения алгоритма с рис. 14.16 не минимален — если на рис. 14.17, в удалить ребро между вершинами 2 и 3, полученный граф все еще будет триангуляр- ным.
Минимальная триангуляция может быть весьма и весьма неоптимальной. Например, на рис. 14.17, г изображена возможная минимальная триангуляция графа 14.17, а, которая имеет целых 5 ребер, а оптимальная — всего одно. Однако минимальная триангуляция — это лучше, чем ничего, и алгоритмы ее поиска активно исследовались; мы не будем останавливаться на них подробно, а отошлем читателя к [144,145,198,261,324] и другим источникам.
Заключение
Итак, в этой главе мы ввели определения основных понятий теории байесовских сетей доверия, а также фактически уже описали один из алгоритмов, который может использоваться при вычислениях в этих сетях — взять большое распределение вероятностей и обновлять его всякий раз, когда получаем свидетельство. Однако такой алгоритм нельзя назвать удовлетворительным — он априори экспоненциален, и реализовать его возможно лишь для очень небольших ВСД, а реальные примеры требуют построения БСД с сотнями узлов.
В следующей главе мы рассмотрим алгоритм, который действительно может получить (и получает) реальное воплощение; он основан на идее обмена сообщениями между узлами, причем сообщения строятся так, чтобы по возможности исключить обмен избыточной информацией.
Глава 15
БСД: алгоритмы пропагации
Путь по числам? — Приведет нас в Рим он. (Все пути ума ведут туда!)
В. Я. Брюсов
Введение
В этом разделе мы наконец-то дадим описание алгоритма первичной пропагации, т.е. процесса маргинализации всех переменных, кроме одной, вероятность которой мы и рассчитываем посредством этого процесса. В теории БСД этот алгоритм соответствует одновременно алгоритмам априорного и апостериорного вывода из теории АБС: он может подсчитывать маргинальные вероятности как в изначальной конфигурации, так и после внесения свидетельств. Отметим, что существуют и другие алгоритмы, достигающие этой цели; мы избрали изложенный здесь благодаря простоте и высокой скорости работы (хотя алгоритм в общем случае экспоненциален, он весьма хорошо работает на конкретных примерах).
Нам потребуется дерево сочленений морального графа исходной байесовской сети, снабженное введенными в предыдущей главе сепараторами, а точнее — даже не сепараторами, а почтовыми ящиками — сепараторами вместе с двумя ячейками, в которые можно класть те или иные потенциалы, передавая таким образом информацию от одних узлов дерева сочленений к другим.
Хочется подчеркнуть, что все эти сепараторы и почтовые ящики вводятся исключительно для удобства и простоты понимания происходящих процессов. В реальном программном приложении они были бы просто атрибутами ребра графа. А для нас они удобны еще и для того, чтобы в процессе вывода не пришлось одно и то же ребро помечать дважды, в двух направлениях.
В этой главе мы подробно опишем алгоритмы первичной пропагации и пропагации свидетельств в байесовских сетях доверия, приведем численные примеры и покажем схемы вычислений и передачи сообщений в данных алгоритмах. Кроме того, мы обратимся еще к одному аппарату представления знаний — марковским сетям.
Прежде чем перейти к описанию конкретного алгоритма пропагации, опишем кратко идеи этого и других алгоритмов без формул.
Алгоритмы пропагации:основные шаги вкратце
Идеологически оба процесса пропагации очень просты. Процесс первичной пропагации — всего лишь получение маргинального распределения над одной булевской переменной (аргументным местом) из вероятностного распределения над строкой из нескольких булевских переменных, а процесс пропагации свидетельств — исключение исходов, которые несовместимы с поступившим свидетельством, и нормировка вероятностей оставшихся исходов с тем, чтобы эти вероятности в сумме снова давали единицу. Однако описание соответствующих алгоритмов для БСД достаточно тяжело для восприятия. Причина затруднений — большое количество новых математических объектов и необходимость учета колоссального множества несущественных для теории вероятности, но алгоритмически (или вычислительно) исключительно важных деталей. Для облегчения понимания мы коротко опишем ниже основные шаги алгоритмов пропагации.
Определенной базой для дальнейших рассуждений является чисто эмпирический факт: алгоритмы пропагации хорошо работают и просто описываются на так называемых односвязных байесовских сетях доверия или, что то же самое, на сетях, которые представимы в виде полидерева. Отличительной особенностью таких сетей (полидеревьев) является отсутствие в них циклов. Речь идет даже не о направленных циклах, которые в БСД запрещены по определению, — камнем преткновения являются ненаправленные, вполне допустимые в БСД циклы.
От них перед процессом вывода требуется избавиться, но не потерять при этом информации и не привнеся в ВФЗ на основе байесовской сети доверия ничего нового. Допускаются лишь определенные струк-
турные преобразования и расчеты новых таблиц-тензоров условной вероятности.
Если решается одна отдельная задача «вручную», то вершины цикла либо означивают так, чтобы он разорвался (набор таких вершин называют cut set — секущее множество), и процессы пропагации проводят в нескольких сетях, соответствующих каждому из означиваний вершин из секущего множества. Альтернативой является склеивание нескольких вершин в одну (в логико-вероятностном подходе мы не рассматриваем небинарные вершины, но общая теория ВСД допускает сети с многозначными вершинами).
Суть следующего алгоритма и состоит в том, чтобы автоматически (иногда с использованием некоторых эвристических правил, которые делают процесс преобразований более быстрым или результат — хорошим) трансформировать исходную ВСД в так называемое дерево сочленений, которое никаких циклов уже содержать не будет.
Первым шагом алгоритма является морализация направленного графа исходной ВСД. Морализация сводится к тому, чтобы соединить ненаправленной связью попарно всех родителей для каждой из вершин. Морализация состоит в том, что все родители одной и той же вершины должны «состоять в браке», и неважно, что их может быть 1, 2, 3 или больше... После морализации все связи в графе — и новые и старые — далее рассматриваются как ненаправленные. В результате этого шага у нас получается моральный граф.
Вторым шагом алгоритма является триангуляция морального графа. Суть триангуляции состоит в том, чтобы в исходном моральном графе разбить всякий цикл с числом вершин более четырех на «треугольники» (triangles), т.е. на циклы с тремя вершинами. Заметьте, что эту операцию можно произвести несколькими разными способами и получить, в конце концов, несколько возможных разбиений. На самом деле обычно требуется, чтобы разбиение было в определенном смысле оптимально или субоптимально; и, как правило, существующее программное обеспечение реализует указанное требование с помощью некоторых эвристических алгоритмов. Но сейчас нам важно, что в получающемся графе в любом цикле с числом вершин, ббльшим или равным четырем, есть хорда (ребро, соединяющее две несмежные вершины). Такой граф называется триангулированнъи*, или триангу- лярным.
Третьим шагом алгоритма является построение из полученного триангулярного графа другого графа, который называется деревом смежности и уже никаких циклов не содержит. В триангулярном графе выделяются все клики (clique; не путать с click — это о компьютерных мышах, а не о графах). Клика в графе — это набор вершин, которые соединены всеми возможными ребрами; кроме того, такой набор «максимален», т.е. не накрыт более широким набором с тем же свойством наибольшего возможного числа связей. В новом графе — упоминавшемся дереве смежности — вершиной становится строка (конъюнкт) булевских переменных, входящих в одну и ту же клику триангулярного графа. Сколько в триангулярном графе клик, столько вершин в графе смежности.
Четвертым шагом является задание ребер на графе смежности. Они соединяют вершины графа, в конъюнктах которых имеются общие булевские переменные. Однако результатом шага должен стать не граф смежности, а дерево смежности. Часть ребер из графа смежности должны быть удалены так, чтобы ликвидировать все циклы, но оставить связное дерево смежности. Кроме того, любой путь между двумя вершинами должен содержать в своих внутренних вершинах и сепараторах атомарные пропозиции, общие для вершин в обоих концах соединяющего их пути, а вершины, содержащие хоят бы одну совпадающую булевскую переменную, должны остаться соединенными путем. И в этой операции также существует определенная степень свободы для выбора, а выбор может быть более хорошим или менее хорошим с точки зрения алгоритма распространения сообщений, который позже будет выполняться в дереве смежности.
Пятым шагом, скорее техническим и вспомогательным, является приписывание ребрам дерева смежности весов — конъюнктов булевских переменных, которые состоят из общих переменных двух узлов, связанных ребром. Таким ребрам приписываются веса, которые еще называются сепараторами, и под этим именем они интенсивно участвуют в описаниях алгоритмов пропагации.
Шестым шагом является размещение наборов потенциалов (тензоров совместных вероятностей и/или условных вероятностей из исходного набора в задании ВСД) в каждой вершине дерева смежности. Тензор (возможно, не один) приписывается вершине, если множество атомарных пропозиций, над которыми построены цепочки аргументных мест этого тензора — и до, и после вертикальной черты у тензоров условной вероятности, — является подмножеством множества атомарных пропозиций в рассматриваемой вершине. Результатом этого шага станет дерево сочленений.
Седьмым шагом уже можно выполнять собственно алгоритмы пропагации (belief updating, или belief propagation) в получившейся структуре — дереве сочленений (оно без циклов — ради их элиминации таким и строилось) с наборами тензоров в вершинах и сепараторами на ребрах.
В тексте предыдущей главы как раз содержались подробное описание и свойства шагов 1-6, а настоящая глава посвящена действиям на шаге 7.
Алгоритм первичной пропагации
Итак, пусть мы хотим, как и в самом начале, вычислить вероятность p(z). Для этого запускаем процесс сбора сведений (collecting evidence). Сначала нужно найти вершину дерева сочленений, т.е. клику (любую), содержащую z. В данном случае такая клика одна — это {v, z}. Теперь этажлика становится временным корнем дерева сочленений, а осталь- нншег вершины, начиная с листьев, посылают к временному корню сообщения, в которых записан результат маргинализации переменных, не содержащихся в ближайшем сепараторе (напомним, что маргинализация некоторого набора переменных — это всего лишь суммирование по всем остальным переменным). На рис. 15.1 изображены первых два шага алгоритма пропагации. На первом шаге листья дерева передают информацию своим родителям. На втором — родители передают ее еще выше, причем узел начинает маргинализацию и передачу результата наверх, только после того, как получит снизу результаты от всех сво-
Рис. 15.1. Первые два шага алгоритма первичной пропагации.
их потомков. Это и позволяет обеспечить идеальную элиминирующую последовательность.
На третьем шаге вершина {t,u,v} получает уже готовые потенциалы (распределения вероятностей) — 52^р(х|й) и 22tvP(w|Civ), а затем проводит маргинализацию v в полученном совместном распределении вероятностей p(tuv) (отметим, что в исходной сети это распределение задано не было, и выделилось оно из-за того, что эта клика появилась в моральном графе). Затем наверх уходит распределение v, и на последнем шаге из потенциала (pz = p(z|v) выделяется интересующее нас распределение z.
Проиллюстрируем эти рассуждения конкретными вычислениями для нашего компьютерного примера:
Первый шаг алгоритма. Листья дерева передают наверх следующие результаты маргинализации:
>={1.1}.>={1.1}.< 2Lp(y|w),X.p(y|w). 89
>={1.1}.
>={1.1}.
* 5Lp(x|u),£2р№) >* 5Lp(x|u),£2р№) >= {1.1}.= {1.1}.
* 5Lp(x|u),£2р№) >
* 5Lp(x|u),£2р№) >
= {1.1}.
= {1.1}.
Получились единицы (единичные потенциалы). Этого следовало ожидать, и об этом мы поговорим в следующем параграфе. Сейчас же отметим, что в данном случае результат был бы отличен от единиц, только если бы участвующим в этом вычислении узлам было присвоено некоторое означивание (в сеть поступило бы свидетельство).
Второй шаг алгоритма. Рассмотрим распределение вероятностей p(w|uv) и суммируем его по w. Как несложно убедиться, результатом опять будет набор единиц — единичный потенциал {1,1,1,1} (их четыре, потому что возможных означиваний u.v тоже четыре).
Третий шаг алгоритма. Рассмотрим совместное распределение вероятностей p(tfiv) и маргинализируем из него t и и. Это распределение получается перемножением трех исходных: p(v|t), p(fi|t) и p(t). Итого имеем (сначала несколько упростим суммирование за счет того же эффекта, что сыграл на нас на предыдущих шагах алгоритма):
< ^p(t)p(v|t)p№|t),^p(t)p(v|t)p^
„ й,1й,1
= {0.01 • 0.1 + 0.99 • 0.001, 0.01 • 0.9 + 0.99 • 0.999} =
= {0.00199,0.99801}.
Четвертый шаг алгоритма. На последнем шаге мы рассматриваем распределение вероятностей p(z|v) и выделяем из него p(z) на основании полученного из предыдущего шага распределения p(v):
I к-I к-{p(z),p(z}} = < ^2p($)p(z|v),^2p(v)p(z|v)
I к-
I к-
о
= {0.00199 • 0.99 + 0.99801 ■ 0.001, 0.00199 • 0.01 + 0.99801 • 0.999} =
= {0.00296811,0.99703189}.
Схема вычислений, проводимых в этом примере, представлена на рис. 15.3 слева.
Теперь, увидев, как все это работает на конкретном примере, можно перейти к формальному определению алгоритма пропагации. Но прежде отметим два момента. Во-первых, этот алгоритм подходит не только для первичной пропагации, но и для пропагации в сети, куда уже были добавлены свидетельства. В этом случае в алгоритме ровным счетом ничего не изменится — просто результат маргинализации будет другим. Во-вторых, обращаем ваше внимание на то, что в алгоритме сообщениями, передающимися от одного узла к другому, являются не единичные распределения вероятностей — произведения поступивших сообщений, а множества распределений вероятностей. Это позволит нам в следующем параграфе провести некоторые упрощения, которые существенно ускорят вывод и позволят во многих случаях обходиться без перемножения распределений.
Итак, алгоритм первичной пропагации. Фактически, он состоит в повторении одного и того же шага — шага передачи сообщения. Предположим, что в моральном графе есть некоторая клика С, которой соответствует набор распределений вероятностей Ч'с, а у нее — соседний сепаратор S. Предположим также, что остальные соседи С — Si,..., S^ — уже получили сообщения ^^ от своих других соседей, т.е. во входящих почтовых ящиках Si,..., Sk уже лежат пересчитанные и готовые к употреблению тензоры совместных и/или условных вероятностей. Назовем такую ситуацию -условием передачи сообщения. Тогда С должна передать сообщение к S, причем это сообщение представляет собой множество распределений вероятностей, в которых проведено суммирование
по всем переменным, кроме переменных из S. После этого шага алгоритма направление от С к S считается включенным (triggered).
Особым случаем является случай временного корня дерева сочленений (т.е. узла дерева сочленений, содержащего тот тензор р(х|...), для которого мы хотим вычислить маргинальную вероятность р(х)). Даже если этот узел являлся листом до того, как стал корнем, никаких вычислений в нем производить не нужно, пока все входящие почтовые ящики не окажутся заполнены. Как только это произойдет, временный корень вычисляет нужную вероятность, и на этом процесс сбора сведений (collecting evidence) считается завершенным.
Весь алгоритм заключается в том, чтобы на каждом шаге посылать сообщения вдоль еще не включенных направлений. На самом деле это означает, что на первом шаге алгоритма сообщения пошлют листья дерева — вершины с одним соседом, так как их множество «других» соседей для них пусто. Затем сообщения положат в описанные выше «почтовые ящики» вершины следующего уровня, и т.д. Когда процесс передачи сообщений дойдет до корня дерева, условие для него будет выполнено (все возможные направления к корню будут уже использованы для передачи сообщений), и он сможет рассчитать интересующие нас маргинальные вероятности.
Затем можно начать (вполне возможна вариация алгоритма, в которой этого не происходит) процесс распространения свидетельств (propagating evidence). Этот процесс проходит точно так же и подчиняется тому же условию передачи сообщений (таким образом, в программной реализации передачи сообщений в узле ничего менять будет не нужно). Но при этом условие, хотя формально и не изменится, но будет работать несколько иначе, чем на шаге сбора сведений. Предположим, что в узел С на фазе распространения свидетельств поступил (сверху, от временного корня дерева) некий пересчитанный тензор. Тогда все почтовые ящики, входящие в этот узел, окажутся заполненными (до сих пор были заполнены все, кроме одного, приходящего сверху), и теперь для каждого исходящего почтового ящика, а не только для ведущего наверх, выполнено условие передачи сообщений. Именно это и будет происходить — узел раздаст сообщения с пересчитанными тен-
зорами условных и совместных вероятностей вниз, по направлению к листьям.
Когда в каждом «почтовом ящике» окажется по сообщению, иными словами, когда по каждому из ребер дерева смежности пройдет сообщение, мы завершим работу алгоритма.
Важно отметить, что включенным в описанной выше ситуации считается именно ребро от С к S; здесь и проявляется то удобство введения сепараторов, которое мы отмечали раньше: на первом этапе будут отмечаться ребра от вершин к сепараторам в направлении от листев к корню, а затем наоборот — от корня к листьям; в любом случае условие остановки алгоритма —- момент, когда отмечены все ребра дерева смежности, т.е. когда ребра исходного графа использованы по два раза.
Теорема 15.1. Описанный выше алгоритм завершает работу.
Доказательство. Теорема утверждает, что алгоритм всегда сможет разослать сообщения в обоих направлениях по каждому ребру (так как это единственная предусмотренная ситуация, когда алгоритм завершается). Иными словами, не может оказаться так, что какие-то ребра еще не охвачены, а условия передачи сообщения не выполнены ни для одной из вершин, которые еще этого не сделали.
Предположим, что это не так, т.е. существует еще не включенное ребро, а условия передачи сообщения уже не позволяют передавать новые сообщения. Рассмотрим непустой подграф, получающийся из исходного дерева смежности выбрасыванием всех включенных ребер, а также какую-нибудь его компоненту связности. Эта компонента связности — дерево. Рассмотрим лист этого дерева. Тогда для клики, находящейся в этом листе, выполнены условия передачи сообщений. Получили противоречие. □
Итак, алгоритм заканчивает работу и делает именно то, что от него требуется: осуществляет как первичную пропагацию, так и пропага- цию свидетельств. В [237] это называется обновлением вероятностей (belief updating) — при любом изменении состояния байесовской сети можно запустить данный алгоритм, и все маргинальные вероятности будут рассчитаны. Обращаем отдельное внимание на то, что, хотя формально мы рассчитываем одну вероятность — ту, которую мы помещаем во временный корень дерева; на самом деле, побочным результатом алгоритма будет пересчет всех маргинальных вероятностей.
Рис. 15.2. Схема пропагации.
Слева — структура сообщений при означивании t у t; справа — то же, но аргументное место w получило означивание w.
Может показаться, что мы до сих пор вовсе не поговорили о пропагации свидетельств. И действительно, алгоритм никак не использовал факт присвоения означиваний каким-нибудь узлам. Но это и не важно! Если какой-то узел получил означивание, то, конечно, тензоры условных вероятностей изменятся: в них нужно будет отразить факт полученного свидетельства. Однако на сам алгоритм первичной пропагации это никакого влияния не окажет: он будет работать точно так же, просто использовать измененные тензоры условных вероятностей. Теоретическая база для того, как именно изменятся тензоры условных и совместных вероятностей, уже была дана в § 14.7, а здесь мы разберем численный пример, структура сообщений в котором графически
Рис. 15.3. Схема вычислений при пропагации.
Слева — схема вычислений без означиваний; справа — схема вычислений для ситуации, в которой аргументное место w получило означивание w.
показана на рис. 15.2 (справа); в нем аргументное место w получило означивание w (т.е. нам стало известно, что компьютер не загружается).
Пример 15.1. Пропагация в БСД при наличии свидетельств
Итак, предположим, что w получило означивание w; попытаемся вычислить, как и раньше, p(z), но уже со внесенным свидетельством. Так как цель не изменилась, то и последовательность шагов алгоритма будет следовать изложенной в § 15.3.
Первый шаг алгоритма. Листья дерева передают наверх следующие результаты маргинализации:
={1,1}.={1,1}.< X.p(y|w),^p(9|w) ►> 66-
={1,1}.
={1,1}.
У р(х|и),у р(х|и) I ={],]}.
На этом шаге нет никакой разницы, что и логично — ведь мы
суммировали по другим переменным, а не по w.
Второй шаг алгоритма. Теперь мы рассматриваем распределение вероятностей p(w|uv) и суммируем его по w. В примере без свидетельств результатом был набор единиц — единичный потенциал {1,1,1,1}. Однако теперь мы передаем наверх не ^^ptwluv), а 2LwP(^ Л w№v); нетривиальных вычислений пока производить не нужно, но результат уже не единичный:
У* p(w Л w|uv), У" р (w Л w|uv), У* p(w Л w|uv), У" р (w Л w|uv) j =
= {p(w|uv),p(w|uv),p(w|uv),pM = {0.02,0.25,0.9,0.95}.
Третий шаг алгоритма. Сначала рассмотрим совместное распределение вероятностей p(tu,v). Оно, как и ранее, получается перемножением трех исходных распределений: p(v|t), р(й|1) и p(t). Однако теперь, прежде чем маргинализировать t и й, нам нужно рассчитать p(tu,v|w). Для этого, по имеющемуся алгоритму, нужно иметь таблицу совместных вероятностей p(tu.vw) и воспользоваться формулой p(tuv|w) = ^^р. Затем нужно маргинализировать t и й. Пришедший снизу тензор условных вероятностей p(w|uv) предоставляет необходимую информацию, а условные независимости, вытекающие из структуры БСД, позволяют упростить вычисления (пользуемся тем, что p(w|u,vt) = p(w|uv)):
{p(v|w),p(v|w)}= <{p(v|w),p(v|w)}= <У" р (vut|w), У* р (vut|w) ntnt
{p(v|w),p(v|w)}= <
{p(v|w),p(v|w)}= <
L
p(vtitw) у- P(vutw) _ p(w) ’7- p(w) “
L
p(w|uv)p(vu.t) у P(w|uv)p(vut) _ p(w) ’2- p(w) I utntJ
= у p(w|u.v)p(v|t)p(u.|t)p(t) у фИр^^=
77p(w)’7rp(w)*
atatJ
_ Г 0.95 0.1 0.16 0.010.95 • 0.001 • 0.05 • 0.99 0.9 • 0.1 • 0.84 • 0.01
I 0.03346649...+0.03346649...+ 0.03346649... +
0.9 • 0.001 • 0.95 • 0.99 0.25 • 0.9 • 0.16 • 0.010.25 • 0.999 • 0.05 • 0.99 ,
+0.03346649...’0.03346649...+0.03346649...+
0.02 • 0.9 • 0.84 • 0.010.02 • 0.999 • 0.95 • 0.99 ) rA^no^ «a»,.^.,
0.03346649...0.03346649... J 1’
Итого получили тензор условных вероятностей p(v|w). Отметим, что в этом вычислении мы пользовались значением p(w); оно может быть получено из тензора p(w|fiv) по формуле
p(w) = У" p(w|uv)p(uv). us
Вообще говоря, очевидно, что в целях ускорения работы алгоритма значение р(Ё) нужно рассчитать один раз, запомнить его и далее им пользоваться. Значение р(Ё) можно получить, либо проведя предварительно априорный вывод (первичную пропагацию), либо (что еще лучше с точки зрения сложности) сделав это, как только появится вся необходимая информация: например, мы могли это сделать сейчас, на третьем шаге, но не могли на предыдущем (поскольку не знали распределения p(uw)). Каждый разработчик может принять собственное решение о том, какую вариацию алгоритма предпочесть в своей реализации.
Четвертый шаг алгоритма. На последнем шаге мы рассматриваем распределение вероятностей p(z|v Aw) и выделяем из него p(z|w) на основании полученного из предыдущего шага распределения p(vAw) (отметим, что мы пользуемся условными независимостями из структуры ВСД, в частности тем, что p(z|vw) = p(z|v)):
{p(z|w), p(z|w)} ={p(z|w), p(z|w)} =p(zw) p(zw)p(w) ’ p(w)p(zw) p(zw)p(w) ’ p(w)p(zvw) p(w)p(zvw) p(w)LLp(zvw)p(w)p(zvw)p(w)
{p(z|w), p(z|w)} =
{p(z|w), p(z|w)} =
p(zw) p(zw)p(w) ’ p(w)
p(zw) p(zw)p(w) ’ p(w)
p(zvw) p(w)
p(zvw) p(w)
L
L
p(zvw)p(w)
p(zvw)p(w)
p(z|v)p(v|w)p(w) у- p(z|v)p(v|w)p(w)p(w) ’^- p(w)
У р (z|v)p (v|w), У р (z|v)p (v|w)
= {0.99 • 0.0538292... + 0.001 • 0.94617078...,0.01 ■ 0.0538292... + 0.999 • 0.94617078...} =
= {0,054237..., 0,9457629...}.
Это и будет результатом вычислений. Отметим, что хотя на этом шаге мы подробно расписали вычисления, доказав их корректность, в реальной ситуации, разумеется, следовало бы просто воспользоваться формулой
{p(z|w),p(z|w)} = / £ p(z|v)p(v|w),£ p(z|v)p(v|w)t
Эта формула как раз и соответствует произведению тензоров условных вероятностей (произведению потенциалов), которое нужно вычислять по нашему алгоритму. Кроме того, отметим, что для этих вычислений знать p(w) уже не нужно; еще раз обращаем внимание на то, что все необходимое для вычислений в каждом узле в нем уже содержится либо приходит как сообщение из другого узла; дополнительная информация может использоваться в вариациях алгоритма (например, в варианте, когда сначала проводится априорный вывод, а затем полученные маргинальные вероятности используются при пропагации), но это не обязательно.
Схема вычислений, проводимых в этом примере, представлена на рис. 15.3 (справа).
В следующем параграфе мы поговорим о том, как сократить вычислительные требования к данному алгоритму.
Некоторые возможностиускорения алгоритма
Алгоритм, описанный в предыдущем параграфе, с точки зрения теории сложности довольно плох — экспоненциальные примеры к нему были построены неоднократно. Но и сам байесовский вывод — задача не простая, точнее говоря, NP-трудная (см. [166]). Более того, NP-сложен даже приближенный байесовский вывод [172], а Вакхус, Далмао и Пи-
Рис. 15.4. Иллюстрация к понятию бесплодного узла.
тасси связали задачу байесовского вывода даже с классом #Р, который считается еще более трудным, чем класс NP [139]. Следовательно, надеяться на простой и быстрый алгоритм не приходится, и в полный рост встает проблема снижения времени работы алгоритма в среднем, а также всевозможных эвристик, которые помогут его ускорить (оставляя, разумеется, худший случай экспоненциальным).
В этом параграфе мы рассмотрим две такие эвристики, которые основаны на двух понятиях: бесплодного -узла и уже знакомой нам d-разделимости.
Бесплодный узел (barren node) — узел, который и сам не получил означивания (т.е. не поступало свидетельства о нем), и ни один из его потомков означивания не получил. Так, если в нашем примере присвоить означивание переменной й, то бесплодными узлами останутся узлы х, у, z, w и v (рис. 15.4), а если присвоить означивание переменной w, то бесплодных узлов будет лишь три: х, у и z. Этот
случай в точности соответствует тем единицам, которые мы получали в численном примере, рассмотренном в предыдущем параграфе. Сумма вероятностей по означиваниям такого узла равна единице, и фактически его можно не рассматривать при пропагации вероятностей.
На языке алгоритма обмена сообщениями этот случай можно распознать так. Предположим, что на очередном шаге алгоритма нам нужно маргинализировать набор переменных V из некоторого набора тензоров условных вероятностей 4х (просуммировать по всем переменным, не входящим в V). Тогда бесплодному узлу в V будет соответствовать единственный тензор условных вероятностей вида р(х|...), в котором х £ V. В этом случае переменную х можно маргинализировать, просто исключив из множества содержащий ее тензор.
Это правило проясняет, почему мы хотели использовать для алгоритма набор тензоров условных вероятностей, а не единый тензор, представляющий собой их произведение: по произведению тензоров весьма трудно было бы понять, что какой-нибудь узел х встречается в нем именно так, как описано выше.
Правило упрощения, основанное на d-разделимости, назвать правилом трудно: это, скорее, свойство алгоритма, которое способствует ускорению работы. Никаких активных действий для того, чтобы оно сработало, предпринимать не требуется. Суть его очень проста: когда переменные получают означивания (в сеть вносятся свидетельства), это влияет на структуру d-разделимости сети. Новые переменные становятся d-разделенными или (в случае сходящейся связи) теряют это свойство. В связи с этим соответственно может изменяться размер области определения участвующих в алгоритме пропагации тензоров условных вероятностей. Отметим, что на структуру дерева сочленений это никак не повлияет, однако может повлиять на то, какие из тензоров придется перемножать, а какие можно будет передавать из узла в узел по отдельности.
Предположим, например, что означено аргументное место t (пусть оно получило означивание t), а мы хотим узнать маргинальную вероятность аргументного места 2. Тогда узлы и и v d-разделены, и сообщения, которыми обмениваются узлы, будут выглядеть как на рис. 15.2 (слева). А если означивание получит еще и переменная w, то узлы и и v станут d-связаны (связь сходящаяся), и сообщения будут иметь уже
более сложную структуру (см. рис. 15.2, справа). Обратите внимание, что вместо p(fi|t) и p(v|t) приходится рассматривать совместное распределение вероятностей p(fiv|tw).
На этом мы заканчиваем систематическое рассмотрение байесовских сетей доверия как аппарата представления знаний с неопределенностью. Следующие два параграфа, посвященные стохастическому моделированию ВСД и их связи с марковскими процессами, носят ознакомительный характер, Их можно пропустить без ущерба для понимания дальнейшего материала, однако они могут оказаться полезными для практических приложений. '
Стохастическое моделирование
Как мы уже упоминали, алгоритмы пропагации в байесовских сетях доверия должны решать NP-сложную проблему, а потому (по крайней мере, если Р / NP) они неизбежно экспоненциальны в худшем случае, и легко представить себе ситуации, когда задача окажется для них слишком большой. В частности, обрабатывать потенциалы с большим количеством переменных в области определения быстро становится слишком сложно. Заметим, что это — прямая аналогия (фактически, чуть ли не один и тот же объект) с ФЗ АВС: большие ФЗ требуют экспоненциально большого количества переменных в задачах линейного программирования. Что же делать? Как обрабатывать массивы данных, потенциалы с большой областью определения?
Ответ (разумеется, приближенный) на этот вопрос дает аппарат так называемого стохастического моделирования (мы излагаем его основы по [169]).
Суть стохастического моделирования очень проста: мы пытаемся численно промоделировать поведение байесовской сети «в реальной ситуации», а затем посмотреть на долю тех или иных исходов, чтобы определить вероятности интересующих нас событий (таким образом, стохастическое моделирование — это одна из разновидностей метода Монте-Карло).
Простейший метод такого моделирования — так называемое прямое сэмплирование (forward sampling). Возьмем одну переменную, не имеющую предков, и выберем ее значение случайным образом, используя заданное байесовской сетью распределение. Затем выберем значения ее
потомков, используя тензоры условных вероятностей в зависимости от того, что выпало на первом этапе, и так далее. Такой процесс можно повторить сколько угодно раз, и он будет сходиться к искомому распределению. Правда, возникает законный вопрос: как учитывать поступившие свидетельства? Ответ прост: если выпавшее случайным образом распределение противоречит имеющимся свидетельствам, нужно отбросить его, т.е. исключить из конечных результатов.
Метод прост, он сходится куда нужно и не требует ни больших вычислительных мощностей, ни большой памяти (не нужно даже хранить результаты — достаточно считать вхождения переменных с разными знаками). Однако, как писал Роберт Хайнлайн, «there is no such thing as a free lunch». Проблема с этим методом заключается именно в том, как он обрабатывает свидетельства. Предположим, например, что десять переменных получили те или иные означивания (пусть для простоты их вероятности равны 1 /2). Это значит, что в среднем только один перезапуск алгоритма из 1024 будет приводить к валидным результатам, а остальные нужно отбросить. А если означенных переменных не десять, а сто?
Исследователи научились справляться и с этой проблемой. Придуманный ими метод называется сэмплированием по Гиббсу (Gibbs sampling).
Сэмплирование по Гиббсу лучше всего работает, когда все вероятности всех возможных исходов положительные (плотность вероятности всюду положительна). Найдем сначала полное условное распределение (т.е. для всякой вершины х распределение вида р(х|Х), где X — множество всех остальных вершин). Для байесовских сетей доверия это сделать просто, так как реальному учету подлежат только непосредственные родители данной вершины и все тензоры уже заданы. Далее, инициализируем некоторую допустимую комбинацию исходов х°, х^..., х° (обращаем внимание на то, что это именно означивания, а не переменные: х? = Х{ или х? = xt). А теперь будем брать поочередно переменные и менять (или не менять) их означивание случайным образом на основе текущих означиваний всех остальных переменных (т.е. сначала мы изменим х® на некоторое означивание х], использовав распределение p(xi|x°.. • х°), затем поменяем х® на х|, использовав распределение Р(х2|х]хз.. .х®), и т.д.). Затем несколько первых шагов отбрасываются из статистики как недостоверные (начинали-то с произвольной конфи-
гурации), а остальные подвергаются обычному статистическому анализу.
Этот процесс, очевидно, свободен от основного недостатка прямого сэмплирования (можно просто зафиксировать означивания, которые известны из свидетельств, и не менять их значения). Но возникают другие сложности. Главная из них: если не все вероятности исходов положительны, то может возникнуть ситуация, при которой сэмплирование по Гиббсу никогда не посетит некоторые допустимые области (при условии, что пространство допустимых исходов окажется не связным). Так, например, если р(ху) > 0 и р(ху) > 0, но р(ху) = р(ху) = 0, то процесс сэмплирования, начавшись, например, с означиваний х = х, у = у, никогда не перейдет в область, где х = х и у = у, так как изменяет означивания одной переменной за раз, а оба промежуточных варианта недопустимы. Были предложены некоторые методы решения этой проблемы в частных случаях [236], однако удовлетворительного общего решения пока нет.
Вторая сложность — трудность выбора допустимой конфигурации. В случае всюду положительной плотности, конечно, все просто — можно взять любую конфигурацию, и она будет допустимой. А вот в общем случае это опять становится NP-сложной проблемой. Впрочем, никто и не обещал, что будет легко — решать NP-сложные задачи в качестве побочного продукта алгоритма пропагации свидетельств в ВСД не получится. Впрочем, для поиска произвольной конфигурации можно использовать прямой сэмплинг.
Вкратце подытожив сказанное выше, отметим, что сэмплирование по Гиббсу является одним из важных инструментов работы с большими ВСД. Оно применяется тогда, когда традиционные точные методы вывода уже не работают.
БСД и марковские сети
Может показаться, что марковские сети не вполне подходят под тематику этой главы — она посвящена алгоритмам пропагации, а рассмотрение марковских сетей мы до этого уровня в нашей книге не доведем. Однако было бы несправедливым посвятить монографию байесовским сетям и ни слова не сказать об еще одном альтернативном аппарате представления знаний с неопределенностью. Мало того, что это было
бы несправедливо, но и не позволило бы поместить байесовские сети доверия в очень важный контекст — моделей (не)зависимости. Марковские сети были описаны, например, Дж. Пиэрлом в книге [308], и именно на его изложение мы и намерены опираться.
Итак, базовый граф ВСД рассматривается обычно как структура, при помощи которой устанавливаются свойства d-разделимости между предметными переменными, т.е., в конечном счете, свойства условной независимости. Почему бы не измерять их напрямую? В этом направлении и шла мысль при создании марковских сетей. Посмотрим, что из этого вышло.
Условную независимость X и Z при известном Y, как мы уже говорили (§ 3.8), можно задать условием (простите за каламбур)
p(XYZ)p(Y)=p(XY)p(YZ).
Обозначим такую ситуацию через I(X, Z,Y) (обозначения следуют работе [308]).
Рассуждая по аналогии с байесовскими сетями доверия, теперь мы ставим перед собой новую цель — установить связь между условной независимостью и графическим представлением структуры связей между исходными данными. В идеале хотелось бы достичь ситуации, при которой, если некоторое множество Z вершин графа G «перехватывает» всевозможные пути между двумя другими множествами — X и Y (это Дж. Пиэрл обозначает через < X|Z|Y >), то будет выполняться условная независимость вида I(X, Z,Y). Этот вопрос будет рассмотрен для достаточно широкого класса графических представлений в главе 20.
Марковские сети используют в качестве модели ненаправленные графы в отличие от направленных графов из теории байесовских сетей доверия. В дальнейшем, говоря «модель М», мы будем иметь в виду некоторый набор условных независимостей вида I(X, Z, Y) над данным множеством переменных S.
Можно рассмотреть два типа графов, реализующих структуру условной независимости.
Определение 15.1. Ненаправленный граф G является графом зависимостей (D-map) для модели М, если существует биективное соответствие между переменными модели и вершинами графа, и для всех непересекающихся подмножеств этих вершин X, Y, Z,
Рис. 15.5. Пример марковской сети.
если они в модели условны независимы ^выполняется I(X, Z, Y)), то и на графе одно разделяет два других*:
I(X,Z,Y) =>< X|Z|Y > .
Аналогично, будем называть ненаправленный граф графом независимостей (/-тар), если выполнено обратное:
< X|Z|Y >=> I(X,Z,Y).
На рис. 15.5 изображен пример марковской сети, в которой множество вершин {d, е} разделяет множества вершин {а,Ъ} и (г, j,k}.
Определение 15.2. Минимальным графом независимостей, или марковской сетью, данной модели М. назовем такой граф независимостей G, который после удаления любой его вершины перестает быть графом независимостей модели М.
5 Напоминаем, что множество вершин некоторого графа Z разделяет два других множества его вершин X и Y, если оно пересекается с любым путем из X в Y.
Особо отметим, что эти модели не работают с направленными графами, а потому и циклы там вполне законны. Зато перед таким подходом встают другие, иногда принципиальные, проблемы.
Пример 15.2. Ситуация, непредставимая в марковских сетях
Предположим, что мы находимся в ситуации, когда истинность пропозиции z определяется некоторой комбинацией из сведений о том, истинны ли пропозиции х и у. Например (продолжая компьютерную тематику), компьютер сам выключается, только если выключают ток в сети и одновременно не работает UPS. Как же тогда представить независимости в этой сети? Очевидно, что два утверждения о причинах априори независимы; зато они становятся зависимыми, если утверждение-следствие г истинно: это событие дает нам много новой инфомации о том, произошли ли х и у. Однако непонятно, как строить графическое представление. Если построить его в виде цепочки (z в середине), то это будет неправдой: такая структура предполагает условную независимость между х и у при известном z, а это не так. С другой стороны, если нарисовать полную клику, то модель не будет представлять действительно существующую независимость между z и х (если у не означено).
Эту проблему приходится решать за счет ограничения множества распределений вероятностей, соответствующих марковским сетям. Такой анализ был произведен (см., например, [308]), и классы распределений, которые можно описать посредством марковских сетей, были описаны. Однако байесовские сети доверия, которые могут описывать более широкий класс распределений, получили в конечном счете гораздо большее распространение.
Еще один способ обойти эту проблему заключается в предложении объединить марковские сети и байесовские сети доверия в одной модели. Основные свойства такой обобщенной модели, называемой цепными графами, приведены в главе 20.
§ 15.7. Заключение
Описанная выше проблема аппарата марковских сетей и некоторых других аппаратов графического моделирования привели к построению аппарата байесовских сетей доверия — предмета нашего изложения на протяжении последних двух глав. Марковские сети — тоже предмет
обобщения, некоторой дискуссии; однако следует отметить, что в современном искусственном интеллекте байесовские сети доверия стали занимать ббльшую нишу. Поэтому мы не стали подробно углубляться в теорию марковских сетей — возможно, вернемся к этому в следующих публикациях.
Центральным в этой главе стал алгоритм байесовского вывода (пропагации) в байесовских сетях доверия. Мы описали работающий алгоритм и предложили дополнительные методы (стохастическое моделирование) для того, чтобы справляться со случаями, когда этот алгоритм работает слишком долго. Кроме того, мы описали предшественников и конкурентов байесовских сетей доверия — марковские сети.
Разумеется, изложенный материал не претендует на полноту. Исследования по улучшению алгоритмов байесовского вывода идут до сих пор. Из последних работ хочется выделить статью [178], в которой строятся алгоритмы, аппроксимирующие байесовский вывод. Они дают не точный, а близкий к точному результат, но работают при этом быстрее. Более того, эти алгоритмы параметризованы, и при их реальном применении можно подбирать параметры, балансируя между точностью и временем работы. Другое интересное исследование сводит байесовский вывод к взятию частных производных от некоторого полинома; хоть сам полином и экспоненциально велик, но автор показывает, что его можно реализовать в виде схемы полиномиального размера [175].
В следующей главе мы приступим к сравнительному анализу двух типов байесовских сетей.
Глава 16
Компаративный анализсемантики АБС и БСД
...все исследователи судят о неизвестном путем соразмеряющего сравнивания с чем-то уже знакомым, так что все исследуется в сравнении и через посредство пропорции. Когда искомое сравнивается при этом с заранее известным путем краткой пропорциональной редукции, познающее суждение незатруднительно, и, наоборот, когда требуется много промежуточных звеньев, возникают трудности и неясности...
Об ученом незнании Николай Казанский
Введение
В этой главе мыфассмотрим вероятностную семантику определенного класса алгебраических байесовских сетей и байесовских сетей доверия. Это значит, что мы опишем те распределения и семейства рас- переделений вероятностей, которые соответствуют АВС и БСД. Мы анализируем достаточно частный случай: линейные цепи фрагментов знаний АБС и БСД с точечными оценками истинности (последнее замечание ограничивает лишь АВС). Мы акцентируем внимание именно на случае точечных оценок для того, чтобы иметь возможность проводить компаративный анализ двух аппаратов — в классическом аппарате БСД интервальные оценки не рассматриваются. Ограничение же на структуру имеет другую природу. Дело в том, что хотя исследования вероятностной семантики сетей с более сложной структурой уже начаты (см., например, главу 18, где рассмотрены циклические БСД), результаты сравнения еще не оформлены, и в самом этом сравнении еще остается множество интересных открытых проблем.
Несмотря на то что случай, здесь рассматриваемый, — это частный случай, он достаточно важен. Любое исследование байесовских сетей не
Рис. 16.1. Два пересекающихся ФЗ второго порядка.
обойдется без того, чтобы разобрать случай линейной цепи фрагментов знаний. Волее того, если мы проанализируем этот случай, то тем самым фактически рассмотрим и случай ациклических сетей. В случае ВСД это означает, что ненаправленных циклов в ней тоже не должно быть, ибо даже ненаправленный цикл в ВСД при прямолинейном подходе транслируется в цикл в АВС, а этот случай имеет особую семантику, которая как раз и остается открытой проблемой. Существуют и другие подходы, при которых ненаправленный цикл в ВСД переходит в два или более ФЗ АБС, не образующих цикла; но при таком подходе размер этих ФЗ будет достаточно большим. Это также является предметом исследований.
Настоящая глава представляет собой слегка обобщенную версию работы [84].
Линейные цепи ФЗ АБСс точечными оценками
Для начала составим сеть из двух фрагментов знаний. Очевидно, что два ФЗ в АБС могут пересекаться несколькими различными способами — в зависимости от числа общих переменных. На рис. 16.1 изображен простейший случай, в котором фрагменты знаний пересекаются по одной переменной. С точки зрения моделируемой ситуации это означает, что два экспертных суждения включают в себя один и тот же объект, однако связывают его с непересекающимися множествами объектов.
Рис. 16.3. Пересечение ФЗ размерностей 3 и 3.
В этом случае для непротиворечивости сети уже недостаточно непротиворечивости каждого из ФЗ в отдельности. Нужно также, чтобы оценки вероятностей в обоих фрагментах были согласованы. Наличие пересечения, разумеется, налагает дополнительные ограничения на возможные значения вероятностей квантов. Выпишем эти ограничения
в случае, изображенном на рис. 16.1: два фрагмента знаний, каждый из двух переменных, пересекаются по переменной х2 (требования интернальной и экстернальной непротиворечивостей совпадают, поскольку мы рассматриваем лишь точечные оценки — см. § 10.4):
P(xix2) > 0, Р(х2хз) > 0, P(xi)-p(xix2) > 0, < Р(Х2) -р(Х1Х2) > 0, р(хг) -р(х2хз) > о, р(хз) -р(х2х3) > о, 1 - Р(Х1) - р(х2) + p(xtx2) > О, 1 - р(х2) - р(хз) + р(х2хз) > 0.
Отметим, что все эти ограничения тривиальным образом вытекают из ограничений, выписанных нами в главе 9 для фрагмента знаний из трех переменных, но не наоборот. Это связано с разницей между понятиями интернальной непротиворечивости (которую мы здесь проверяем) и глобальной непротиворечивости АВС. Глобальная непротиворечивость гарантирует наличие распределения, которое непротиворечивым образом продолжается на весь надстроенный над сетью фрагмент знаний. Однако, как уже отмечалось, ее проверка в общем случае вычислительно очень сложна. Проверка интернальной непротиворечивости проще, но в общем случае не гарантирует наличие такого распределения. Однако в рассматриваемом здесь достаточно простом частном случае (а также вообще в случае сети без циклов) проверки интернальной непротиворечивости оказывается достаточно (см. теорему 10.3). Действительно, в нашем примере можно указать непротиворечивое продолжение всякого интернально непротиворечивого распределения вероятностей на весь ФЗ. Это, как и общий случай, следует из теоремы о композиции случайных бинарных последовательностей.
Все вышеизложенное допускает тривиальное обобщение на произвольное пересечение ФЗ произвольной размерности. Отметим лишь, что в полученной АВС не должно быть циклов, иначе результат о совпадении интернальной и глобальной непротиворечивостей не верен. Общий вид ограничений, накладываемых в таком случае на совокупное
распределение вероятностей, получается простым объединением наборов ограничений, которые соответствуют каждому ФЗ по отдельности.
Подводя итог, отметим, что семейство распределений вероятностей, удовлетворяющих условию глобальной непротиворечивости АБС из двух ФЗ, совпадает со множеством распределений, для которых выполнены требования интернальной непротиворечивости. Общий вид такого семейства проще всего записать как семейство, удовлетворяющее объединению ограничений, налагаемых на каждый из фрагментов знаний.
Пересечение ФЗ третьего порядка
Начнем с конкретного частного случая. Вероятности элементов АБС, полученной точечным пересечением ФЗ размерностей 2 и 3, должны удовлетворять следующему набору ограничений:
P(xix2x3) > 0,
р(х3х4) > 0,
Р(Х1Х2) -р(х1х2х3) > О,
Р(Х]Хз) -р(Х!Х2Х3) > О,
Р(Х2Х3) -р(Х1Х2Х3) > О,
p(xi) -р(Х]Х2) -р(Х1Х3) +р(Х1Х2Х3) > О,
< р(х2) - р(Х!Х2) - р(х2х3) + р(Х1Х2Хз) > О,
р(хз) -р(Х1Х3) -р(х2Х3) +р(Х!Х2Х3) > 0,
р(хз)-р(х3х4) > о,
р(хз) -р(х3х4) > 0,
1 -р(хт) — р(х2) — р(х3)+
+Р(Х1Х2) +р(х2Хз) +р(Х!Х3) -р(Х]Х2Х3) > 0,
. 1-р(хз)-р(х4)+р(х3х4) >0,
В предыдущем разделе мы рассмотрели вероятностную семантику линейных цепей АВС, т.е. описали (в том числе и в общем виде) множества распределений вероятностей, отвечающие таким сетям. Прежде чем перейти к рассмотрению байесовских сетей доверия, проанализируем еще два частных случая, которые полезно иметь в виду и в теорети-
ческих рассмотрениях, и при программной реализации как наглядные примеры таких множеств.
Кроме уже рассмотренного точечного пересечения фрагментов знаний размерностей 2 и 3 (рис. 16.2), т.е. пересечения по одной общей атомарной пропозиции, мы рассмотрим пересечение двух фрагментов знаний размерности 3 по ФЗ размерности 2 (рис. 16.3). Вероятности элементов АБС, полученной пересечением двух ФЗ размерностей 3 по ФЗ размерности 2, должны удовлетворять следующим ограничениям:
' р(х1х2х3) > О,
р(х2х3х4) > О,
P(X1X2) -р(Х1Х2Х3) > О, p(xix3) -р(Х1Х2Х3) > О, Р(Х2Х3) -р(Х]Х2Х3) > О, р(х2х3) -р(х2х3х4) > О, р(х2х4) -р(х2х3х4) > О, р(х3х4)-р(х2х3х4) >0,
( p(xi) -р(Х1Х2) -р(Х1Х3) +р(Х]Х2Х3) > 0, р(х2) -Р(Х1Х2) -р(х2х3) +р(Х!Х2Х3) > 0, р(х3) -р(Х1Х3) -р(х2х3) +р(Х1Х2Х3) > 0, р(х2) -р(х2х3) -р(х2х4) +р(х2х3х4) > 0, р(х3) -р(х2х3) -р(х3х4) +р(х2х3х4) > 0, р(х4) - р(х2х3) - р(х3х4) + р(х2х3х4) > 0, 1 -p(xi) -р(х2) -р(х3)+
+р(Х]Х2) +р(х2х3) +р(Х1Х3) -р(Х]Х2Х3) > 0,
1 - Р(Х2) - р(хз) - Р(х4)+
„+Р(Х2Х3) + р(х2х4) + р(х3х4) - р(х2х3х4) > 0.
Теперь, уделив внимание важным частным случаям АБС, можно перейти к подробному рассмотрению вероятностной семантики байесовских сетей доверия — рассмотрению тем более необходимому, что в русскоязычной литературе эта семантика практически не освещалась.
Узлы байесовской сети доверия
Узлы ВСД с вероятностной точки зрения представляют собой атомарные пропозициональные формулы, оценки вероятностей совокупностей которых — основной предмет байесовских сетей вообще. Узлы БСД делятся на два класса. Первый класс — узлы, не имеющие предков. Как правило, они малочисленны по сравнению с узлами второго класса — узлами, которые имеют предшественников.
Узлы, не имеющие предков, задают маргинальное распределение вероятности вида р(х). В нашем случае, когда х представляет собой пропозициональную формулу с одним из возможных означиваний, х или х, тензор маргинальной вероятности однозначно задается числом р G [0;1], поскольку при известном р(х) = р, исходя из аксиоматики вероятностей, мы получим р(х) = 1 — р. Таким образом, узел ВСД х, не имеющий предков, однозначно задает маргинальное распределение вероятностей вида р(х).
Часто для удобства принимают соглашение, что распределение вероятностей узла без предков может быть записано как р(х) = р(х|е), поскольку при рассуждениях о процессах, происходящих в ВСД, удобно рассуждать об условных вероятностях, не обращаясь в редких случаях к упоминанию маргинальных. Запись р(х|е) означает буквально: «вероятность истинности означивания х, обусловленного пустым множеством предков (предшественников)».
Узел БСД у второго класса имеет непустое множество предков. Такой узел в общем случае характеризуется тензором условных вероятностей вида р(у|Х) = р(у|х]Х2 • • -Хщ), о котором будет подробнее рассказано в следующем пункте; этот тензор и есть представление фрагмента знаний в терминологии ВСД.
Фрагмент знанийв байесовской сети доверия
ФЗ в БСД (другими словами, информация, соответствующая одному узлу в графе БСД) представляет собой тензор условных вероятностей р(у|Х), представленный в виде таблицы точечных значений. Обычно таблица задается только половиной величин — вероятностями
р(у|Х), так как другая половина однозначно по ним восстанавливается при помощи соотношения р(у|Х) = 1 — р(у|Х).
Этот тензор предоставляет некоторые сведения о распределении вероятностей над цепочкой вида р(уХ), однако, как правило, не определяет это распределение однозначно (выводы, которые можно сделать из задания такого тензора, во всех деталях см. ниже). Рассмотрим для примера задание тензора условных вероятностей для случая X = xi ха вкупе с базовыми аксиомами вероятности. Получим следующую формулу для вычисления р(у):
Р(у) =p(xix2)p(y|xix2) +р(х1х2)р(у|х1х2)+
+ Р(Х1Х2)р(у|Х1Х2) + p(x1x2)p(y|xix2).
Таким образом, р(у) однозначно определяется по p(y|xix2) и P(xix2); однако если они не определены, то и результата однозначного не получится. В общем случае, когда X = xix2...xn, мы получим классическую формулу теории вероятностей:
р(у) = У P(xi ...xn)p(y|xix2...xn).х
Заранее отметим, что при рассмотрении БСД даже в простейшем их виде на семейство вероятностей будут наложены дополнительные ограничения, связанные с требованием условной независимости узлов сети (в вышерассмотренном примере, в частности для БСД без циклов, как направленных, так и ненаправленных, предполагалось бы выполнение соотношения p(xjx2) = p(xi)p(x2)). При рассмотрении одного фрагмента знаний такие требования приводят к условной независимости истоков узла-фрагмента и выписанные выше формулы превращаются в более удобные:
Р(У) =p(xi)p(x2)p(y|x1x2)+р(х])(1 -p(x2))p(y|xjx2)+
+ (1 -p(xi))p(x2)p(y|x1x2) + (1 -p(xi))(l -p(x2))p(y|xix2).
В общем случае это описывается формулой
р(у) = У" p(xi)p(x2)...p(xn)p(y|xix2...xn).
5q5c2...xn
Эти условия, наложенные на всю сеть, -частью которой является рассматриваемый нами ФЗ, гарантируют, что-оценки вероятностей на входе ФЗ (в случае ФЗ из двух переменных это p(xi) и р(хг)) будут точечными; следовательно, и полученные оценки р(у) будут точечными. Интервальные оценки величин вероятности в БСД в литературе систематически не рассматриваются. Всякий раз, когда возникает такая необходимость, исследователи прибегают к -символьным вычислениям (да и то рассматривают интервальную оценку только одного из значений).
Вопросы непротиворечивости в данном случае тривиальны — нужно, чтобы все оценки лежали в интервале [0; 1 ], и выполнялись условия
VX р(у|Х)+р(у|Х) = 1
(они, как правило, выполняются автоматически).
В случае, рассматриваемом в настоящей главе, можно ограничиться даже не X, а х — цепочкой из одного символа, так как в цепи ФЗ узел может иметь только одного предшественника или никакого. Напомним также, что если узел не имеет предшественников (является истоком графа), то вероятность соответствующего события, согласно аксиоматике БСД, должна быть задана в рамках начальных данных.
Вернемся теперь к строению семейства распределения вероятностей, которое задается фрагментом знаний в БСД. Несмотря на то что все величины вероятностей, входящих в задание тензора условных вероятностей р(у|Х), точечные, сам тензор задает семейство распределений вероятностей над цепочками конъюнкций вида у X. Охарактеризуем строение этого семейства вероятностей.
Пусть Pr[Z] — семейство всех возможных распределений вероятностей над означиваниями аргументных мест в цепочке конъюнкций Z. Согласно вероятностной аксиоматике и подходу Н. Нильссона к введению вероятностей на пропозициональных формулах, будут выполнены
следующие условия:
Vp° € Pr[Z]Vp° € Pr[Z]' VZ p°(Z) > 0,\ LzP°(Z) = i.
Vp° € Pr[Z]
Vp° € Pr[Z]
Исходя из введенных обозначений, Pr[X] — семейство всех возможных распределений вероятностей над означиваниями аргументных мест в цепочке X, а Рг[уХ] — семейство всех возможных распределений вероятностей над означиваниями аргументных мест в цепочке
уХ = yxiX2...xm. Наша задача сводится к выделению из семейства Рг[уХ] его подсемейства, определяемого тензором условных вероятностей р(у|Х).
По определению условной вероятности имеет место соотношение
Vy VX р(у|Х)р(Х)=р(уХ).
Тогда множество распределений вероятностей, имеющее вид
Pr[yX]p(9|x) := {р € Pr[yX]: р(уХ) =р(у|Х)р°(Х), р° G Рг[Х]} , и будет являться искомым подсемейством распределений вероятностей над уХ, индуцированным известным (заданным) тензором условных вероятностей р(у|Х).
Отметим свойство распределений вероятностей, участвующих в определении подсемейства
Prly*W): VXp(X)=p°(X).
Равенство выводится следующим образом:
р(Х) = р(уХ) + р(уХ) = р(у|Х)р°(Х) + р(у|Х)р°(Х) = р°(Х).
Итак, исходя из анализа отдельного узла ВОД, можно сделать следующие выводы:
если рассматриваемый узел не имеет предков, то он однозначно задает маргинальное распределение вероятностей; указанное распределение вероятностей (над одним аргументным местом) определяется одним числом р € [0; 1);
если рассматриваемый узел у имеет предков X и задан тензор условных вероятностей р(у|Х), то этому узлу формально соответствует семейство распределений вероятностей вида PrfyXjp^i^j; при рассмотрении узла в контексте всей ВСД, к которой он принадлежит, существующие БСД-исчисления из семейства Рг[уХ]р(-^) выбирают лишь одно распределение вероятностей (этот выбор осуществляется на основе гипотезы об условной независимости).
В следующем разделе мы перейдем собственно к случаю, являющемуся основным предметом рассмотрения: к цепям фрагментов знаний.
Рис. 16.4. ВСД из двух узлов.
Два связанных ФЗ в БСД
Сначала рассмотрим простейшую цепь узлов ВСД, состоящую из двух узлов — хо и Xi (рис. 16.4). Как уже было показано ранее, тензор условных вероятностей p(xi|xo) формально задает семейство распределений вероятностей над означиваниями xiXq:
PrtxjXolpdjiXo) :={р € Pr[x]X0] :p(xix0) = p(xi|x0)po(x0), р° € Рг[х0]}.
Учитывая небольшое количество участвующих элементов, множество Prfoxolp^ 15^) можно записать и в явном виде:
’ p(xix0) =p(xi|x0)p,
Р(Х1Х0) =p(X!|x0)(1 -p),
p(xjxo) =p(xi|x0)p,
. p(xixo) =p(xi|x0)(1 -p),
где p представляет вероятность p°(xo) и пробегает как связанная переменная единичный отрезок: р е [0; 1].
При рассмотрении узла X] в контексте цепи из двух элементов мы исключаем из семейства возможных распределений PrRiXoJpfoiSo) все> кроме одного, которое определяется известным распределением р(хо) (характеристикой начального узла хо). Исходя из определения условной вероятности, ВСД, состоящая из узлов хо и xi, задает единственное распределение вероятностей над xjXq:
p(xix0) =p(xi|x0)p(x0).
Для сравнения с явным видом семейства вероятностей PrRiXolpf^iXo) полученный результат распишем более подробно:
' р(Х!Хо) =Р(Х1|ХО)Р,
< Р(Х]ХО) =р(х1|хо)(1-р),p(xixo) =p(xi|x0)p,
. p(xix0) =p(xi|x0)(1 -р),
Рис. 16.5. ВСД из двух узлов с предками.
где р = р(хо), т.е. р здесь уже не связанная переменная, а известная величина. Именно поэтому, несмотря на то, что тензор p(xi|xo) может представлять семейство распределений вероятностей, сама рассматриваемая ВСД, в характеристике узла которой этот тензор участвует, задает единственное распределение вероятностей из семейства PrjxiXo) или, что более точно, из семейства PrlxiXoJpfoiSo). Хотя сеть целиком представляет единственное распределение вероятностей, элементы этой сети можно рассматривать и отдельно — в качестве своеобразных «черных ящиков», или функций, которые получают на вход вероятности своих истоков и выдают вероятности стоков. В начале этого параграфа в качестве такой функции мы рассмотрели одиночный фрагмент знаний — узел Xi. Вполне ожидаемо оказалось, что он задает распределение вероятностей с одним параметром — вероятностью своего истока хо-
Конечно, сеть, состоящая всего из двух элементов, — далеко не единственный случай погружения двух связанных фрагментов знаний в байесовскую сеть доверия (собственно говоря, всякая сеть состоит из таких фрагментов, как граф состоит из ребер и вершин, которые этими ребрами соединяются). В рамках нашего рассмотрения, однако, другой случай всего один, и связан он с тем, что у узла xq может быть в рамках цепи предшественник (рис. 16.5). В таком случае данный фрагмент сети следует рассматривать именно как функцию от вероятности предшественника х0. Мы не будем сейчас подробно на этом останавливаться, так как в дальнейшем приведем подробный разбор всех вообще байесовских сетей доверия, представляющих собой цепи фрагментов знаний.
Цепь из трех ФЗ в БСД и d-разделимость
В случае цепи из трех ФЗ заданы тензор маргинальной вероятности р(хо) и два тензора условной вероятности — р(х, |хо) и р(х2|хз) (рис. 16.6 изображает сравнение ВСД и АВС). Исходя только из заданных тензоров маргинальной и условной вероятностей, мы можем привести следующее описание семейств вероятности из PrRoXixj, согласующих-
14 Зак 3294
ся с исходными данными:
р° G Рг[хоХ]Х2]:'
Vx0 р°(хо) = Lxt5<2P0(xoxix2) =р(^о), <VxqVxi p°(xoxi) = Lx2P°(xoXix2) =р(х1|х0)ро(х0),►
VX)Vx2 P°(X1X2) = Е^рЧхо^хг) =p(x2|xi)p°(xi), .Vx, P°(xi) = E^^ P°(xoXix2).j
Поскольку, как было показано ранее, по р(хо) и p(xi|xo) распределение восстанавливается однозначно: p(xqXi) = p(xj|xo)p(xo), причем p(xi) = 22хо P(xoxi), а следовательно, p(xix2) = p(x2|xi)p(xi); описание множества распределений вероятностей над xqX]X2 можно упростить:
( о г, г- - - 1 VxqVxj P°(xoxi) =£х p°(x0xix2) =р(хох1), '
< р € Prtxoxixj :Х2
IVx]Vx2 р°(х1х2) = 22хоР°(хОХ1Х2) =p(x2xi).
Одним из частных результатов анализа представления тензоров совместной вероятности в теории алгебраических байесовских сетей [32, 41, 42, 98,108] является утверждение о том, что тензор вида Р°(хоХ]Х2) однозначно задается набором маргинальных вероятностей положительно означенных цепочек конъюнкций: р°(хо), p°(xi), p°(xi), p°(xoxi), р°(хох2), p°(xix2), p°(xoxjx2). В случае рассматриваемой цепи из трех узлов пять из семи указанных вероятностей оказываются заданными точечно:
Р°(хо) =р(х0), p°(xoxi) =p(xo)p(xi|xo), Р°(хт) =р(хо)р(х1|хо) +р(х0)р(х1|х0), р°(х1х2) =p°(x1)p(x2|xi),
Р°(Х2) =P°(Xl)p(x2|x1) +p°(xi)p(x2|x1).
Величины же р°(хох2) и p°(xoxjx2) остаются неопределенными, вернее, недоопределенными. Дело в том, что аксиоматика вероятностей накладывает известные из теории АБС требования на величины вероятностей положительно-означенных цепочек конъюнкций (фактически эти ограничения базируются на формулах включений-исключений и
тривиальных соображениях теории вероятностей):
p°(x0xix2) > О,
P°(xoxi)-p°(xoxix2) > О,
Р°(х0х2) -р°(х0Х!Х2) > О,
p°(xjx2) -р°(х0х1х2) > О,
< р°(хо) -p°(xoxj) -р°(х0х2) +p°(x0xix2) > О, р°(хт) -р°(х0Х1) -р°(х1х2) +р°(х0Х]Х2) > О,
' р°(х2) -р°(х0х2) - Р°(Х1Х2) + Р°(х0Х1Х2) > О,
1 -р°(хо) -P°(xi) -р°(х2) +р°(хох1)+
+р°(хох2) +р°(Х1Х2) -р°(х0Х]Х2) > 0.
Ограничения, представленные выше, зададут интервальные границы для величин р°(хох2) и р°(хоХ]Х2); в свою очередь, выбор одного из фиксированных значений одной из величин p°(xqx2) или p°(xoxix2) сузит (но необязательно сведет к точке) интервал возможных значений другой. Чтобы определить границы интервалов, в пределах которых могут изменяться величины p°(xqx2) и p°(xoxix2), требуется решить ряд задач линейного программирования.
Подводя промежуточный итог, отметим, что без учета дополнительных требований набор тензоров — р(хо), p(xilxo) и p(x2|xi) — задает характеризующееся двумя степенями свободы подсемейство распределений вероятностей из Pr[xoxix2],
Однако для того чтобы наша цепь представляла собой ВСД в классическом смысле этого термина, нужно также учесть уже упоминавшееся, но до сих пор не использованное свойство d-разделимости узлов, которое входит в определение байесовских сетей доверия (см. главу 14). В случае цепи трех (или более) узлов оно проявляет себя как свойство условной независимости.
В ВСД из рассматриваемого примера узлы хо и х2 условно независимы друг от друга относительно узла xi. Еще раз подчеркнем, что это утверждение вытекает из определения ВСД.
Рассмотрим теперь наш пример с учетом требования условной независимости, которое принимает вид p(xoxix2)p(xj) = p(xoxi )p(xix2). Поскольку тензор условных вероятностей p(x2|xi) задан, а значит, существует и определен, вероятности вида p(xi) в нуль не обращаются. Сле-
р(х3|х2)р(х3|х2)р№)р№)р№)
р(х3|х2)
р(х3|х2)
р№)
р№)
Рис. 16.6. АВС и БСД из двух ФЗ на трех переменных.
довательно, мы можем разделить обе части равенства на р(х]):
Р(Х»Х,Х2) = —■
p(x0xix2) =p(6oXl)^S^,
р(х0Х1Х2) =p(x0x1)p(x2|xj).
Рассматривая случай БСД-цепи из двух узлов, мы выяснили (согласно определению условной вероятности), что p(xoxj) = Р(х1|хо)р(хо). Тогда распределение вероятностей над хоХ]Х2 из исходных данных р(хо), p(xi|xo) и p(x2|xi) определяется однозначно:
P(*oXix2) =p(xo)p(xi|xo)p(x2|x]).
Анализируя цепь из трех узлов, представляющую собой БСД, мы приходим к выводу, что исходные данные р(хо), p(xil%o) и p(x2|xi) задают:
подсемейство семейства распределений вероятностей с двумя степенями свободы, если в рассмотрение не принимается требование условной независимости узлов xq и х2 при известном означивании xi, вытекающее из требования d-разделимости БСД, входящего в определение последней;
однозначно распределение
р(х0Х1Х2) =р(хо)р(Х1|хо)р(х2|х1),
Рис. 16.7. Линейные цепи ФЗ в АБС и БСД.Рис. 16.7. Линейные цепи ФЗ в АБС и БСД.p(xn|x„.i)p(xn|x„.i)
Рис. 16.7. Линейные цепи ФЗ в АБС и БСД.
Рис. 16.7. Линейные цепи ФЗ в АБС и БСД.
p(xn|x„.i)
p(xn|x„.i)
если вышеуказанное требование условной независимости соблюдается.
Завершая пример, подчеркнем, что выделение единственного распределения вероятностей из семейства возможных распределений стало осуществимо за счет использования особой гипотезы, дополняющей исходные численные данные и говорящей об условной независимости.
16.8. Цепь узлов БСД из четырехи более элементов
В рассматриваемом общем примере (см. рис. 16.7 для сравнения АВС и ВСД в данном случае) нам были заданы: ВСД с узлами xo.xi,... ,Xk, где к > 3; единственная маргинальная вероятность р(хо); тензоры условных вероятностей p(xi|xt_j) для г = 1 (1 )к. Как и в предыдущих случаях, возникает вопрос: какое подсемейство или элемент семейства распределений вероятностей Pr[xoXi... XjJ задает рассматриваемая цепь узлов ВСД? Анализ, как и раньше, построен на разборе двух случаев: без учета условия d-разделимости (при этом мы не считаем определенные узлы цепи условно независимыми), и с учетом указанного условия (при этом мы полагаем, что определенные узлы цепи условно независимы относительно тех узлов, которые оказались между двумя исходными).
В первую очередь покажем, что маргинальные вероятности вида p(xj), где ) = 0,...,к, и маргинальные вероятности вида p(xt-ixt), где г = 1,..., к, определяются однозначно по имеющимся данным. Волее того, мы, учитывая существование и определенность тензоров p(xi|xt-i), где г = 1(1)к, что гарантирует нам Vx, р(х,) > 0 при j = 0(1 )к — 1, докажем следующее утверждение.
Теорема 16.1. Между тремя наборами тензоров вероятностей, а именно набором:
— исходных данных
Q := {p(xo),p(xi|xo),... , р(хк|хк—i)},
— тензоров совместных вероятностей пар сопряженных (соседству-ютцих) узлов
Q~ := {p(xoxi),... ,p(xkxk-i)},
—- вероятностей положительно означенных аргументных мест и их пар, относящихся к сопряженным (соседствующим) узлам
Q+ := {p(xo),p(xj),... ,р(хк),р(хох1),р(х1х2),... ,p(xk-ixk)}, существует взаимнооднозначное соответствие. Поясним, что под последним здесь понимается возможность однозначного восстановления по любому одному заданному набору данных двух других. Иными словами, семейства распределений вероятностей, отвечающие требованиям Q, Q_ и Q+, совпадают как множества.
Доказательство. Начнем с эквивалентности Q и Q_. Сначала покажем, используя метод математической индукции, что по данным из Q можно восстановить данные из Q_. Для доказательства базы индукции воспользуемся определением условной вероятности: VxqVxi p(xqxi) = p(xo)p(xi|xo). Таким образом, мы восстановили первый элемент Q_.
Проделаем теперь индукционный переход. Пусть нам известны исходные данные, а также восстановлены первые ) элементов р(хоХ]),... ,p(xj_|Xj) множества Q_. Покажем, как восстановить его (j + 1 )-й элемент p(xjXj+i).
Во-первых, мы можем вычислить р(х,) = ^^_, p(xj-iXj). Во- вторых, нам задан тензор p(xj+i|xj). Тогда, по определению условной вероятности:
p(XjXj+i) =p(Xj+l|Xj)p(Xj).
Индукционный переход успешно завершен.
Покажем теперь, что по данным из Q_ можно восстановить данные из Q. Обратим внимание, что, по условию, Vxjp(xj) > 0 при ) = 0(1)к —1. Рассмотрим теперь произвольный элемент p(xj+i|xj) (при ) = 0(1)к —1) множества Q, подлежащий восстановлению. Тензор p(xjXj+i) из множества Q_ нам известен. Мы можем восстановить вероятность р(х,) = 52^+1 P(xp4+i)> причем известно, что Vxjp(xj) > 0. Тогда, основываясь на определении условной вероятности p(xjXj+i) = p(xj+i|xj)p(xj), приходим к выводу, что
n(v. iixa - B1W12
P(x’+1'Xj)" p(Xj) •
Таким образом, взаимнооднозначное соответствие между множествами Q и Q,. установлено, и для завершения доказательства достаточно показать взаимнооднозначное соответствие между Q+ и Q^. Отметим, что по тензору совместных вероятностей p(XjXj+i) однозначно восстанавливаются величины
P(Xj) = ^p(XjXj+l),
Xj + 1
Р(Х)+1) =^p(XjXj+l).
В свою очередь, по набору величин р(х,), p(xj+i), p(xjXj+i) однозначно восстанавливаются вероятности означиваний p(x.jXj+i):
p(XjXj+i) =p(XjXj+l),
p(XjXj+l) =p(Xj)-p(XjXj+1),
p(XjXj+1) =p(Xj+i) -p(XjXj+1),
p(XjXj+l) = 1 -p(Xj) -p(Xj+1) +p(XjXj+l).
Анализу отношений множеств вероятностных означиваний такого вида уже было уделено пристальное внимание в главе 10. В данный же момент установленные соотношения позволяют заключить, что взаимнооднозначное соответствие между множествами Q+ и Q_ действительно существует. Отметим также, что задание вида Q+ совпадает с
заданием алгебраической байесовской сети, состоящей из цепи фрагментов знаний размерности 2, где соседние ФЗ точечно пересекаются. Таким образом, наше рассмотрение структуры распределения вероятностей относится и к этому случаю.□
Установленные связи позволят нам далее охарактеризовать структуру подсемейства, задаваемого рассматриваемой цепью узлов ВСД, некоторого семейства распределений вероятностей.
Структура подсемействараспределений вероятности
Структура подсемейства распределений вероятности, задаваемого рассматриваемой цепью узлов ВСД (данные в форме Q) при отсутствии требования условной независимости, имеет вид:
р° € Рг[хоХ]... Xkl:
Vxop°(xo) = Е^х, xk Р°(хо*1 • • - xk) = p(xo),
< Vj = 1 (1 )k Vxj-i p°(Xj_1Xj) =>
= L P°(XOX1 ...Xk) =p(Xj|Xj_l)po(Xb1),
*0---*j-2*j+1 —^k
Vj = 1(1 )k VX) p°(xj) = £ p°(xj_iXj).
Наиболее простой вид определение этого подсемейства распределений примет, если мы воспользуемся данными, представленными в виде Q~:
" р° € Pr[5co*i • • • xjJ : Vj = 1(1)k Vxj-jVxj'
p°(xHXj) =£ p°(xoxi ...xk) =p(xj-iXj)
Xo...&j_2&j + l...Xk.
Такая форма позволяет понять, что из всех возможных распределений, составляющих Pr[xoXi.. .Xk], в подсемейство распределений, задаваемых рассматриваемой цепью узлов ВСД (при отсутствии требования условной независимости), вошли только те распределения, в которых маргинальные вероятности вида p°(XjXj+i) совпадают с маргинальными вероятностями вида p(xjXj+i) из Q_.
Чтобы судить о степенях свободы в интересующем нас подсемействе распределений, удобно рассмотреть еще один вариант описания указан-
ного подсемейства, опирающийся на Q+:
' р° € Рг[х0Х]... Хк]:'
Vj=T(T)k p°(xHXj) =
=£ p°(xoxi ...хь2хмх)...хк) =р(хь1х}),
<5co...lj-2Xi+1...Sk►•
Vi = 0(1)kро(^) =
=£ Р°(хоХ] . . . Xi-tXiXi+l • . . Хк) = p(Xi).
х5to ...fy— 1 ^,+1 „.Як4
Тогда число степеней свободы будет равно числу всех тех положительно означенных цепочек конъюнкций длиной две атомарные пропозиции и более, вероятности которых не заданы в виде Q+. Комбинаторные вычисления приводят к следующему числу степеней свободы: (2k+1 — 1) — (k + 1) — k. (2к+1 — 1) — это число элементов в идеале положительно означенных цепочек конъюнкций над (к + 1) атомарными пропозициями. Распределение вероятностей над таким идеалом, если оно непротиворечиво, однозначно определяет распределение вероятностей вида p°(xoxi... Xk). (k+1) — число атомарных пропозициональных формул; их вероятности присутствуют в Q+. к — это число положительно означенных цепочек конъюнкций вида XjXj+i; их вероятности также присутствуют в Q+.
Отметим, что вероятности элементов идеала положительно означенных цепочек конъюнкций над хо,Х],... ,Xk, не вошедшие в Q+, не могут изменяться абсолютно произвольно. Все вероятности элементов идеала взаимосвязаны линейными неравенствами, вытекающими из аксиоматики вероятностной логики. Поэтому в общем случае вероятности элементов идеала, не вошедшие в Q+, будут изменяться в подынтервале единичного интервала [0;1]. Подводя промежуточный итог, можно заметить, что множество распределений вероятностей, погруженное в объемлющее линейное пространство [0; l]k+1, является полиэдром. Максимизация и минимизация линейных функций на нем (многие необходимые вычисления приводятся к такому виду) представляют собой задачи линейного программирования.
Учет требования условной независимости существенно упрощает картину: из всех возможных распределений вероятностей Pr[xoXi... xj, отвечающих исходным данным в форме Q, остается только одно, струк-
тура которого выглядит следующим образом:
p(xoxi ...xk) = р(х0)р(х1|х0)р(х2|х1) ...р(хк|хк_1),
или, записывая более кратко: p(xqXi .. .xk) = р(хо) ni=jpfj^p(Xj|Xj_i). Вели же использовать в нашем случае обозначение цепи из аргументных мест-предков
pa(xj) = хь1, j = 1 (1 )k, pa(x0) = e, которое часто применяется в подобном контексте, то запись становится совсем единообразной (и совпадает с тем, что можно найти в учебниках и монографиях, посвященных байесовским сетям доверия):
p(xoxi... xk) = J} p(xj|pa(xj_i)).
г=О(Т)к
Справедливость формулы доказывается по индукции. Доказательство для более сложной структуры ВСД, чем цепь, можно найти, например, в [193], мы же здесь докажем справедливость формулы для нашего частного случая — цепи узлов ВСД. Вазой индукции является результат, полученный для цепи узлов ВСД, состоящей из трех элементов: p(xoxix2) =p(xo)p(x1|xo)p(x2|Xi).
Требование d-разделимости ВСД в случае цепи узлов ВСД имеет следующую формулировку на языке условной независимости:
V(x0...Xi,Xj...xk: j-1 > 1) V(xr:i<r<i)
р(х0.. • XtXj... xk|xT) = p(x0... Xilxr)p(xj... xk|5cr), т.е. любые два узла цепи условно независимы относительно любого узла, находящегося между ними в указанной цепи. Теперь индукционный переход становится практически очевидным. Действительно, пусть мы уже знаем, что p(xoxj.. .xk_i) = = p(xo)p(x1|xo)p(x2|xl)...p(xk_1|xk_2). Добавим следующую переменную по определению условной вероятности. Свойство условной независимости в данном случае проявляет себя как p(xk|xoxi... xk_]) = = p(xk|xk_i), так как xk не зависит от xq,...,хк_2 при условии xk-j. Отсюда и получаем искомое.
Заключение
В настоящей главе мы рассмотрели вероятностную семантику линейных цепей фрагментов знаний у двух моделей: алгебраических байесовских сетей и байесовских сетей доверия. В случае точечных оценок вероятностей и при соблюдении гипотезы условной независимости (естественной для многих приложений) для каждой цепи фрагментов знаний в байесовской сети доверия можно так построить цепь ФЗ в алгебраической байесовской сети, что обе цепи будут задавать одно и то же распределение вероятностей. Обратное утверждение верно в случае цепи фрагментов знаний в АБС, где ФЗ попарно могут иметь не более одной общей атомарной пропозиции.
При отказе от гипотезы условной независимости оба варианта цепей фрагментов знаний в общем случае задают семейство распределений вероятностей. Точечные оценки вероятностей, приписанные элементам этих цепей, задают «граничные условия» для распределений, входящих в соответствующие семейства. Гипотеза условной независимости позволяет выделить единственного представителя семейства распределений, который обладает особыми свойствами.
В качестве дальнейшего теоретического направления работы можно указать анализ семантики ациклических АВС и ВСД, анализ семантики изолированных циклов и ВСД с допустимыми циклами. Кроме того, особый интерес представляют циклы обратной связи (направленные циклы), недопустимые ни в одном из существующих ВСД-исчислений. Случай изолированных циклов обратной связи мы рассматриваем в главе 18.
С точки зрения конкретных приложений совпадение семантики линейных цепей фрагментов знаний АВС и ВСД может оказаться, например, особенно полезным при автоматическом поиске, формальном представлении и последующем анализе вероятностных зависимостей внутри множества бинарных ответов на вопросы психологических тестов, а также связей этих ответов (по-видимому, даже с учетом внутренней структуры указанных зависимостей) с уровнями выраженности измеряемой психологической характеристики.
Удобство представления этих связей и зависимостей вместе с возможностью их интерпретации в рамках сразу двух математических аппаратов (АБС и ВСД) могут быть использованы при определении окончательного набора вопросов, наиболее точно отражающих струк-
туру связей между ответами испытуемых и степенью проявления у них измеряемой психологической характеристики. Кроме того, использование АБС позволило бы поставить вопрос о количественном измерении степени согласованности (непротиворечивости) ответов испытуемого на вопросы теста. Это направление явилось бы естественным развитием работ [46,125,126].
Глава 17
Ациклические АБС и БСД
There are some qualities — some incorporate things, That have a double life, which thus is made A type of that twin entity which springs From matter and light, evinced in solid and shade.
B. A. Poe
Есть свойства — существа без воплощенья, С двойною жизнью: видимый их лик — В той сущности двоякой, чей родник — Свет в веществе, предмет и отраженье.
Э. А. По, перевод К. BajubMOHma
Введение
В данной главе мы рассмотрим один достаточно частный для теории АВС, но при этом существенный случай, — апостериорный вывод в линейной цепи фрагментов знаний АВС с точечными оценками вероятностей конъюнктов. Этот вариант вывода очевидным образом обобщается на случай произвольной ациклической АВС.
Общая идея способа распространить влияние свидетельства по цепи ФЗ представлена в § 12.4, а в §17.4 сначала будут изложены ведущие к указанному способу «интуитивные соображения», а затем он получит свое формальное «оправдание»; использующийся здесь подход к обработке соответствующего недетерминированного свидетельства в отдельном фрагменте знаний АБС приводился уже в § 11.5.
Важность этого частного случая заключается в том, что именно он реализует в аппарате алгебраических байесовских сетей ту версию апостериорного вывода, которую называют байесовским выводом, или пропага-цией свидетельств в байесовских сетях доверия.
Кроме того, стоит отметить, что в описываемом нами алгоритме распространения недетерминированного свидетельства по цепи ФЗ с точечными оценками вероятностей не требуется решать задачи линейного программирования. В силу принятия за основу некоторой гипотезы (позже мы ее назовем гипотезой условной независимости, она уже так или иначе встречалась в нескольких предыдущих главах) оказывается, что цепь ФЗ задает не семейство распределений вероятностей, как в общем случае, а лишь одно распределение. Поскольку распределение единственное, решать оптимизационные задачи по поиску максимума и минимума оценок истинности больше не требуется.
Фактически, мы показываем, что ациклическую ВСД (над атомарными пропозициями — мы находимся в рамках логиковероятностного подхода) можно погрузить в ациклическую АБС с точечными оценками вероятностей. И обе байесовские сети будут задавать одно и то же распределение. Это утверждение, в свою очередь, означает, что ациклические АБС не менее выразительны, чем ациклические ВСД. Волее того, АВС допускают интервальные оценки вероятностей, а ВСД — нет (по крайней мере, пока).
Семантика АБС богаче в том числе и за счет того, что в АБС разрешены циклы (хотя бы формально), с которыми в аппарате ВСД возникают сложности: направленные циклы запрещены вообще (по определению), а от ненаправленных — приходится избавляться посредством последовательного применения морализации, триангуляции, построения дерева смежности, и, наконец, дерева сочленений при сопутствующем манипулировании тензорами условных вероятностей (в главах 14 и 15 все это уже было подробно изложено). В аппарате АВС — при рассмотрении теоретического обгцего случая — элиминация цикла осуществляется за счет его погружения в объемлющий фрагмент знаний. Практически же, при соблюдении некоторых условий, — исследования в этом направлении еще только начинаются — возможны иные варианты; например, покрытие цикла ациклическим набором более мелких фрагментов знаний, чем один объемлющий.
Наши последние исследования, изложенные ниже, в главе 18, вселяют надежду и на то, что аппарат ВСД можно обобщить в какой-то
степени на случай с направленными циклами, воспользовавшись уже имеющимися разработками в рамках аппарата АВС. Однако об этом — в следующей главе, а пока обратимся к ациклическому случаю.
Примеры и мотивация
Если у нас есть АБС с точечными оценками вероятностей всех содержащихся в ней элементов, то мы можем, опираясь на ту или иную гипотезу или алгоритм, получить непротиворечивое точечное вероятностное означивание элементов, допо лняющих АБС до объемлющего ее ФЗ. Одним из вариантов продолжения вероятностного распределения является применение теоремы о композиции распределений двух СБП. На нее опирается расчет оценок в следующем примере.
Пример 17.1. Продолжение по теореме о композиции
Рассмотрим сеть {{х1,Х2}л,{х2,хз}д}^ со следующими вероятностями
конъюнктов:
p(xi) = 0.5, р(х2) = 0.45, р(хз) = 0.75, P(xiX2) = 0.15, р(Х2Хз) = 0.30.
Недостающими элементами являются Х]Хз и Х1Х2Х3. По теореме о композиции распределений бинарных последовательностей, мы можем построить оценки их вероятностей:
р(х1х2хз) :=
P(xix2)p(x2x3) _ 0.045 _ р(х2)0.45‘ ’
p(xix2x3) :=
P(xix2)p(x2x3) _ 0.35 х 0.45 _ р(х2)0.55‘*
p(xix3) :=
р(х1х2хз) +p(xiX2X3) =0.3864.
Заметим, что можно использовать целую серию других способов продолжения вероятности. Например, упорядочить все дополняющие АВС до ФЗ элементы (в лексикографическом, обратном лексигографи- ческом порядке и т.п.), потом выбрать первый элемент, приписать ему
минимальную (максимальную, среднюю и т.п.) из возможных вероятностей, решить ЗЛП, выбрать первый элемент из оставшихся с интервальной оценкой и т.д.
Пример 17.2. Различные продолжения точечного распределения на ФЗ
Рассмотрим данные из предыдущего примера. Недостающими элементами являются Х]Хз и Х1Х2Х3. Введем на на них порядок: Jorj = (х]Х2Хз,Х]Хз).
Минимальным возможным значением р(х]Х2Хз) будет 0.0. Это следует из решения соответствующей ЗЛП. При этом интервал для вероятности Х1Х3 станет таким:
Р(Х]Х3) е [0.25,0.3];
следовательно, одним из возможных продолжений вероятности являются оценки
Р(Х1Х2Х3) := 0.0,
P(xix3) := 0.25.
Средним значением из интервала возможных значений р(х]Х2Хз) будет 0.075. Это следует из решения соответствующей ЗЛП (хотя, впрочем, и без решения ЗЛП очевидно, что р(х]Х2) + р(хз) < 1, а, значит, р(х]Х2Хз) может оказаться нулем). При этом интервал для вероятности Х1Х3 станет таким:
р(х]Х3) е [0.325,0.425];
следовательно, одним из возможных продолжений вероятности являются оценки
р(х]Х2Хз) := 0.075,
р(х]Хз) := 0.375.
Максимальным возможным значением р(х]Х2Хз) будет 0.15. Это (как вы, наверное, уже догадались) следует из решения соответствующей ЗЛП. При этом интервал для вероятности Х1Х3 станет таким:
р(х]Х3) е [0.4,0.5];
следовательно, одним из возможных продолжений вероятности являются оценки
p(xix2x3) := 0.15,
р(х]Х3) := 0.5.
Доступность различных способов продолжения распределения вероятностей на элементы «объемлющего» фрагмента знаний предрасполагает к постановке определенного вопроса о том, возможно ли при
каких-то обстоятельствах в АБС, которая не является единым фрагментом знаний, выполнить апостериорный вывод, не прибегая к чрезмерно общим соображениям, которые в ряде случаев ведут к получению интервальных оценок в результате вывода. Можно ли воспользоваться какими-то предположениями, явными или неявными, которые позволили бы получать точечные оценки вероятностей в случае апостериорного вывода над алгебраической байесовской сетью с точечными же оценками и кортежа свидетельств недетерминированных, но без неопределенности (т.е. кортежа недетерминированных свидетельств с точечными оценками вероятностей)? .
Постановка задачи
Рассмотрим АБС с точечными оценками вероятностей ее элементов, без циклов ФЗ, представляющую собой цепь ФЗ:
х = {ebe2,...,ed}A,
ei = {xbx2,...,x]pv],v£,...,v)v} ,
е2 = {vbv2v^.xf.x^X?x,v|,v^,...,v^ ,
(O ,- Zvd-2 vd~2 vd“2 Xd“1 xd“1 Xd“1
d-1d-1d-11л
1 ,v2,...,Vrv_j ,
/о __^«.d 1 Ald—1-,d™1 -,d d d
Cd -,V2)...)VTv_i)XbX2,...,Xrxj.
Мы полагаем, что индексы г; е No, a d е N.
Как обычно, для удобства при г = 1,..., d введем краткие обозначения:
Хг := х^х2...Хух,
<x1v1>
<v1>
<V1X2V2>
<v2>
<V2XV>
<v3>
<Vx4>
1 ;= vi V2 • • • v'v,
° := e,
Vd := e.
Условно такую цепь ФЗ (при d = 4) можно изобразить как на рис. 17.1. Мы также можем рассмотреть ФЗ, пересекающиеся более глубоко, однако для понимания идеи алгоритма нам пока будет проще рассуждать на сетях, подобных изображенной на рис. 17.1, а затем мы дадим комментарии и по изучению более «глубоких» пересечений. Разобьем сеть на отдельные составляющие ее ФЗ, обозначив связи между одинаковыми элементами (рис. 17.2).
Пусть на вход, поступают кортежи недетерминированных свидетельств ^P[a](Y)^, где
Y = У1...Ут,
yt G Ш (HvB ,
I ,X-M<1x<rf ^ 1 ’vJT<jv<rY
i = 1,..., m.
Наша задача — распространить влияние недетерминированного свидетельства вышеописанного вида ^р[а] ^Y^ вдоль цепи фрагментов знаний, чтобы получить оценку апостериорной вероятности PafX^PwfY)}).
Заметим, что на самом1 деле нам попутно удастся получить оценки апостериорных вероятностей ра (х^У1, ^P[Q] (vi-1) ^) > гДе i = 1 >•••, d. Доступность таких оценок сделает, в свой черед, возможным и вычисление (оно сведется к суммированию вероятностей соответсвующих квантов) оценок вероятностей конъюнктов Z во всех фрагментах знаний: Ра (Z| ^р[а] (y))), где Z G Ct и i = 1,...,d.
Алгоритм расчетов
Рассмотрим одно из означиваний кортежа Y как кортеж детерминированных свидетельств ^Y^. Нашей ближайшей целью станет попытка оценить условную вероятность р (xd|Y), которая в данном случае по определению является апостериорной вероятностью ра (xd| ^Y^, при фиксированном означивании Y. Заметим, что мы рассматриваем случай, когда вероятность означивания Y в сети фрагментов знаний строго положительна р (y) > 0; если это не так, то, как и ранее (в § 11.3), мы полагаем
pa(xd|(Y))=p(xd|Y)€[0;1].
Более того, тогда условная вероятность элементов, не имеющих общих аргументных мест (булевских переменных) с Y, также приобретет максимально неопределенную оценку [0;1]. В общем случае эта особая ситуация в расчетах затрагивалась еще в § 11.4 и § 12.3.
Мы не можем рассчитать р (ха|?) напрямую, поскольку цепь фрагментов знаний не содержит в явном виде оценок маргинальных вероятностей вида р (xdY^, а значит, пока нельзя воспользоваться и формулой
Р
Несмотря на то что наша цель недостижима столь прямолинейно, способ распростанить влияние «поступившего» кортежа детерминиро-
ванных свидетельств все же имеется: это можно сделать пока локально, в рамках затронутого кортежем свидетельств фрагмента знаний Сь В таком случае для любого означивания V1 мы можем вычислить услов-
ную вероятность рную вероятность р. Отметим, что по определению
ную вероятность р
ную вероятность р
Ра ^V'l^Y^ =р |YJ.
Рассмотрим получившееся распределение апостериорных вероятностей над V1 как новый кортеж недетерминированных свидетельств ^Р[а] (^1)У поступающий во фрагмент знаний Сг, причем
Р[а](^) -PaR^
Как и в случае с изначальным кортежем недетерминированных свидетельств, рассмотрим одно из означиваний V1 как кортеж детерми-
; укажем, что на; укажем, что нанированных свидетельств ^V1^. Вычислим р
; укажем, что на
; укажем, что на
, если оценки условных ве-, если оценки условных ве-этом шаге можно вычислить и р
, если оценки условных ве-
, если оценки условных ве-
роятностей этих квантов окажутся полезными.
Снова рассмотрим получившееся распределение апостериорных вероятностей уже над V2 как новый кортеж недетерминированных свидетельств ^Р[а] (^2)У поступающий в следующий по цепи фрагмент знаний Сз, причем
Ptajfv2) := Pa (V2| АЖ
Рассмотрим одно из означиваний V2 как детерминированный кортеж свидетельств ^V2^. Вычислим р (v3|V2). Повторяя шаги подобным образом, вычислим все условные вероятности, вплоть до вероятности вида р №уа-1).
Наконец, применив такие рассуждения и вычисления для всех означиваний всех встретившихся цепочек конъюнкций Y, V1, V2, ..., Vd-1, мы получим дерево апостериорных вероятностей (рис. 17.3). И теперь нам надо двинуться в обратную сторону, начиная с самого нижнего уровня этого дерева.
Воспользуемся некоторым эвристическим приемом (результат его применения потом обретет вполне формальное обоснование и нетривиальный смысл) — зададимся вопросом: как оценить ожидаемую вероятность некоторого фиксированного означивания Xd при некотором фиксированном означивании Vd-2, чтобы увязать оценки истинности Х» и Vd"2?__
Заметим, что вероятность Xd при фиксированном Vd~1 нам известна: это — условная вероятность р ^Xd|Vd—1^; мы также знаем вероятность Vd-1 при фиксированном Vd~2: это — р ^Vd-1|Vd-2y Исходя из этих сведений, рассчитаем ожидаемую вероятность означивания Xd при фиксированном означивании Vd~2 и обозначим ее как условную:
yd-1
Подчеркнем, что получилась именно вероятность над Xd при любом означивании Vd~2; р ^Xd|Vd-2^ неотрицательна и нормирована на единицу над означиваниями Xd:
xdxdXd yd-1
xd
xd
yd-1 Xd
XdXdyd-1
Xd
Xd
■’ = L.
yd-1yd-1yd-1
yd-1
yd-1
Ра(У)
Pa^lV1)
Ра^!^)
Рис. 17.3. Дерево апостериорных вероятностей.
РаР^М
P^W
Двигаясь по дереву условных вероятностей снизу вверх, получим:
Р
yd —1
РРРРyd —2yd —2Vd-2|Vd-3lVd-2|Vd-3l
Р
Р
Р
Р
yd —2
yd —2
Vd-2|Vd-3l
Vd-2|Vd-3l
p(xd|V3) := £р(х»|У<)р(у4|уз),
p(xd|V2) := £р(^)р(уЗ|у2),
p(W) := ^p(xd|V2)p(v2|Vi),
p(xd|V) := £p(xd|Vi)p(vi|V).
Наконец, мы конструируем решение поставленной задачи:
Ра (^ (р[а] (y))) = £р (^РЫ (У).
Y
Следующая наша задача — уменьшить объем вычислений. Ее решение фактически основано на тех же приемах оптимизации в отношении порядка маргинализации, которые рассматривались в главах 14 и 15 для байесовских сетей доверия.
Для d = 3 в результате последовательности подстановок окончательная формула примет вид:
Р«(х5|(ры(у))) =
Отметим, что подобные формулы апостериорной вероятности МОЖНО построить ДЛЯ любых Ра (хк| ^Р[а] (у))) и Pa^^l (р[«](у))) при к = 1,..., d. Обратите внимание на то, что это вычисление тоже можно представить в виде частного случая дерева апостериорных вероятностей (рис. 17.3).
Исходя из формулы (17.1), получим
p«(x3i(pw(y))) =
= I^Pw^P^IYjp^l^p^lVl)-
v2 LVv2 LV
v2 LV
v2 LV
= ^р(хЗ|у2)Р[а](у2). (17.2)
Переход (17.2) означает, что сначала мы можем сформировать P[Q] (у’), а затем передавать этот набор величин вероятностей дальше по цепи; потом сформировать р[а] (у2)) передать этот набор дальше по сети, в нашем случае — в последний фрагмент знаний, и наконец получить искомую оценку. Благодаря этому резко сокращается объем хранимой для вычислений информации; сам процесс вычислений может быть представлен теперь в виде линейного дерева (рис. 17.4). Предложенный прием распространяется на конечную цепь фрагментов знаний произвольной длины.
Таким образом, серия равенств, с помощью которых мы выше рассчитывали апостериорную вероятность р[а] (vd) = ра (ydl ^Y^, уступает место более простой в вычислительном плане:
Р[а] (V1) := Ра (v1! (р[а] (y))) =
= Hp(W)p[q](y),(17.3)
Р|а] (У2)
Ра (У2| (Р[а) (У1))) =
Р^
Pa(V1)
р^-2:
Ра(^'1
Ра(Х2|\?)
Pa^V*'2) PaiX^
Pa(Y)
Рис. 17.4. Линейное дерево апостериорных вероятностей.
(17.4)
V’
Ра
(17.5)
V*
(17.6)
yd—2
Ра
(17.7)
yd —1
Ра
(17.8)
yd
Процесс вычислений, реализующий этот подход, может быть также схематически представлен на рисунке, подобном тем, которые мы уже рисовали для общего случая в главе 12 (рис. 17.5).
<Pa(Y)><Pa(Y1)><pa(V2)><Ра(\^"1)><Ра(^)>
Рис. 17.5. Распространение апостериорных вероятностей.
Отдельно следует упомянуть случай линии ФЗ, в которой ФЗ пересекаются более глубоко. Рассмотрим ABC N:
х = {е1,е2,ез}д,
е» = {хь...^,^..,^^
е2 = (v?y,...,v?y ,У1у, ,vyz,...,vyz,v?yz,...,vxyz)A,
эI ’* ГУ*’ м > 'г» I >> »xyz J
Тогда процесс распространения влияния свидетельств ^P[a](Y)^ будет использовать построение апостериорных вероятностей P[a](VxyVxyz) и р[а1(УУ^У2), которые согласованы:
VW£p|a|(VW^) = £p|a](VyW).ухууху
Таким образом, более глубокое пересечение ФЗ (не создающее, разумеется, циклов ФЗ) не привносит ничего нового в механизм расчета апостериорных вероятностей по математическому ожиданию. Мы уже отмечали этот эффект в главе 12 (см. рис. 12.7).
Еще два простых примера (d = 2 и 3) изображены на рис. 17.6 и 17.7. Эти рисунки приведены здесь для сравнения с рисунками из главы 12: в случае точечных оценок передаваемую апостериорную информацию не обязательно рассматривать со структурой фрагмента знаний — это просто набор точечных оценок, что и отражают соответствующие обозначения.
Рис. 17.6. Апостериорный вывод в АВС из ФЗ порядка 2.
Наконец, нашей последней задачей в этом разделе будет обсуждение ситуаций, описанных для общего случая распространения свидетельства, когда возникает неопределенность вида 0/0 при попытке вычислить условную вероятность. В общем случае эта особая ситуация в расчетах затрагивалась еще в § 11.3, § 11.4 и § 12.3 и уже упоминалась выше.
Концептуально расчет условной вероятности сводится к исключению элементарных событий, несовместимых с поступившим свидетельством, и перенормировке (перевзвешиванию) плотности верояности на
Рис. 17.7. Апостериорный вывод в АБС из ФЗ порядка 3.
оставшихся элементарных событиях так, чтобы сумма их вероятностей стала бы равна единице. Если поступает свидетельство, несовместимое ни с одним элементарным событием, мы должны признать, что наша дискретная конечная вероятностная модель недостаточно адекватна предметной области (не предусматривает определенной возможности или их ряда) и, следовательно, не обладает предсказательной силой. В этом случае конъюнкты, не содержащие элементов свидетельства, должны получить интервальную оценку [0; 1].
В первую очередь рассмотрим ситуацию, когда одно или несколько означиваний У из кортежа недетерминированных свидетельств ^Р[а] (у) ^ над ФЗ Ci имеют нулевую вероятность. Тогда апостериорные вероятности элементов всей цепи ФЗ (не имеющих общих элементов с У) должны приобрести интервальные оценки [0; 1] с вероятностью
= У P[a](v).
Y: p(V|e, )=0
Если все означивания, имеющие в свидетельстве ненулевую вероятность, над фрагментом знаний 6i обретают вероятность 0, апостериорный вывод закончится именно оценками, обозначающими полную неопределенность — [0;1].
Если же остаются означивания с ненулевой вероятностью в свидетельстве и с ненулевой вероятностью над фрагментом знаний Ct, то на их основе должен быть сформирован новый кортеж недетерминированных свидетельств ^Р^] ^У^. В этот кортеж попадают лишь те означивания У, которые обладают ненулевой вероятностью над фрагментом знаний. Вероятность в новом свидетельстве нормируется:
т^ры(у), р(у|е,)^о.
0 в остальных случаях.
После этого свидетельство ^Р [Q] (^) ^ распространяется по цепи фрагментов знаний, а получившиеся апостериорные вероятности комбинируются с единичным интервалом, чтобы учесть ту неопределен-
ность, которые вносят означивания с вероятностью р ^Y|Ci J = 0:
Ра (z| (ры (y) )) := ф • [0; 1] + (1 - ф) • ра (z| (р^ (?) )) ?
Эту особенность апостериорного вывода в случае кортежа недетерминированных свидетельств необходимо учитывать: даже если все оценки вероятностей в цепи фрагментов знаний точечное и само апостериорное распределение над кортежем свидетельств задано точечными оценками (т.е. мы имеем дело с одним апостериорным распределением над кортежем, а не их семейством), в результате апостериорного вывода мы можем получить остаток сети фрагментов знаний с интервальными оценками вероятностей из-за неполного соответствия модели нашей БФЗ тому, что может иметь место в предметной области.
Случай же формального недетерминированного кортежа свидетельств ^р[а] (vl) У передаваемого из фрагмента знаний Сг в фрагмент знаний Сг+1, заметно проще. Напомним, что если априорная вероятность пропозициональной формулы равна нулю, то и апостериорная вероятность ее вероятность по формуле вычисления условной вероятности будет равна нулю, если вероятность условия от нуля отличается. Если же вероятность условия равна нулю и априорная вероятность обусловливаемой пропозиции равна нулю, то примем апостериорную вероятность этой пропозиции равной нулю по соглашению:
Vf € У (p(f) = 0) =» (pa(f|...) = 0).
Пусть конкретное означивание V1 кортежа свидетельств имеет над фрагментом знаний С1+1 нулевую вероятность: р ^V1^^-^!^ = 0. Но тогда, поскольку распределения вероятностей на пересечении фрагментов согласованы, р ^V^e^ = 0 также. А это, в свою очередь, гарантирует P[aj (V) = 0. Означивание с нулевой вероятностью в кортеже свидетельств не повлияет на формирование оценок вида
Pa (ZI (рЫ (Vi) )) = Z.P (ZIV*)P!a) (Vl) , где Z е ei+].
3 Напоминаем, что сумма интервалов — это всего лишь интервал, границы которого представляют собой сумму соответствующих границ слагаемых, а сумма интервала и числа — сдвинутый на это число интервал.
Следствия теоремы о композиции
В этом разделе мы намерены рассмотреть некоторые свойства композиции распределений вероятностей случайных бинарных последовательностей. Напомним некоторые старые определения и введем несколько новых.
Пусть
U = XY,
V = YZ,
Set(X)QSet(Y) = 0,Set(X)QSet(Z) = 0,Set(Y)QSet(Z) = 0.
Тогда рассмотрим цепочку конъюнкций W:
W = XYZ,которую назовем композицией U u V. Для операции композиции(означиваний) цепочек конъюнкций введем обозначение
W = U ® V.
Очевидно, что операция композиции цепочек коммутативна и ассоциативна.
Может показаться, что введение этой операции лишь затуманивает дело; в самом деле, разве и так не понятно, что у Л у = у? Однако следует отметить, что цепочка Y = yi.. .ym — это не совсем то же самое, что конъюнкция булевских переменных; на самом деле это объект, который может принимать различные означивания — от yi.. .ут до У1 •••Ут- Записав конкатенацию двух цепочек UV = (XY)u(YZ)y, мы не избегаем рассмотрения означиваний рода у t Ay t; другое дело, что их вероятность будет аксиоматически равна нулю, но из области определения этой самой вероятности они никуда не денутся. А вот объединяя аргументные места над одними и теми же пропозициями (Y)u(Y)y в (Y)u®v, мы уменьшаем область определения (очень существенно, кстати).
Пусть нам известны три распределения вероятностей на уже введенных цепочках конъюнкций рт(0), рг(У) и p(W). Причем предпола-
гается, что распределения вероятностей pi и р2 согласованы:
VYpi(Y)=p2(Y).
Тогда распределение вероятностей p(W) является в широком смысле композицией распределений вероятностей pi(U) и р2(У), если
р(й)Р(У)р(й)Р(У)Р1(й),P2(V).Р1(й),P2(V).
р(й)
Р(У)
р(й)
Р(У)
Р1(й),P2(V).
Р1(й),P2(V).
Зная согласованные pi(U) и р2(У), мы можем приписать каждому означиванию U ® У действительную величину p(U ® У) по правилу
21^^, еслиР1(У)/0.21^^, еслиР1(У)/0.p(U®V)p(U®V)„0, еслир1(У)=0,
21^^, еслиР1(У)/0.
21^^, еслиР1(У)/0.
p(U®V)
p(U®V)
По теореме о композиции распределений СБП набор величин P(U®У) является композицией распределений вероятностей pi(U) и р2(У) (в широком смысле).
Для согласованных распределений вероятностей pi(U) и р2(У) введем операцию композиции (в узком смысле)
(Pi ®Рг)(й®У)(Pi ®Рг)(й®У)О, еслир](У)=0,О, еслир](У)=0,Р| ^^‘^ > еслИ Р1 (V) / 0.Р| ^^‘^ > еслИ Р1 (V) / 0.
(Pi ®Рг)(й®У)
(Pi ®Рг)(й®У)
О, еслир](У)=0,
О, еслир](У)=0,
Р| ^^‘^ > еслИ Р1 (V) / 0.
Р| ^^‘^ > еслИ Р1 (V) / 0.
Далее мы не будем употреблять индексацию р для обозначения распределений вероятностей над разными группами квантов, если они будут и без этого индекса различимы по контексту; однако в контексте операции композиции мы будем различать их, индексируя по области определения. Очевидно, что операция композиции согласованных распределений коммутативна. Вычисления, связанные с операцией композиции, рассмотрены в двух следующих примерах.
Пример 17.3. Композиция распределений СБП
Рассмотрим два распределения вероятностей, заданных своими значениями на элементах двух пересекающихся двулитерных идеалов:
p(xi) =0.8,
р(х2) =0.5,
р(х3) =0.2,p(xix2) = 0.5,р(х2х3) = 0.2.
Построим их композицию, определив ее значения на элементах соответ
ствующего трехлитерного идеала Х1Х3, Х1Х2Х3:
= Р(х,х2)р(х2хз) = 03x02 _Р(х2)0.5
P(xix3) =р(х1х2х3)+p(xix2x3) =
= 02 + Р(х'*2)р(х2х3)0.6 х 0.0 _
Р(х2)+0.5
Пример 17.4. Независимость при пустом пересечении СБП
Рассмотрим два распределения вероятностей, заданных своими значениями на элементах двух непересекающихся двулитерных идеалов:
р(х3) =0.5,
р(х2) = 0.25,
р(х3) = 0.4, р(х4) =0.2, p(xix2) =0.2, Р(х3Х4) =0.1.
Построим их композицию, определив ее значения на недостающих элементах соответствующего четырехлитерного полного идеала. Заметим, что цепочки Х]Х2 и Х3Х4 в пересечении имеют пустую цепочку, а каково бы ни было распределение вероятностей р над цепочками конъюнкций, всегда имеет место тождество
р(е) = 1.
Таким образом, формальные основания для построения композиции распределений у нас есть. Только формула для расчетов несколько упрощается:
(P8,R2 ®Р8зЯ4)(Х1Х2Х3Х4) = р(х1Х2)р(х3Х4).
Используя следствия этой формулы, найдем величины недостающих вероятностей:
P(xjx3)=p(xi)p(x3)=0.5 х 0.4=0.2,
p(xiX4)=p(xi)p(x4)=0.5х0.2=0.1,
р(х2х3)=р(х2)р(х3)=0.25x0.4=0.1,
р(х2х4)=р(х2)р(х4)=0.25 х 0.2=0.05,
15 Зак. 3294
p(xix2x3) = p(xix2)p(x3) = 0.2 х 0.4 = p(XlX2X4) = р(Х1Х2)р(Х4) = 0.2 x 0.2 = p(xtx3x4) = p(xi)p(x3x4) = 0.5 x 0.1 = p(x2x3x4) = p(x2)p(x3x4) = 0.25 x 0.1 =
p(xix2x3x4) = p(xix2)p(x3x4) = 0.2 x 0.1 =
0.08, 0.04, 0.05, 0.025, 0.02.
Только что описанный пример намечает путь к интерпретации несвязных АВС как формы хранения знаний о независимых СВП; каждой такой СВП соответствует одна из связных компонент несвязной АБС.
Теорема 17.1. Пусть известны три распределения вероятностей над означиваниями цепочек конъюнкций pi(Mi), Р2(М2), Рз(М3), причем предполагается также, что
V — обгцая части всех цепочек Mj,
V12 — цепочек Mj и М2 без "V,
V23 — цепочек М2 и М3 без V,
X —та частьMi, что невходитв М2и М3,
У —та частьМ2, что невходитв Miи М3,
Z —та частьМ3, что невходитв Miи М2.
Таким образом,
Mi =XVV12,
м2 =YVV^V5,
М3 =ZVV5,
а также пусть имеют место условия согласованности вероятностей:
P1(VV12) = р2(У^),p2(VV23) = p3(vv2).
Тогда имеет место ассоциативностъ операции композиции согласованных распределений вероятностей;
((Р1 ®Рг) ®Рз) ((^1 ® ^2) ® М3) =
= (Р1 ® (Р2 ® Рз)) (Mi 0 (М2 0 М3) ) •
Доказательство. При введенных обозначениях имеем
Mi = ХУУ^, М2 = УУУ^У23, М3 = ZVV23.
Построим композиции цепочек:
IVl^Ma = XYVV12V23,
М2®М3 = YXVVV23,
М] ® М2) ® М3 = Mi ® (м2® М3) = XYZVy^V23.
Полагая, что заданные распределения pi(Mj), р2(М2) и Рз(Мз) согласованы по распределениям общих подцепочек, построим композиции их распределений:
(pi ®р2) (Mi ® М2(pi ®р2) (Mi ® М2_ p(XVV12)p(YVV12V23)р(У^)
(pi ®р2) (Mi ® М2
(pi ®р2) (Mi ® М2
(Р2вРЗ)(м2вм3) = Е(™1^^^
V /р(Уу23)
р(УУ12)р(УУ12)р(ХУУ12)р(ХУУ12)p(VW^v^m2Y\^)ptVv23)p(VW^v^m2Y\^)ptVv23)р(УУ12)р(УУ12)ptxyy^pcvww^pczv^^ptyy^lptyyi2)ptxyy^pcvww^pczv^^ptyy^lptyyi2)(Р1 ® (Р2®Рз)) (Mi ® (М2® М3
р(УУ12)
р(УУ12)
р(ХУУ12)
р(ХУУ12)
p(VW^v^m2Y\^)ptVv23)
p(VW^v^m2Y\^)ptVv23)
р(УУ12)
р(УУ12)
ptxyy^pcvww^pczv^^ptyy^lptyyi2)
ptxyy^pcvww^pczv^^ptyy^lptyyi2)
((Pl ®P2) ®Рз) ((Ml ® M2) ® М3) =((Pl ®P2) ®Рз) ((Ml ® M2) ® М3) =^p(Mi) ®p(M2)) p(M3)pfyy23)
((Pl ®P2) ®Рз) ((Ml ® M2) ® М3) =
((Pl ®P2) ®Рз) ((Ml ® M2) ® М3) =
p(XYW)p(Wv!i^)V(7VV23) ~—
XVYW ]XVYW ]XVYWZXVYWZVYWZ JVYWZ Jk XWWZk XWWZ
XVYW ]
XVYW ]
XVYWZ
XVYWZ
VYWZ J
VYWZ J
k XWWZ
k XWWZ
Рис. 17.8. Два порядка продолжения вероятности.
= (Р1 ® (Р2 ® Рз)) (Mi ® (iVh ® ^з)) •
□
Значение этой теоремы для теории АВС состоит в том, что при продолжении распределения нам безразличен порядок надстраивания новых ФЗ над парами уже входящих в сеть ФЗ, имеющих согласованные вероятности их общей части. Получающиеся в результате распределения будут совпадать (рис. 17.8).
Мы уже убедились на примере, что если
Set(X) QSet(Y) = 0,
ТО
(Px®Py)(X®Y) = p(X)p(Y),и поэтому соответствующие СБП Я и ? независимы, т.е.
VXViJ p(X|(Y)l)=p(X|(Y)j),
VYVk.l p(Y|(X)k)=p(Y|(Xh).
Для перехода к условным вероятностям, разумеется, должны выполняться следующие условия:
p(Y)/0,р(Х)^0.
Наличие независимости — это одно из самых легко формализуемых предположений, когда совершенно ничего не известно о вероятностных связях между Я и V. Но о вероятностях ЯУ и ?2 из теоремы о композиции распределений случайных бинарных последовательностей известно больше, чем ничего. Тем не менее распределение вероятностей ЯУ2, пока не применена теорема, остается известным частично, и хотелось бы, чтобы композиция распределений сохраняла свойство независимости Я и 2:
VXZ p(XZ) =р (X)p(Z).
Однако в общем случае это невозможно.
Теорема 17.2. Пусть известны распределения pi(XY) up2(YZ), где все три цепочки X, Y и Z не имеют общих атомов.
Тогда композиция распределений вероятностей
p(XY2) = (Р1 ®p2)(XYZ)
определяет условную независимостъ СБП Я и Т относителъно СБП^.
Доказательство. Сначала дадим легко воспринимаемую и поддерживаемую интуитивными соображениями версию рассуждений, которые могли бы считаться доказательством, если бы не требовался разбор особого случая. Затем предложим строгое и формальное доказательство.
Выпишем еще раз формулу композиции распределений вероятности (для случая p(Y) ^ 0):
^^p^=p(XYZ).(17.9)
Полагая, что p(Y) / 0, выведем соотношения p(XY)p(YZ) = p(XZY) P2(Y)p(Y) *
P(XY) p(YZ) = p(XZY)p(Y) ' p(Y)p(Y) ’
p(X|Y)p(Z|Y) = p(XZ|Y).
Таким образом, какое бы означивание Y мы ни взяли (если p(Y) / 0), условная вероятность XZ равна произведению условных вероятностей X и Z. Это означает условную независимость по V СВП 2 и 2.
Подойдем теперь к оформлению доказательства строго.
По изначальному определению операции композиции
p(XYZ) = <
0,если p(Y) = 0,
Е^®, ==лирт/0.
Умножим обе части этого равенства на p(Y):
p(XYZ)p(Y) = получимp(XYZ)p(Y) = получимp(XYZ)p(Y)p(XYZ)p(Y)O-p(Y), еслир(У)=0,
p(XYZ)p(Y) = получим
p(XYZ)p(Y) = получим
p(XYZ)p(Y)
p(XYZ)p(Y)
E^p-p(Y), если p(Y) / 0;
0, если p(Y) = 0,p(XY)p(YZ), еслир(У)/0.
И, наконец, исключая ставший ненужным разбор случаев: p(XYZ)p(Y)=p(XY)p(YZ), что, как раз, и является строгим определением условной независимости.
Подводя итог, еще раз заметим, что операция композиции позволяет строить распределения вероятностей, влекущие условную независимость непересекающихся цепочек атомов, входящих в разные ФЗ и не принаддещих пересечению ФЗ.
□
Вернемся к алгоритму распространения свидетельств в цепи ФЗ, опирающемуся на передачу «недетерминированных псевдосвидетельств» или «формальных свидетельств». Этот алгоритм осуществляется по формулам (17.3-17.8) из § 17.4. Указанный набор формул фактически представляет собой вычисление математических ожиданий апостериорных вероятностей. Именно поэтому соответствующий алгоритм называется алгоритмом распространения свидетельств в цепи ФЗ, опирающимся на оценку посредством математического ожидания. Чтобы обосновать содержательность этого алгоритма и судить о корректности его результатов, следовало бы решить вопрос о том, какое распределение вероятностей на ФЗ, в который погружена линия ФЗ, имплицитно задается предложенным способом вычисления оценок априорных и апостериорных вероятностей, и существует ли такое распределение вообще. Иначе говоря, существует ли такое распределение вероятностей на «объемлющем» фрагменте знаний, накрывающем всю исходную цепь, что апостериорный вывод над этим новым, «объемлющим» фрагментом знаний даст те же самые результаты, что и описанный в § 17.4 алгоритм распространения свидетельств в цепи ФЗ, опирающимся на оценку посредством математического ожидания по формулам (17.3-17.8)?
Теорема 17.3. Пусть дана ABC N, состоящая из двух ФЗ С] и Сг:
N = (Ст.е^,
Ci = {xi,...,Xrx,yiУг„}д,
62 = tyu-"-^^^....^^»
причем
Ui&n{yj}’^ = 0,{у^П^^ = 0,{xt}^n{Zk}^ = 0,
Xi... хТх = X,
У1...Уту = Y,Iv-.irx = 1>
и на элементах N задано распределение вероятностей р.
Пусть на фрагменте знаний 6, покрывающем АБС N е = [{х^* и{У5Ди и м^] ^, распределение вероятностей задано следующим образом: распределение вероятностей на элементах С индуцируется распределением вероятностей на квантах XYZ, а распределение вероятностей на этих квантах определяется операцией композиции распределений вероятностей бинарных последовательностей:
p(XYZ) = (p^®p?2)(XYZ).
p((xyz)|n) — оценка вероятности кортежа детерминированных свидетельств ^XYZ) по алгоритму оценки посредством математического ожидания в АБС ЭД (§ 17.4, формулы 17.3-17.8).
Тогда
VXYZ р ((XYz) |n) = р ((XYZ) |б) .
Примечание. Результат теоремы может быть распространен на случай АВС, состоящей из линии п ФЗ, а также на случай произвольной АБС, не содержащей циклов ФЗ. Строгое доказательство может быть произведено с использованием принципа математической индукции.
Доказательство. Рассмотрим АВС, схематически изображенную на рис. 17.9.
Будем подавать на вход алгоритма детерминированные кортежи свидетельств (XYZ). Получив для каждого возможного означивания
оценку
р ((xV2) |n)
его априорной вероятности в АВС, мы могли бы составить суждение об искомом распределении вероятностей.
Воспользуемся известной нам формулой:
p(XYZ) =р(Х)р(У2|Х).
Оценка вероятности p(X|N) совпадает с вероятностью соответствующего означивания цепочки конъюнкций из АБС N:
p(X|N)=p(X).
По формулам из описания алгоритма получим (если р(Х) / 0 и p(Y)/0):
p(YZ|X) = ^lp(Y|^).
Из этого следует, что
p(XYZ) = Е™р(у|х)р(Х),
P(Y)
p(XYZ) = E<XY)P(V2).
P(Y)
В случае же, когда либо р(Х) = 0, либо p(Y) = 0, либо эти оценки обе имеют место, общая совместная вероятность также равна нулю: р(Х?2) = 0.
Из приведенных выше рассуждений следует, что с помощью алгоритма оценки посредством МО, на ФЗ, в который погружена АВС, индуцируется композиция распределений составляющих АВС ФЗ:
P(XY2) = (p^®P?2)(XYZ).
□
Таким образом обоснован апостериорный вывод, опирающийся на оценку посредством математического ожидания, — мы нашли соответствующее ему продолжение распределения вероятностей на элементы ФЗ, содержащего заданную АВС. Это продолжение строится с помощью операции композиции, а применение операции композиции впря-
мую при расчетах, связанных с апостериорным выводом, значительно увеличивает требования к объему вычислений и памяти, отводимой для хранения данных. Но зато результат композиции обладает одним существенно положительным качеством: он задает условную независимость двух случайных бинарных последовательностей относительно известного означивания третьей (если последняя «разделяет» две первые и ни с одной из них не пересекается), не имеющих прямых связей. Таким образом, нам удалось найти эффективный алгоритм для проведения расчетов, приводящих к получению оценок вероятностей, который опирается на естественную гипотезу об -условной независимости при продолжении недоопределенного распределения вероятностей. Подчеркнем, что алгоритм опирается на указанную гипотезу условной независимости, его результаты совпадают с тем, что дали бы расчеты при построении композиции распределений над всеми фрагментами знаний исходной цепи; однако в явном виде эта операция композиции не выполняется — расчеты и память, необходимые для «буквального» исполнения этой операции и хранения ее результатов, просто не требуются.
Как можно было заметить, операция композиции в общем случае неприменима для построения распределения вероятностей на ФЗ, накрывающем АВС с циклами составляющих ее ФЗ.
Опишем такие требования к согласованности распределений вероятностей на ФЗ, образующих цикл, чтобы можно было достроить распределение вероятностей с помощью операции композиции до распределения на ФЗ, покрывающем этот цикл.
Вернемся к рассмотрению трех цепочек, которые являются минимальными элементами в трех ФЗ, образующих цикл. Это цепочки
Mi, М-2, М.3.
Пусть они обладают определенной структурой:
Ml = XVV^V^,М2 = YVVW5,М3 = ZVV^V^,
где все цепочки X, Y, Z, V, V12, V13, V23 попарно не имеют общих частей. Ранее неявно предполагалось, что
V13 = е,
что подразумевало отсутствие цикла, а теперь, поскольку задано условие наличия цикла, имеет место противоположное утверждение:
V13 / е.
Пусть также заданы распределения pj(Mi), р2(М2) и рз(Мз). Поскольку эти распределения относятся к ФЗ, составляющим АБС, которая связна, то должны априорно быть выполнены следующие условия согласованности:
рИУ^2) = р2(^),
P2(VV5) = P3(VV2)1
p3(VVi3) = pHVVi3).
Построим композицию распределений над означиваниями Mi и М2:
Pi2(Mj®M2) = (pi ®p2)(Mi ® М2),гкл ^кл a pHXV^p^XV^)
Pi2Mj®M2 = ^^
p(W12)
Общая часть означиваний Mi ® М2 и Мз — это означивание уу13у23 Следовательно, для того чтобы с помощью теоремы о композиции распределений случайных бинарных последовательностей завершить построение распределения вероятностей на элементах покрывающего ФЗ, необходимо и достаточно выполнения условия согласованности вероятностей:
р12(у^3^23) = рз(у\^23)
Выразим обе части последнего равенства через исходные распределения вероятностей:
Еxyv12Еxyv12= £>3(ZVVi3V13).2= £>3(ZVVi3V13).2Р1 (XVV12V13)p2(YW12V23)
Еxyv12
Еxyv12
= £>3(ZVVi3V13).
2
= £>3(ZVVi3V13).
2
P1(W12)
Последнее равенство и дает нам необходимое и достаточное условие для возможности применения операции композиции над тремя ФЗ, составляющими цикл в АБС. Если приведенное равенство не имеет места, то
для продолжения распределения требуется иная гипотеза, отличающаяся от гипотезы условной независимости.
Проанализируем связь между ациклическими АБС и ациклическими ВСД. Предположим, что дана БЗ, представленная в виде ациклической БСД. Нашей целью является описание схемы алгоритма конвертации данной ВСД в АБС.
Фрагменту знаний БСД — узлу с тензором условной вероятности — ставится в соответствие фрагмент знаний АВС. Носитель этого ФЗ АБС — идеал цепочек конъюнктов, построенный над множеством атомарных пропозиций, входящих в область определения тензора. Она состоит из пропозиции, приписанной рассматриваемому узлу, а также пропозиций из узлов-родителей. Остается решить вопрос о назначении точечных вероятностных оценок конъюнктам, т.е. элементам уже построенного идеала.
Пусть х — атомарная пропозиция, отвечающая узлу БСД, у которого все предшественики Vi,...,Vk являются корневыми узлами (в эти узлы не входит ни одного ребра). Тогда мы знаем их исходные маргинальные вероятности, или, поскольку в БСД может быть выполнена первичная пропагация, нам известен набор априорных вероятностей p(vi),... ,p(vk), а также — из изначальных данных о ВСД — тензор p(x|vj,...,vk).
Для дальнейших рассуждений тот факт, что ВСД не содержит никаких циклов, т.е. базовый граф ВСД является полидеревом, представляется ключевым. При этих предположениях совместная вероятность означивания цепочки конъюнкций всех родителей любого узла БСД совпадает с произведением всех отдельных маргинальных вероятностей соответствующих означиваний каждого родителя [303,308]:
кp(vj ...vk) = Пр^)).j=i
Это связано с тем, что подграфы (исходного БСД-полидерева) для каждого родителя рассматриваемого узла, содержащие как самого родителя, так и его предшественников, а также всех потомков его предшественников, не имеют между собой общих узлов. Указанные подграфы не имеют общих элементов и с подграфами, исходящими из родителей
рассматриваемого узла. Сами подграфы, исходящие из родителей рассматриваемого узла, могут пересекаться только по полидереву, корнем (точнее говоря, одним из корней) которого является расматриваемый узел. При этих условиях процессы маргинализации и приводят к обсуждаемому нами соотношению вероятностей означиваний родителей некоторого фиксированного узла.
Результаты предшествующего рассуждения позволяют нам заключить:
p(«vj...^k) = p(x|vi ...VkWl ...Vk),
kp(xvi...vk) = p(x|vi ...Vk)PJp(Vj),j=1
(
k\
p(x|vi. ..Vk)Rp(vj) .
)=1/
Исходя из вероятностей p(xvj... Vk), можно получить точечные оценки вероятностей элементов ФЗ {х,vj,... ,Vk}A, а вероятность р(х), можно продолжить процесс в глубь БСД. Таким образом, каждому узлу ВСД с тензором условных вероятностей p(x|vi,... ,Vk) будет поставлен в соответствие ФЗ порядка к +1. Совокупность этих ФЗ образует ациклическую АБС, причем в этой АВС пересечением различных ФЗ будет множество либо пустое, либо одноэлементное.
Таким образом, мы доказали следующую теорему.
Теорема 17.4. Любая ациклическая БСД может быть преобразована в ациклическую АБС, ФЗ которой имеют в пересечении не более одного элемента.
Заметим, что переход от произвольной АВС к БСД (над атомарными пропозициями в рамках логико-вероятностного подхода) возможен не всегда: пересечение некоторых ФЗ из АВС может содержать более чем одну литеру. В АБС могут быть циклы ФЗ, которые структурно породят цикл в БСД, но создадут в ряде случаев либо неопределенность при формировании тензоров условных вероятностей, либо недопустимый направленный цикл, что сделает невозможным и выполнение алгоритма первичной пропагации, и обработку апостериорных свидетельств в ВСД. Заметим также, что АБС допускают интервальные оценки ве-
роятностей элементов, а существующие ВСД-исчисления строятся пока только на основе точечных оценок.
Распространение влияния апостериорных свидетельств в АБС, полученной из ВСД, производится алгоритмом, основанном на вычислении математического ожидания, причем свидетельства в этом случае все детерминированные.
Рассмотрение связи между АВС и ВСД без циклов осталось бы не вполне завершенным, если бы мы не сделали два следующих пояснения.
Во-первых, более тщательное рассмотрение вероятностной семантики частных, но важных с теоретической точки зрения случаев АБС и ВСД дано в главах 16 и 18.
Во-вторых, уже на этапе подготовки материала к печати А. Л. Ту- лупьев получил более общий результат, строгое оформление которого займет значительное время и, следовательно, не будет доступно немедленно, но мы нашли возможным и желательным изложить существо полученного результата в настоящей монографии.
Любую допустимую байесовскую сеть доверия над атомарными пропозициями моэюно преобразовать в ациклическую алгебраическую байесовскую сеть.
ВСД допустима в том смысле, что она может содержать ненаправленные циклы — они допускаются принятым определением байесовских сетей доверия, — но не может содержать направленные циклы — они не допускаются принятым определением, хотя и возникают на практике.
Сначала ВСД преобразуется в дерево сочленений. Структура дерева сочленений задает структуру АВС: каждой вершине дерева сочленений ставится в соответствие фрагмент знаний АБС. Носитель этого фрагмента знаний — идеал конъюнктов, построенный над множеством атомарных пропозиций, вошедших в рассматриваемую вершину дерева сочленений. Распределение вероятностей над идеалом восстанавливается по соответствующим тензорам условных вероятностей из исходного задания ВСД, из задания дерева сочленений, а также из тензоров совместных вероятностей, полученных в процессе первичной пропагации над деревом сочленений (или над ВСД, что в данном случае одно и то же).
Рис. 17.10. АБС (из БСД с рис. 14.1) без циклов.
Каждому сепаратору дерева сочленений соответствует подфрагмент знаний (подыдеал конъюнктов), являющийся пересечением некоторых фрагментов знаний (идеалов конъюнктов) построенной АБС.
Получающаяся АБС не содержит циклов фрагментов знаний. «Полное» распределение вероятностей, восстановленное над этой АБС по теореме о композиции распределений случайных бинарных последовательностей, совпадает с распределением вероятностей, задаваемым исходной байесовской сетью доверия, т.е. с тем распределением, которое строится как произведение всех тензоров совместных и условных вероятностей, входящих в задание исходной БСД.
Пример 17.5. Структуры двух АБС из БСД с рис. 14.1
Результаты преобразования БСД с рис. 14.1 показаны на рис. 17.10 и рис. 17.11. Следует обратить внимание на некоторую особенность: АБС можно строить и непосредственно по БСД, не опираясь на промежуточное дерево сочленений (рис. 17.11). Не исключено, что в такой АБС будет меньше конъюнктов, чем в АБС (рис. 17.10), полученной из дерева сочленений, но зато в ней могут встретиться и циклы, чего не произойдет в более «объемной» АБС, построенной по дереву сочленений.
Результаты как первичной пропагации, так и пропагации детерминированных свидетельств над этими двумя байесовскими сетями совпадают. '
Более того, в ряде случаев в алгебраическую байесовскую сеть удается формально погрузить «обобщенную» байесовскую сеть доверия — такую ВСД, которая может содержать направленные циклы, запрещенные в существующих БСД-исчислениях. Определение вероятностной семантики ВСД с направленными циклами и соотношение этой семантики с вероятностной семантикой получающейся АВС является предметом отдельных обширных исследований; их элементы представлены в главе 18.
Следующая серия примеров 17.6-17.10 иллюстрирует выразительные возможности аппарата АВС. Показано, как можно описать задачу оценки апостериорной вероятности гипотезы при поступающих свидетельствах (пример 17.6), как осуществить выбор между противоположными гипотезами на основе апостериорных свидетельств (пример 17.7). Эти задачи сводятся к заданию распределений вероятностей на ФЗ, содержащем пропозиции, отвечающие гипотезам и свидетельствам. Пример 17.8 иллюстрирует использование свойства условной независимости СВП для сокращения объема ВЗ. Примеры 17.9 и 17.10 показа- вают, что в ФЗ можно избежать требования альтернативности гипотез и априорной независимости свидетельств, поскольку в ФЗ представимы любые распределения вероятностей на соответствующих пропози-
циональных формулах, отвечающие требованиям аксиоматики. Следовательно, в ВЗ, основанной на АВС, эти выразительные возможности могут быть реализованы хотя бы локально, что отвечает пожеланиям, сформулированным в работе [288].
Пример 17.6. Байесовский вывод
Пусть в урне помещены три шара, причем с вероятностью 0.5 туда попадают два черных и один белый шар и с вероятностью 0.5 — один черный и два белых.
Утверждение h состоит в том, что в урне находятся один черный и два белых шара. Исходя из условий задачи,
p(h) =0.5.
Пусть два человека по очереди вытаскивают по одному шару и затем помещают его обратно в урну. Определим еще два высказывания:
X] — первый вытащил белый шар,
%2 — второй вытащил белый шар.
Тогда при истинности h справедливы следующие равенства:
Р(х,) = |.
, X 2
Р(х2) = у, х 4Р(Х]Х2)=?,
а при R:
p(xi) = р
Р(Х2) =
, X 1
Р(Х1Х2)=-.
Пусть на вход поступил детерминированный кортеж свидетельств (xix2). Нам требуется оценить величину вероятности р(Н| (xix2)):
1 4
p(h|(xix2)) =p(h|(xix2)) =Р«Х)Х2) |h)p(h) = 2 Х 9 _ 4Zp«xix2)|h)p(h) 1Х4 11 5'Я 2 9 2 9
p(h|(xix2)) =
p(h|(xix2)) =
Пример 17.7. Свертка байесовского вывода
Пусть даны условия задачи из предыдущего подраздела. Мы можем определить следующий набор вероятностей и условных вероятностей:
Р(Н) = P(xi|h) = |, p(x2|h) = |, 4 p(xix2|h) = -,
Р(Н) = |, p(xi|h) = 1, р(х2|й) = 1, p(xix2|h) = |.
После этого можно построить набор маргинальных вероятностей элементов ФЗ С = {%],%2, Н}:
p(xi) = Lp(xi|h)p(h) = I х (j + i) = 1,
p(x2) = Zp(x2|h)p(h) = |,
h
p(xix2) = ^,
p(xih) = ptxtlh-Mh.) = },
p(x2h) = p(x2|h)p(h) = |,
p(xjx2h.) = p(xix2|h)p(h) = j.
Произведем апостериорный-вывод кортеже свидетельств (Х1Х2):
в ФЗ 6 при том же детерминированном
Р(Х2|Х!)
_ 5
= 9*
p(h|xi)
_ 2 3’
p(x2h|xi)
_ 4 9’
P((xi)|C)
” 2’
p(h|(xix2))
~ 9/9~5’
p((xix2) |C)
- 1 5 - А “ 2 Х 9 “ 18'
Пример 17.8. Проявление условной независимости
Зная, какое значение приняла ft, мы можем утверждать, что £] и $2 независимы. Построим два двулитерных ФЗ
Ci = {x^h}*,
е2 = {х2л}л.
Распределения вероятностей, заданные на элементах этих двух ФЗ, построить легче, чем сразу распределение вероятностей для трехлитерного ФЗ С:
Р(Хг) = р p(h) = -, p(xth) =
Распределение вероятностей на квантах вида xth таково:
р(ХгН) = 1 p(Xih) = 2>
P(Xih.) = 7> p(Xih) = l
Тогда, применив операцию композиции распределений вероятностей логических означиваний цепочек конъюнкций, мы можем построить распределение вероятностей и на квантах вида X]X2h:
p(xix2h) = p(X]h) 0p(x2h).
По распределению вероятностей на квантах можно построить распределение на элементах ФЗ. Волее того, нам совсем не обязательно было строить ФЗ над тремя атомами; апостериорный вывод мы могли бы провести и на сети, состоящей из двух ФЗ над двумя атомами, и получили бы те же самые результаты.
Пример 17.9. Зависимость гипотез
Одним из крупнейших недостатков многих механизмов присоединенного
вывода в экспертных системах является явное или неявное предположение вероятностной попарной взаимоисключительности гипотез. Представление дан
ных о вероятностном распределении в системе не позволяет ввести в нее иную информацию о зависимости гипотез. Что в этом отношении могут АБС?
Рассмотрим урну, в которую помещают черные и белые шары, причем
общее их количество всегда равно четырем. Урна содержит:
4’4’один черный и три белых шара с вероятностью
4’
4’
1
24'24'— два черных и два белых шара с вероятностью -,
2
4'
2
4'
— три черных и один белый шар с вероятностью Рассматриваются два утверждения-гипотезы:
ho — в урне имеется по крайней мере два белых шара, hi — в урне имеется по крайней мере два черных шара.
Два наблюдателя вытаскивают по одному шару с возвратом. Построим АБС,
описывающую данную ситуацию:
pfhoh.!) = |, p(hohi) = ^, p(Rotn) = ~, p(hohi) =0,
p(xilhohi) = i, p(xi|hohi) = |, p(xi|Rohi) = 1, p(xi |RoRi) = не определено.
p(xihohi) = p(xiRoRi) =
: p(Xl|RoRl)p(RoRl),
: p(RoRi)-p(xiRoRi).
p(xihoHi) = |, _3
p(xihohi) = —, 16 p(xihohi) = ^, p(x1hohi) = 0,
p^hohi) = ^, p(xihoRi) = Jg, -3
p(xihohi) =
p(xiRoRi) =0.
Наконец, построим вероятности элементов ФЗ С] = {xi ,ho,hi}^: p(xi) = |,p(ho) = |,
37
P(Hi) = -,p(xiho) = —,
416
р(х1Пт) = —р(х1Пт) = —p(hohi) = |,
р(х1Пт) = —
р(х1Пт) = —
p(xihohi) = ^.
Те же по величине вероятности имеют элементы ФЗ С] = {х2,Но>Н]}д. Объединим эти два ФЗ в одну ABC: N = {С], 62}^.
При необходимости мы могли бы, опираясь на теорему о композиции распределений вероятностей двух бинарных последовательностей и используя операцию композиции, построить распределение вероятностей на ФЗ 6 = {xi ,ho,hi >Х2}Д, накрывающем АБС X Но для поиска апостериорных вероятностей мы лучше воспользуемся алгоритмом оценки посредством математического ожидания.
Пусть на вход поступил кортеж детерминированных свидетельств (Х1Х2). Тогда p((xi) |С) = |, а условные вероятности таковы:
ptWnlx]) = ~,
P(holxj) = 5,О
Pfhilx]) = -. О
Условно-вероятностные означивания квантов hoh] станут следующими: p(hohi|xi) = p(hohilxi) = О p(hohi|xi) = |, p(hohi|xi) =0, причем известно, что p(x2|hoh1) = |, p(x2|hohi) = |, p(x2|hohi) = p(x2|hohi) = не определено.
По этим данным вычислим недостающие апостериорные вероятности: p(x2hohi|xi) =p(x2|hohi )p(hohi|xi) = ^, p(x2ho|xi) =p(x2|hohi)p(hohi|xi)+p(x2|hoh])p(hohi|xi) = ^, --9
p(x2h.] |xi) = p(x2|hohi Mhohj |xi) + p(x2|h0h) )p(hohi |x3) = —, p(x2|xi) = p(x2|hohi )p(hohi |xi) + p(x2|hohi )p(hoh1 |xi )+ --9
+ p(x2|hohi )p(hohi |xi) + не определено x 0 = —.
Обработаем второе свидетельство из кортежа: 199
Р((Х1Х2)|С) = 2 х 16 = 32* V(h„l<x,x2)) = l|/l=.l 9 91
p(hi|(xix2)) = —/т^ = т, IО Z
4 p(hohi| (х]Х2>) = -.
Пример 17.10. Зависимость свидетельств
Еще одним недостатком некоторых экспертных систем является предположение о фиксированном типе зависимости между событиями- свидетельствами. Например, если имеются априорные данные
р(х]) = 0.8,
р(х2) = 0.5,
то наиболее часто предполагается либо независимость СБП ^] и $2, что влечет р(х]Х2) =0.4, либо вложенность соответствующих вероятностных событий одно в другое, при которой р(х]Х2) = 0.5 (такое значение выбирается по правилу р(х]Х2) = min{p(x] ),р(х2)} и всегда влечет за собой р(х2|х]) = 1).
Пусть в урне может быть:Пусть в урне может быть:35’35’Аппарат АБС значительно более гибок в отношении представления степеней вероятностных зависимостей (как априорных, так и апостериорных) между свидетельствами. Рассмотрим соответствующий пример.
Пусть в урне может быть:
Пусть в урне может быть:
3
5’
3
5’
2 5*2 5*один белый и два черных шара с вероятностью
2 5*
2 5*
два белых и один черный шар с вероятностью
Пусть после того, как наблюдатель вытаскивает шар, последний не воз
вращается в урну. Определим три высказывания:
X] — первый наблюдатель вытащил белый шар, Х2 — второй наблюдатель вытащил белый шар, К — в урне два белых шара.
АБС, описывающая данную модель, представляет собой ФЗ со следующими величинами вероятностей его элементов:
pW = |.
Р(х,) =
Р|Х2) = ^,
P(hxi) =
4
P(hx2) = уд,,,2
P(X1X2)=
2 p(hxix2) = —.
Далее мы можем искать апостериорные вероятности по уже описанной схеме. Более того, переформулировав задачу, мы можем использовать концепцию
условной независимости, чтобы совместить два разных способа исследования выборки.
Пусть у нас имеются три урны всегда с одинаковыми наборами шаров.
Один набор состоит из одного черного и двух белых и появляется с вероят- 2,
ностью -, другой — из двух черных и одного белого шара и появляется с 5
3 mм
вероятностью -. Тогда нам потребуется ввести пять утверждении:
5
X]Х2 Хз х4X]Х2 Хз х4первый наблюдатель из первой урны вытащил белый шар,
X]
Х2 Хз х4
X]
Х2 Хз х4
второй наблюдатель из первой урны вытащил белый шар,
третий наблюдатель из второй урны вытащил белый шар,
четвертый наблюдатель из третьей урны вытащил белый шар,
h — в урнах по два белых шара.
Наблюдатели шары в урны не возвращают. Тогда мы сразу получаем следующие вероятности:
,.22137
Х' ~ 3 5 3 5 - 15’
, X ,'142
Р(Х1Х2) = р(Х1 ) • - • - = —,
2 15 + 32 15 + 32 15 + 32 15 + 33 _ 2.5 “ 15’3 _ _75 ” 15’3 _ 2.5 “ 15’3 _ _75 ” 15’р(х2) =р(х,х2) + (1 -p(xi)) fl • 7 + 5 • 1) = Л. \42 4/ 1э
2 1
5 + 3
2 1
5 + 3
2 1
5 + 3
2 1
5 + 3
3 _ 2.
5 “ 15’
3 _ _7
5 ” 15’
3 _ 2.
5 “ 15’
3 _ _7
5 ” 15’
РЫ = 5
, х 2
Р(х4) = 2
p(h) = |.
Однако мы еще не учли тот факт, что все наборы в урнах одинаковые:
р(х1Х3Х4) =Р(Х1Х3) =р(Х1Х4) =p(Xt) =
2 р(Х1Х2Х3Х4) =р(Х1Х2Х3) =p(xix2x4) =p(xjx2) = —.
За то, какие именно там наборы, отвечает утверждение h:
2 24p,x'h, = 3'S = 15’, . ,’ 33Р(Х2М = з • 5 = is.2 24p,x'h, = 3'S = 15’, . ,’ 33Р(Х2М = з • 5 = is.12
2 24
p,x'h, = 3'S = 15’, . ,’ 33
Р(Х2М = з • 5 = is.
2 24
p,x'h, = 3'S = 15’, . ,’ 33
Р(Х2М = з • 5 = is.
P(xix2h) =p(xih) • - = —, 4 p(x3h) =p(x4h) =p(x!h) = —.
Заключение
В этой главе мы провели существенную часть компаративного анализа двух аппаратов: ациклических алгебраических байесовских сетей и ациклических байесовских сетей доверия — в основном изложении ВСД полагались не содержащими никаких циклов (ни допустимых ненаправленных, ни недопустимых направленных).
Главные рассуждения велись относительно алгебраических байесовских сетей, построенных над цепями фрагментов знаний; однако полученные результаты очевидным образом обобщаются на ациклические АБС (именно из-за отсутствия в них циклов).
В результате предпринятого анализа выяснилось, что аппарат ВСД с точки зрения выразительной мощности несколько слабее аппарата АБС. Это объясняется тем, что в ВСД имеются жесткие требования, касающиеся ее структуры: направленность связей, ацикличность, точечные оценки. В них нельзя представить разнообразие видов возможных связей свидетельств. Поэтому ВСД не вполне удовлетворяют требованиям, изложенным в [288]. С другой стороны, бблыпая экспрессивная сила АБС позволяет пользоваться ими и тогда, когда аппарат ВСД неприменим.
Выл также сформулирован без формального доказательства (но с указанием деталей, по которым это доказательство можно восстановить) новый результат о возможности погружения произвольной допустимой ВСД над атомарными пропозициями в ациклическую АБС, «изоморфную» дереву сочленений исходной ВСД.
Глава 18
Циклы обратной связи в БСД
Directed cycles, like those representing feedback in electronic circuits or econometric models, are not allowed in Bayesian networks and will not be discussed in this book.
J. Pearl, 19881
Feedback cycles are difficult to model quantitatively (this is an example of what differential equations are all about). For causal networks, no calculus has been developed that can cope with feedback cycles.
F. V. Jensen, 20022
Нижутся задумчивые петли...
В. Ф. Ходасевич
Введение
Как мы уже видели в предыдущих главах, основная идея байесовской сети доверия заключается в том, что слишком большое для прямого анализа множество утверждений (или булевых переменных) структурируется при помощи специального графа, где связаны друг с другом вершины, отвечающие зависимым друг от друга утверждениям, а получающаяся структура поддается достаточно простому анализу.
Одной из основных трудностей, возникающих в разработке ВСД- исчислений, строго соответствующих требованиям аксиоматики вероятностей, является наличие направленных циклов в соответствующем
«Направленные циклы, такие, например, как циклы обратной связи в электронных схемах или эконометрических моделях, не разрешены в байесовских сетях и не будут обсуждаться в этой книге». — Дэю. Пиэрл [308].
«Циклы обратной связи трудно моделировать количественно (это пример того, для чего нужны дифференциальные уравнения). Для причинных сетей ещё не было разработано формализма, позволяющего работать с циклами обратной связи». — Ф. В. Йенсен [237].
модели графе — циклов обратной связи. Последние не допускаются в ВСД по определению: ВСД — это ациклический граф. Однако проблема от этого не исчезает: структура модели задается экспертным путем, и поэтому в реальной модели циклы, разумеется, могут возникнуть (и возникают; см., например, [160]).
Основные отличия АБС от ВСД — использование тензоров совместной вероятности вместо тензоров условной вероятности и допущение интервальных оценок вероятностей. АВС требуют некоторого усложнения алгоритмов априорного и апостериорного выводов в случае использования интервальных оценок, однако в ВСД этот случай не рассматривается вовсе, а на тех АБС, для которых можно построить соответствующую ВСД, алгоритмы работают ничуть не медленнее, чем в случае ВСД. Кроме того, — и это станет предметом рассмотрения в настоящей главе —- АБС допускают наличие циклов в базовом графе сети. Однако, несмотря на то что аппарат АВС разрешает наличие циклов, он по-прежнему не дает общих «вычислительно приемлемых» ответов на вопросы, возникающие при их рассмотрении (многие алгоритмы существенно усложняются при введении циклов в сеть). Поэтому кажется естественным попытаться обобщить аппарат ВСД на случай направленных циклов в базовом графе, не снабжая при этом их всем богатством семантики АВС (и, соответственно, не пытаясь ввести в их алгоритмы задачи линейного программирования).
В главе 20 мы опишем решение задачи, являющейся, наверное, наиболее общей из тех, что можно поставить в рамках идеологии ВСД, — в работе [336] найден и подробно описан графический, достаточно удобный аппарат представления любого семейства условных (не)зависимостей. Хотя не исключено, что данная там конструкция может быть упрощена, ответ на ключевой вопрос графического описания одного распределения вероятностей там дается. Однако основной особенностью циклов в ВСД оказывается то, что они на самом деле задают не одно распределение вероятностей, а целое семейство. Именно это обстоятельство, вероятно, стало камнем преткновения для работающих в рамках формализма ВСД исследователей.
Более того, циклы возникают и в реальных задачах, но исследуются недостаточно строго. Например, в статье [160] авторы просто разворачивают одно из ребер цикла, тем самым превращая сеть в ациклическую. Ниже мы покажем, как это полностью меняет семантику сети.
В этой главе мы рассматриваем «обобщенную» ВСД, представляющую собой направленный цикл из п вершин, каждая из которых содержит булевскую переменную (одно из двух означиваний атомарной пропозициональной формулы).
Мы описываем вероятностную семантику такого цикла и предлагаем метод определения совместных вероятностей событий, соответствующих вершинам этого цикла. Кроме того, мы представим негативное решение вопроса о более эффективных методах определения этих вероятностей, т.е. покажем, что для однозначного ответа на данный вопрос необходимо рассмотреть совокупное распределение вероятностей всех вершин цикла. Эти результаты описаны также в наших работах [85,285].
Семантика изолированного цикла в БСД
Рассмотрим БСД, представляющую собой изолированный цикл на п вершинах (рис. 18.1). Это означает, что в качестве начальных данных заданы тензоры условных вероятностей:
Р(Х2|Х1),р(х2|Х1),р(хз|Х2),р(хз|х2), . . .
• • . ,P(Xn|Xn-l),P(Xn|Xn-l),P(Xl|xn),p(xi|xn).
Попытаемся выразить тензоры совместных вероятностей через начальные данные. Следуя основным свойствам условных вероятностей, можно записать систему линейных уравнений:
p(xi) = p(xi|xn)p(xn) +p(xi|xn)(l-p(xn)),
Р(Х2) = Р(Х2|Х1)р(х1)+р(х2|х1)(1 -р(х1)),
<.(18.1)
k p(xn) = p(xn|xn-i)p(xn_i) +p(xn|xn-l)(l -p(Xn-l)).
Эта система имеет очень простую структуру и может быть решена за линейное время (для этого надо просто последовательно подставлять неизвестные вероятности в последующие уравнения системы, элиминируя переменные и, поскольку каждая из переменных встречается лишь дважды, получая в конце линейное уравнение линейного размера). Отметим, что все условные вероятности уже даны, и мы реша-
Рис. 18.1. Изолированный цикл в ВСД.
ем систему относительно маргинальных вероятностей p(xt). Обозначая
£.у = p(xtlxj) — p(Xi|xj), видим, что система имеет вид АР = В, где
(18.2)
Замечание. Для того чтобы исследовать систему на возможную вырожденность, вычислим определитель матрицы системы А, разложив его по первой строке:
det А = 1+ (-1 )п£,1п^21 ^32 • • • ^п.п-1 •
Рис. 18.2. Изолированный цикл из двух вершин в БСД.
Мы видим,, что система может быть вырожденной, только если £i,i-i = ±1 для всех г = 1,... ,п. Это соответствует случаю, когда все Xi семантически эквивалентны, т.е. описывают одно и то же утверждение х. В этом случае каждая из переменных xt соответствует либо х, либо х, и таким образом p(xt|xj) равна нулю или единице. Тогда, действительно, на р(х) не налагается никаких ограничений, и каждое значение р(х) даст решение системы. Однако, этот случай на практике бесполезен, так как нет никакой пользы (а на самом деле есть вред) от использования нескольких вершин графа для обозначения одного и того же события. По этим причинам в дальнейшем мы рассмотрим невырожденный случай.
Итак, в невырожденном случае система (18.1) дает точечные вероятности всех вершин цикла. Следующая формула позволяет нам вычислить совместные вероятности соседних вершин цикла
р(ХгХг-1) = p(xt-1 )p(Xi|Xi-i).
В последующих разделах мы подробно рассмотрим простейшие случаи — циклы из двух и трех вершин, а затем перейдем к более общим вопросам.
Цикл из двух вершин
В данном разделе мы подробно рассматриваем простейший случай циклических байесовских сетей доверия — цикл из двух вершин (рис. 18.2).
Рис. 18.3. Изолированный цикл из трех вершин в ВСД.
В цикле из двух вершин — xj и х2 — никакой неопределенности в распределении вероятностей не содержится. Маргинальные вероятности подчиняются системе ограничений (см. предыдущий параграф):
' P(xi) + (p(xi|x2)-p(xi|x2))p(x2) = p(xi|x2),ч (рМ-рШШ+р^) = Р(х2|Х]).
Решая ее, получаем маргинальные вероятности в явном виде:
f х = __v!^l!5iLzl1e1^^
1 - (p(xi|x2) -р(Х1|х2))(р(х2|Х!) -p(x2|xi))’
f X =Р(х2|х-|) - (p(x2|xi) -p(x2|xj))p(x1|x2)
1 - (p(xi|x2) -p(xi|x2))(p(x2|xi) -р(х2|х1))‘
Теперь легко получить все распределение целиком:
p(xix2) = p(xi)p(x2|xi),
P(xj%2) = p(xt)(1-p(x2|xi)),
P(xix2) = (1 -p(xi))p(x2|xi),
P(xtx2) = (1 -p(xi))(1 -p(x2|xi)).
Как и в общем случае, эти формулы имеют смысл только если (p(xj|x2) —p(xj|x2))(p(x2|xi) —p(x2|xi)) / 1, что может произойти лишь в описанном в предыдущем разделе вырожденном случае.
Цикл из трех вершин
Случай цикла из трех вершин (рис. 18.3) вносит элементы неопределенности в получаемый ответ, однако эта неопределенность одномерна, и задача линейного программирования становится тривиальной. В
данном частном случае система линейных уравнений принимает следующий вид:
p(xi) = р(х1|х3)р(хз)+р(х1|х3)(1-р(х3)),
< р(х2) = p(x2|xi)p(xj) +p(x2|xi)(1 -р(х,)),(18.3)
р(хз) = р(х3|х2)р(х2)+р(х3|х2)(1 -р(х2)).
Так как в данном случае любая пара переменных является парой соседей в цикле, все вероятности конъюнкций длины 2 заданы однозначно. Единственным неизвестным является р(х]х2хз). Решив систему (18.3), получим маргинальные вероятности вершин цикла и попарные совокупные вероятности. Примем теперь за неизвестную величину р(х1х2хз) и запишем систему ограничений, вытекающую из простейших свойств вероятности:
P(xix2x3) > О,
р(Х]Х2)-р(х1Х2Х3) > О,
Р(Х1Хз) -р(Х1Х2Хз) > О,
р(х2х3) -p(xix2x3) > О,
< Р(Х1) - р(Х]Х2) - р(Х1Х3) + р(Х!Х2Х3) > О,
р(х2) -р(Х1Х2) -р(х2Х3) +р(Х1Х2Хз) > О, р(хз) -р(Х]Хз) -р(х2Х3) +р(Х]Х2Х3) > О, 1 -p(xi)-p(x2)-p(x3)+
+Р(Х)Х2) +р(х2хз) +p(xix3) -р(Х!Х2Х3) > 0.
Это — тривиальный одномерный случай задачи линейного программирования. Для ее решения достаточно пересечь вышеуказанные интервалы. В явном виде ее решение запишется следующим образом:
> < р(Х]Х2Х3) <> < р(Х]Х2Х3) <0,P(xix2)+p(x1x3)-p(x1),P(xix2) +р(х2х3) — р(х2),P(xix3) +р(х2х3) -р(х3)
> < р(Х]Х2Х3) <
> < р(Х]Х2Х3) <
p(xix2),
< min << min <P(xix3),
< min <
< min <
Р(Х2Х3),
. 1 -р(Х1)-р(х2)-р(хз)+р(х1Х2)+р(х1Хз)+р(Х2Х3) ,
Затем можно получить и все остальные вероятности, формирующие совокупное распределение:
p(xix2x3) = р(х2х3)-p(xix2x3),
Р(Х1Х2Х3) = р(Х1Х3) — p(XiX2X3),
р(Х]Х2Х3) = р(х1х2)-р(х1х2хз),
Р(Х1Х2Х3) = р(Хз)-р(Х2Хз)-р(Х1Хз)+р(х1Х2Хз), р(Х1Х2Х3) = р(х2) - р(Х1Х2) - р(х2хз) + p(xix2x3), р(х]Х2х3) = p(xi)-р(Х]Х2)-р(Х]Хз) +p(xix2x3), р(Х]Х2Х3) = 1 -р(Х!)-р(х2)-р(Хз) +
+Р(Х1Х2) +р(х2хз) +р(Х1Х3) -р(Х1Х2Х3).
Алгоритм вычислениямаргинальных вероятностей
В § 18.2 мы получили систему линейных уравнений, которую нужно решить для того, чтобы получить маргинальные вероятности элементов цикла p(xt). В этом параграфе мы поговорим о том, как можно решать эту систему. Разумеется, существуют многочисленные, хорошо известные алгоритмы решения линейных систем, в том числе бидиаго- нальных и «почти бидиагональных» (как наша). Мы опишем один из простейших подходов к вычислению р(хп), а значения остальных оценок вероятностей в таком случае можно будет просто, пробежавшись по циклу, подсчитать по известным значениям условных вероятностей.
Итак, решаем систему АР = В с матрицей (18.2). Мы хотим подсчитать р(хп) по формуле Крамера, разделив определитель матрицы А', в которую подставлен столбец В вместо последнего столбца, на определитель матрицы А. Определитель det А уже вычислялся:
det А = 1 + (—1 )n^1nf,2i £.32 • • • £.п,п-1 •
Вот как выглядит матрица Д':
/
1
0
0 ...
0
P(xi|xn)
\
£.21
1
0 ...
0
P(X2|Xl)
Д'=
0
£.32
1 ...
0
р(хз|х2)
.(18.4)
0
0
0 ...
£.п,п— 1
p(xn|xn-l)
Предлагаемый способ — это рекуррентно, один за другим, вычислять аналогичные определители меньшего порядка, раскладывая их по последней строке. Вот как это выглядит (обозначаем через Д^ определитель подматрицы порядка г, при этом положим До = 0):
До = 0,
△i = -£,inAo4-p(xi|xn),
Дг =Дг =1 P(xi|xn) £.21 P(X2|Xi)1 P(xi|xn) £.21 P(X2|Xi)= -£,21P(Xi|x2) +p(x2|xi),= -£,21P(Xi|x2) +p(x2|xi),
Дг =
Дг =
1 P(xi|xn) £.21 P(X2|Xi)
1 P(xi|xn) £.21 P(X2|Xi)
= -£,21P(Xi|x2) +p(x2|xi),
= -£,21P(Xi|x2) +p(x2|xi),
Аз =Аз == -£.32Д2+Р(хз|Х2)= -£.32Д2+Р(хз|Х2)10p(xi|xn)
Аз =
Аз =
= -£.32Д2+Р(хз|Х2)
= -£.32Д2+Р(хз|Х2)
£.211P(X2|Xl)
o £.32 р(хз|хг)
1
0
0
p(xi|xn)
д4 =
£.21
1
0
Р(Х2|Х1)
= -£4зДз + р(х4|х3).
0
£.32
1
Р(Хз|Х2)
0
0
£дз
Р(Х4|Х3)
Наконец, в общем виде:
10 0...0 р(х]|хп)
£.211 о ...0 p(x2|xi)
Ai =
0 £.32 1 ...0р(х3|х2)
= -£,г,г-1Дг-1 +p(xt|xt-i)
000 ... £i,i-1 р(Хг|Х1-!)
16 Зак. 3294
Таблица 18.1. Структура таблицы adotbCyclesList
№
п/п
Наименование поля
Описание хранящегося в поле параметра
0
Id
Уникальный идентификатор цикла, его «имя»
1
PrXOne
р(х]) — маргинальная вероятность позитивного означивания первого элемента в цепочке, если мы набор имеющихся данных рассматриваем не как задание цикла, а как задание цепочки с началом в X]
2
Comment
Комментарий (может содержать дополнительное словесное описание цикла)
Таблица 18.2. Структура таблицы adotbCycleDef
к»
п/п
Наименование поля
Описание хранящегося в поле параметра направленного цикла
0
Id
Уникальный идентификатор цикла, его «имя»
1
N
Номер узла цикла по порядку
2
PrPos
P(xn|xn_] ) — вероятность позитивного означивания узла при позитивном означивании предшественника
3
PrNeg
р(хм|хы-1) — вероятность позитивного означивания узла при негативном означивании предшественника
Эти формулы допускают несложную реализацию на любом языке программирования; в примере 18.1 мы рассматриваем такую реализацию на языке Pascal.
1 П Р и м в Р 18.1. Маргинальные вероятности в БСД-цикле
Таблицы 18.1,18.2, и 18.3 содержат описание структуры таблиц из реляционной БД, в которых хранятся сведения о нескольких циклах. Мы приводим реализацию основных алгоритмов в системе Borland Delphi 7 в предположении, что соответствующая база данных существует, ее таблицы заполнены и связи с ними установлены.
Рассматриваются две ситуации. Одна из них — та, в которой мы интерпретируем имеющиеся данные как ВОД, состоящую из цепочки узлов, начинающейся с X). В этом случае маргинальная вероятность р(х]) либо берется из таблицы adotbCyclesList, либо рассчитывается при «виртуальном» предположении, что мы рассматриваем указанную маргинальную вероятность как маргинальную вероятность X] в цикле. Другая ситуация — собственно та, ко-
Таблица 18.3. Структура таблицы adotbCyclePrecalc
№
п/п
Наименование поля
Описание хранящегося в поле параметра направленного цикла или вспомогательной переменной
0
Id
Уникальный идентификатор цикла, его «имя»
1
N
Номер узла цикла по порядку
2
PrPos
p(xN|xN_]) — вероятность позитивного означивания узла при позитивном означивании предшественника
3 '
PrNeg
p(xN|xN_]) — вероятность позитивного означивания узла при негативном означивании предшественника
4 '
R.
^n = p(xn|xn_i) — p(xN|xN-i)) т.е. разность вероятностей PrNeg — PrPos; вычисляется в программе
5
ProdNegR
k=N
Л Лк> для расчета определителя системы уравнений к=1
6
SysD
1 — ProdNegR; для расчета определителя матрицы системы уравнений АР = В; величина определителя получается в строке таблицы, соответствующей последнему элементу цикла
7
D
D = Д, накапливается для расчетов р(х])
8
LMrgPr
P(xn) — маргинальная вероятность в линейной цепочке
9
LMrgPr2
P(xnXn+i ) — маргинальная вероятность в линейной цепочке конъюнкции текущего и следующего элементов
10
CMrgPr
P(xn) — маргинальная вероятность в цикле
11
CMrgPr2
p(xNxN+i ) — маргинальная вероятность в линейной цепочке конъюнкции текущего и следующего элементов
торая нас интересует больше всего; в ней мы рассматриваем имеющиеся данные как задающие направленный цикл в обобщенной БСД.
Два «основных» окна приложения, в котором отлаживался рассматриваемый код, представлены на рис. 18.4. Пояснения к программному коду даны в комментариях. Хорошим упражнением можно было бы посчитать перевод настоящего кода на язык C++, программу на котором мы не приводим, поскольку новых существенных моментов она привнести не смогла бы.
Код реализован в рамках парадигмы объектно-ориентированного программирования и представляет собой совокупность методов модуля данных, в котором, кроме всего прочего, хранятся объекты adotbCyclesList, adotbCycleDef, и adotbCyclePrecalc, отвечающие за связи и обмен данными с таблицами в реляционной базе данных. Пример может показаться слишком подробным, но мы считаем, что полезно хотя бы один раз предоставить чита-
«linear Inference ^ЗДИМаМДИ Bl
Не Cycle Help
Cycles ListCycles ListIdId2-2-5-5-MPrernodelingcalculations^^MPrernodelingcalculations^^удид|удид|Cycle IDCycle IDSet predefined Рфс1) | [Set predefined Рфс1) | [Just do nothngJust do nothngLMigPi2LMigPi2CMrgPiCMrgPi0,06200600124433] 0.0602469892011341 —0,06200600124433] 0.0602469892011341 —0.1201975 I73969E-9]0.1201975 I73969E-9]0.120493974095334 1.0004879112002512790.120493974095334 1.000487911200251279hE53SQhE53SQIKE3EE3IIKE3EE3ISet calculated Рфс1) | j Test new operation |Set calculated Рфс1) | j Test new operation |PrNeg 0.002 0,004 0.009 0.016 0,032 0.064 0.129PrNeg 0.002 0,004 0.009 0.016 0,032 0.064 0.1290.5 0.25 0.125 0.0625 0.03125 0015625 0.00781250.5 0.25 0.125 0.0625 0.03125 0015625 0.007812501925347630610521 0.015501500311082!.0102526567278143 0.0024066845382631!.0164767485378434 0,00064079104548839 .03198764243859661)00051489839180760! .0624525977970329 0,00049980691310307; 0.120493978402269 P 00048791092028931!01925347630610521 0.015501500311082!.0102526567278143 0.0024066845382631!.0164767485378434 0,00064079104548839 .03198764243859661)00051489839180760! .0624525977970329 0,00049980691310307; 0.120493978402269 P 00048791092028931!ProdNegH0.498 0.122508 14333436 66504774ProdNegH0.498 0.122508 14333436 665047740.8 0.2008 0.0314936 0.0174644524 0.0319869016607 0.06245263363216360.8 0.2008 0.0314936 0.0174644524 0.0319869016607 0.0624526336321636^85805E-7i П6875Е-8]^85805E-7i П6875Е-8]0.2 0.0251 0.00196835 '0.0005457641375i 1,0004997953384484380.2 0.0251 0.00196835 '0.0005457641375i 1,000499795338448438-0,498•0.246-0.117•0,0465 00000000000010.048375-0,498•0.246-0.117•0,0465 00000000000010.048375|CMrgPt2|CMrgPt2
Cycles List
Cycles List
Id
Id
2-
2-
5-
5-
MPrernodelingcalculations^^
MPrernodelingcalculations^^
удид|
удид|
Cycle ID
Cycle ID
Set predefined Рфс1) | [
Set predefined Рфс1) | [
Just do nothng
Just do nothng
LMigPi2
LMigPi2
CMrgPi
CMrgPi
0,06200600124433] 0.0602469892011341 —
0,06200600124433] 0.0602469892011341 —
0.1201975 I73969E-9]
0.1201975 I73969E-9]
0.120493974095334 1.000487911200251279
0.120493974095334 1.000487911200251279
hE53SQ
hE53SQ
IKE3EE3I
IKE3EE3I
Set calculated Рфс1) | j Test new operation |
Set calculated Рфс1) | j Test new operation |
PrNeg 0.002 0,004 0.009 0.016 0,032 0.064 0.129
PrNeg 0.002 0,004 0.009 0.016 0,032 0.064 0.129
0.5 0.25 0.125 0.0625 0.03125 0015625 0.0078125
0.5 0.25 0.125 0.0625 0.03125 0015625 0.0078125
01925347630610521 0.015501500311082!
.0102526567278143 0.0024066845382631!
.0164767485378434 0,00064079104548839 .03198764243859661)00051489839180760! .0624525977970329 0,00049980691310307; 0.120493978402269 P 00048791092028931!
01925347630610521 0.015501500311082!
.0102526567278143 0.0024066845382631!
.0164767485378434 0,00064079104548839 .03198764243859661)00051489839180760! .0624525977970329 0,00049980691310307; 0.120493978402269 P 00048791092028931!
ProdNegH
0.498 0.122508 14333436 66504774
ProdNegH
0.498 0.122508 14333436 66504774
0.8 0.2008 0.0314936 0.0174644524 0.0319869016607 0.0624526336321636
0.8 0.2008 0.0314936 0.0174644524 0.0319869016607 0.0624526336321636
^85805E-7
i П6875Е-8]
^85805E-7
i П6875Е-8]
0.2 0.0251 0.00196835 '0.0005457641375
i 1,000499795338448438
0.2 0.0251 0.00196835 '0.0005457641375
i 1,000499795338448438
-0,498
•0.246
-0.117
•0,0465 0000000000001
0.048375
-0,498
•0.246
-0.117
•0,0465 0000000000001
0.048375
|CMrgPt2
|CMrgPt2
Рис. 18.4. Приложение для обработки направленных цикловв БСД.
телю не только абстрактные алгоритмы, но и приближенную к настоящему программному обеспечению реализацию.
//-- Вычисляем величину R, использующуюся в дальнейших расчетах procedure TdmCycles.CalculateR;
begin
with adotbCyclePrecalc do begin
Refresh;
First;
while not EOF do begin // Перебираем элементы цикла (с первого)
Edit; И В соответствующее поле вносим разность PrNeg и PrPos FieldByName(* R *).AsFloat : =
FieldByName(’PrNeg’).AsFloat - FieldByName(’PrPos’).AsFloat;
Post;
Next;
end
end
end;
//— Рекуррентное вычисление величины D
procedure TdmCycles.CalculateD; var
P, R, D, PrevD : double;
begin
PrevD := 0;
with adotbCyclePrecalc do begin
Refresh;
First;
while not EOF do begin
P := FieldByName(’PrNeg’).AsFloat;
R := FieldByName(’R*).AsFloat;
D := P-R*PrevD; // Используем рекуррентную формулу
PrevD := D;
Edit;
FieldByName(’ D ’) .AsFloat := D;
Post;
Next; end end end;
//— Вычисление определителя матрицы системы АР=В. В поле SysD
//— последнего элемента цикла будет сохранена искомая величина procedure TdmCycles.CalculateSysDet;
var
R, SysDet, ProdNegR : double;
begin
ProdNegR := 1;
with adotbCyclePrecalc do begin
Refresh;
First;
while not EOF do begin
R := FieldByName(’R’).AsFloat;
ProdNegR := -R*ProdNegR; H Еще одна рекуррентная формула
SysDet := 1-ProdNegR;
Edit;
FieldByName(’ProdNegR’).AsFloat := ProdNegR;
FieldByName(’SysD’).AsFloat := SysDet;
Post;
Next; end end end;
//-- Расчет маргинальной вероятности позитивного означивания
//-- последнего элемента цикла procedure TdmCycles.CalculateCPrXLast; var
SysDet, D, MrgCPrXLast: double;
begin
with adotbCyclePrecalc do begin Refresh;
if isEmpty then exit; H Нет данных — нет решения
Last; И Для расчетов нам нужна только последняя запись, // соответствующая последнему элементу цикла
D := FieldByName(’ D ’).AsFloat;
SysDet := FieldByName(’SysD’).AsFloat;
Edit;
if abs(SysDet) < NonZeroEdge then begin
// Если определитель слишком близок к нулю, мы // рассматриваем ситуацию как особую, содержащую // противоречие (здесь возможен более тонкий анализ) FieldByName(’CMrgPr’).Value := NULL;
FieldByName(’CMrgPr2’).Value := NULL; end else begin
MrgCPrXLast := D/SysDet; И Рассчитали и сохранили искомую FieldByName(’CMrgPr’).AsFloat := MrgCPrXLast; // вероятность end; Post end end;
//-- После того как рассчитана маргинальная вероятность последнего //-- элемента цикла, можно рассчитать вероятности остальных элементов //-- и вероятности конъюнкций соседних элементов. При противоречии //— записываются «пустые» значения procedure TdmCycles.CalculateCPrXAll;
var
PrXPrev, PrPos, PrNeg, PrXCur, PRXXPrev : double; begin
with adotbCyclePrecalc do begin Refresh;
if isEmpty then exit; // Нет данных — нет решения
Last;И Начинаем с последней записи
if VarlsNull(FieldByName(’CMrgPr’).Value) then begin // Данные противоречивы, расчеты не производятся First; while not EOF do begin Edit; FieldByName(’CMrgPr’).Value := NULL;
FieldByName(’CMrgPr2’).Value := NULL;
Post;
Next;
end;
exit // Выход при противоречивых данных end;
// Инициализируем переменную, которая содержит вероятность
// положительного означивания предка текущего узла PrXPrev := FieldByName(’CMrgPr’).AsFloat;
First;
while not EOF do begin
PrPos := FieldByName(’PrPos’).AsFloat;
PrNeg := FieldByName(’PrNeg’).AsFloat;
PrXXPrev := PrPos*PrXPrev;
PrXCur := PrXXPrev + PrNeg*(1-PrXPrev); Edit;
FieldByName(’CMrgPr’).AsFloat := PrXCur;
FieldByName(’CMrgPr2’).AsFloat := PrXXPrev; Post;
PrXPrev := PrXCur; Next end;
First;
PrPos := FieldByName(’PrPos’).AsFloat;
H PrNeg := FieldByName(’PrNeg’).AsFloat; PrXXPrev := PrPos*PrXPrev;
H ^xl^vn: := PrXXPrev + PrNeg* (1-PrXPrev);
// Эту величину для контроля можно сравнить с И рассчитанной в самом начале, т.е. сравнить // FieldByName(’CMrgPr’).AsFloat и PrXCur.
Edit;
FieldByWame(’CMrgPr2’).AsFloat := PrXXPrev; Post; end end;
//— Рассчитываем маргинальные вероятности для
//— элементов линейной цепи узлов procedure TdmCycles.CalculateLPrXAll; var PrXPrev, PrPos, PrNeg, PrXCur, PRXXPrev : double; begin with adotbCyclePrecalc do begin Refresh;
if isEmpty then exit; И Нет данных — нет решения First; //we need first row;
if VarlsNull(FieldByName(’LMrgPr’).Value) then begin while not EOF do begin
Edit;
// Нет начальных данных — чистим атрибуты всех // следующих элементов цепи
FieldByName(’LMrgPr’).Value := NULL;
FieldByName(’LMrgPr2’).Value := NULL; Post;
Next; end; exit // Выход при отсутствии начальных данных end;
Edit;
FieldByName(,LMrgPr2>).Value := NULL; И Нет предшествующего узла Post;
PrXPrev := FieldByName(’LMrgPr’).AsFloat;
Next;
while not EOF do begin
PrPos := FieldByName(’PrPos’).AsFloat;
PrNeg := FieldByName(’PrNeg’).AsFloat;
PrXXPrev := PrPos*PrXPrev;
PrXCur := PrXXPrev + PrNeg*(1-PrXPrev);
Edit;
FieldByName(’LMrgPr’).AsFloat := PrXCur;
FieldByName(’LMrgPr2’).AsFloat := PrXXPrev; Post;
PrXPrev := PrXCur; Next end; end end;
//-- Устанавливаем заранее заданную вероятностью узла, //— стоящего в начале цепи procedure TdmCycles.SetPredefinedPrXOne; begin with adotbCyclePrecalc do begin Refresh;
First; Edit;
FieldByName(’LMrgPr’).Value :=
adotbCyclesList.FieldByName(’PrXOne*).Value; Post end end;
//-- Устанавливаем виртуальную вероятность узла, стоящего
И— в начале цепи, рассчитанную на основе данных о цикле procedure TdmCycles.SetCalculatedPrXOne; begin with adotbCyclePrecalc do begin Refresh;
First; Edit;
FieldByName(’LMrgPr’).Value := FieldByName(’CMrgPr’).Value; Post end end;
Для читателей, не знакомых с языком Object Pascal и системой быстрой разработки приложений Delphi 7, при анализе приведенных выше фрагментов хорошим источником о базовых конструкциях программного кода может
• сюда продолжается точечная оценка О здесь оценка становится интервальной
Рис. 18.5. Цикл в ВСД: что можно узнать.
послужить работа [65]. Другой источник [114] поможет разобраться с использованными методами и свойствами объектов, представляющих таблицы реля- ционых баз данных в коде Delphi 7.
Оценки вероятностейболее сложных формул
Отметим, что полностью распределение вероятностей циклом, разумеется, не задается. Оценки совместных вероятностей трех и более вершин цикла уже становятся интервальными. Более того, даже совместные вероятности двух не соседствующих вершин цикла не могут быть точно определены из имеющейся информации (рис. 18.5).
Интервальные оценки на эти вероятности могут быть получены путем решения задачи линейного программирования, состоящей из неравенств, вытекающих из аксиом вероятности, например,
p(XiXjXk) <p(XiXj).
Процесс поиска верхних и нижних оценок в данном случае является фактически частным случаем априорного вывода в алгебраической байесовской сети (см. главу 10). Изолированный направленный цикл в байесовской сети доверия фактически представляет собой алгебраическую байесовскую сеть, являющуюся циклом, состоящим из фрагментов знаний второго порядка. А априорный вывод возникает тогда, когда мы над циклом ФЗ АВС пытаемся надстроить объемлющий фрагмент знаний. Примеры небольшой размерности приведены на рис. 18.6; темным выделены те конъюнкции, оценка которых всегда будет точечной,
а светлым — те, оценка которых может получиться интервальной. На рис. 18.7 показана попытка изобразить объемлющий ФЗ над циклом общего вида (из п переменных); обращаем внимание на то, что на ней показаны отнюдь не все конъюнкции длины 2 даже из изображенных на рисунке переменных.
Пример 18.2. Направленный БСД-цикл над четырьмя узлами Для цикла из четырех элементов уже не любые две переменные сосед
ствуют в цикле. Поэтому p(xixi)> р(хгхз), р(хзХ4), p(x4Xi) вычисляются однозначно, т.е. в невырожденном случае получат точечную оценку, а р(х)Хз) и р(х2Х4) являются неизвестными в задаче линейного программирования, равно как и, разумеется, вероятности более длинных цепочек конъюнкций.
Кроме того, следует подчеркнуть, что это семейство распределений вероятностей может оказаться пустым, т.е. задание начальных данных в цикле может оказаться противоречивым. В разделе, посвященном численным примерам, мы рассмотрим противоречивый цикл в байесовской сети доверия.
Сложность вычисленияоценок вероятностей
Для анализа сложности алгоритмов обычно исследуют нижние и верхние оценки их сложности. Однако приведенный нами алгоритм вычисления оценок элементов распределения вероятностей, соответствующего циклу в ВСД, —- это обычная задача линейного программирования, и алгоритмы для нее широко известны. Таким образом, оценка сложности сводится к оценке размера задачи линейного программирования. Если выписать задачу линейного программирования так, как это обычно делается в теории алгебраических байесовских сетей относительно вероятностей положительно означенных конъюнкций, размер ее составит (2П —2п — 1) переменную и 2П ограничений; 2п переменных пропадают за счет известных нам p(xt) и p(xiXi-j).
Разумеется, решать такую задачу при достаточно больших п вычислительно очень сложно, и хотелось бы найти алгоритмы, позволяющие проверять цикл на противоречивость более простыми способами. Воз-
Рис. 18.6. Объемлющие ФЗ над маленькими циклами.
можно, такие алгоритмы существуют, но они в любом случае должны рассматривать все распределение в совокупности. Стандартный подход, на котором основаны, например, различные степени непротиворечивости алгебраических байесовских сетей, а именно проверка непротиворечивости «по частям», в данном случае, к сожалению, не работает. При выбрасывании любого элемента цикла байесовская сеть доверия становится ациклической, а в ациклических сетях, как известно из стандартной их теории [237], любое задание начальных данных приводит к непротиворечивой сети. Таким образом, любое задание цикла в байесовской сети доверия на любом подмножестве исходных переменных наверняка непротиворечиво, а противоречивым может стать только при рассмотрении всех вершин в совокупности.
P(Xi=Vi|X3=V1) P(Xl=Vl|X3=V2) p(x1=v1|x3=v3) Ptx^valxs^i) P(Xl=V2|X3=V2) p(xi=v2|x3=v3)
P(X2=Vi|X1=V1) P(X2=Vi|X1=V2) P(X2=V1|X1=V3) p(x2=v2|x1=v1) p(x2=v2|x1=v2) P(x2=v2|x1=v3)
p(X3«Vi|x2=Vi) P(x3=v1|x2=v2) p(x3=Vi|x2=y3) p(x3=v2|x2=y1) p(x3=v2|x2=v2) p(x3=v2|x2=v3)
Рис. 18.8. Задание цикла из трех тернарных переменных.
Циклы с многозначными переменными
Классическая теория байесовских сетей доверия оперирует обычно многозначными, не только бинарными, переменными. Разумеется, многозначную переменную можно представить набором (цепочкой) бинарных точно так же, как всякое число можно перевести в двоичную систему счисления. Однако в результате такого перевода структура сети значительно усложнится; было бы, конечно, гораздо лучше, если бы сеть с самого начала допускала многозначные переменные.
Что же происходит с циклом в случае многозначных переменных? На рис. 18.8 изображен случай цикла из трех переменных — %), Х2, хз, каждая из которых может принимать три значения — vi, V2, V3. Отметим, что объем сведений, которые нужно указать для задания сети, значительно возрос: вместо двух оценок вероятностей, которые нужно было задать в бинарном случае для каждого узла, теперь тензор условных вероятностей состоит из шести значений.
Теперь система (18.1) принимает такой вид:
' p(X| =vi) = p(xi =V||xn =Vl)p(xn =vi) +р(Х1 =Vl|xn = V2)p(xn = V2) + +p(xi — V] |Xn =v3)(1 -p(xn =Vl)-p(xn =v2)), p(xi =V2) = p(xi = V2|xn = V|)p(xn = V|) +p(xi = Vj|xn = v2)p(xn = v2)+ +р(Х1 = V2|xn = V3)(1 -p(xn =V|)-p(xn =Vi)), p(x2=V|) = p(x2 =Vj|X| =Vl)p(X| =Vl)+p(x2 =V||X| =V2)p(Xl, = v2)+ +p(x2 =Vl|xi = V3)(1 -p(xi = Vi).-p(xi = v2)), p(x2=v2) = p(x2 =V2|X1 =V|)p(xi =Vl)+p(x2 =v2|xi =v2)p(xi =V2)+
<+p(x2=v2|xi =V3)(1-P(X1 =Vl)-p(»i = v2)),
P(xn=Vi) = p(xn =Vi|xn-l =Vi)p(xn-1 = vi ) +
+p(Xn =Vl|Xn-1 =V2)p(Xn-1 =v2)+ +p(Xn = Vl|x„-| = V3)(1 -p(xn-1 =Vl)-p(xn-1 =v2)), p(xn=v2) = p(xn =V2|xn-l =Vi)p(xn-1 =vi)+
+P(Xn = V2|Xn-1 =V2)p(Xn-1 =V2) +
,+P(Xn = V2|xn—1 = V3)(l -p(xn-l =Vl)-p(x„_i =V2)).
Дальнейшие вычисления ведутся так же, как и в бинарном случае, — нужно решить линейную систему тем или иным способом. Правда, алгоритм из § 18.5 придется немного усложнить, ведь в данном случае в матрице системы уже будет больше двух непустых диагоналей.
В общем случае, если переменные х^ г = 1,..., п, принимают значения vt, г = 1,..., т, в каждом узле должен быть задан тензор условных вероятностей вида p(xt = Vi|xt-i = Vj). В дальнейшем мы будем считать, что значения у каждой переменной одни и те же — разумеется, если у одной переменной меньше возможных значений, чем у другой, ей можно формально приписать недостающие значения, указав в тензорах, что эта переменная принимает “липшие" значения с вероятностью ноль.
Теперь мы будем действовать так же, как уже действовали в § 18.2. Введем переменные р^ = р(р3 = vk) — это будут переменные нашей линейной системы. Во-первых, очевидно, что сумма всех р^ равна единице:
mvi £pI = L1j=1
Введем сокращенное обозначение для различных оценок вероятностей в тензорах:
Ci1 = p(Xi = Vk|Xi-i = Vi).
Из определения условных вероятностей следует, что
m
Vi, к pt = У ct^.,.(18.5)
1=1
Это условие в наппах обозначениях выражается так:
m
Vi,k pt = 22ciM-p
1=1
Таким образом, мы получили набор из (тп + 1 )п ограничений на тп переменных. Чтобы работать с квадратной матрицей системы (это, разумеется, гораздо удобнее с точки зрения анализа множества решений системы), нужно от п ограничений избавиться. Проще всего это сделать, воспользовавшись условиями
ТП
ZPi=11=1
и выразив по этим формулам один из р( через другие для каждого г. Будем подставлять вместо р? равное ему выражение 1 — ^L^Pt для каждого г. Тогда условия (18.5) перепишутся следующим образом: mm
Vi,k pt = 22ciM-i + с" - Ci1 22 Pi-v1=21=2
После того как мы перенесем свободный член в правую часть и переобозначим для краткости
rkl _ -k1 _rki
Ч. — 4 vi > окончательный вид ограничений станет таким:
ТП
Vi, k pt + У £,^1-1 = Ct1 •
1=2
Тогда в линейной системе
АР = В,
построенной по тому же принципу, что и (18.1), матрица указанной системы А будет выглядеть следующим образом:
('°
0...0 00...0£?2Ь23... Ь?т \
1.0 00...0£р Ь?3.t?m
0
Ь12
0...1 00...0f.^2f,^3.. .£,fm
£,Р. ..£,2т 00...000...0
гр• ••&2т оо...ооо...о
£т2
г^3 ... грт оо ... о о о ... о
0
0
о...о г,22г23...г2т1о...о
о...о г.32г33...г3то1...о
\ 0
о ... о г”2г™3 ... г.™т о о ... i /
а векторы неизвестных и свободных членов системы примут вид:
/„2 „3„m A*^"
= Pl Pl Pl P2 P2 P2 Pn Pn Pn ) >
R - ( r21-31-21-31-ml-21-31-m! V
D — I CiC]. . . C] C2C2. . . C2. . . CnCn. . . Cn j •
Пример 18.3. БСД-цикл с тернарными переменными
Для облегчения понимания структуры вышеописанной системы выпишем линейную систему, соответствующую циклу с трехзначными переменными:
< 1
0
0
0
0
0
^2
^3)
f Pl )
[ C?1
0
1
0
0
0
0
^2
tr
Р1
of
^2
^3
1
0
0
0
0
0
Р2
С21 с2
^2
^3
0
1
0
0
0
0
р3
Г31
С2
0
0
Ц2
f-i3
0
0
0
0
Рз
г21 с3
0
0
^З2
г 33
^3•'
0
0
0
0
Рз
=
г31 с3
0
0
0
0
1
0
0
0
Рп-1
с21
сп-1
0
0
0
0
0
1
0
0
Рп-1
с31
сп-1
0
0
0
0
f22
£23
1
0
Рп
С„
\ 0
0
0
0
гзг
г 33 С’П
0
1 >
\ Рп )
\ Сп /
Чтобы найти точечные оценки вероятностей, нужно лишь решить эту систему линейных уравнений. Правда, анализ того, когда эта система не имеет решений, становится более сложным. Определитель теперь нужно считать по формуле Бине-Коши:
Д = 1 + (-1)пД1Д2...Дп,
где Д^ — соответствующий определитель
^mm
О развороте ребер в цикле
Направленный цикл, как мы показали выше, выводит вероятностную семантику обобщенной БСД за пределы единственности распределения, которая является ключевой для многих идей и алгоритмов теории байесовских сетей доверия. Поэтому естественно, что основной идеей работы с направленным циклом были попытки избавиться от него и свести рассмотрение к традиционным случаям. В статье [160] рассмотрен простейший способ, позволяющий добиться этого — разворот одного ребра в направленном цикле. При этом цикл перестает быть направленным, а с ненаправленными циклами в направленном графе аппарат ВСД справляться умеет (см. главы 14 и 15, а также [237]).
Однако тем самым сеть перестает описывать семейство распределений и выделяет из него единственное распределение. Иными словами, в систему искусственно вводятся дополнительные ограничения в форме условной независимости узлов цикла, которые после разворота ребра стали удовлетворять условиям d-разделимости. В [160] не приводится никакого удовлетворительного обоснования для этого.
Такое обоснование могло бы состоять в том, что это единственное распределение обладает какими-либо свойствами, выделяющими его из семейства. В работе [85] мы рассматриваем способы поиска этого распределения. Например, не исключено, что «выделенное» распределение будет удачным, если оно будет удовлетворять требованию максимума энтропии. Есть и экспериментальные подходы к выделению единствен-
ного распределения, например метод стохастического моделирования (см. краткое его описание в § 15.5). Однако эта проблема пока остается открытой.
Еще одним вариантом работы с направленным циклом является одновременный разворот всех ребер цикла. Это можно сделать, не изменив семантику сети, так как задание цикла при помощи условных вероятностей {p(Xi|xi-i)}, как мы показали выше, эквивалентно заданию совместных вероятностей {p(xt), p(xtxt-i)}, а вид множества совместных вероятностей не зависит от того, в какую сторону направлены ребра в цикле.
Для изолированного направленного цикла такой разворот, разумеется, лишен смысла. Однако вполне возможно, что этот прием окажется полезным для работы с несколькими пересекающимися циклами или другими ВСД с более сложной структурой — например, он может способствовать упрощению этой самой структуры, может помочь избавиться от действительно лишних циклов и т.д.
Направленные циклы внутри БСД
Разумеется, наиболее естественный вопрос, который возникает в результате нашего рассмотрения, — это вопрос о том, как перейти от изолированных направленных циклов к неизолированным, к направленным циклам, которые погружены внутрь байесовской сети доверия. Этот вопрос пока остается открытым (и очень интересным), а в данном параграфе мы кратко коснемся того, что уже сейчас, без всяких дополнительных математических инсайтов, можем сказать о погружении цикла в объемлющую сеть.
Во-первых, в цикле появляются интервальные оценки. Они, разумеется, не остаются внутри него, а распространяются дальше, на потомков вершин цикла. На рис. 18.9 изображена удачная ситуация — распределение над двумя соседними вершинами задано полностью, и мы можем пропагировать дальше точечную оценку. А на ри\. 18.10 можно увидеть более печальный случай: интервальность оценок на совместные вероятности несоседних вершин (а также множеств из более чем двух вершин) неизбежно переходит и на оценки потомков, а затем долж-
• сюда продолжается точечная оценка О здесь оценка становится интервальной
Рис. 18.9. Цикл в ВСД: пропагация точечных оценок.
• сюда продолжается точечная оценка О здесь оценка становится интервальной
Рис. 18.10. Цикл в ВСД: пропагация интервальных оценок.
на будет пропагироваться дальше (рис. 18.10, справа). Математическое описание этого процесса, а также разработку соответствующих формализмов и алгоритмов пропагации еще только предстоит сделать.
Еще одно важное обстоятельство проявляется тогда, когда мы начинаем рассматривать предков цикла. Дело в том, что задание условных вероятностей в циклической ВСД может оказаться противоречивым. Это противоречие возникает при определенных означиваниях узлов- предков. Примечательно то, что это возможное противоречие может «запретить» некоторые комбинации свидетельств, которые могли бы поступить в узлы-предки такой ВСД, т.е. может случиться, что некоторые комбинации приводят к противоречивому циклу, а некоторые — к непротиворечивому. Например, может случиться так, что если один
Рис. 18.11. Запрещенное значение предка цикла.Рис. 18.11. Запрещенное значение предка цикла.Рис. 18.12. Запрещенная комбинация значений предков цикла.Рис. 18.12. Запрещенная комбинация значений предков цикла.
Рис. 18.11. Запрещенное значение предка цикла.
Рис. 18.11. Запрещенное значение предка цикла.
Рис. 18.12. Запрещенная комбинация значений предков цикла.
Рис. 18.12. Запрещенная комбинация значений предков цикла.
из предков получит означивание Т, цикл останется непротиворечивым, а если F — станет в рамках пропагации этого свидетельства противоречивым (рис. 18.11). Возможны и более сложные варианты, когда противоречивость цикла зависит от комбинации нескольких предков (рис. 18.12). Встает вопрос о некоем алгоритме поддержания непротиворечивости, который бы позволил достаточно эффективно распознавать такие ситуации и делать соответствующие выводы о предках цикла (или, возможно, о самом цикле — о том, что задающие его условные вероятности не соответствуют предметной области). Ответы на эти вопросы еще только предстоит получить.
Цикл с противоречием:численный пример
Для того чтобы прояснить рассмотренные в предыдущих разделах вопросы теории БСД, мы приведем характерный пример, иллюстрирующие суть предлагаемых нами методов. Начать следовало бы с цикла из двух элементов, но этот пример характерным не является, так как в этом случае задание цикла полностью определяет все распределение вероятностей. Однако уже при цикле из трех вершин появляющаяся неопределенность позволяет проиллюстрировать возникающие проблемы. Зададим циклическую ВСД из трех вершин:
р(х2|хт) = 1/4, р(х3|х2) = 3/4, p(xj|x3) = 3/4,P(x2,xi) = 1/2, р(х3|х2) = 1/6, р(х)|х3) = 1/6.
Решая линейную систему на совместные вероятности, получим следующие результаты:
p(xi) = р(х2) = р(х3) = 2/5, P(xix2) = 1/10,
.Р(Х2Х3) =р(Х]Х3) = 3/10.
Теперь ограничения на p(xiX2X3) включают в себя ограничение P(xiX2) — p(xtX2X3) > 0, т.е. p(xiX2X3) < 1/10, и, с другой стороны, Р(хз) -p(xix3) -р(х2Х3) +p(xiX2X3) > 0, т.е. p(xiX2X3) > 2/10. Таким образом, уже цикл из трех вершин может оказаться противоречивым.
Для автоматического обсчета численных примеров, а также для реализации аппарата стохастического моделирования, который мог бы дать ответ на вопрос о существовании единственного «выделенного» распределения, нами был разработан прототип программного обеспечения, часть кода которого рассмотрена в примере 18.1. Его пользовательский интерфейс представлен на рис. 18.4. Базовые алгоритмы, реализованные на Delphi в рамках этого прототипа, уже демонстрировались нами в примере 18.1; надеемся, читатель после изучения этого примера сможет реализовать эти алгоритмы на любом доступном языке программирования.
Заключение
Мы подробно рассмотрели лишь простейший случай циклической сети — изолированный цикл в БСД. Однако при этом пришли к ряду интересных выводов. Даже изолированный цикл в формализме БСД задает уже не одно, а целое семейство распределений вероятностей, причем это семейство может оказаться пустым. Для поддержания непротиворечивости и вывода в изолированном цикле нам пришлось погрузить его в объемлющий фрагмент знаний АБС. Таким образом, мы применили бблыпую общность теории АВС в целях обобщения теории БСД.
Однако в этой деятельности есть множество открытых проблем. Разумеется, было бы естественным обобщением распространить эти методы на всякую БСД с допустимыми направленными циклами в ней. Кроме того, мы не учитывали условий d-разделимости, играющих важную роль в теории БСД (для изолированного цикла эти условия просто неприменимы, но в более сложных ситуациях могут потребоваться). Дело в том, что пока не ясно, как определить d-разделимость в случае байесовской сети с циклами. Классическое определение d-разделимости приводит в рассматриваемых здесь примерах к тому, что все вершины оказываются d-связаны, и никаких дополнительных условий оно не налагает. Возможно, это — неудачный способ обобщить понятие d- разделимости. Данный вопрос еще предстоит разрешить.
Глава 19
Фрагмент знаний с нечеткой меройистинности
Корень знающего незнания — в понимании неуловимости точной истины.
Об ученом незнании
Николай Кузанский
— Поэтому настоящая мудрость, — воскликнул Кошмар, — это ничего не знать, но обо всем судить! Да здравствует мудрое невежество!
— Да здравствует! —- согласился второй мудрец.
Город без памяти
Кир Булычев
Введение
В настоящей главе представлен и кратко иллюстрирован математический аппарат, который в качестве основы берет структуру фрагмента знаний алгебраической байесовской сети, т.е. идеал цепочек конъюнкций, а в качестве оценки истинности суждений о предметной области — точечную и/или интервальную нечеткую оценку истинности. Построение ФЗ АБС повторяется, чтобы можно было сравнить этот процесс с построением ФЗ с нечеткостью (ФЗН), т.е. ответить с позиций классической и, соотвественно, интервальной классической нечеткой логики на уже ставившиеся вопросы:
— как представить неопределенность атомарного высказывания?
— как представить частично заданную зависимость между некоторым небольшим числом утверждений с помощью фрагмента знаний?
— как определить непротиворечивость соответствующих фрагментов знаний, т.е. согласованность полученных оценок истинности между собой и с аксиоматикой меры истинности?
— как объединить фрагменты знаний в базу фрагментов знаний?
— как и с какой степенью достоверности определить непротиворечивость этой базы фрагментов знаний?
Волее того, мы старались сделать эту главу максимально автономной, чтобы учесть интересы читателей, ведущих исследования в рамках парадигмы нечеткости и не испытывающих потребности в экстенсивном использовании вероятностей.
Иначе говоря, цель изложения состоит в компаративной постановке задачи поддержания непротиворечивости фрагмента знаний с нечеткостью и описании способа моделирования поддержания непротиворечивости фрагмента знаний с нечеткостью с помощью идеала цепочек конъюнкций и нечеткой меры истинности на нем. Для упрощения выкладок цель работы будет реализована на фрагментах знаний размерности 2-3 с комментарием: как обобщить реализацию на ФЗ более высоких порядков. Кроме того, основные построения ведутся для нечеткой меры истинности по Заде (щ), а для псевдовероятностной (щ) нечеткой меры истинности и для меры по Лукасевичу (цз) комментарии относительно способа их обработки будут даны лишь в ключевых местах. Обозначения, связанные с нечеткими мерами истинности, заимствованы из главы 6.
Фрагмент знаний
Пусть имеется множество атомарных пропозициональных формул T = {ti,t2}.
Они представляют элементарные утверждения об объектах предметной области, участвующие в правиле, которое используется экспертом в процессе рассуждений. 3го — множество всех возможных пропозициональных формул над множеством Т. Как было отмечено выше, во фрагмент знаний Тд над Т входят все положительно означенные конъюнкты над Т (в том числе и конъюнкты из одной переменной):
7Д={1ъ 12,1^2}.
Неопределенность истинностипропозиции в ФЗ АБС
Для представления неопределенности знаний об истинности того или иного утверждения из 7 или характеристики связи между ними в теории алгебраических байесовских сетей (АВС) используется мера вероятности истинности пропозициональной формулы p(f). Было доказано, что если заданы вероятности элементов ФЗ АБС Тд, то вероятности истинности всех остальных формул из 3го также окажутся заданными однозначно. Неопределенность истинности пропозициональной формулы может также характеризоваться интервалом
P(f) е [p~(f),P+(f)]или, что одно и то же,p"(f) <p(f) <p+(f).
Неопределенность истинностив ФЗ с нечеткостью
Для представления неопределенности знаний об истинности того или иного утверждения из Т или характеристики связи между ними в нечеткой логике используется мера нечеткости (нечеткая мера) истинности пропозициональной формулы щ (f). Эта мера — мера нечеткости истинности по Заде — задается следующим набором ограничений:
нН?) = i-ni(f),
m(fih) = min{m(fi),m(f2)},
Hi(fiVf2) = max{m(fi),pi(f2)}.
Черта над формулой обозначает ее логическое отрицание. Любую формулу из 3го можно представить в виде комбинации формул из Т , использующей операции отрицания, конъюнкции и дизъюнкции. Очевидно, что, зная значения меры нечеткости истинности пропозиций из Т, можно вычислить значение меры нечеткости любой пропозиции из 3го. Множество Тд с заданными на его элементах значениях меры нечеткости истинности назовем фрагментом знаний с нечеткостью (ФЗН).
Значение нечеткой меры истинности пропозициональной формулы может также характеризоваться интервалом
m(f)€ [nr(f),m+(f)]
или, что одно и то же,
m"(f)<m(f)<m+(f).
Фрагмент знаний АВС и фрагмент знаний с неопределенностью могут быть представлены в виде диаграммы Хассе ФЗ второго порядка. Элементам ФЗ АБС будут приписаны оценки вероятности их истинности (точечные или интервальные), а элементам ФЗН — оценки нечеткости истинности, также точечные или интервальные.
Встает вопрос, насколько произвольно могут быть присвоены значения оценок вероятности истинности или нечеткой меры истинности элементам фрагмента знаний. Обратившись к аксиоматике вероятностной меры на пропозициональных формулах, можно установить, что следующее назначение оценок вероятностей элементов ФЗ АБС противоречиво:
P(tj) = 0.1,
p(t2) = 0.2,
p(tit2) = 0.2, поскольку
Р(1112) = p(t]) - p(tit2) = 0.1 - 0.2 = -0.1.
Таким образом p(tjt2) = p(t]) — p(t,t2) < 0, что противоречит требованиям аксиоматики вероятностной логики.
Используя те же значения оценок для меры истинности, рассмотрим простой пример и для нечеткой логики. Пусть
m(ti) = 0.1,
Hi(t2) = 0.2,m(tit2) = 0.2.
Эта совокупность оценок противоречит требованиям меры щ относительно результата оценки истинности логической операции конъюнкции, поскольку по определению должно соблюдаться
m(tit2) =min{pi(ti),pi(t2)},
что, в частности, влечет
m(tit2) < т(й);
однако на самом деле имеет место соотношение
m(tit2) > m(ti).
Два последних неравенства противоречат друг другу; это свидетельствует о противоречивости (несовместности) исходных нечетких оценок истинности в нашем примере.
Систематизированный ответ на поставленный выше вопрос дает анализ аксиоматики нечеткой и вероятностной меры, определенной для пропозициональных формул.
Непротиворечивость ФЗ АБС
Введем множество элементарных событий над Т:
Q={tit2(tit2)t1t2,t1t2}.
Вероятность любой пропозициональной формулы из 3го будет равна сумме вероятностей членов, входящих в ее совершенную дизъюнктивную нормальную форму (СДНФ):
Vf € 5° 3!S с Q : f = V q-q€$p(f) :=£.p(q).
.qes
Аксиомы вероятностной меры в общем случае примут вид
Vq G Q : p(q) > 0,
5Lp(q) = L qeQ
что для нашего примера можно переформулировать следующим образом:
p(tit2) > 0,
p(tjt2) > 0,
p(tit2) > 0,
p(tit2) > о,
p(tit2) + р (t! t2) + p(tit2) + p(t]t2) = 1.
Вероятности членов множества элементарных событий можно выразить через вероятности пропозиций, входящих в ФЗ Тд. После подстановки полученных выражений в только что построенную систему получится следующий набор условий, который мы будем обозначать через £2:
P(tit2) > 0,
P(ti)-p(tit2) > 0,p(t2)-p(tit2) > 0,
1 -P(ti)-p(t2) +p(tit2) > 0.
ФЗ ABC с точечными оценками вероятностей его элементов признается непротиворечивым, если эти оценки удовлетворяют приведенным выше соотношениям. Более сложное определение непротиворечивость ФЗ имеет, если элементам ФЗ дана интервальная оценка вероятности их истинности. Вели для произвольного элемента ФЗ АБС при выборе произвольного точечного значения из соответствующей этому элементу интервальной оценки вероятностей можно построить непротиворечивое точечное означивание вероятностей всех остальных элементов ФЗ таким образом, что каждая точечная оценка вероятности входит в соответствующий ей интервал вероятности, такой ФЗ АБС с интервальными оценками вероятностей признается непротиворечивым.
Пусть даны исходные интервальные оценки вероятностей истинности элементов ФЗ АВС следующего вида:
Po(ti)< P(ti) <p*(ti),
Po(t2)< PM <P^(t2),
P?(tlt2) < p(tit2) <p+(tit2).
Набор ограничений из предметной области такого вида обозначается как D*2'. Для каждого элемента ФЗ АВС Тл решим ряд задач линейного программирования (ЗАП) следующего вида:
p-(f) := minp(f),"
p+(f) := maxp(f),
V5^(2)
где
:= £(2)^(2)
Если вышеуказанные ЗЛП не имеют решения, то исходные оценки вероятностей элементов ФЗ АВС признаются противоречивыми. Если же ЗЛП решение имеют, то тогда возникают новые, возможно более строгие, оценки вероятности истинности пропозиций из ФЗ АБС:
P“(ti)< p(ti) <p+(t]),P~(t2) <p(t2)<P+(t2)>
P~(tit2) < p(tit2) <p+(tit2).
Таким образом, в процессе поддержания непротиворечивости ФЗ АБС исходные интервальные оценки не только проверяются на совместность, но также могут быть уточнены за счет учета их взаимного влияния.
Непротиворечивость ФЗН с мерой Ц]
Источником критериев проверки непротиворечивости ФЗН выступает другая система неравенств, вытекающая из способа определения меры pj:
m(tit2) > 0,
1-m(ti) > 0,
1 — m(t2) > о, min{m(ti),m(t2)}-m(tit2) = 0.
ФЗН с точечными значениями нечеткой меры истинности его элементов признается непротиворечивым, если эти оценки удовлетворяют только что указанным соотношениям. Как и в случае ФЗ АБС, более сложное определение непротиворечивость ФЗН имеет, если элементам ФЗН дана интервальная оценка их истинности. Если для произвольного элемента ФЗН при выборе произвольного точечного значения из соответствующей этому элементу интервальной оценки нечеткой меры истинности можно построить непротиворечивое точечное означивание
нечеткой меры истинности всех остальных элементов ФЗН таким образом, что каждая точечная оценка нечеткой меры истинности входила бы в соответствующий ей интервал, то такой ФЗН с интервальными оценками нечеткой меры истинности признается непротиворечивым.
В случае ФЗН из-за наличия нелинейного компонента в одном из неравенств трудно сразу перейти к постановке и решению задачи ЗЛП для определения непротиворечивости, как это было сделано в случае с ФЗ АВС.
Тем не менее, рассмотрев множество неравенств, задающих аксиоматизацию нечеткости на пропозициях ФЗН, при двух условиях — М-1 (tj) > Pifta) и pi(ti) < M-i (tz) — можно сформировать два множества ограничений — 8^2 и £2ъ связывающих нечеткие оценки истинности пропозиций из ФЗН, которые будут состоять только из линейных неравенств. Первое множество (8^) будет иметь в своем составе
m(ti)-m(t2) > О,
m(tit2) > О,
1-m(ti) > О,
1-Hi(t2) > 0,
^(t2)-m(tit2) = 0.
а второе множество (821) —
m(t2)-m(tj) > о,
m(tit2) > о,
i-ni(ti) > о,i-m(t2) > о,^(ti) - m(tit2) = 0.Пусть имеется набор исходных оценок Ф^ :mHti)< m(ti) <m?(ti),Шо (t2) <m(t2)< Hl^(t2),
mHtit2)< m(tit2) < m*(tit2).
Для каждого элемента ФЗН Тд, объединяя полученные в результате оценки, решим ряд задач линейного программирования (ЗЛП) следу-
ющего вида:
V ZX
m+(f) := min < min m(f), min m(f)>;
(£uu4, eiiui^, J
Если ЗЛП, рассмотренные выше, не имеют решения, то исходные оцен- -<ки значений нечеткой меры истинности на элементах ФЗН признаются противоречивыми. Если имеются решения ЗЛП для одной и только , для одной группы ограничений, то в качестве уточненной оценки значений нечеткой меры выбираются решения ЗЛП именно для этой группы ограничений. Если ЗЛП имеют решения для обеих групп ограничений, то тогда расчеты результата ведутся точно по приведенным формулам.
Таким образом, в процессе поддержания непротиворечивости ФЗН исходные интервальные оценки не только проверяются на совместность, но так же, как и в случае с ФЗ АВС, они могут быть уточнены за счет учета их взаимного влияния.
Непротиворечивость ФЗ порядка 3
Пусть множество атомарных пропозициональных формул состоит не из двух, как было выше, а из трех элементов:
T = {ti,t2,t3}.
Тогда мы получим фрагмент знаний третьего порядка. Опираясь на Т, построим два стандартных множества — множество квантов Q и ФЗ Тд с множеством составляющих его элементов 6:
Q = {tlt2t3,tit2t3,tlt2t3,t1t2t3)
tlt2t3>tit2t3,tit2t3,tlt2t3};
С = {t1,t2,t3ltit2,t1t3,t2t3,tit2t3}.
Общий вид аксиом вероятностей сохранится, а множество £*3^ будет состоять из следующих неравенств:
P(tit2t3) > О,
p(tit2) -p(tit2t3) > О,
P(t]t3) — p(tit2t3) > О, p(t2t3) — P(tit2t3) > О,
P(tl) - р(1112) - p(t]t3) + p(ti t2t3) > 0,
P(t2)-P(tit2)-p(t2t3)+p(t]t2t3) > 0, p(t3)-p(tit3)-p(t2t3)+p(tit2t3) > 0, 1 -P(tl)-p(t2)-p(t3) + +p(tit2)+p(tit3)+p(t2t3)+p(tit2t3) > 0.
Множество ограничений из предметной области D^ тоже заметно увеличится и приобретет следующий вид:
Po(tl) <
P(tl)
<p+(tl),
P?(t2) <
P(t2)
<P?(t2),
P7(t3) <
P(t3)
<P?(t3),
Po (tlt2) <
P(tlt2)
< P^(tlt2),
P7(t]t3) <
P(tlt3)
<P?(tlt3),
Po (*2*з) <
P(t2t3)
< РЛ*2*3)»
P?(tlt2t3) <
P(tlt2t3)
< p+(tlt2t3).
Для каждого элемента ФЗ АБС Тд решим ряд ЗАП. Если ЗАП имеют решение, то исходные оценки вероятностей элементов ФЗ АВС согла- суемы (возможно, эти оценки придется уточнить). Если ЗАП решения не имеют, набор исходных оценок признается противоречивым.
В случае ФЗН имеем следующий набор аксиом: m(tit2t3) > о, i-m(ti) > о, i-m(t2) > о, i-m(t3) > о, min{m(ti),m(t2)}-m(t1t2) = о, min{m(ti),m(t3)}-m(tit3) = 0, min{m(t2), щ(t3)}- m(t2t3) = 0,
min{m(ti),m(t2),ni(t3)}- цИг^^з) = 0.
Как и в случае ФЗН второго порядка, этот набор не позволяет впрямую перейти к ограничениям для ЗЛП. Однако, переформулировав этот же набор аксиом для каждого из шести возможных соотношений:
m(ti)< m(t2)
< т(1з),
w(ti)< m(t3)
< M-l(t2),
Hl(t2)< m(ti)
< Hl(t3)>
w(t2)< m(ts)
< m(ti),
т(1з)< m(ti)
< Hite),
m(t3) < m(t2)
< m(ti),
мы получим шесть множеств ограничений, которые в совокупности с исходными данными позволят построить шесть вариантов ЗЛП, подобных вышеописанным для ФЗН второго порядка. Если ни в одном из вариантов ЗЛП не имели решения, то исходные оценки значений нечеткой меры истинности элементов ФЗН признаются противоречивыми. В противном случае, объединяя непустые результаты всех шести вариантов, мы получим непротиворечивые и, возможно, более точные оценки значений нечеткой меры. Например, первому варианту соотношений M-i(ti) < Hi(t2) < ш(1з) соответствует множество ограничений £123, вытекающих из системы аксиом нечеткой меры:
m(ta) - m(ti) > 0,
m(t3)-m(t2) > 0, m(tit2t3) > 0, 1-Hi(ti) > 0, 1-Hl(t2) > 0, 1-m(t3) > о,
m(ti)-m(t]t2) = О, m(ti) - m(tit3) = о, m(t2)-m(t2t3) = о, m(ti)-ni(tit2t3) = 0.
17 Зак. 3294
Аналогичным образом строятся множества ограничений £132, £2131 £231, £з12, £321- Множество ограничений из предметной области ©^ примет следующий вид:
Hb(ti) <
Hl(tl)
< mo(ti),
ШЛ*2) <
Hl(t2)
< Л),
Н17 (t3) <
m(t3)
Hl^(tlt2) <
m(tjt2)
< ^(tit2),
М-Ь (tit3) <
m(tit3)
< mo (tit3),
Шо (t2t3) <
Ш(*2*3)
< m?(t2t3),
Hb(tlt2t3) <
m(tit2t3)
< Hl^(tlt2t3)
Следует отметить, что величина pi(f),f € Тд, удовлетворяющая ограничениям, накладываемым аксиомами нечеткой меры истинности, также удовлетворяет ограничениям, накладываемым аксиомами вероятностной меры истинности. Таким образом, ФЗН можно рассматривать как ФЗ АБС с дополнительными предположениями о связи между его элементами.
Непротиворечивость ФЗболее высоких порядков
Алгоритм формирования множеств £^ и ©^ для ФЗ г-го порядка i очевиден. Это — исходные оценки значения меры истинности, взятые из предметной области.
Для ФЗ АБС множество £1 формируется следующим образом. Относительно членов множества элементарных событий (множество конъюнкций максимальной длины из литер, входящих в Т, и их отрицаний) выписываются ограничения, накладываемые аксиоматикой теории вероятностей. Затем в полученную систему ограничений подставляются их выражения через вероятность элементов Тд. Далее решаются ЗАП соответствующего вида. Если они имеют решения, то ФЗ АВС признается непротиворечивым, в противном случае имеем противоречие в исходных оценках вероятности истинности элементов ФЗ АВС.
Таблица 19.1. ФЗ АВС и ФЗН второго порядка, противоречие
f
Исходные оценки p(f), m(f)
Результат
p(f)
Hi(f)
tl
[0.6; 0.8]
[0.6; 0.65]
0
t2
[0.7; 0.85]
[0.7; 0.75]
0
tit2
[0.2; 0.35]
[0.3; 0.35]
0
В случае ФЗН сначала выписываются все ограничения, накладываемые аксиоматикой нечеткой меры истинности на ее значения, соответствующие элементам ФЗ Тд. Чтобы получить из этой совокупности ограничений набор линейных равенств и неравенств, исходная совокупность рассматривается при разных перестановках:
М-1 (й,) < F1 (ti2) < • • • < Hi (ti„ )•
Затем решаются ЗАП для каждой из перестановок. Результирующие интервальные оценки объединяются. Если они все пусты, то ФЗН признается противоречивым; если же ЗАП имеют решение хотя бы в случае одной перестановки, то ФЗН непротиворечив.
Так же, как ФЗ АВС могут формировать БЗ в виде АВС, ФЗН способны формировать ВЗ в виде структурированных сетей ФЗН. Подход и изучение сетей ФЗН аналогичен по своим этапам приведенному в основном тексте работы подходу к анализу ВЗ на основе АВС.
Примеры
Для иллюстрации положений этой главы вниманию читателя предлагаются три примера проверки и уточнения исходных сведений о неопределенности и связях элементов ФЗ АБС и ФЗН. Для удобства сравнения в каждом случае структуры одинаковы, как одинаковы и исходные оценки мер истинности элементов указанных фрагментов знаний.
Данные табл. 19.1 дают нам первый пример, подтверждающий, что ограничения, накладываемые аксиоматикой нечеткой меры, более жестки, чем ограничения на соотношение оценок истинности элементов ФЗ, накладываемые аксиоматикой вероятностной меры. При одних и тех же исходных данных ФЗ АБС оказывается непротиворечив, хотя
Таблица 19.2. ФЗ АБС и ФЗН второго порядка, непротиворечивость
f
Исходные оценки p(f), Mi(f)
Результат
P(f)
Pi(f)
tl
[0.75; 0.995]
[0.75; 0.995]
[0.75; 0.995]
t2
[0.45; 0.85]
[0.45; 0.70]
0.45
tit2
[0.1; 0.45]
[0.2; 0.45]
0.45
Таблица 19.3. ФЗ АБС и ФЗН третьего порядка
f
Исходные оценки p(f), Pi(f)
Результат
P(f)
Pi(f)
ti
[0.1; 0.45]
[0.2; 0.4]
[0.2; 0.3]
1-2
[0.45; 0.7]
[0.45; 0.7]
[0.45; 0.7]
t3
[0.8; 0.95]
[0.8; 0.95]
[0.8; 0.95]
tlt2
[0.2; 0.5]
[0.2; 0.45]
[0.2; 0.3]
tlt3
[0;1]
[0;0.45]
[0.2; 0.3]
t2t3
[0.15; 0.8]
[0.25; 0.7]
[0.45; 0.7]
t]t2t3
[0;0.3]
[0;0.3]
[0.2; 0.3]
исходные оценки истинности элементов ФЗ уточняются, а набор оценок истинности элементов ФЗН — противоречив.
В табл. 19.2 дан пример непротиворечивых ФЗ АБС и ФЗН второго порядка. В обоих случаях оценки истинности оказались более узкими, но в ФЗ АВС они все остались интервальными, а в ФЗН некоторые стали точечными.
Данные табл. 19.3 — пример поддержания непротиворечивости ФЗ АБС и ФЗН третьего порядка. Как и в предыдущем примере, несмотря на наличие одинаковых исходных данных, результирующие оценки истинности элементов ФЗН получились, как правило, более узкими, чем оценки истинности элементов ФЗ АВС. Два последних случая также показывают, что при одинаковых исходных данных интервал непротиворечивости значения нечеткой меры истинности является подынтервалом интервала непротиворечивости значения вероятностной меры истинности.
Непротиворечивость ФЗН
с мерами Ц2 и цз
В настоящем разделе мы рассмотрим на примере ФЗН второго порядка идею подхода к поддержанию непротиворечивости ФЗН с псев- довероятностной нечеткой мерой истинности и нечеткой мерой истинности по Лукасевичу.
Меры р-2 и цз различаются между собой и отличаются от меры нечеткости по Заде щ системами соответствующих аксиом (см. главу 6). Упрощенное графическое представление различий мер истинности дано на рис. 19.1.
Соответственно, для псевдовероятностной меры р.2 источником критериев проверки непротиворечивости ФЗН выступит система £^2:
to(tit2) > 0,
1~H2(ti) > 0,
1 - Ц2(^2) > 0,
Hl(tl)H2(t2) - H2(tlt2) = 0,а для цз — система £^3:
to(tit2) > 0,
1-H3(ti) > 0,
1 - М-зИ > 0, max{0;n3(t1) + p3(t2) - 1}-to(tit2) = 0.
ФЗН с точечными значениями нечеткой меры щ истинности его элементов признается непротиворечивым, если эти оценки удовлетворяют только что указанным соотношениям. Как и в случае ФЗ АВС, более сложное определение непротиворечивость ФЗН имеет, если элементам ФЗН дана интервальная оценка их истинности. Если для произвольного элемента ФЗН при выборе произвольного точечного значения из соответствующей этому элементу интервальной оценки нечеткой меры истинности можно построить непротиворечивое точечное означивание нечеткой меры истинности всех остальных элементов ФЗН таким образом, что каждая точечная оценка нечеткой меры истинности входила
бы в соответствующий ей интервал, то такой ФЗН с интервальными оценками нечеткой меры истинности признается непротиворечивым.
В случае ФЗН и с мерой р-2, и с мерой рз из-за наличия нелинейного компонента в одном из неравенств трудно сразу перейти к постановке и решению задачи ЗЛП для определения непротиворечивости, как это было сделано в случае с ФЗ АВС.
Для преодоления возникающей сложности в случае псевдовероят- ностной нечеткой меры р.2 перейдем к рассмотрению натуральных логарифмов ее значений ^(f) := In P2(f). Тогда система £^2 преобразуется в систему £^2:
^2(tit2) < О,
^2(11) < 0,
^2(12) < 0,
•Vl(tl)+'V2(t2)-T2(tit2) = 0.
Существенной особенностью данного преобразования является последующее дополнение числовой оси снизу элементом —оо. Таким образом, нами формально допускается ^(f) € [—оо; 0]; будем считать, что In 0 = —оо.
Пусть имеется набор исходных оценок D^2: too(ti)< to(ti) <H2*(ti), H2?(t2) <M^)< U2*(t2),
too (tit2) < to(tit2) < to^(tit2);
с помощью логарифмирования и с учетом соглашений о In 0 преобразу-
ем эти систему в эквивалентную D^:
■V27(tl) <
■V2(tl)
<-V2^(tl),
^Ul) <
•V2(t2)
<'V2^(t2),
■V2o (tlt2) <
-v2(tit2)
< ^(tlt2).
Для каждого элемента ФЗН Тд решим (возможно, несобственные) задачи линейного программирования следующего вида:
•V2+(f) := ,min v2(f),.
£$2иф22
Рис. 19.1. Множества истинности и нечеткие меры.а — мера истинности Заде*. *мжакы1ы\ъная вложенность множеств истинности пропозиции; б — псевдовероятностная мера истинности: «независимость»; в — мера истинности Лутсасевича: максимальное несовпадение множеств истинности.Рис. 19.1. Множества истинности и нечеткие меры.а — мера истинности Заде*. *мжакы1ы\ъная вложенность множеств истинности пропозиции; б — псевдовероятностная мера истинности: «независимость»; в — мера истинности Лутсасевича: максимальное несовпадение множеств истинности.XУXУ3/2 (f)3/2 (f):= max 3/2(f),£^ui«2:= max 3/2(f),£^ui«2
Рис. 19.1. Множества истинности и нечеткие меры.
а — мера истинности Заде*. *мжакы1ы\ъная вложенность множеств истинности пропозиции; б — псевдовероятностная мера истинности: «независимость»; в — мера истинности Лутсасевича: максимальное несовпадение множеств истинности.
Рис. 19.1. Множества истинности и нечеткие меры.
а — мера истинности Заде*. *мжакы1ы\ъная вложенность множеств истинности пропозиции; б — псевдовероятностная мера истинности: «независимость»; в — мера истинности Лутсасевича: максимальное несовпадение множеств истинности.
X
У
X
У
3/2 (f)
3/2 (f)
:= max 3/2(f),£^ui«2
:= max 3/2(f),£^ui«2
при этом полагая, что если переменная -vi (f) оказывается неограниченной снизу, то она приобретает формальное значение —оо.
Для перехода к новым оценкам исходных величин выполним обратное преобразование:
to+(f) := exp (3/2+(f)),H2~(f) := exp (3/2”(f)),
полагая при этом, что ехр(—оо) = 0.
Если ЗЛП, рассмотренные выше, не имеют решения, то исходные оценки значений нечеткой меры истинности на элементах ФЗН признаются противоречивыми.
Таким образом, в процессе поддержания непротиворечивости ФЗН с псевдовероятностной мерой исходные интервальные оценки не только проверяются на совместность, но так же, как и в случае с ФЗ АБС, они могут быть уточнены за счет учета их взаимного влияния.
В свою очередь, для преодоления возникающей сложности в случае нечеткой меры Лукасевича цз, рассмотрев множество неравенств, задающих аксиоматизацию этой меры нечеткости истинности на пропозициях ФЗН, при двух условиях Цз(11)+цз(12) —1 < Ои Цз(11)+рз(12) — 1 >0 можно сформировать два множества ограничений: £ц3д и £ц3-д, связывающих нечеткие оценки истинности пропозиций из ФЗН, которые будут состоять только из линейных неравенств. Первое множество (£ц3д) будет иметь в своем составе
Цз(11) + цз(12)-1 <0,
H3(t]t2) > 0,
1 — Нз(й) > 0,
1 - Нз(*2) > 0,
тах{0; нз(й) + Цз(12) - V - H3(tit2) = 0,
что эквивалентно системе линейных неравенств
Нз(^1) + Цз(Ъ) — 1 < 0,
M-3(tit2) = 0,
1 - H3(ti) > 0,
1 - цз(12) > 0,
а второе множество (£ц3,д) будет иметь в своем составе
to(ti) + нз(^2) - 1 > 0,
H3(tit2) > 0,
1 - Нз(й) > 0,
1 - цз(12) > о,
max {б; |х3( 11) + ц3(12) - 1} - H3(tit2) = 0,
что эквивалентно другой системе линейных неравенств:
to(ti) + цз(12) — 1 > 0,
H3(tit2) > 0,
1 - H3(ti) > О,
1 - Нз(^) > О, Из(й) + цз(12) - 1 - to(tlt2) = 0.
Пусть имеется набор исходных оценок D^3:
ИзЛй) < to(tl) < too(ti),^3?(t2) < H3(t2) < too fo),too (tit2) < to(tit2) < to+(tit2).
m+(f) := min<m+(f) := min<Для каждого элемента ФЗН Тд решим ряд задач линейного программирования (ЗЛП) следующего вида и объединим полученные в результате оценки:
m+(f) := min<
m+(f) := min<
to(f) г,to(f) г,min to(f)> min
to(f) г,
to(f) г,
£нзЛи®из ^3.9^3
to-(f)
Вели ЗЛП, рассмотренные выше, не имеют решения, то исходные оценки значений нечеткой меры истинности Лукасевича на элементах ФЗН признаются противоречивыми. Вели имеются решения ЗЛП для одной и только для одной группы ограничений, то в качестве уточненной оценки значений нечеткой меры Лукасевича выбираются решения ЗЛП именно для этой группы ограничений. Вели ЗЛП имеют решения для обеих групп ограничений, то расчеты результата ведутся точно по приведенным формулам.
Итак, в процессе поддержания непротиворечивости ФЗН с нечеткой мерой истинности Лукасевича цз исходные интервальные оценки не только проверяются на совместимость, но они, как и в случае с ФЗ АВС, могут быть уточнены за счет учета их взаимного влияния.
Заключение
В настоящей главе были рассмотрены два способа представления неопределенности знаний эксперта, моделирующих его фрагмент знаний о предметной области. Предполагается, что фрагмент знаний со-
держит сведения о связях между двумя-тремя утверждениями о предметной области. Вслед за Дж. Пиэрл также предполагается, что эксперт рассуждает, опираясь в своих выводах именно на фрагменты знаний.
Первый способ представления неопределенности — приписать элементам ФЗ точечную или интервальную оценку вероятности их истинности. В этом случае мы приходим к фрагменту знаний алгебраической байесовской сети.
Второй способ представления неопределенности — приписать элементам ФЗ точечную или интервальную оценку значения одной из классических нечетких мер их истинности: меры Заде (щ), псевдо- вероятностной меры (цз) или меры Лукасевича (цз). В этом случае мы приходим к фрагменту знаний с нечеткостью. Фрагменты знаний с нечеткими мерами цз и цз впервые рассмотрены в настоящей работе.
Оба способа предполагают построение своего аппарата постановки и решения задачи непротиворечивости ФЗ. Как в случае вероятностной меры истинности, так и в случае нечеткой меры задача поддержания непротиворечивости ФЗ сводится после некоторых преобразований к решению набора задач линейного программирования. В случае с нечеткими мерами Заде и Лукасевича над результатами ЗЛП должна быть произведена дополнительная работа по объединению решений, если они вообще были получены.
Заметим, что при сравнении множеств ограничений на вероятностную меру истинности и на классические нечеткие меры истинности (см. главу 6) выяснилось, что эти наборы связаны между собой. Величина, удовлетворяющая набору ограничений, накладываемых аксиоматикой классической нечеткой меры, также удовлетворяет набору ограничений, накладываемых аксиоматикой вероятностной меры. Таким образом, она может быть интерпретирована как вероятность, а ФЗН — как ФЗ АВС с дополнительными гипотезами о связи между элементами ФЗ. Таким образом, идеи по поддержанию непротивречивости фрагментов знаний с неопределенностью, лежащие в основе соответствующих алгоритмов для ФЗ АВС, могут быть распространены на ФЗН с классическими мерами нечеткости истинности.
Дальнейшие направления исследований в области изучения ФЗН представляются нам так: сначала более глубоко формализовать, развить и систематизировать подходы, предложенные в настоящей главе;
Глава 19. Фрагмент знаний с нечеткой мерой истинности 523 затем требуется исследовать и описать механизм априорного вывода в ФЗН, ввести понятие сети ФЗН и степеней ее непротиворечивости, предложить алгоритмы поддержания этих степеней непротиворечивости. Вслед за этим требуется рассмотреть возможности априорного вывода уже на сетях ФЗН. Не исключено, что удастся предложить осмысленную схему апостериорного вывода на подобных сетях, тогда потребуется описание соответствующих алгоритмов и свойств их результатов. Интересным является также вопрос об анализе состояния ФЗН при выборе других нечетких мер истинности и их классов.
Глава 20
Цепные графы и условные независимости
Отбросим лишнее — опишем этот миг...
Г. Я. Горбовский
...и окованный цепями граф Латур, 24 года проведший в Бастилии.
Хроника Петрозаводска, 1845
Введение
Байесовские сети доверия, как мы уже знаем из предыдущих глав книги, посредством условия d-разделимости представляют условия условной (простите за невольную тавтологию) независимости, налагаемые самой структурой сети на составляющие ее предметные переменные. Эти условия в зависимости от структуры БСД могут быть весьма разнообразны, но далеко не каждый набор условно независимых множеств переменных можно представить в виде БСД.
В данной главе мы рассмотрим дальнейшее развитие возможностей графического представления имеющихся между пропозициями отношений условной независимости, изложив вкратце адаптированные результаты из [336]. Приведенная здесь концепция цепных графов является дальнейшим развитием и обобщением методов представления байесовских сетей доверия с помощью ациклических направленных графов. Изложенный здесь формализм позволяет представить в графическом виде значительно более широкий класс распределений, чем БСД, оставаясь в рамках той же основной идеи и как следствие не слишком при этом затрудняя пропагацию свидетельств (алгоритмы пропагации для БСД можно адаптировать и для цепных графов, однако в этой главе мы этим заниматься не будем). Подробнее о результатах, описанных в этой главе, можно прочитать в [336].
В данной главе нам придется несколько отступить от обозначений, использовавшихся ранее, чтобы избежать нагромождения символов, которые могут запутать читателя. Одно из главных отличий — это то, что конъюнкции, которые мы рассматриваем здесь, — не конъюнкции положительно означенных пропозиций, а конъюнкции переменных, каждая из которых может принимать два значения. Такой подход к обозначениям является практически общепринятым в теории байесовских сетей доверия и как следствие, — в ее сателлитах, таких как теория цепных графов.
Модель независимости
Рассмотрим произвольное непустое конечное множество пропозициональных переменных Т = {tj,..., tn}. Для удобства обозначения отождествим индексы с самими пропозициональными переменными так, что условия г € Т и tt € Т будут обозначать одно и то же. Так же будем отождествлять конъюнкцию элементов с множеством атомарных пропозиций, входящих в нее. Таким образом, если Y — конъюнкция некоторых элементов из Т, то запись у € Y обозначает, что пропозициональная переменная у Е Т входит в конъюнкцию Y. Обозначим через М(Т) множество троек вида (X,Y|Z), где X = xi...Xk, Y = у]...уь Z = zj... zm — конъюнкции непересекающихся множеств переменных из Т. Как и прежде, для удобства записи будем пропускать знак конъюнкции. Моделъ независимости (Independence model') — подмножество множества Л1(Т). Следующие пять свойств, которые мы аксиоматически наложим на модели независимости, довольно естественны, если учесть, что (X, Y|Z) вводится для обозначения условной независимости X от Y при Z:
<X,Y|Z><Y,X|Z>,(20.1)
(X, YW|Z) -> (X, W|Z),(20.2)
(X, YW|Z) -> (X, Y|WZ),(20.3)
(X, Y|WZ)&(X, W|Z) -> (X, YW|Z),(20.4)
(X, Y|WZ)&(X, W|YZ) -> (X, YW|Z),(20.5)
где W, X, Y, Z — такие конъюнкции, что любая пропозициональная переменная tj. либо входит в одну конъюнкцию, либо не входит ни в одну. Стрелка обозначает, что если левая часть принадлежит нашей модели,
то и правая тоже. Модель независимости называется полу графоидом, если выполняются свойства (20.Т-20.4), и графоидом, если выполняются все пять свойств (20.1-20.5). Графоидным замыканием модели независимости мы будем называть минимальную модель независимости, содержащую исходную и являющуюся графоидом. Графоидное замыкание модели независимости N мы будем обозначать как gr(N).
Вероятностное распределение
Одним из центральных понятий теории БСД-подобных исчислений является понятие потенциала — естественное обобщение вероятностного распределения. Раньше мы давали общее описание того, что такое потенциал. В этой главе мы дадим конструктивное определение потенциала. Потенциал над множеством пропозициональных переменных, входящих в конъюнкцию Y, задается серией непустых двуэлементных множеств Ti = (tt.ti), tt € Y и неотрицательной вещественнозначной функцией R, заданной на декартовом произведении ПгеуТь Множество Tt представляет собой возможные означивания пропозициональной переменной tt- Отметим, что в общем случае потенциал может быть точно так же задан и над переменными, принимающими разное количество значений. Если R(y) > 0 для любого у € ГкеуТъ то R называют строго положительным. Заметим что у е ПгеУ^г означает, что у — это возможное означивание конъюнкции Y. Сужение R на X С Y — это потенциал над X, обозначаемый Rx и определяемый следующей формулой:
Rx(x) = У" R(x,w).
^^П1€У\Х Т
Потенциал Р над 7 такой, что Р® = 1, т.е. ^xepj.eTTt Р(х) = ^' на* зывается вероятностным, распределением над 7. Использование термина «вероятностное распределение» здесь полностью оправдано, так как Р® = £p(tj... tn). Здесь р обозначает вероятность, рассматривавшуюся раньше. Вообще говоря, подобное введение потенциала — это формальный способ определить вероятность «истинности» так, как это делал Нильссон, но с учетом возможности использования многозначных переменных. Однако в нашем бинарном случае потенциал — это в точности вероятность по Нильсону.
Рассмотрим вероятностное распределение Р над Т и (X, Y|Z) G М(Т). Тогда мы говорим, что X условно независим от Y tvpu 2 по отношению к Р или что Р выполняет (X, Y|Z) и записываем это как XJ_Y|Z[P], если Ух € Пг€х"^> vti € Пге¥т1 и Vz е ГЪегТ1:
pXYZ(x у>2.) . pz(z) = PXZ(x,z) • PYZ(y,z).
Графические принципы
В рамках классического аппарата ВСД базовый граф представлял собой обычный направленный граф. Чтобы увеличить экспрессивную силу аппарата, нам придется несколько усложнить эту простую и ясную конструкцию.
Будем рассматривать графы с тремя видами ребер: направленными, ненаправленными и пунктирными (ненаправленными). Сразу заметим, что пунктирные ребра не несут особой смысловой нагрузки, а используются как инструмент для удобства описания морализационно- го критерия.
Назовем граф цепным, если его вершины можно так представить в виде объединения компонент {Вj}^, что любое ненаправленное ребро соединяет вершины одной компоненты, а любое направленное идет из одной из вершин компоненты с меньшим индексом в одну из вершин компоненты с ббльшим. При этом такой набор {В,}™, называется ие- пъю. Другое эквивалентное определение цепных графов — это граф без направленных циклов. Определение направленных циклов уже было дано (см. § 8.4), но на всякий случай мы его повторим. Направленный цикл — это цикл из направленных и ненаправленных ребер, в котором есть хотя бы одно направленное ребро и все направленные ребра идут в одну сторону.
Рассмотрим граф, приведенный на рис. 20.1. Для него одной из возможных цепей будет разбиение {a,b}, {c,d, е}, {f}, {g}. Иными словами, определение не требует, чтобы элемент цепи был компонентой ненаправленной связности, но любая компонента ненаправленной связности должна полностью лежать в одном из элементов цепи.
Остальные необходимые сведения о графах были описаны в § 8.4.
Морализационный критерий — это один из способов определять требования условной независимости модели на основе ее графического представления. Одним из этапов извлечения требований условной независимости является построение морального графа. Для того чтобы построить моральный граф Gmor, добавим в исходный граф G пунктирные ребра таким образом, чтобы любые два родителя элементов из одной компоненты связности были связаны ребром. Рассмотрим попарно дизъюнктные множества вершин X, Y, Z. Мы говорим, что граф G задает тройку (X, Y|Z) и пишем (X, Y|Z)g > если любой путь, начинающийся в вершине из множества X и заканчивающийся в вершине из множества Y, содержит хотя бы одну вершину из Z. Для любого цепного графа множество задаваемых троек образует графоид. Мы говорим, что тройка (X, Y|Z) представлена в G согласно морализ анионному ■критерию и записываем (X, Y|Z)^ог, если (X, Y|Z) задается графом an(X U Y U Z)mor, где an(X U Y U Z) означает множество предков для X U Y U Z. Вероятностное распределение Р называется G-марковским,, если из (X, Y|Z)QOr следует X±Y|Z[P] для любых дизъюнктных множеств X, Y, Z.
Рассмотрим применение морализационного критерия на двух примерах. Первый пример — граф, изображенный на рис. 20.1. Зададим
множества следующим образом: X = {b}, Y = {d}, Z = {с, е}. В соответствии с написанным ранее построим моральный граф an({b,c,d, e})mor (рис. 20.2). В данном графе ровно два пути из X в Y — b, е, d и b, а, с, d. Легко заметить, что каждый из них содержит элементы из Z. Таким образом, мы установили, что ({b),{d}|(c, е})£ог.
Для второго примера рассмотрим множества X = {b}, Y = {d}, Z = {с, е, д}. Моральный граф an({b, с, d, е, g})mor изображен на рис. 20.3. В этом графе появилось пунктирное ребро (b,d), которое дает нам путь, не пересекающийся с Z. Таким образом, мы получили, что ({b}, {d}|[c, е, g})£or неверно.
Дальнейшее описание фактически будет посвящено поиску адекватной переформулировки морализационного критерия. Сформулируем условие, эквивалентное морализационному, и в конце концов дойдем до понятия с-отделимости, выражающего условную независимость в цепных графах так, как d-отделимость делает это для обычных ВСД.
Список
Пусть дан цепной граф G, и на нем зафиксирована цепь В = {В,}^. Тогда domB(u) := Uj<k®)> гАе ^ — инАекс компоненты, в которую входит и (и € В к). Каждой вершине графа сопоставим следующую тройку L|(u) = (u,domB(u) \ bdcMuIbdc \u). Рассмотрим множество троек LB = {LB(u)|u € 7], которое назовем списком3. Его графоидное замыкание gr(Ly) будет совпадать со множеством троек, удовлетворяющих моральному критерию. Таким образом, для проверки того, что
Естественно было бы назвать его стандартным базисом или каким-нибудь аналогичным термином, но термин список (list), пришедший из теории ВСД, где он обозначает частный случай данного определения, уже устоялся в этой дисциплине.
Рис. 20.3. Граф an([b,c, d,e,g})mor.
произвольное вероятностное распределение Р является G-марковским, достаточно проверить, что это распределение выполняет все тройки из списка.
с-отделимость
Слайдом (slide) от вершины и к вершине w называется путь vi,...,vn такой, что u = V], w = vn, все ребра, кроме (vi,V2), ненаправленные, а ребро (vi,V2) направлено от vj к V2- Для произвольного маршрута Vj,... v^ (к > 1) секцией называется максимальный подмаршрут vtVj, где 1 < i < j < к, содержащий только ненаправленные ребра. Вершины v< и Vj называются окончаниями. В маршруте, следовательно, единственным образом выделяются секции. При этом узел vt называется головным (head) окончанием, или головой, если i > 1 и ребро (vi-i,Vi) направлено от Vj_j к v^. Соответственно Vj называется головным окончанием, если j < к и ребро (vj+i,Vj) направлено от Vj+i к Vj. В противном случае окончания называются хвостовыми (tail) окончаниями, или хвостами. Если оба окончания секции и головные, будем говорить, что ст — секция типа Г-Г.
Про секцию ст говорят, что она блокируется множеством Z, если либо ст типа Г-Г и dsc(oj П Z = 0,
либо а не типа Г-Г, содержит вершину из Z, и для хотя бы одного хвоста и секции а любой слайд графа G, заканчивающийся в и, содержит вершину из Z.
Произвольный маршрут в графе с-отделяется множеством Z, если хотя бы одна секция маршрута блокируется множеством Z. Мы говорим, что тройка (X, Y|Z) представляется графом G согласно критерию отделимости и пишем (X,Y|Z)qP, если любой маршрут из X в Z блокируется Z.
Важно отметить, что в данном определении нельзя заменить маршрут на путь — смысл определения исказится. Чтобы продемонстрировать это, обратимся к уже рассматривавшемуся графу (рис. 20.1). В нем существует только один путь от(а) к [f} — это- а, с, d, f. Несложно проверить, что в соответствии с данным определением единственная секция с, d блокируетя множеством {с, е, д}. При этом других путей в данном графе нет. Однако, если мы рассмотрим маршрут (а, с, d, е, b, g, d, f), то убедимся, что данный путь не блокируется множеством [с, е, д). Таким образом, мы не сможем проверять этот критерий только для путей.
К сожалению, маршрутов в графе может быть бесконечно много, и проверить выполняемость критерия для каждого из них не представляется возможным. Но если наложить на маршрут дополнительные ограничения, то количество таких маршрутов стешет конечным, а результат проверки критерия для этого набора маршрутов будет совпадать с результатом проверки по всем маршрутам. Вот эти дополнительные критерии:
Любое направленное ребро может встречаться только один раз.
Все узлы одной секции — различны.
Главным достоинством данного критерия является доказанная для него полнота. То есть, если какая-то тройка не задается графом, то существует G-марковское строго положительное вероятностное распределение Р, которое не задает эту тройку. Это особенно ценно с учетом того, что приведенные критерии — морализационный и критерий с- отделимости — эквивалентны.
Заключение
В этой главе на основе подхода, предложенного в [336], мы обобщили применение графического представления для задания нового класса моделей независимости — цепных графов. Они позволяют формализовать более широкий класс отношений условной независимости, чем тот класс отношений, который традиционно используется в теории ВОД. Новый класс дает возможность описывать больший набор вероятностных распределений.
Послесловие
А в книгах я последнюю страницу Всегда любила больше всех других, — Когда уже совсем неинтересны Герой и героиня, и прошло Так много лет, что никого не жалко, И, кажется, сам автор Уже начало повести забыл, И даже «вечность поседела», Как сказано в одной прекрасной книге. Но вот сейчас, сейчас Все кончится, и автор снова будет Бесповоротно одинок, а он Еще старается быть остроумным...
А. А. Ахматова
Поэтому мы говорим в заключение, что точность истины непостижимо светит во тьме нашего незнания. И здесь — то умудренное незнание, которого мы искали и путем которого только и можно по ступенькам науки этого незнания приблизиться к величайшему...
Об ученом незнании Николай Казанский
Сколько бы ни было написано в монографии, ее материал все равно ограничен. Вели в Предисловии говорилось о том, что и как будет написано, то в Послесловии хочется подвести итог, сказать о ненаписанном — оставшемся за пределами изложения, и, наконец, о неисследованном.
Основная объединяющая мысль заключается в том, что недостаточно изучать меры истинности. Необходимо обратиться к изучению «поведения» этих мер на регулярных структурах данных, которые используются в алгоритмах логико-вероятностного вывода над знаниями с неопределенностью, — так или иначе, база фрагментов знаний оказывается представленной той или иной структурой в программном коде.
Байесовские сети над пропозициональными переменными послужили стержневым примером, делающим изложение единым. Между двумя их разновидностями — байесовскими сетями доверия (ВСД) и алгебраическими байесовскими сетями (АБС) — удалось обнаружить ряд соответствий.
Оказывается, что при точечных оценках вероятности истинности любую ациклическую ВСД можно преобразовать в ациклическую АВС. Обе байесовские сети будут представлять одно и то же распределение вероятностей, а также обеспечивать совпадающие результаты апостериорного вывода. Следует заметить, что такие ВСД и АБС, вообще говоря, представляют семейство распределений вероятностей. Выбор же единственного распределения из семейства осуществляется за счет привлечения гипотезы об условной независимости.
Не менее интересным оказался случай с ВСД, содержащей фрагмент с направленным циклом. Работы по преобразованию такой ВСД в соответствующую АБС находятся в самом начале пути, но даже анализ вероятностной семантики изолированного направленного ВСД- цикла привел к неожиданному выводу. Такой цикл может содержать несовместные оценки вероятностей истинности его элементов, т.е. может быть противоречивым. В теории ВСД, как правило, с противоречивостью исходных данных сталкиваться не приходится. Таким образом, оказывается, что БСД-исчисления не обладают даже языком для описания возникающих ситуаций с направленным циклом. Кроме того, даже непротиворечивый цикл будет представлять семейство распределений вероятностей, а значит, некоторые логические формулы, построенные над элементами ВСД, будут иметь лишь интервальную, а не точечную оценку вероятности истинности. БСД-исчисления не выработали еще общего, канонического, подхода для обработки интервальных оценок.
Вопреки описанным затруднениям, в теории байесовских сетей доверия направленный БСД-цикл удалось преобразовать во фрагмент знаний алгебраической байесовской сети, в котором вопросы поддержания непротиворечивости и обработки интервальных оценок решены.
Теория алгебраических байесовских сетей достигла определенной наполненности алгоритмами: логико-вероятностный вывод непротиворечивых, априорных, апостериорных оценок и оценок некоторых показателей чувствительности удалось свести к решению серии задач линейного программирования. В этом отношении ярким результатом яв-
ляется алгоритм апостериорного вывода: он изначально формулируется как серия задач гиперболического программирования, но за счет некоторого преобразования и замены переменных сводится к задачам линейного программирования. Свойства же, семантику и границы применимости, а также корректности этого преобразования еще предстоит изучать и проверять.
Особое внимание в связи с использованием интервального подхода в оценке меры истинности элементов АВС привлекают соотношения степеней непротиворечивости этих сетей. На основе контрпримера было показано, что интернальная непротиворечивость в общем случае не гарантирует глобальной непротиворечивости АВС. Вместе с тем, если АВС ациклическая, то наличие интернальной непротиворечивости влечет выполнение условий глобальной. Выл построен еще один пример, в котором при одних и тех же исходных данных получаются разные оценки, если накладывать требования экстернальной и интернальной непротиворечивостей. Но существует ли пример АВС, которая экстер- нально непротиворечива, а интернально — нет, пока не известно.
ВСД из-за использования тензоров условной вероятности остаются в рамках только байесовского подхода, т.е. не адаптируются для применения небайесовских мер истинности (меры доверия и правдоподобия, необходимости и возможности, нечетких мер). А вот использование в АВС тензора совместных вероятностей позволило сделать некоторые шаги к распространению подхода, использованного в алгебраических байесовских сетях, на небайесовские меры истинности. В монографии рассмотрен только случай с нечетким фрагментом знаний, но он достаточно простым способом распространяется на совокупность фрагментов знаний — структурированную сеть фрагментов знаний с классическими или нечеткими мерами истинности.
Помимо решенных вопросов стоит сказать и о нерешенных, с тем чтобы обрисовать возможные направления исследований. Авторский коллектив выдвинул два класса гипотез.
Первый класс гипотез посвящен обобщению аппарата байесовских сетей доверия (ВСД) на случай направленных циклов, допускаемых в базовых графах ВСД. Последняя строится как совокупность тензоров условной вероятности, структурированная в виде ациклического направленного графа, т.е. графа, где запрещены ориентированные циклы (feedback cycles). Однако ориентированные циклы все же возника-
ют в процессе как экспертного, так и автоматизированного (machinelearning) построения этих сетей. Проблема учета таких циклов и модификации соответствующих алгоритмов вывода в посвященных данной теме западных исследованиях ставилась еще в основополагающих работах Дж. Пиэрла (J. Pearl, начало 1980-х годов [307-309]), но, по свидетельству новейших монографий в этой области [169,237,280], в рамках ВСД-исчислений решена не была.
Отметим, что имели место попытки Д. Хекермана (D. Heckerman) и других авторов развить аппарат сетей зависимостей (dependency networks), в котором направленные циклы были бы разрешены [229, 233]. Однако они, во-первых, имеют лишь косвенное отношение к ВОД, а во-вторых (главное), пока лежат вне строгого математического подхода, так как в них нарушается аксиоматика теории вероятностей, а работа с мерами истинности («почти вероятностями») ведется так, как будто ничего не нарушено.
Предполагается развить теорию БСД и инкорпорировать в нее направленные циклы так, чтобы полученные объекты соответствовали логико-вероятностному подходу Нильссона, формализованному Халь- перном, Фатином и Мегиддо. Для этого мы выдвигаем ряд гипотез (первый из обещанных выше классов).
— Ориентированные циклы, инкорпорированные в ВСД, создают качественно новую неопределенность. ВСД с направленным циклом вместо одного распределения вероятностей задает их семейство и допускает внесение начальных данных (оценок), несовместимых с аксиоматикой вероятности. Эти проблемы в рамках существующих ВСД-исчислений рассмотреть невозможно.
— Существуют объекты в аппарате АБС (фрагменты знаний или их совокупности), которые, воспроизведя вероятностную семантику ВСД с ориентированным циклом, останутся корректными в рамках существующего АВС-исчиления (т.е. ФЗ или их совокупность окажется непротиворечивой или процесс поддержания непротиворечивости выдаст сообщение о противоречивости исходных данных).
— Алгоритмы априорного и апостериорного вывода будут корректно работать над объектами АВС, представляющими недопустимую ВСД с направленным циклом, и выдадут результаты,
семантически эквивалентные или, в худшем случае, — содержащие (накрывающие) те, которые можно было бы ожидать от алгоритмов первичной пропагации и пропагации свидетельств над недопустимой БСД с направленным циклом, если бы такие алгоритмы были известны.
— Указанные алгоритмы априорного и апостериорного вывода с «языка» АБС-исчисления переводятся на язык одного или нескольких существующих ВСД-исчислений, возможно, с некоторым развитием последних, а также дополнением их новыми объектами и операциями над ними.
— Существует одна или несколько допустимых ВСД-структур (предположительно, ненаправленный цикл, дерево или полидерево), которые представляют одно из распределений, задаваемых ВСД с направленным циклом при изначально непротиворечивом назначении вероятностей в этой БСД.
— Такие структуры строятся на основе анализа АБС-образа недопустимой БСД с направленным циклом; среди них можно выбрать минимальную по сложности ее базового графа.
— Процесс стохастического моделирования ВСД с направленным циклом по Гиббсу (Gibbs sampling) сходится в части направленного цикла к одной из таких допустимых ВСД-структур.
— Эту структуру можно построить и охарактеризовать аналитически, не прибегая к длительному процессу стохастического моделирования.
В итоге планируется разработать аппарат учета направленных циклов в ВСД, которые позволят обобщить аппарат БСД на случай сетей, допускающих направленные циклы. Уже проведенные нами исследования относительно изолированного цикла — простейшего частного случая — поддерживают выдвинутые гипотезы: цикл задает семейство распределений вероятностей. Однако цикл, инкорпорированный в ВСД, отличается наличием взаимосвязей с другими узлами сети (в том числе, возможно, другими циклами), что требует дальнейших исследований.
Второй класс гипотез формируется в терминах теории алгебраических байесовских сетей (АБС). Видятся несколько целей, достижение которых необходимо для дальнейшего теоретического развития аппарата АВС, особенно в семантической и алгоритмической его частях:
Минимум функционала энтропии реализуется на единственном, выделенном распределении вероятностей, лежащем во множестве допустимых распределений вероятностей, описываемом АБС. Мы предполагаем, что это распределение допускает аналитическое описание, и именно к этому распределению сходится процесс стохастического моделирования (Gibbs sampling).
Алгебраические байесовские сети (подсети исходных АБС), являющиеся результатом алгоритмов апостериорного вывода, экс- тернально непротиворечивы, а возможно, непротиворечивы и интернально. Из последнего будет следовать, в частности, что они глобально непротиворечивы.
В силу суперсимметричной фрактальной структуры матрицы задач линейного программирования, реализующих синтез согласованных оценок истинности и апостериорный вывод в АВС, могут быть разработаны более эффективные алгоритмы решения таких задач. Алгоритмы решения этих задач улучшаются либо по скорости, либо по объему требуемой памяти.
Поясним формулировку гипотезы. Все задачи логиковероятностного вывода в АБС — вывода непротиворечивых оценок, априорных, апостериорных, оценок показателей устойчивости (чувствительности) — сводятся к решению задач линейного программирования. Этот результат очень важен как для практического применения теории АВС, так и для дальнейших фундаментальных изысканий: получающиеся задачи линейного программирования нужно рассматривать далее с целью получения упрощенных алгоритмов их решения. Дело в том, что структура получаемой задачи линейного программирования весьма регулярна. Эта ЗАП имеет квазифрактальную структуру, повторяя себя в меньших порядках (в верхних правых четвертях соответствующим образом упорядоченных матриц ЗАП). Кроме того, в задаче участвуют только коэффициенты 0,1 и — 1, и значения всех переменных ограничены отрезком [0; 1]. Это наводит на мысль о том, что возможно существование более быстрых алгоритмов, решающих эти задачи линейного программирования, чем общие алгоритмы, предназначенные для абстрактных задач. Мы планируем исследовать фундаментальные свойства этих задач и соответствующих им многогранников, задаваясь
при этом целью построения эффективных алгоритмов вывода в АВС. В рамках этого изучения мы планируем использовать как теоретические оценки, так и практические тесты получающихся алгоритмов и их сравнительный анализ. Возможно, решение этой задачи потребует углубленного изучения геометрической теории многогранников, имеющих в каком-то смысле фрактальную структуру, хотя вследствие своей выпуклости быть фрактальными в прямом смысле они не могут; этот вопрос также требует дополнительного изучения. Эти результаты будут иметь большое значение, если мы будем рассматривать вопросы инкорпорирования алгоритмов вывода в АВС во встроенные микрокомпьютеры, управляющие автономными объектами.
— Существуют циклы фрагментов знаний в АВС такой структуры, что из интернальной непротиворечивости такого цикла следует его глобальная непротиворечивость.
Эта гипотеза представляет собой один из возможных результатов на пути получения достаточных условий непротиворечивости циклов в АБС. Дело в том, что проверка глобальной непротиворечивости цикла в АВС — вычислительно очень сложная задача, если цикл достаточно большой (ее сложность увеличивается экспоненциально с ростом размера цикла). В случае же проверки интернальной непротиворечивости размер (и сложность) задачи растет линейно с увеличением размера цикла. Мы предполагаем, что в значительном числе случаев ин- тернальная непротиворечивость (или похожие на нее условия) повлечет глобальную, и проверка, таким образом, получится существенно упрощенной. Отметим, что для ациклических АВС этот результат уже получен.
— Для идеала цепочек конъюнкций с мерами доверия и правдоподобия его элементов можно построить непротиворечивый фрагмент знаний АВС, где нижняя оценка вероятности истинности совпадала бы с мерой его доверия из исходного идеала, а верхняя — с оценкой его правдоподобия. Это позволило бы отобразить теорию мер доверия и правдоподобия (теория Демпстера- Шеффера) в теорию АВС и таким образом эмулировать результаты небайесовского вывода при помощи логико-вероятностного аппарата.
— Существует единственное равновзвешенное покрытие — совокупность оценок истинности, обеспечивающая объемлющую непротиворечивость, на которой реализуется минимум функционала неопределенности.
До сих пор в теории АБС рассматривалась «подпирающая» непротиворечивость с семантикой «так и только так». Однако несовпадающие (противоречивые) оценки могут поступать в базу данных не потому, что эксперты противоречат друг другу, а потому, что они имеют разный опыт и мыслят о разных ситуациях. В таком случае нужно объединить оценки экспертов, выделив общую непротиворечивую оценку, которая включала бы в себя исходные (покрывала бы их). Такой вариант непротиворечивости мы назвали объемлюгией, ее семантика - «возможно и так, и так». Нам удалось показать, что построение каких-то конкретных наборов оценок, обладающих свойством объемлющей непротиворечивости, сводится к задачам линейного программирования, минимизирующим определенным образом заданную меру неопределенности совокупности этих оценок. Тем не менее решение такой задачи минимизации, как правило, оказывается не единственным, и требуется разумным образом выделить «канонического представителя» семейства оценок, обладающих свойством объемлющей непротиворечивости. На роль такого канонического представителя кандидатом является упомянутая в формулировке гипотезы совокупность оценок истинности, реализующая минимум меры неопределенности. Однако математически строгое описание требований к этому кандидату или алгоритм его формирования неизвестны.
Научный поиск в области байесовских сетей не ограничен приведенными в монографии направлениями. Одно из них стоит упомянуть особо — это автоматическое обучение байесовских сетей (machine learning for Bayesian networks). Фактически решаются две тесно связанные задачи: по имеющимся данным определить в каком-то смысле оптимальную структуру байесовской сети, а затем оптимальным же образом приписать меры истинности ее узлам.
В отношении байесовских сетей доверия существует обширная литература по указанному направлению; этому вопросу посвящаются отдельные монографии [169,237,308]. Для алгебраических байесовских
сетей вопросы обучения (автоматического формирования) еще предстоит решать.
Завершая труд, авторы хотели бы выразить надежду, что их монография окажется действительно полезной для учебного процесса в части дисциплин, связанных с искусственным интеллектом и особенно — с мягкими вычислениями.
Конец послания
Уже не видим вдали.
Гусей перелетных
Голоса понемногу стихают — И растворились в тумане.
Сайгё (пер. В. Н. Маркова)
Литература
Аверкин А. И., Костерев В. В. Триангулярные нормы в системах искусственного интеллекта // Из®. РАН. Сер. Теория и системы управления. 2000. № 5. С. 107-119.
Аверкин А. Н., Нгуен М. X. Использование нечетких отношений в моделях представления знаний // Изв. АН СССР. Сер. Техническая кибернетика. 1990. Т. 5. С. 20-33.
Представление знаний с нечеткостью; исследованы нечеткие отношения как математические объекты, возникающие при «фаззификации» обычных отношений (подмножеств декартового произведения некоторй совокупности множеств).
Аверкин А. Н. и др, Нечеткие множества в моделях управления и искусственном интеллекте. М.: Наука, 1986. 312 с.
Аверкин А. Н. Модели приближенных рассуждений: обзор зарубежных исследований // Новости искусственного интеллекта. 1991. Т. 3. С. 85-92.
Обзорная статья по экспертным системам и формализациям нечетких знаний.
Аверкин А. И. Экспертные системы, использующие нечеткие и неопределенные знания // Нетрадиционные модели и системы с нечеткими знаниями / Под ред. А. Ф. Блишуна. М.: Энергоатомиздат, 1991. С. 12-20.
Статья о различных подходах к нечетким знаниям и об экспертных системах, оперирующих с нечеткостью.
Аверкин А. Н. Извлечение нечетких логик в нечетких экспертных системах // Искусственный интеллект-94. Сборник научных трудов. Рыбинск, 1994. С. 207211.
Нечеткие логики и экспертные системы, основанные на них.
Александров А. Д., Нецветаев Н. Ю. Геометрия. М.: Наука, 1990. 672 с.
Учебник по геометрии, содержащий элементарную и аналитическую геометрию, а также основы многомерной, проективной и дифференциальной геометрий.
Александров А. С., Тишков А. В. Применение алгебраических байесовских сетей в управлении надежностью структурно-сложных систем // Образование и бизнес: российская практика и зарубежный опыт / Материалы 5 секции X Международного банковского конгресса и Международной научнопрактической конференции. СПб.: МБИ, 2001. С. 157-158.
Алёшина Н. А. О некоторых системах вероятностной логики // Искусственный интеллект и проблемы организации знаний. 1991. Т. 8. С. 78-85. Изложение результатов Халперна и Нильссона.
Алиев Р. А. Интеллектуальные роботы с нечеткими базами знаний. М.: Радио и связь, 1995. 178 с.
Описывает разные нечеткие логики, в т.ч. и такие, которые не используют некоторые свойства t-норм и t-конорм.
Антонюк Б. Д. Разработка экспертных систем искусственного интеллекта в США. М., 1985. 78 с.
Описание экспертной системы MYCIN.
Батыршин И. 3., Хабибуллин Р. Ф. Атрибуция псевдонимных произведений на основе инвариантных реляционных алгоритмов кластеризации // Труды Международного семинара по компьютерной лингвистике и ее приложениям. Казань, 1995. С. 43-51.
Батыршин И. 3. О некоторых свойствах мер невероятностной энтропии размытых множеств // Прикладной многомерный статистический анализ. М.:Наука, 1978. С. 345-348.
Батыршин И. 3. О транзитивности размытых упорядочений // Исследование оперций и аналитическое проектирование в технике. Казань, 1979. С. 67-73.
Батыршин И. 3. Нечеткие отношения в семиотических системах. М., 1991. 15 с.
Батыршин И. 3. Лексикографические оценки правдоподобности с универсальными границами. I // Изв. РАН. Сер. Техническая кибернетика. 1994. X* 5. С. 28-45.
Батыршин И. 3. Лексикографические оценки правдоподобности с универсальными границами. II. Операции отрицания // Изв. РАН. Сер. Теория и системы управления. 1995. X* 5. С. 133-151.
Безу сяк Ю. Л. Проблема создания и внедрения экспертных систем искусственного интеллекта. Киев, 1990. 20 с.
Об экспертной системе MYCIN.
Бернштейн Л. С., Коровин С. Я., Мелихов А. Н., Сергеев Н. Е. Функционально-структурное исследование ситуационно-фреймовой сети экспертной системы с нечеткой логикой // Теоретическая кибернетика. 1994. Т. 2. С. 71-83.
Биркгоф Г. Теория решеток. М.: Наука, 1984. 566 с.
Бирюков А. В. О распознавании событий нечеткими автоматами // Алгебраические и логические конструкции. Тверь: ТГУ, 1994. С. 31-37.
Классы событий, представленные четкими и нечеткими автоматами, совпадают.
Блишун А. Ф., Знатков С. Ю. Обоснование операций теории нечетких множеств // Нетрадиционные модели и системы с нечеткими знаниями / Под ред. А. Ф. Влишуна. М.: Энергоатомиздат, 1991. С. 21-33.
Описание теоретико-множественных операций для нечетких множеств.
Влишун А. Ф. Сравнительный анализ методов измерения нечеткости // Изв. АН СССР. Сер. Техническая кибернетика. 1988. Т. 5. С. 152-175.
Различные подходы к нечеткости и неопределенности.
Влишун А. Ф. Нечеткие индуктивные модели обучения в экспертных системах // Изв. АН СССР. Сер. Техническая кибернетика. 1990. Т. 5. С. 90-104. Применение нечетких моделей в экспертных системах.
Борисов А. Н., Глушков В. И. Использование нечеткой информации в экспертных системах // Новости искусственного интеллекта. 1991. Т. 3. С. 13-41. Нечеткая логика и экспертные системы.
Боровков А. А. Теория вероятностей. М.: Наука, 1986. 432 с.
Учебник теории вероятностей.
Главурин М. К., Малоземое В. Н. Экстремальные задачи с линейными ограничениями: учебное пособие. Л.: ЛГУ, 1984. 175 с.
Учебное пособие по экстремальным задачам. Здесь среди прочего рассматриваются задачи дробно-линейного программировения и их сведение к задачам линейного программирования.
Горбатое В. А., Огиренко А. Г, Смирнов М. И. Искусственный интеллект в САПР. М., 1994. 184 с.
Классическая нечеткая логика.
Городецкий В. И., Тулупъее А. Л. Алгебраические байесовские сети для представления и обработки знаний с неопределенностью // 4-я Санкт- Петербургская конференция «Региональная информатика-95»: Тезисы докладов, ч. 1. СПб., 1995. С. 51-52.
АБС рассмотрены как модель для ВФЗ с вероятностной неопределенностью.
Городецкий В. И., Тулупъее А. Л. Генерация выборки с заданным распределением зависимых случайных событий на основе алгебраической байесовской сети // 4-я Санкт-Петербургская конференция «Региональная информатика- 95»: Тезисы докладов, ч. 1. СПб., 1995. С. 53-54.
Как стохастически моделировать реализации СБП, распределение которых задано с помощью АБС.
Городецкий В. И., Тулупъее А. Л. Непротиворечивость баз знаний с интервальной мерой вероятности // 4-я Санкт-Петербургская конференция «Региональная информатика-95»: Труды. СПб., 1996.
Поставлена проблема выделения непротиворечивого «подмножества» в ВФЗ, рассмотрено, как ее решить в АБС.
Городецкий В. И., Тулупъее А. Л. Формирование непротиворечивых баз знаний с неопределенностью // Изв. РАН. Сер. Теория и системы управления. 1997. Т. 5. С. 33-42.
Описаны системы ограничений на значения вероятностных оценок истинности в АБС.
Городецкий В. И., Тулупъев А. Л. Непротиворечивость баз знаний с количественными мерами неопределенности // КИИ’98. Сборник научных трудов. Пущино, 1998. С. 100-106.
Описаны системы ограничений на значения небайесовых оценок истинности в идеале цепочек конъюнкций.
Городецкий В. И. Прикладная алгебра и дискретная математика. 4.1. Алгебраические системы. Л.: МО СССР, 1984. 174 с.
Городецкий В. И. Прикладная алгебра и дискретная математика. Ч. 2. Формальные системы нелогического типа. Л.: МО СССР, 1986. 200 с.
Городецкий В. И. Прикладная алгебра и дискретная математика. Ч. 3. Формальные системы логического типа. Л.: МО СССР, 1987. 178 с.
Городецкий В. И. Алгоритмизация приближенных рассуждений на основе байесовского вывода // Труды 2-й Всесоюзной конференции «Искусственный интеллект-90». Т. 1. Минск, 1990. С. 86-92.
Городецкий В. И. Байесовский вывод. Препринт №149. Л.: ЛИИАН, 1991. 38 с. Описан один из первых подходов к апостериорному выводу в АБС. Поставлен вопрос о чувствительности его результатов.
Городецкий В. И. Адаптация в экспертных системах // Изв. РАН. Сер. Техническая кибернетика. 1993. Т 5. С. 101-110.
Городецкий В. И. Алгебраические байесовские сети — новая парадигма экспертных систем // Юбилейный сборник трудов институтов Отделения информатики, вычислительной техники и автоматизации РАН. Т. 2. М.: РАН, 1993. С. 120-141.
В этой статье впервые приведено современное название алгебраических байесовских сетей. Обозначены вопросы и подходы к поиску ответов на них, которые определили программу исследований в области АБС на несколько лет вперед.
Городецкий В. И. Интервальные вероятностные меры неопределенности в инженерии знаний // Теоретические основы и прикладные задачи интеллектуальных информационных технологий. СПб.: СПИИРАН, 1998. С. 44-58.
Анализ прагматических аспектов употребления интервальных оценок при моделировании неопределенности некотрых видов знаний.
Городецкий В. И. Моделирование недоопределенных знаний // SCM’98. Сборник докладов. Т. 1. СПб., 1998. С. 98-102.
Поддержание непротиворечивости АБС и их ФЗ.
Горский Д. П., Ивин А. А., Никифоров А. Л. Краткий словарь по логике. Л.: Просвещение, 1991.
Рассматривается система вывода PROSPECTOR и вообще нечеткая логика.
Гукасьян Н. А., Кузнецов М. А. Состояние средств искусственного интеллекта за ребежом. Л., 1988. 57 с.
Обзор нечеткой логики и описание экспертной системы PROSPECTOR.
Дюбуа Д., Прад А. Теория возможностей. М.: Радио и связь, 1990. 290 с.
Елъяшевич А. М., Лещинский И. Ф., Ярошевская Е. Применение методов математического моделирования для анализа результатов психологического тестирования // 2-ая Всероссийская научно-техническая конференция «Проблемы информатики в образовании, управлении, экономике и технике». Пенза, 2002.
Еремеев А. П. О корректности модели представления знаний для экспертной системы поддержки принятия решений // Изв. РАН. Сер. Техническая кибернетика. 1993. Т. 5. С. 45-53.
Необходима непротиворечивость базы знаний. Рассматривается экспертная система MYCIN.
Ершов Ю. Л., Палютин Е. А. Математическая логика. М.: Наука, 1977. 336 с. Учебник математической логики.
Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск: Из-во Ин-та математики, 1999. 270 с.
Изложение, начинающееся теоретическими, в какой-то степени философскими основами анализа данных и знаний и завершающееся описаниями алгоритмов для решения наиболее «популярных» задач из области таксономии, распознавания образов, выбора совокупности существенных атрибутов, прогнозирования на основе временных рядов и проч. Одна из глав содержит постановку вопроса о заполнении пробелов (пропусков) в таблицах с эмпирическим данными и описание соответствующих алгоритмов.
Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. М.: Мир, 1976. 165 р.
Книга основоположника нечеткой логики.
Заде Л. Размытые множества и их применение в распознавании образов и кластерном анализе // Классификация и кластер. М.: Мир, 1980. С. 208-247.
Захаров В. Н., Ульянов С. В. Нечеткие модели интеллектуальных промышленных регуляторов и систем управления-4 // Изв. РАН. Сер. Техническая кибернетика. 1994. Т. 5. С. 168-210.
Применение нечетких моделей.
Кафаров В. В., Перов В. Л., Мешалкин В. П. Принципы математического моделирования химико-технологических систем. Сер. «Химическая кибернетика. Введение в системотехнику химических производств». М.: Химия, 1974. 344 с. Одна из тем — обсуждение математических методов, связанных с расчетом балансовых показателей.
Ковалев И. П. Представление неточности в задаче образной интерпретации объектов. Минск, 1991. 16 с.
Об использовании нечетких множеств в задачах распознавания образов.
Кованное Н. И., Зраэюевская Г. М., Кочаровский В. Г., Михайловский В. И. Дифференциальная геометрия, топология, тензорный анализ: Сб. задач. Киев, 1989. 398 с.
Содержит, в том числе, краткое, исключительно понятное теоретическое введение в тензорное исчисление и использующуюся в нем систему обозначений.
Козелецкий Ю. Психологическая теория решений. М.: Прогресс, 1970. 504 с. Рассуждения автора концентрируются около байесовского вывода.
Косовский Н. К., Тишков А. В. Градуируемые логические значения для представления знаний // Записки научных семинаров ПОМИ. Исследования по конструктивной математике и математической логике. Вып. X. 1998. Т. 241. С. 135-149.
Рациональнозначные логики — будем так представлять оценки истинности, как это возможно в компьютере, те. работать с дискретными оценками.
Косовский Н. К., Тишков Л. В. Секвенциальное исчисление для сравнений противоречивых условий различной степени достоверности // Математические вопросы кибернетики. 1998. Т. 7. С. 213-226.
Рациональнозначные логики, конструктивная математика, противоречивость, сложность алгоритмов.
Косовский Н. К., Тишков А. В. Логики конечнозначных предикатов на основе неравенств. СПб.: СПбГУ, 2000. 286 с.
Рациональнозначные логики, конструктивная математика, сложность алгоритмов.
Костприкин А. И., Манин Ю. И. Линейная алгебра и геометрия. М.: Изд-во МГУ, 1980.
Учебник по алгебре (с изложением линейной алгебры).
Костприкин А. И. Введение в алгебру. М.: Наука, 1977.
Учебник по алгебре, который будет полезен студенту или неспециалисту для первичного ознакомления с указанной отраслью математики.
Котенко И. В. Методы вывода в экспертных системах по неполной и противоречивой информации. СПб., 1992. 78 с.
Книга о экспертных системах, работающих с нечеткостью.
Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982. 432 с.
Крейнович В. Я., Нгуен X. Т., Городецкий В. И., Нестеров В. М., Тулу- пъев А. Л. Применение интервальных степеней доверия: аналитический обзор // Информационные технологии и интеллектуальные методы. СПб.: СПИ- ИРАН, 1999. Т. 3. С. 6-61.
Обзор применения интервальных оценок вероятностей и интервальных степеней доверия вообще.
Кулътин Н. Основы программирования в Delphi 7. Самоучитель. СПб.: BHV, 2003. 598 с.
Учебное пособие по Borland Delphi 7, позволяющее быстро ознакомиться с указанной системой быстрой разработки приложений. Содержит почти все необходимые сведения, которые могут потребоваться для понимания фрагментов программ, приводимых в настоящей монографии.
Ларичев О. И. и др. Новые возможности компьютерного обучения // Вестник РАН. 1989. Т. 69, № 2. С. 106-109.
Левин Р., Дранг Д., Эделъсон Б. Практическое введение в технологию искусственного интеллекта и экспертных систем с иллюстрациями на Бейсике. М.: Финансы и статистика, 1990. 240 с.
Эксперная система MYCIN.
Лобацевич А. В., Тулупъев А. Л. Использование методологии машинного обучения для создания интеллектуальных посредников // Международная конференция «Эволюция инфосферы-95»: Тезисы. М., 1995.
АБС для хранения сведений о частотности паттернов поведения.
Лобацевич А. В., Тулупъев А. Л. Применение методов индуктивного обучения и аппарата алгебраических байесовских сетей для решения задач классификации текстовой информации // 4-я Санкт-Петербургская конференция «Региональная информатика-95»: Тезисы докладов, ч. 1. СПб., 1995. С. 73-74. Попытка использовать АБС для хранения сведений о частотах встречаемости фрагментов текста.
Лобацееич А. В., Тулупъев А. Л. Классификация текстовой информации с использованием индуктивного обучения и аппарата алгебраических байесовских сетей // Информационные технологии и интеллектуальные методы. СПб.: СПИИРАН, 1996. С. 120-124.
Комбинирование сведений о частотах встречаемости с помощью АБС.
Логика и компьютер. М.: Наука, 1990. 240 с.
Изложение подхода Нильссона к введению вероятности на пропозициональных формулах. Описание систем MYCIN, PROSPECTOR.
Мантуров О. В. Элементы тензорного исчисления. М.: Просвещение, 1991. 255 с.
Учебное пособие для студентов педагогических вузов — для физикоматематического круга специальностей.
Марселлус Д. Программирование экспертных систем на Турбо Прологе. М.: Финансы и статистика, 1994. 256 с.
Новый шаг в анализе байесовского вывода — более глубоко анализируются сделанные предположения.
Мартин Н., Ингленд Д. Математическая теория энтропии. М.: Мир, 1988. 350 с.
Книга, в которой последовательно излагается теорий энтропии с точки зрения теории вероятностей, в том числе непрерывной.
Мендельсон Э. Введение в математическую логику. М.: Наука, 1971. 320 с. Учебник математической логики.
Mukohu С. В. Теория и практика рационального выбора. М.: Маршрут, 2004. 463 с.
Современный подход к систематическому изложению теории принятия решений, сопровождаемому описаниями практических приложений.
Наринъяни А. С. Недоопределенные модели и операции с недоопределенными значениями. Новосибирск, 1982. 34 с.
Рассматриваются различные НЕ-факторы. Критикуется нечеткая логика.
Наринъяни А. С. Неопределенность в системе представления и обработки знаний // Изв. АН СССР. Сер. Техническая кибернетика. 1986. Т. 5. С. 3-28. НЕ-факторы: неопределенность, недоопределенность, неоднозначность, некорректность, неточность, нечеткость.
Наринъяни А. С. He-факторы и инженерия знаний: от наивной формализации к естественной прагматике // Искусственный интеллект-94. Сборник научных трудов. Рыбинск, 1994. С. 9-18.
Нечеткая логика и НЕ-факторы.
Наумов Г. Е., Подиновский В. В., Подиновский В. В. Субъективная вероятность: способы представления и методы получения // Изв. АН СССР. Сер. Техническая кибернетика. 1991. Т. 5. С. 94-109.
Субъективная вероятность — не всегда вероятность.
Нгуен М. X. Моделирование приближенных рассуждений с помощью нечеткозначной вероятностной логики // Изв. РАН. Сер. Техническая кибернетика. 1993. Т. 5. С. 94-100.
Развитие подхода Нильссона. Нечеткая логика с аксиоматикой t-норм. Предлагает способ приписать нечеткую меру вероятности истинности. Касается теории возможностей.
Нейлор К. Как построить свою экспертную систему. М.: Энергоатомиздат, 1991. 288 с.
Описание экспертных систем MYCIN, PROSPECTOR.
Никитин Д. А., Тулупъее А. Л. Классификация экстремальных задач, возникающих при обработке моделей фрагментов знаний с вероятностной неопределенностью // Телекоммуникации, математика и информатика — исследования и инновации. Вып. 6. Межвузовский сборник научных трудов. СПб.: ЛГОУ им. А. С. Пушкина, 2002. С. 100-103.
Анализ и систематизация математических методов, лежащих в основе алгоритмов логико-вероятностного вывода в АБС.
Николенко С. И., Тулупъее А. Л. Вероятностная семантика байесовских сетей в случае линейной цепочки фрагментов знаний // Труды СПИИРАН. Вып. 2. СПб.: Наука, 2005. Т. 2. С. 53-75.
Проведен компаративный анализ вероятностной семантики алгебраических байесовских сетей и байесовских сетей доверия в случае линейной цепочки фрагментов знаний с точечными оценками.
Николенко С. И., Тулупъее А. Л. Разворот ребер как метод работы с направленными циклами в байесовских сетях // Научная сессия МИФИ-2005. Сборник научных трудов. В 15 томах. Т. 3. 2005. С. 176-178.
Статья посвящена исследованию операции «разворот ребра» в направленном цикле в БСД как метода обработки направленных циклов.
Орловский С. А. Проблемы принятия решений при нечеткой исходной информации. М.: Наука, 1981. 208 с.
Петрина А. М. Экспертные системы в робототехнике. М.: ВИНИТИ, 1992. 183 с.
Описание экспертной системы MYCIN.
Попов Э. В. Экспертные системы. М.: Наука, 1987. 284 с.
Поспелов Д. А. Моделирование рассуждений. М.: Радио и связь, 1989. 184 с. Моделирование рассуждений на основе нечетких множеств. Экспертная система MYCIN.
Рашевский П. К. Риманова геометрия и тензорный анализ. М.: Наука, 1967. 664 с.
Можно рассматривать и как монографию по теме, и как учебник для студентов математических специальностей университетов.
Романов А. А., Шемякин Ю. И. Индуктивно-дедуктивный логический вывод в нечетких условиях // Изв. РАН. Сер. Техническая кибернетика. 1992. Т. 5. С. 63-68.
Логический вывод и нечеткость.
Ромашова М. Н., Тулупьев А. Л. Эмпирическая оценка устойчивости априорного вывода в вероятностной модели фрагмента знаний с неопределенностью // VII С.-Петербургская международная конференция «Региональная информатика-2000». Тезисы докладов. СПб., 2000. С. 7.
Описаны ЗЛП, позволяющие получить указанную оценку.
Рябинин И. А. Надежность и безопасность структурно-сложных систем. СПб.: Политехника, 2000. 248 с.
Самородницкий А. А. Теория меры. Л.: ЛГУ, 1990. 340 с.
Учебник теории меры.
Стенли Р. Перечислительная комбинаторика. М.: Мир, 1990. 440 с.
Классический источник по комбинаторике; рассказывает о многих интересных областях, которые редко попадают в стандартные курсы комбинаторики и дискретной математики.
Тишков А. В., Тулупьев А. Л. Применение рациональнозначных оценок истинности при моделировании неопределенности в структурированных сетях фрагментов знаний // Материалы XI Межгосударств, школы-семинара «Синтез и сложность управляющих систем». Т. 2. М.: Изд-во центра прикладных исследований при мех.-мат. факультете МГУ, 2001. С. 190-198.
Обозначен подход к рассмотрению рациональнозначных мер истинности на идеале цепочек конъюнкций.
Тулупьев А. Л., Городецкий В. И. Алгебраические байесовские сети: поддержание непротиворечивости баз знаний // Международная конференция «Знания — Диалог — Решение» (KDS-95): Доклады. Ялта, 1995. С. 151-159.
АВС как математическая модель для согласования знаний с неопределенностью, хранящихся в ВФЗ.
Тулупъее А. Л. Алгебраические байесовские сети: теоретические основы и непротиворечивость. СПб.: СПИИРАН, 1995. 76 с.
Рассмотрены способы введения вероятности на пропозициональных формулах. В рамках подхода Н. Нильссона описаны процедуры задания вероятности и интервальных оценок вероятности в АБС и на их ФЗ. Рассмотрены алгоритмы поддержания непротиворечивости АБС и их ФЗ; установлена часть соотношений между степенями непротиворечивости АБС.
Тулупъее А. Л. Непротиворечивость знаний с неопределенностью и вывод на них // Всероссийская научно-техническая конференция «Электроника и информатика»: Тезисы. М., 1995. С. 309-310.
Вывод согласованных оценок истинности с помощью АБС.
Тулупъее А. Л. Эволюция моделей неопределенности // Международная конференция «Эволюция инфосферы-95»: Тезисы. М., 1995.
Рассмотрены различные меры истинности, а также вопросы представления неточности.
Тул'упъее А. Л. Алгебраические байесовские сети для представления и обработки знаний с неопределенностью. Диссертация на соискание ученой степени кандидата физико-математических наук. СПб., 1996. 260 с.
Описано состояние теории АБС на 1996 г.
Тулупъее А. Л. Композиция распределений случайных бинарных последовательностей // Информационные технологии и интеллектуальные методы. СПб.: СПИИРАН, 1996. С. 105-112.
Построено непротиворечивое вероятностное распределение, которое маргинализуется к двум заданным согласованным распределениям.
Тулупъее А. Л. Структуры вероятностей на пропозициональных формулах // Информационные технологии и интеллектуальные методы. СПб.: СПИИРАН, 1996. С. 61-70.
Рассмотрены четыре подхода к введению вероятности на пропозициональных формулах.
Тулупъее А. Л. Байесовские сети доверия и алгебраические байесовские сети: сравнительный анализ выразительной мощности // Интеллектуальные методы и информационные технологии. Вып. 2. СПб.: СПИИРАН, 1997. С. 121-147. Сравниваются АБС и БСД, предложен подход к преобразованию БСД в АБС.
Тулупъее А. Л. Поддержание непротиворечивости фрагмента знаний с интервальной нечеткой мерой оценки неопределенности // Теоретические основы и прикладные задачи интеллектуальных информационных технологий. СПб.: СПИИРАН, 1998. С. 82-92.
Сформирован ряд ЗАП, решая которые можно получить ФЗН с непротиворечивыми оценками.
Тулупъее А. Л. Поддержание непротиворечивости фрагментов знаний с интервальной нечеткой мерой неопределенности // Теоретические основы и при-
кладные задачи интеллектуальных информационных технологий. СПб.: СПИ- ИРАН, 1998. С. 82-92.
Применение интервальных оценок нечеткой меры истинности (с триангуляр- ной нормой max) на идеале цепочек конъюнкций.
Тулупъев А. Л. Поддержание непротиворечивости фрагментов знаний с оценками доверия и правдоподобия // Интеллектуальные методы и информационные технологии. Т. 3. СПб.: СПИИРАН, 1999. С. 72-97.
ТДШ применена на идеале цепочек конъюнкций.
Тулупъев А. Л. Алгебраические байесовские сети: логико-вероятностный подход к моделированию баз знаний с неопределенностью. СПб.: СПИИРАН, 2000. 282 с.
Рассмотрен теоретический фундамент для развития теории АВС; описаны алгоритмы поддержания непротиворечивости, априорного и апостериорного вывода в АБС; впервые представлен подход к введению показателей устойчивости (чувствительности) результатов логико-вероятностного вывода в АБС.
Тулупъев А. Л. Структурированные сети фрагментов знаний с неопределенностью // Интегрированные модели и мягкие вычисления в искусственном интеллекте: Сборник трудов международного научно-практического семинара. Коломна, 17-18 мая 2001. М.: Наука-Физматлит, 2001. С. 178-183.
Базы фрагментов знаний, концепция, примеры.
Тулупъев А. Л. Метод построения и исследования баз фрагментов знаний с неопределенностью // Труды СПИИРАН. Вып. 1. 2002. Т. 1. С. 258-271.
Базы фрагментов знаний, концепция, примеры, как исследовать.
Уотерман Д. Руководство по экспертным системам. М.: Мир, 1989. 390 с. Полезный источник по вопросам вывода в эксперных системах.
Уэно X., Исидзука М. Представление и использование знаний. М.: Мир, 1989. 222 с.
Описаны различные подходы к представлению нечеткости и экспертные системы, работающие с ней.
Фаддеев Д. К. Лекции по алгебре. М.: Наука, 1984.
«Продвинутый» учебник по алгебре (с изложением линейной алгебры).
Фараонов В. Программирование баз данных в Delphi 7. Учебный курс. СПб.: Питер, 2003. 464 с.
Учебное пособие содержит сведения, полезные для понимания ряда фрагментов кода в настоящей книге, которые используют объектно-ориентированую модель обмена данными с таблицами реляционных баз данных, принятую в Delphi 7. Можно рассматривать как развитие тематики, связанной с базами данных, элементы которой обсуждались в [65].
Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1984. Один из наиболее полных трудов по теории вероятностей.
Финн В. К. Правдоподобные рассуждения в экспертных системах с неполной информацией: Автореферат диссертации на соискание ученой степени доктора технических наук. М., 1990. 62 с.
Работа выполнена в русле ДСМ-метода.
Хачатрян А. Р. Анализ классических методов объединения свидетельств в экспертных системах // Изв. АН СССР. Сер. Техническая кибернетика. 1988. Т. 2. С. 135-144.
Описание экспертных систем MYCIN и PROSPECTOR.
Хачатрян А. Р. Неточный вывод на знаниях // Искусственный ийтеллект. Справочник. Т. 2. / Под ред. Д. Поспелова. М.: Радио и связь, 1990. С. 105109.
Краткое описание состояния вопроса на 1990 г., упоминаются БСД.
Хачиян Л. Г. Полиномиальный алгоритм в линейном программировании // Доклады АН СССР. 1979. Т. 244. С. 1093-1096.
Полиномиальный алгоритм для решения задач линейного программирования.
Черемхин М. К. Экспертные системы. М.: МГОУ, 1994. 78 с.
Немного о нечеткости и ее применении в системе MYCIN.
Ширяев А. Н. Вероятность. М.: Наука, 1989. 640 с.
Классический русскоязычный источник по теории вероятностей.
Экспертные системы. Принципы работы и примеры / Под ред. Р. Форсайта. М.: Радио и связь, 1987. 224 с.
Элти Д., Кумбс М. Экспертные системы: концепции и примеры. М.: Финансы и статистика, 1987. 192 с.
Описание экспертных систем MYCIN и PROSPECTOR.
Яковлев В. А. Одобрена концепция «Руководства по выражению неопределенности измерения» и принят план мероприятий по его внедрению в отечественную метрологическую практику // Законодательная и прикладная метрология. 2000. № 3. С. 54-57.
Ярошевская В. Исследование вида функциональных зависимостей вероятности ответов на вопросы психодиагностических опросников // Математическое моделирование: естественнонаучные, технические и гуманитарные приложения. Сб. науч, трудов. СПб.: ЛГОУ им.А. С.Пушкина, 2005.
Ярошевская В. Методика индивидуальной погрешности измерения психометрических характеристик при разработке и применении психодиагностических опросников // Математическое моделирование: естественнонаучные, технические и гуманитарные приложения. Сб. науч, трудов. СПб.: ЛГОУ им. А. С. Пушкина, 2005.
Abadi М., Halpern J. Y. Decidability and Expressiveness for First-Order Logics of Probability // Artificial Intelligence. 1990. Vol. 46. P. 311-350.
Рассматриваются проблемы разрешимости и сложности вывода в двух логиках первого порядка, рассмотренных в [227].
Aji S., Horn G., McEliece R. The convergence of iterative decoding on graphs with a single cycle // Proc. CISS 1998. Princeton, 1998. P. 423-434.
Подробное рассмотрение одного из алгоритмов для байесовского вывода для случая БОД с одним ненаправленным циклом.
Allison Р. D. Missing Data / Sage University Paper Series on Quantitative Applications in the Social Sciences, 07-136 / Bd. by M. S. Lewis-Beck. Thousand Oaks, London, New Delhi: Sage Publications, 2001. 93 p.
Сжатое изложение известных автору подходов к обработке массивов данных с пропусками. Рассматривается применение принципа макисмального правдоподобия в случае пропусков, алгоритмы заполнения лакун и множественных лакун; обсуждаются случаи «невосполнимых» пропусков.
Anderson J. R. Cognitive Psychology and Its Implications. N.Y.: W. H. Freeman, 1980.
Подробное изложение основ когнитивной психологии.
Artificial Intelligence and Expert Systems / Ed. by S. E. Savory. N.Y.: J. Wiley & Sons Ltd, 1988. 278 p.
Artificial Intelligence in Design’94 / Bd. by J. S. Gero, F. Sudweeks. London: Kluwer Acad. PubL, 1994. 766 p.
Вся книга опирается на традиционную нечеткость.
Atanassov К. Т., Gargov G. Interval valued intuitionistic fuzzy sets // Fuzzy Sets and Systems. 1989. Vol. 31, N. 3. P. 343-349.
Atanassov К. T., Nikolov N, Kirova Z., Nikolova N. On the modelling of industrial chemical processes by intuitionistic fuzzy generalized nets // Notes on Intuitionistic Fuzzy Sets. 1996. Vol. 2, N. 2. P. 16-20.
Atanassov К. T. Intuitionistic fuzzy sets // Fuzzy Sets and Systems. 1986. Vol. 20, N. 1. P. 87-96.
Atanassov К. T. Review and new results on intuitionistic fuzzy sets // Preprint IM-MFAIS-1-88. 1988.
Atanassov К. T. More on intuitionistic fuzzy sets // Fuzzy Sets and Systems. 1989. Vol. 33, N. 1. P. 37-45.
Atanassov К. T. Operations over interval valued intuitionistic fuzzy sets // Fuzzy Sets and Systems. 1994. Vol. 64. P. 159-174.
Bacchus F., Dalmao S., Pitassi T. Algorithms and Complexity Results for #SAT and Bayesian Inference // FOCS 2003. 2002. P. 340-351.
Задача байесовского вывода в БСД связана с классом #Р, приведены сложностные результаты и дан анализ некоторых алгоритмов решения этой задачи.
Bacchus F. A Logic for Statistical Information // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 5). 1990. Vol. 19. P. 3-14.
Обобщение подхода Нильссона.
Bacchus F. Lp, a logic for representing and reasoning with statistical knowledge // Computational Intelligence. 1990. Vol. 6. P. 209-231.
Введена и описана новая логика Lp, предназначенная для рассуждений о статистических сведениях как количественных, так и качественных.
Bacchus F. On Probability Distributions Over Possible Worlds // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 4). 1990. Vol. 9. P. 217-226.
Формализация предложенного Нильссоном подхода.
Baldwin J. F. et al. Fril — Fuzzy and Evidential Reasoning in Artificial Intelligence. N.Y.: Research Studies Press, Wiley, 1995. 141 p.
Berry A., Blair J. R. S., Heggernes P. Maximum cardinality search for computing minimal triangulations // Graph Theoretical Concepts in Computer Science, Proceedings of the 28th International Workshop on Graph Theoretical Concepts in Computer Science (WG 2002) / Ed. by L. Kucera. 2002. P. 1-12.
Применение жадного поиска (maximum cardinality search) для задачи поиска минимальной триангуляции морального графа.
Berry A., Bordat J., Heggernes Р., Simonet G., Villanger Y. A wide-range algorithm for minimal triangulation from an arbitrary ordering: Tech. Rep. 243: University of Bergen, Norway, Department of Informatics, 2003.
Алгоритм поиска минимальной триангуляции морального графа для произвольного упорядочивания вершин.
Bhatnagar R. К., Kanai L. N. Handling Uncertain Information: A Review of Numeric & Non-Numeric Methods // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 3-26.
Теория вероятностей, Теория Демпстера-Шеффера, возможность по Заде.
Biazzo V., Gilio A., Lukasiewicz Т., Sanfilippo G. Probabilistic Logic under Coherence: Complexity and Algorithms // ISIPTA. 2001. P. 51-61.
Один из альтернативных подходов к моделированию знаний с неопределенностью, основанный на оценках вероятностей условных событий. Рассмотрены алгоритмы проверки непротиворечивости и их сложность.
Biazzo V., Gilio A., Lukasiewicz Т., Sanfilippo G. Probabilistic Logic under Coherence, Model-Theoretic Probabilistic Logic, and Default Reasoning // EC- SQARU. 2001. P. 290-302.
Один из альтернативных подходов к моделированию знаний с неопределенностью, основанный на оценках вероятностей условных событий. Обзор логических результатов. Связь с классической вероятностной логикой.
Bonissone Р. Р., Tong R. М. Reasoning with Uncertainty in Expert Systems // International Journal of Man-Machine Studies. 1985. Vol. 22. P. 241-250.
Теория Демпстера-Шеффера, возможность и их применение в системах PROSPECTOR и MYCIN.
Bonisson Р. Р., Decker К. S. Selecting Uncertainty Calculi and Granularity // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 217-247.
Какую триангулярную норму выбрать и сколь точно производить вычисления.
Boole G. An Investigation of the Laws of Thought, on Which Are Founded the Mathematical Theories of Logic and Probabilities. Cambridge: Macmillan/London: Walton & Maberly, 1854.
Работа Джорджа Буля, предвосхитившая многие идеи, на которых основана современная вероятностная логика. Репринтное издание вышло в 1951 году, Dover Publications, N.Y..
Bose Р., Lietard L., Pivert О. On the Interpretation of Set-Oriented Fuzzy Quantified Queries and Their Evaluation in a Database Management System // Methodologies for Intelligent Systems / Ed. by J. Komorowski, Z. W. Ras. Berlin: SpringerVerlag, 1993. P. 209-218.
Стандартная нечеткая логика.
Bouchon В., Despres S. Propagation of Uncertanities and Inaccuracies in Knowledge-Based Systems // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: Springer-Ver lag, 1987. P. 58-65.
Лингвистические переменные и нечеткость.
Buehrer D. J. From interval probability theory to computable fuzzy first-order logic and beyond // Proceedings of the Third IEEE Conference on Fuzzy Systems (Orlando, FL, June 26-29, 1994). Vol. II. 1994. P. 1428-1433.
Bundy A. Incidence Calculus: A Mechanism for Probabilistic Reasoning // Proceedings of the International Conference on Fifth Generation Computer Systems 1984, Tokyo, Japan. 1984. P. 166-174.
Первая статья основоположника исчисления инциденций.
Bundy A. Incidence Calculus: A Mechanism for Probabilistic Reasoning // Journal of Automated Reasoning. 1985. Vol. 1, N. 3. P. 263-283.
Основополагающая статья про исчисление инциденций; журнальная версия [155].
Bundy A. Correctness Criteria of Some Algorithms for Uncertain Reasoning Using Incidence Calculus // Journal of Automated Reasoning. 1986. Vol. 2, N. 2. P. 109126.
Carnap R. The two concepts of probability // Logical Foundations of Probability. University of Chicago Press, Chicago, 1950. P. 19-51.
Классическая статья одного из основоположников современной логики, в которой он с логической стороны рассматривает вероятность и ее возможные логические формализации.
Carnap R. Decision Making // Studies in Inductive Logic and Probability / Ed. by R. Carnap, R. Jeffrey. University of California Press, Berkeley, 1971. Vol. 1. P. 7-9. Статья о принятии решений, написанная классиком современной логики; в ней заложены многие из применяющихся ныне идей.
Castillo В., Gutierrez J. М., Hadi A. S. Modeling Probabilistic Networks of Discrete and Continuous Variables // Journal of Multivariate Analysis. 1998. Vol. 64. P. 48-65.
Статья посвящена одному из возможных применений байесовских сетей доверия. В байесовской сети, рассматриваемой в этой работе, возникает
направленный цикл, однако ребро в нем просто разворачивают без удовлетворительного обоснования.
Chandra V., Hooker J. Optimization Methods for Logical Inference. N.Y.: Wiley, 1999.
Книга направлена на то, чтобы рассмотреть применения оптимизационных методов в логических проблемах. Также является хорошим введением и в логику, и в оптимизационные задачи.
Chau С. W. R., Lingras Р., Wong S. К. М. Upper and Lower Entropies of Belief Functions Using Compatible Probability Function // Methodologies for Intelligent Systems / Ed. by J. Komorowski, Z. W. Ra§. Berlin: Springer-Ver lag, 1993. P. 306315.
Описание теории Демпстера-Шеффера.
Cheesman P. Probabilistic vs. Fuzzy Reasoning // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 85-102. Показано, что вероятность — более общая парадигма, чем нечеткость и возможность. И предположений в ней меньше.
Chee L. Computing the Value of a Boolean expression with intervals is NP-hard. Master’s thesis, Computer Science Dept., Univ, of Texas at El Paso, 1996. Доказана NP-сложность задачи вычисления интервальных оценок вероятностей пропозициональной формулы по точечным оценкам вероятности входящих в нее переменных.
Chee L. Computing the Value of a Boolean expression with intervals is NP-hard // Reliable Computing. 1997. Vol. 3, N. 2. P. 155-172.
Журнальная версия [164].
Cooper G. F. The Computational Complexity of Probabilistic Inference using Bayesian Belief Networks // Artificial Intelligence. 1990. Vol. 42. P. 393-405. Доказывается, что байесовский вывод в БСД NP-сложен.
Corlett A. G., Todd S. J. A Monte-Carlo Approach to Uncertain Inference // Artificial Intelligence and ita Applications. / Ed. by R. A. Cohn, J. R. Thomas. N.Y.: J. Wiley & Sons Ltd, 1986. P. 127-137.
Нечеткость и исчисление инцидентов применительно к системе INFERNO.
Cortes-Rello В., Golshani F. Management of Uncertainty for Intelligent Financial Systems // Proc, of 1st International Conference on AI Applications on Wall Street. N.Y., 1991. P. 238-243.
О теории Демпстера-Шеффера.
Cowell R. G., Dawid A. P., Lauritzen S. L., Spiegelhalter D. J. Probabilistic Networks and Expert Systems. Springer-Ver lag, 1999.
Широко известная монография о байесовских сетях доверия. Содержит достаточно полное изложение материала с большим количеством примеров и практических указаний.
Cvavo М. R., Martins J. R. A Unified Approach to Default Reasoning and Belief Revision // Lectures Notes in Computer Science. 1993. Vol. 727. P. 226-241.
Еще одна формализация одной из сторон ТДШ.
Cui W., Blockley D. I. Interval probability theory of evidential support // International Journal of Intelligent Systems. 1990. Vol. 5. P. 183-192.
Dagum P., Luby M. Approximating probabilistic inference in Bayesian belief ne- towrks is NP-hard // Artificial Intelligence. 1993. Vol. 60. P. 141-153.
Доказана NP-трудность задачи поиска достаточно хорошего приближения к «точному» решению задачи байесовского вывода в БСД.
Dantzig G. В. Maximization of a linear function of variables subject to linear inequalities // Activity Analysis of Production and Allocation. N.Y.: Wiley, 1951. P. 339-347.
Первое появление симплекс-метода в своем современном и законченном виде.
Dan Q., Dudeck J. Some Problems Related with Probabilistic Interpetations for Certainity Factors // Proc, of 5th Annual IBBB Symposium on Computer-Based Medical Systems. Washington, 1992. P. 538-545.
Darwiche A. A Differential Approach to Inference in Bayesian Networks // Journal of the ACM. 2003. Vol. 50, N. 3. P. 280-305.
Предложен новый подход к выводу в БСД. В рамках этого подхода сеть представляется в виде полинома, а ответы на верятностные запросы получаются вычислением значений полинома и его частных производных. Сам полином экспоненциален, но может быть полиномиально записан в виде схемы, а полученную схему можно за линейное время дифференцировать и вычислять ее значения.
Darzentas I. Knowledge-Modelling in Fuzzy Expert Systems // Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: SpringerVerlag, 1987. P. 159-172.
da Silva F. S. C. On the Relations Between Incidence Calculus and Fagin-Halpern Structures.
Сравнение исчисления инциденций с теорией Фатина, Хальперна и Мегиддо; доказаны эквивалентности структур определенного вида, возникающих в обоих теориях.
Dechter R., Rish I. Mini-Buckets: A General Scheme for Bounded Inference // Journal of the ACM. 2003. Vol. 50, N. 2. P. 107-153.
В статье разработан класс алгоритмов, которые аппроксимируют традиционные алгоритмы пропагации и поиска наиболее вероятного означивания узлов в БСД, причем эти алгоритмы параметризованы, и можно подбирать параметры, балансируя между точностью и временем работы.
De Finetti В. Sul significato soggettivo della probability // Fundamenta Mathe- maticae. 1931. Vol. 17. P. 298-329.
Классическая работа одного из отцов-основателей теории вероятностей Бруно де Финетти. В ней, в частности, доказана теорема о том, что степени доверия
должны удовлетворять аксиоматике вероятностей. Английский перевод: On the subjective meaning of probability // Probabilita e Induzione / Ed. by Monari P, Cocchi D. Bologna: Clueb, 1993. P. 291—321.
De Finetti B. Theory of Probability. N.Y.: J. Wiley & Sons, 1974.
Книга, в которой Бруно де Финетти подводит итог своей научной деятельности. В частности, именно здесь он утверждает, что «вероятности не существует».
Dmankou D. A Calculus for Belief Intervals Representation of Uncertainty // Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: Springer-Verlag, 1987. P. 205-216.
Еще одно формальное описание ТДШ.
Dubois D., Fargier H., Prade H., PerN. Y. P. Quantitative Decision Theory: From Savage’s Axioms to Nonmonotonic Reasoning // Journal of the ACM. 2002. Vol. 49, N. 4. P. 445-495.
Попытка исследования, до какой степени можно обойтись сугубо символическими вычислениями, без применения численных представлений полезности или неопределенности; даны не численные значения, а множества с частичными порядками на них. Результаты скорее негативны — численные значения все-таки оказываются нужны.
Dubois D., Prade Н. Fuzzy Sets and Systems: Theory and Applications. N.Y., London: Academic Press, 1980.
Книга о нечетких множествах и системах, написанная классиками теории доверия.
Dubois D., Prade Н. The principle of Minimum Specifity as a Basis for Bvidentional Reasoning // Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: Springer-Ver lag, 1987. P. 75-84.
О теории Демпстера-Шеффера.
Dubois D., Prade H. Conditioning in Possibility and Evidence Theory // Uncertainty and Intelligent Systems / Bd. by B. Bouchon, L. Saitfa, R. R. Yager. Berlin: Springer-Ver lag, 1988. P. 401-408.
Теория Демпстера-Шеффера, теория возможности и необходимости.
Dubois D., Prade Н. Modeling Uncertain and Vague Knowledge in Possibility and Evidence Theories // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 4). 1990. Vol. 9. P. 303-318.
С точки зрения авторов, бесполезно придумывать еще новые теории по представлению и обработке данных и знаний с неопределенностью.
Dubois D., Prade Н. Epistemic Entrenchment and Possibilistic Logic // Artificial Intelligence. 1991. Vol. 50. P. 223-239.
О связях логики возможностей и Epistemic Entrenchment.
Dubois D., Sandri S. A., Kalfsbeek H. W. Corrections to “Bliciation, Assessment, and Pooling of Expert Judgements Using Possibility Theory” // IEEE Transactions on Fuzzy Systems. 1995. Vol. 3, N. 4. P. 479.
Теория возможностей, существенные исправления к [189].
Dubois D., Sandri S. A., Kalfsbeek H. W. Eliciation, Assessment, and Pooling of Expert Judgements Using Possibility Theory // IEEE Transactions on Fuzzy Systems. 1995. Vol. 3, N. 3. P. 313-335.
Теория возможностей.
Edwards W. Comparing Approaches to Uncertain Reasoning // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 5). 1990. Vol. 10. P. 128-137.
Еще раз о системах PROSPECTOR и MYCIN.
Enderton H. В. A Mathematical Introduction to Logic. N.Y.: Academic Press, 1972. Классический учебник математической логики.
Fagin R., Halpern J. Y., Megiddo N. A Logic for Reasoning about Probabilities // Report RJ 6190(60900) 4/12/88. 1988. P. 1-41.
Методологическая основа подхода предложенного Fagin, Halpern, Megiddo.
Fagin R., Halpern J. Y., Megiddo N. A Logic for Reasoning about Probabilities // Information and Computation. 1990. Vol. 87, N. 1/2. P. 78-128.
Очень подробно описаны основные результаты; аксиоматизации логики Fagin, Halpern, Megiddo в измеримом и неизмеримом случаях, доказательства полноты и непротиворечивости, оценки сложности, другие аппараты и сравнение с ними.
Fagin R., Halpern J. Y. Uncertainty, Belief, and Probability // Computational Intelligence. 1991. Vol. 6. P. 160-173.
Основополагающая обзорная статья по формализации подхода Н. Нильссона к введению вероятности на пропозициональных формулах.
Fagin R., Halpern J. Y. Uncertainty, Belief, and Probability-2 // Proc, of the IEEE Symposium on Logic and Computer Science. 1991. Vol. 7. P. 160-173.
Продолжение статьи [194].
Fagin R., Halpern J. Y. Reasoning about Knowledge and Probability // Journal •of the Association for Computing Machinery. 1994. Vol. 41, N. 2. P. 340-367.
Дополненная и переработанная журнальная версия статей [194] и [195], в которой подробно излагаются основы логики Fagin, Halpern, Megiddo.
Farkas G. A Fourier-fdle mechanikai elv alkalmazdsai // Mathematikai ds TermdszettudomdN.Y.i firtesito. 1894. Vol. 12. P. 457-472.
Работа Фаркаша с леммой Фаркаша; название можно перевести с венгерского как «О приложениях механического принципа Фурье».
Flores М. J., Gamez J. A. Triangulation of Bayesian networks by retriangulation // International Journal of Intelligent Systems. 2003. Vol. 18, N. 2. P. 153-164. Еще один интересный алгоритм триангуляции моральных графов ВОД.
Fourier J. В. J. Analyse des travaux de FAcaddmie Royale des Sciences, pendant Fannde 1823, Partie mathdmatique // Histoire de FAcaddmie Royale de Sciences de FInstitut de France. 1826. Vol. 6.
Работа Фурье, в которой он высказывает идею симплекс-метода.
Fox J. Three Arguments for Extending the Framework of Probability // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 447-458.
Предлагает считать вид неопределенности особым знанием, причем вид неопределенности задается фиксированным соотношением вероятностей.
Friedman N., Halpern J. Y. Plausibility Measures and Default Reasoning / / Journal of the ACM. 2001. Vol. 48, N. 4. P. 648-685.
Излагается новый общий подход к неопределенности — меры правдоподобия (plausibility measures), которые обобщают вероятностные меры. На них строится логика, которая при определенных (весьма слабых) условиях, является полной. Этот подход обобщает вероятностные меры, меры доверия и меры возможности (possibility measures, Dubois-Prade).
Frisch A. M., Haddawy P. Anytime Deduction for Probabilistic Logic // Artificial Intelligence. 1994. Vol. 69. P. 93-112.
Еще одна формализация идей Нильссона.
Fua Р. V. Using Probability Density Functions in the Framework of Evidentional Reasoning // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: Springer-Verlag, 1987. P. 101-110.
ТДШ, рассмотрен способ введения меры согласованности свидетельств, который использует функции плотности вероятности.
Fuzzy Logic in Artificial Intelligence / Ed. by E. P. Klement, W. SlaN.Y. Berlin: Springer-Verlag, 1993. 192 p.
Описание стандартной нечеткой логики.
Fuzzy Logic: State of the Art / Ed. by R. Lowen, M. Roubens. London: Kluwer Acad. Publ., 1993. 588 p.
Сборник статей про нечеткость и возможность, отражающих состояние исследований на момент выхода книги в свет.
Fuzzy Reasoning in Information, Decision and Control Systems / Ed. by S. G. T^safestas, A. Venetsanopoulos. London: Kluwer Acad. Publ., 1993. 568 p.
В основном статьи про нечеткость. Есть и про возможность.
Gader Р., Keller J. М., Cai J. A Fuzzy Logic System for the Detection and Recognition of Hand-Written Street Numbers // IEEE Transactions on Fuzzy Systems. 1995. Vol. 3, N. 1. P. 83-95.
Классическая ТДШ.
Gaines В. R. Structure, Development, and Applications of Expert Systems in Integrated Manufacturing // Artificial Intelligence Implications for CIM / Ed. by A. Kusiak. Berlin: Springer-Verlag, 1988. P. 117-161.
Немного о системах MYCIN и THERESIAS.
Gargov G. K., Atanassov К. T. Two results in intuitionistic fuzzy logic // C. R. Acad. Bulgare Sci. 1992. Vol. 45, N. 12. P. 29-31.
Garibba S. F. Evidence Aggregation in Expert Judgements // Uncertainty and Intelligent Systems / Ed. by B. Bouchon, L. Saitfa, R. R. Yager. Berlin: SpringerVerlag, 1988. P. 385-400.
Теория Демпстера-Шеффера.
Gau W.-L., Buehrer D. J. Vague sets // IEEE Transactions on Systems, Man, and Cybernetics. 1993. Vol. 23, N. 2. P. 610-614.
Gerla G. Inference in Probability Logic // Artificial Intelligence. 1994. Vol. 70. P. 33-52.
Еще один способ введения интервальной вероятности.
Good, I. J. Subjective probability as the measure of a non-measurable set // Logic, Methodology and Philosophy of Science / Ed. by E. Nagel, P. Suppes, A. Tarski. Stanford University Press, Stanford, 1962. P. 319-329.
Философско-логическое субъективное обоснование интервальных оценок вероятностей.
Gorodetsky V. I., Drozdgin V. V., Jusupou R. M. Application of Attributed Grammar and Algorithmic Sensitivity Model for Knowledge Representation and Estimation // Artificial Intelligence and Information, Control Systems of ROBOTSA. Amsterdam: Elsevier Science Publishers В. V., 1984. P. 232-237.
Одна из первых публикаций, связанных с разработкой теории АБС.
Gorodetsky V. I. Bayes Inference and Decision Making in Artificial Intelligence Systems // Industrial Applications of Artificial Intelligence. Amsterdam: Elsevier Science Publishers В. V., 1991. P. 276-281.
Gorodetsky V. I. Adaptation Problems in Expert Systems // International Journal of Adaptive Controle and Signal Processing. 1992. Vol. 6. P. 201-209.
Gorodetsky V. I. New Architecture of Expert System Tool and Its Agriculture Implementation Possibility // Proc, of IFAC Workshop on Expert Systems in Agriculture. Huangsham, China, August 12-14, 1992. International Academia PubL, 1992. P. 41-47.
Groothuizen R. J. Inexact Reasoning in Expert Systems: an Integrating Overview // National Aerospace Laboratory, NLR Report No NLR TR 86009 U, January 1986. 391-406. P. 1986.
О система вывода Inferno и немного о других.
Grosof В. N. Evidential Confirmation as Transformed Probability // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 153-166.
Статья о том, что модифицированный MYCIN сводится к ТДШ.
Grosof В. N. An Inequality Paradigm for Probabilistic Knowledge. (The Logic of Conditional Probability Intervals) // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 259-275.
Рассуждая об условных вероятностях, лучше использовать линейные приближения.
Guan J. W., Bell D. A. Improving Shafer-Logan’s Algorithm for Handling Hierarchical Evidence // Database and Expert Systems Applications / Ed. by V. Marik, J. Lazansky, R. R. Wagner. Berlin: Springer-Ver lag, 1993. P. 413-423. Еще раз о правиле комбинирования в ТДШ.
Gupta А., В. Р. D. Principles of Expert Systems. N.Y.: IEEE, 1988. 450 p. Сборник статей об экспертных системах.
Hagen В. W. Bi-Directional Probabilistic Assessment // Industrial and Engineering Applications of Artificial Intelligence and Expert-Systems / Ed. by F. Belli, F. I. Radermacher. Berlin: Springer-Verlag, 1992. P. 566-571.
Ставит проблему определения непротиворечивости вероятностного распределения.
Halfin S. The sphere method and the robustness of the ellipsoid algorithm // Mathematical Programming. 1983. Vol. 26. P. 109-116.
Свидетельства о практической неприменимости метода эллипсоидов Хачияна.
Halpern J. Y., *uan der Mey den R., Vardi M. Y. Complete Axiomatizations for Reasoning about Knowledge and Time // SIAM Journal of Computing. 2003. Vol. 33, N. 3. P: 674-703.
Даются полные и непротиворечивые аксиоматизации для нескольких различных логик, в которых присутствуют модальности для знания и времени.
Halpern J. Y. Using reasoning about knowledge to analyze distributed systems // Annual Review of Computer Science / Ed. by J. F. Traub, B. J. Grosz, B. W. Lampson, N. J. Nilsson. Annual Reviews Inc., Palo Alto, Calif., 1987. Vol. 2. P. 37- 68.
Сравнительный анализ различных логических подходов к анализу распределенных систем.
Halpern J. Y. An Analysis of First-Order Logics of Probability // Artificial Intelligence. 1990. Vol. 46. P. 311-350.
Классический обзор вероятностных логик первого порядка. Сравниваются две логики, одна из которых вводит вероятность на предметной области, другая — на возможных мирах. Даются аксиоматизации, теоремы полноты и непротиворечивости.
Hanks S., McDermott D. Modelling a Dynamic and Uncertain World-1 // Artificial Intelligence. 1994. Vol. 66. P. 1-55.
Теория Демпстера-Шеффера и сети Пиэрл.
Heckerman D., Checkering D., Meek C., Rounthwaite R., Kadie C. Dependency Networks for Density Estimation, Collaborative Filtering, and Data Visualization // Journal of Machine Learning Research. 2000. Vol. 1. P. 49-75.
Одно из обобщений ВСД — так называемые dependency networks. Работают с циклами, но не придерживаются строго аксиоматики теории вероятностей.
Heckerman D. Probabilistic Interpretations for MYCIN’s Certainty Factors // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 167-196.
Противоречивость. Возможность вероятностной интерпретации правил MYCIN многими способами.
Horvitz Е., Heckerman D. The Inconsistent Use of Measures of Certainty in Artificial Intelligence Research // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 137-152.
Показано, что существующие методы неопределенности, такие как теория Демпстера-Шеффера или байесовские сети, зачастую применяются в ситуациях, где их использование противоречиво.
Hsia Y.-T. Characterizing Belief witn Minimum Commitment // Proc, of 12th International Joint Conference on Artificial Intelligence. Sydney: Morgan Kaufmann PubL, 1991. P. 1184-1189.
Предложен такой способ рассуждений, при котором меры доверия и правдоподобия Bel и Р1 больше не связаны с вероятностью.
Hulten G., , Chickering D., Heckerman D. Learning Bayesian Networks from Dependency Networks: A Preliminary Study // Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics. 2003.
Дальнейшее (после [229]) развитие темы dependency networks.
Ip H. H. S., Wong H.-M. Evidentional Reasoning in Foreign Exchange Rates Forecasting // Proc, of 1st International Conference on AI Applications on Wall Street. N.Y., 1991. P. 152-158.
Теория Демпстера-Шеффера.
Jaffray J.-Y. Application of Linear Utility Theory to Belief Functions // Uncertainty and Intelligent Systems / Ed. by B. Bouchon, L. Saitfa, R. R. Yager. Berlin: Springer-Ver lag, 1988. P. 1-8.
Модификация теории Демпстера-Шеффера.
Jensen C. S., Kong A., Kjarulff U. Blocking-Gibbs sampling in very large probabilistic expert systems // International Journal of Human-Computer Studies. 1995. Vol. 42. P. 647-666.
Статья об одном из методов решения проблемы недоступных областей для сэмплирования по Гиббсу.
Jensen F. V. Bayesian Networks and Decision Graphs. Springer-Ver lag, 2002.
Один из наиболее полных источников о байесовских сетях доверия; полностью и достаточно прозрачно изложена теория, приведены примеры. Сдалана попытка изложить значительную часть теоретического материала и описаний алгоритмов на языке потенциалов.
Jen J. A Framework of Fuzzy Evidentional Reasoning // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 4). 1990. Vol. 9. P. 227239.
Еще одна апология теории Демпстера-Шеффера.
Johnson J. A., Smartt Н. В. Advantages of an Alternative Form of Fuzzy Logic // IEEE Transactions on Fuzzy Systems. 1995. Vol. 3, N. 2. P. 149-157.
Новая формализация одной из fuzzy-логик.
Johnson R. W. Independence and Bayesian Updating Methods // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 197-201.
Отмечается широкое использование условной независимости.
Jr. К. Н. В. Evidentional Probability // Proc, of 12th International Joint Conference on Artificial Intelligence. Sydney: Morgan Kaufmann PubL, 1991. P. 11961202.
Предлагает использовать интервальную вероятность для характеристики истинности утверждения.
Kane Т. В. Maximum Entropy in Nilsson’s Probabilistic Logic // Proc, of 11th International Joint Conference on Artificial Intelligence. Detroit: Morgan Kaufmann PubL, 1989. P. 452-457.
Предложен способ учесть условную вероятность в терминах логики Нильссона.
Kasprzyk J., Fedrizzi М. Inference via Belief Qualified IF-THEN Rules Based on Campatibility Relations and Possibility Theory // Uncertainty and Intelligent Systems / Ed. by B’. Bouchon, L. Saitfa, R. R. Yager. Berlin: Springer-Verlag, 1988. P. 25-32.
Теория Демпстера-Шеффера, теория возможности и необходимости.
Kaufman С., Perlman R., Speciner М. Network Security: Private Communication in a Public World. N.Y.: Prentice Hall PTR, 2002. 670 p.
Книга по сетевой безопасности, в которой изложены как криптографические ее аспекты, так и прикладные реализации (стандарты).
Keynes J. М. A Treatise on Probability. Macmillan, London, 1921.
Работа знаменитого экономиста о вероятности (в том числе о субъективных вероятностях). Книга была перепечатана в виде тома 8 сборника Keynes J. М. Collected Writings. London: Macmillan, 1973.
Kim S. Checking a Rule Base with Certainty Factor for Incompleteness and Inconsistency // Uncertainty and Intelligent Systems / Ed. by B. Bouchon, L. Saitfa, R. R. Yager. Berlin: Springer-Ver lag, 1988. P. 201-208.
Рассматривает MYCIN и ставит проблему непротиворечивости.
Kleindorfer Р. R., Kunreuther H. C., Schoemaker Р. J. Н. Decision sciences. An integrative perspective. Cambridge: Cambridge University Press, 1993.
Knowledge, Skill, and Artificial Intelligence / Ed. by B. Goranzon, I. Josefson. Berlin: Springer-Ver lag, 1988. 193 p.
О нечеткости вообще и очень кратко.
Krause Р., Clark D. Representing Unsertain Knowledge. London: Kluwer Acad. PubL, 1993. 278 p.
Вайесовкий вывод, certainty factors (MYCIN), ТДШ, TBH и неколичественные подходы.
Kreinovich V., Bernat A. P., Borrett W., Mariscal Y., Villa E. Monte-Carlo methods make Dempster-Shafer formalism feasible // Advances in the Dempster-
Shafer Theory of Evidence / Ed. by R. R. Yager, J. Kacprzyk, M. Pedrizzi. N.Y.: Wiley, 1994. P. 175-191.
Теория Демпстера-Шеффера в некоторых случаях становится вычислительно слишком сложной. В этой работе показано, как можно методами стохастического моделирования (Монте-Карло) производить приближенные вычисления достаточно быстро и с достаточной точностью.
Kreinouich V., Person S. A new Cauchy-based black-box technique for uncertainty in risk analysis // Reliable Engineering and System Safety. 2004. Vol. 85, N. 1-3. P. 267-279.
Kreinouich V., Joslyn C. Convergence properties of an interval probabilistic approach to system reliability estimation // International Journal of General Systems. 2005. Vol. 34, N. 4. P. 465-482.
Оценивается, насколько быстро сходятся алгоритмы интервальной вероятностной модели в случае, когда они используются для оценок надежности систем.
Kreinouich, V., Longpre L., Patangay P., Person S., Ginzburg L. Outlier detection under interval uncertainty: algorithmic solvability and computational complexity // Reliable Computing. 2005. Vol. 11, N. 1. P. 59-76.
Рассмотрена задача распознавания статистических выбросов в рамках интервальных моделей неопределенности.
Kreinovich V., Nguen Н. Т., Mukaidono N. Probability of Implication, Logical Version of Bayes Theorem, and Fuzzy Logic Operations // Proceedings of the 2002 IEEE International Conference on Fuzzy Systems. Hawaii, 2002. P. 530-535.
Изложен общий подход к введению вероятностей логических операций на основе вероятностей базовых утверждений (атомарных пропозиций), являющихся операндами этих операций; этот подход применен к вероятности импликации, рассмотрены свойства этой вероятности.
Kreinouich V. A review of “Uncertain reasoning” by G. Shafer and J. Pearl (eds.) Ц SIGART Bulletin. 1992. Vol. 3, N. 4. P. 23-27.
Обзор сборника статей “Uncertain reasoning”.
Kruse R., Schwecke E., Klawonn- P. On a Tool for Reasoning with Mass Distributions // Proc, of 12th International Joint Conference on Artificial Intelligence. Sydney: Morgan Kaufmann Publ., 1991. P. 1190-1195.
Теория Демпстера-Шеффера.
Kyburg H. E. J. Epistimological Relevance and Statistical Knowledge // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 4). 1990. Vol. 9. P. 159-168.
Смысл вероятности и ее оценок.
Kyburg Н. Е. Bayesian and Non-Bayesian Evidentional Updating // Artificial Intelligence. 1987. Vol. 31. P. 271-293.
Теория Демпстера-Шеффера и байесовский подход.
Ку burg Н. Е. Representing Knowledge and Evidence for Decision / / Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: SpringerVerlag, 1987. P. 30-40.
Теория Демпстера-Шеффера, байесовский подход — необходимость интервальных оценок.
Lam F. С., Yeap W. К. Bayesian Updating: on the Interpretation of the Exhaustive and Mutually Exclusive Assumptions // Artificial Intelligence. 1992. Vol. 53. P. 245254.
Еще раз о смысле MYSIN и PROSPECTOR.
LarranagaP., Kuijpers C., Poza M., Murga R. Decomposing Bayesian networks: triangulation of the moral graph with genetic algorithms / / Statistics and Computing. 1997. Vol. 7, N. 1. P. 19-34.
Статья, в которой исследуются возможности триангуляции морального графа ВСД посредством генетических алгоритмов.
Lemmer I. F. Confidence Factors, Imprecision and the Dempster-Shafer’s Theory of Evidence // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 117-127.
Апология теории Демпстера-Шеффера.
Little R. J. A., Rubin D. B. Statistical Analysis with Missing Data. 2nd ed. N.Y.: Wiley, 2002. 408 p.
Прагматическое и скрупулезное рассмотрение задачи, которая, как правило, встает перед прикладным статистиком при обработке реального массива данных. Объектом исследования выступает «матрица данных с пропусками». Рассатриваются различные современные подходы и классификация особенностей таких «матриц»; в частности, выделяются ситуации, когда случаи потери или пропусков данных можно представить некоторым паттерном, те. найти закономерность в появлении пропусков. Существенным позитивным моментом в книге является разбор примеров с конкретными массивами данных.
Liu W., Bundy A., Robertson D. S. On the Relations between Incidence Calculus and ATMS // Proceedings of Symbolic and Quantitative Approaches to Reasoning and Uncertainty, European Conference, ECSQARU’93, Granada, Spain / Ed. by M. Clarke, R. Kruse, S. Moral. 1993. P. 249-256.
Liu W., Bundy A. Constructing probabilistic ATMS Using Extended Incidence Calculus // International Journal of Approximate Reasoning. 1996. Vol. 15. P. 145182.
Liu W., McBryan D., Bundy A. A Comprehensive Comparison between Generalized Incidence Calculus and Dempster Shafer Theory of Evidence // International Journal of Man-Machine Studies. 1994. Vol. 42. P. 462-491.
Сравнение исчисления инциденций с теорией Демпстера-Шеффера; доказаны эквивалентности структур определенного вида, возникающих в обеих теориях.
Liu W., McBryan D., Bundy A. The Method of Assigning Incidences // Applied Intelligence. 1998. Vol. 9, N. 2. P. 139-161.
Liu W. The Incidence Propagation Method // Proceedings of 26th IEEE International Symposium on Multiple-Valued Logic (ISMVL 1996), Santiago de Compostela, Spain. 1996. P. 124-129.
Loui R. P. Interval-Based Decisions for Reasoning Systems // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 459472.
Объясняет, почему хороша интервальная оценка вероятности, но не дает описаний алгоритмов рассуждений.
Lui Х.-Н. Linear A-paramodulation in Operator Fuzzy Logic // Proc, of 11th International Joint Conference on Artificial Intelligence. Detroit: Morgan Kaufmann Publ., 1989. P. 435-440.
Lukasiewicz J. Die logische Grundlagen der Wahrscheinlichkeitsrechnung. Cracow, 1913.
Скорее всего, самая ранняя фундаментальная работа о логических основах вероятности. Английский перевод статьи вышел в сборнике L, Berkowski (ed.), Jan Lukasiewicz Selected Works, North-Holland, Amsterdam, 1970.
Lukassen A., Vossen G. A Formal Framework for Independence with Respect to Transactions in the Universal Relation Model // Theoretical Computer Science. 1991. Vol. 82, N. 2. P. 303-327.
По-своему ставят вопрос о непротиворечивости баз данных.
Mah, R. S., Stanley G. М., Downing D. M. Reconciliation and Rectification of Process Flow and Inventory Data // Ind. Eng. Chem., Process Des. Dev. 1976. Vol. 15, N. 1. P. 175-183.
Применение теории графов и метода наименьших квадратов для представления и обработки данных (с ошибкой измерений, те. с недоопределенностью) о материальных потоках. За счет взаимного учета исходных данных удается получить более точные оценки интересующих показателей или оценить неизмеряемый поток.
Martin-Clouaive R. Efficient Deduction in Fuzzy Logic // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: SpringerVerlag, 1987. P. 123-136.
Лингвистические переменные и нечеткость.
McLean R. G., Bundy A., Liu W. Assignment methods for incidence calculus // International Journal of Approximate Reasoning. 1995. Vol. 12, N. 1. P. 21-41.
Megiddo N. Towards a genuinely polynomial algorithm for linear programming // SIAM Journal of Computing. 1983. Vol. 12. P. 347-353.
Попытки продвинуться на пути к полиномиальному алгоритму для ЗЛП, количество итераций которого не зависело бы от размера чисел в исходной матрице.
Minkowski Н. Geometrie der Zahlen (Erste Lieferung). Teubner, Leipzig, 1896. Классическая книга Германа Минковского. Перепечатана в 1953 г. в Chelsea, N.Y.
Moreau A., Willayes D. A Way for Deeding with Imprecize and Uncertain Knowledge for Industrial Diagnosis // Artificial Intelligence, Expert Systems, and Languages in Modelling and Simulations / Ed. by C. A. Kulakowski, R. M. Huber, G. A. Ferrate. Amsterdam: Elsevier Science Publishers В. V., 1988. P. 105-108. О теории возможностей.
Narin’yani A. S. Subdefinite Models: A Big Jump in Knowledge Processing Technology // Proc, of East-West Conference on Artificial Intelligence-93. Moscow, 1993. P. 227-231.
Различные HE-факторы.
Neapolitan R. E. Learning Bayesian Networks. Pearson Prentice Hall, 2004. Одна из новейших монографий по байесовским сетям доверия.
Nemhauser G. L., Wolsey L. A. Integer and Combinatorial Optimization. N.Y.: Wiley, 1999.
Полный обзор современного положения дел в задачах комбинаторной оптимизации.
Neufeld. Е., Horton J. D. Conditioning on Disjunctive Knowledge // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 5). 1990. Vol. 10. P. 117-127.
Еще вариация на тему вероятностной логики.
Nguen Н. Т., Kreinovich V., Qiang Z. Interval-Valued Degrees of Belief: Applications of Interval Computations to Expert Systems and Intelligent Control // International Journal of Uncertainty, Fuzziness, and Knowledge-Based Systems (IJUFKS). 1997. Vol. 5, N. 3. P. 317-358.
Подробный обзор, открывающий специальный выпуск журнала, посвященный интервальным методам в представлении знаний. Описаны основные причины, по которым интервальные оценки оказываются нужны, изложено текущее состояние дел, а также даны несколько сот ссылок на релевантные публикации.
Nguen Н. Т., Walker В. W. A First Course in Fuzzy Logic. N.Y., London, Washington: Chapman & Hall/CRC, 2000. 373 p.
Один из современных учебников по нечеткой логике с глубокой математической проработкой материала и развитой систематизацией используемых объектов.
Nikolenko S. L, Tulupyeu A. L. Directed Cycles in Bayesian Belief Networks: Probabilistic Semantics and Consistency Checking Complexity // Proceedings of the 4th Mexican International Conference on Artificial Intelligence (М1САГ05). 2005. LNAI 3789. P. 214-223.
Рассмотрен случай изолированного цикла в байесовской сети доверия над пропозициональными переменными.
Nilsson N. J. Probabilistic Logic // Artificial Intelligence. 1986. Vol. 28. P. 71-87. Основополагающая работа, в которой Нильссон описал свой подход (адаптированный к потребностям иследований в области ИИ) к введению вероятностей на пропозициональных формулах.
Nilsson N. J. Logic and Artificial Intelligence // Artificial Intelligence. 1991. Vol. 47. P. 31-56.
Nilsson N. J. Probabilistic Logic Revisited // Artificial Intelligence. 1993. Vol. 59. P. 39-42.
Продолжение работы [286]; реакция на отклики по поводу работы [286].
Norwich А. М., Turkgen I. В. A model for the measurement of membership and the consequences of its empirical implementation // Fuzzy Sets and Systems. 1984. Vol. 12, N. 1. P. 1-25.
Oblow E. M. О-Theory: a Probabilistic Alternative to Fuzzy Set Theory //Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: Springer-Verlag, 1987. P. 111-119.
Интерпретация Fuzzy в теминах ТДШ.
Oblow E. M. Probabilistic Reasoning Using Graphs // Uncertainty in KnowledgeBased Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: Springer-Verlag, 1987. P. 201-202.
Автор сжато излагает свой подход к представленикии обработке вероятностных распределений на графах.
Orponen Р., Floreen Р., Myllymaki Р., Tirri Н. A Neural Implementation of Bayesian Reasoning // STeP-90 / Bd. by M. Djupsund, P. Salonen, M. Syrjanen. Uupsalu, 1990. P. 277-282.
Байесовский вывод.
Orshansky M., Wang W.S., Ceberio M., Xiang G. Interval-based robust statistical techniques for non-negative convex functions, with application to timing analysis of computer chips // Proceedings of the ACM Symposium on Applied Computing SAC’06. 2006.‘
Ovsyannikov D. A. Control Problem under Uncertain Condition // International Conference on Interval and Computer-Algebraic Methods in Science and Engineering. Abstracts. S.-Petersburg, 1994. P. 192.
Неопределенность в виде вероятности.
Parsons S. Current Approaches to Handling Imperfect Information in Data and Knowledge Bases // IEEE Transactions on Knowledge and Data Bngeneering. 1996. Mol. 8, N. 3. P. 353-372.
Обзор методов работы с несовершенной-неполной информацией.
Patterson D. W. Introduction to Artificial Intelligence and Expert Systems. N.Y.: Prentice-Hall International, 1990. 450 p.
Обзор: байесовский вывод, ТДШ, сети Пиэрл, подход Нильссона.
Pearl J., Dechter R. Directed Constraint Network: a Relational Network for Causal Modelling // Proc, of 12th International Joint Conference on Artificial Intelligence. Sydney: Morgan Kaufmann Publ., 1991. P. 1164-1170.
Более общий подход к сетям с обусловливанием.
Pearl J., Geiger D. On the Logic of Causal Models // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 4). 1990. Vol. 9. P. 3-14.
Детально анализируются направленные ациклические графы, рассматриваются вопросы сложности. Показана непротиворечивость.
Pearl J., Goldszmidt М. Deciding Consistency of Databases Containing Defeasible and Strict Information // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 5). 1990. Vol. 10. P. 87-98.
Вариация на тему вероятностной логики.
Pearl J., Verma T. Causal Networks: Semantics and Expressiveness // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 4). 1990. Vol. 9. P. 69-77.
О смысле условной независимости.
Pearl J. How to Do with Probabilities what People Say You Can’t // Artificial Intelligence Applications. / Ed. by C. R. Weisbin. Amstredam: IBBB, 1985. P. 612.
Сети Пиэрл.
Pearl J. A Constraint-Propagation Approach to Probabilistic Reasoning // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 357-369.
Под ограничениями понимаются связи через условные вероятности.
Pearl J. Fusion, Propagation, and Structuring in Belief Networks // Artificial Intelligence. 1986. Vol. 29. P. 241-288.
Pearl J. On Evidentional Reasoning in Hierarchy of Hypotheses // Artificial Intelligence. 1986. Vol. 28. P. 9-15.
Pearl J. Distributed Revision of Composite Beliefs // Artificial Intelligence. 1987. Vol. 35. P. 259-271.
Pearl J. Distributed Revision of Composite Beliefs // Artificial Intelligence. 1987. Vol. 33. P. 173-215.
Pearl J. Probabilistic reasoning using graphs // Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Springer-Verlag, 1987. P. 201-202. Одна из основополагающих публикаций теории байесовских сетей доверия.
Pearl J. Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. N.Y.: Morgan Kaufman Publ., 1991. 552 p.
Pearl J. How to do with probabilities what people say you can’t // Artificial Intelligence in Medicine / Ed. by S. Quaglini, P. Barahona, S. Andreassen. LNAI2101, 2001. P. 283-292.
Peot M. A., Shachter R. D. Fusion and Propagation with Multiple Observations in Belief Networks // Artificial Intelligence. 1991. Vol. 48. P. 299-318.
Еще один способ вычислить BEL в байесовских сетях доверия.
Picques J.-D. A Framework for Managing Uncertainty in Embedded Expert Systems // Proc, of the IBBE/ACM International Conference on Developing and Mang- ing System Programs. Sep., 30 - Oct., 2, Washington, 1991. P. 59-67.
Т-нормы. Теория возможностей.
Prade Н., Testemale С. Application of Possibility and Necessity Measures to Documentary Information Retrieval // Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: Springer-Ver lag, 1987. P. 265-274.
Теория возможности и необходимости.
Prade Н. A Computational Approach to Approximate and Plausible Reasoning with Applications to Expert Systems // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1985. Vol. PAMI-7, N. 3. P. 260-283.
Quinlan J. R. Inferno: a cautious approach to uncertain inference // Computer J. 1983. Vol. 26, N. 3. P. 255-268.
Система Inferno как система, реализующая интервальную теорию вероятностей.
Ramseg F. Р. Truth and Probability // The Foundations of Mathematics and other Logical Essays. London: Routledge and Kegan Paul, 1931. P. 156-198.
Классическая работа Рамсея о теории вероятностей, ее основах и философии.
Romer С., Kandel A. Applicability Analysis of Fuzzy Inference by means of Generalized Dempster-Shafer Theory // IEEE Transactions on Fuzzy Systems. 1995. Vol. 3, N. 4. P. 448-453.
Теория Демпстера-Шеффера.
Ruspini E. H. Approximate Inference and Interval Probabilities // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: SpringerVerlag, 1987. P. 85-94.
Теория Демпстера-Шеффера, байесовский вывод — неформальные попытки ввести непротиворечивость условных вероятностей.
Sage А. Р. On the Management of Information Imprecision in Knowledge-Based Systems // Uncertainty in Knowledge-Based Systems / Bd. by B. Bouchon, R. R. Yager. Berlin: Springer-Verlag, 1987. P. 3-29.
Байесовский вывод, нечеткая логика, ТДШ — с точки зрения философских требований.
Schrijver A. Theory of Linear and Integer Programming. N.Y.: Wiley, 1999. Книга одного из лучших специалистов в данной области. Изложение полное и математически строгое, основной упор сделан на математические аспекты и сложность алгоритмов.
Schum D. A., Matrin A. W. Formal and empirical research on cascaded inference in jurisprudence // Law and Society Rev. 1982. P. 105-157.
Применение вероятностей «высших» типов в юриспруденции.
Shafer G. A mathematical theory of evidence. Princeton: Princeton University Press, 1976. 78 p.
Основополагающая книга по теории Демпстера-Шеффера.
Shafer G. Hierarchical Evidence // Artificial Intelligence Applications / Bd. by C. R. Weisbin. Amsterdam: IBBB, 1985. P. 16-21.
Теория Демпстера-Шеффера.
Shafer G. Probability Judgement in Artificial Intelligence // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 128135.
Апология ТДШ и ее сравнение со старым байесовским выводом.
Shamir R. Advanced topics in graph algorithms: Tech, rep.: Tel-Aviv University, 1994.
Краткое изложение курса лекций, в котором излагаются различные аспекты современной теории графов, в том числе требующиеся для теории БСД, такие как построение дерева смежности и триангуляция.
Shoenfield J. R. Mathematical Logic. Addison-Wesley, Reading, Mass., 1967. Классический учебник математической логики.
Shoham Y., Moses J. Belief as Defeasible Knowledge // Proc, of 11th International Joint Conference on Artificial Intelligence. Detroit: Morgan Kaufmann PubL, 1989. P. 1168-1173.
Сравнение знания и доверия — философская основа ТДШ.
Sittig D. G., Cheung К.-H., Berman L. Fuzzy Classification of Heart Rate Trends and Artifacts // Proc, of 5th Annual IBBB Symposium on Computer-Based Medical Systems. Washington, 1992. P. 510-517.
Классическая нечеткая логика.
Smets P., Kennes R. The Transferrable Belief Model // Artificial Intelligence. 1994. Vol. 66. P. 191-234.
Модификация ТДШ, ее комбинация с вероятностью, верхней и нижней вероятностью, байесовским выводом. Все сравнивается.
Smets Р. Belief Functions versus Probability Functions // Uncertainty and Intelligent Systems / Bd. by B. Bouchon, L. Saitfa, R. R. Yager. Berlin: Springer-Ver lag, 1988. P. 17-24.
Теория Демпстера-Шеффера и ее преимущества над вероятностными подходами.
Smith С. А. В. Consistency in statistical inference and decision // Journal of the Royal Statistical Society, Series B. 1961. Vol. 23. P. 1-37.
Статья в поддержку субъективного обоснования интервальных оценок вероятностей.
Smith С. А. В. Personal probability and statistical analysis // Journal of the Royal Statistical Society, Series A. 1965. Vol. 128. P. 469-499.
Субъективный подход к интервальным оценкам вероятностей.
Somb€ L. Raisonnements sur des informations incomplbtes en Intelligence Artifi- cielle. Toulouse, 1989. 221 p.
Возможностная логика, ТДШ, байесовский вывод. Автор книги — коллективный, туда входит и Henri Prade.
Spiegelhalter D. J. Probabilistic Reasoning in Predictive Expert Systems // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 47-67.
Вероятностная модель с условными точечными вероятностями. Переход к маргинальным вероятностям и перерзвешивание.
Stepanou И. В., Sage А. Р. Perspectives on Imperfect Information Processing // IEEE Transactions on Systems, Man, and Cybernetics. 1987. Vol. SMC-17, N. 5. P. 780-798.
Steve G. Probabilistic Inferential Engines in Expert Systems: How Should the Strength of Rules be Expressed? // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: -Springer-Ver lag, 1987. P. 180-188.
О PROSPECTOR-подобных экспертных системах.
Studeny M., Bouckaert R. On chain graph models for description of conditional independence structures // The Annals of Statistics. 1998. Vol. 26, N. 4. P. 14341495.
Построена основанная на графах специального вида система, позволяющая представить любые условия априорной условной независимости между переменными из предметной области. Опирается на теорию потенциалов.
Suermondt Н. L, Cooper G. F. Initialisation for the Method of Conditioning in Bayesian Belief Networks // Artificial Intelligence. 1991. Vol. 50. P. 83-94.
Сети Пиэрл. Как при некоторых ограничениях и предположениях обработать цикл.
Tanaka К., Kobayashi S., Sakanoue Т. Uncertainty Management in Object- Oriented Database Systems // Database and Expert Systems Applications / Ed. by D. Karagiannis. Berlin: Springer-Verlag, 1993. P. 251-256.
Применение теории неопределенности к объектно-ориентированным базам данных.
Tarjan R., Yannakakis М. Simple linear-time algorithms to test chordality of graphs, test acyclicity of hypergraphs, and selectively reduct acyclic hypergraphs // SIAM Journal on Computing. 1984. Vol. 13. P. 566—579.
Среди других результатов доказано, что жадный алгоритм MCS (maximum cardinality search) всегда получает идеальную нумерацию, если на вход ему подан триангулярный граф.
Tarski A. A Decision Method for Elementary Algebra and Geometry. Univ, of California Press, 2nd edition, 1951.
Теория вещественнозамкнутых полей; разрешающая процедура для нее.
Tarushkin V. Т. Fuzzy Logic and Medical Diagnostic // International Conference on Interval and Computer-Algebraic Methods in Science and Engineering. Abstracts. S.-Petersburg, 1994. P. 235.
Нечеткость по Заде.,
Tessem B. Extending the A/R algorithm for interval probability propagation: Tech. Rep. 42: University of Bergen, Norway, Department of Informatics, 1992.
Tessem В. Interval probability propagation: Tech. Rep. 39: University of Bergen, Norway, Department of Informatics, 1992.
Tessem B. Interval probability propagation // International Journal of Approximate Reasoning. 1992. Vol. 7, N. 3/4. P. 95-120.
Towards combining probabilistic and interval uncertainty in engineering calculations: algorithms for computing statistics under interval uncertainty, and their computational complexity / S. A. Starks, V. Kreinovich, L. Longpre, M. Ceberio, G. Xiang, R. Araiza, J. Beck et al. // Reliable Computing, to appear.
Новая работа в парадигме интервальных оценок неопределенности; на этот раз речь идет о статистическом анализе.
Tiirkgen I. В. Measurement of membership functions and their acquisition // Fuzzy Sets and Systems. 1991. Vol. 50, N. 1. P. 5-38.
Ukita A., Kitagava T. A Modulation Package Tuning Machine Applying Fuzzy Logic // Industrial and Engineering Applications of Artificial Intelligence and Expert Systems / Ed. by F. Belli, F. I. Radermacher. Berlin: Springer-Verlag, 1992. P. 351-360.
Немного о применяй стандартной нечеткой логики.
van dev Gaag L. On probability intervals and their updating: Tech. Rep. RUU-CS- 90-22: Institute of Information and Computing Sciences, Utrecht University, 1990.
Voorbraak F. On the Justification of Dempster’s Rule of Combination // Artificial Intelligence. 1991. Vol. 48. P. 171-179.
Апология ТДШ. Попытка прояснить вопрос с комбинированием свидетельств.
Walley Р. Statistical Reasoning with Imprecise Probabilities. Chapman and Hall, London, 1991.
Основополагающая книга об аппарате неточных вероятностей — одном из аппаратов, использующих интервальные оценки вероятностей.
Walley Р. Inferences from multinomial data: learning about a bag of marbles / / Journal of the Royal Statistical Society, Series B. 1996. Vol. 58. P. 3-57.
Один из интервальных подходов к представлению и обработке статистических данных.
Wang Р. A Defect in Dempster-Shafer Theory // Proceedings of the Tenth Conference of Uncertainty in Artificial Intelligence / Ed. by R. L. d. Mantaras, D. Poole. Seattle, 1994.
Критика аппарата ТДШ; показана противоречивость основных постулатов, выдвинутых Шеффером в [321]. Предложены несколько путей «спасти» теорию, дается их сравнительный анализ и критика.
Wang Z. Some Recent Advances on the Possibility Measure Theory // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: Springer- Verlag, 1987. P. 172-175.
Обзор теории мер возможностей (Дюбуа-Прада).
Weiss Y. Correctness of local probability propagation in graphical models with loops // Neural Computation. 2000. Vol. 12. P. 1-41.
Рассмотрение базовых графов БСД с одним ненаправленным циклом и возможные обобщения результатов на несколько ненаправленных циклов.
Wellman М. Р. Fundamental Concepts of Qualitative Probabilistic Networks // Artificial Intelligence. 1990. Vol. 44. P. 257-303.
Некоторое продвижение по развитию сетей Пиэрл.
Whalen Т., Втопп С. Hurwicz and regret criteria extended to decisions with ordinal probabilities // Proc, of 1990 North Amer. Fuzzy Inform. Proc. Soc. Conference. 1990. P. 219-222.
Whalen T. Interval probabilities induced by decision problems // Advances in the Dempster-Shafer Theory of Evidence / Ed. by R. R. Yager, J. Kacprzyk, M. Pedrizzi. 1994. P. 353-374.
Статья о том, как интервальные вероятности появляются в процессе решения задач с ответом «да/нет».
Wilkins D. С., Ma У. The Refinement of Probabilistic Rule Sets // Artificial Intelligence. 1994. Vol. 70. P. 1-32.
База знаний, использующая гипотезу условной независимости, дает менее точный вывод, чем ее подмножество. Предлагаются способы «чистки» ВЗ.
Winkler R. L. The assessment of prior distributions in Bayesian analysis // J. Amer. Statist. Assoc. 1967. Vol. 62. P. 776-800.
Wise В. P., Henrion M. A Framework for Comparing Uncertain Inference Systems to Probability // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 69-83.
Сравнение различных подходов к выводу MYCIN, Prospector, Pearl’s, Fuzzy set, ТДШ.
Xiang Y., Beddoes M. P., Poole D. Can Uncertainty Management be Realized in a Finite Totally Ordered Probability Algebra // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence, 5). 1990. Vol. 10. P. 41-57. Еще один способ введения вероятности на пропозициях.
Yager R. R. Possibilistic Qualification and Default Rules // Uncertainty in Knowledge-Based Systems / Ed. by B. Bouchon, R. R. Yager. Berlin: SpringerVerlag, 1987. P. 41-57.
О теории возможностей.
Yannakakis M. Computing the minimum fill-in is NP-complete // SIAM Journal of Algorithms and Discrete Mathematics. 1981. Vol. 2. P. 77-79.
Доказано, что задача триангуляции ненаправленного графа NP-полна.
Yen J. Generalizing Term Subsumption Languages to Fuzzy Logic // Proc, of 12th International Joint Conference on Artificial Intelligence. Sydney: Morgan Kaufmann PubL, 1991. P. 472-477.
Использование классической нечеткой логики.
Young R. E., Ress D. A. FuzCon: A Fuzzy Constraint Application Development Environment // SCM’98. Сборник докладов. T.l. СПб., 1998. P. 12-25.
Zadeh L. A. Probabilistic Reasoning in Predictive Expert Systems // Machine Intelligence & Pattern Recognition (Uncertainty in Artificial Intelligence). 1986. Vol. 4. P. 103-116.
Лингвистические оценки вероятности события не могут быть представлены в теории вероятностей.
Zellner A. An Introduction to Bayesian Inference in Econometrics. Wiley, N. Y., 1971.
Применение интервальных оценок вероятностей и байесовских идей к эконометрике.
Zimmermann Н. Н., Zysno Р. Latent connectives in human decision making // Fuzzy Sets and Systems. 1980. Vol. 4. P. 37-51.
Поиск так называемых «латентных связок» в процессе принятия решений, реально происходящем у человека.
Zuo Q., Turkmen I. В., Nguen Н. Т., Kreinovich V. In expert systems, even if we fix AND/OR operations, a natural answer to a composite query is the interval of possible degrees of belief // Reliable Computing, Supplement (Extended Abstracts of APIC’95: International Workshop on Applications of Interval Computations, El Paso, TX, Febr. 23-25, 1995). 1995. P. 236-240.
Показано, что различные представления одной и той же пропозициональной формулы ведут к разным точечным оценкам вероятности, даже если базис вероятностных логических операций зафиксирован. Показано, что максимум и минимум вероятности достигаются на совершенных нормальных формах — конъюнктивной и дизъюнктивной.
19 Зак. 3294
Список примеров
Пропущенные наблюдения 69
Оценка истинности импликации 72
Вероятность пересечения 81
Алгебра, порожденная двумя событиями 83
Внешняя и внутренняя меры 86
Три ящика 89
Особенности независимости 91
Два кубика 93
Вычисление математического ожидания 95
Энтропия двух случайных величин с бинарными исходами 97
Аргументное место как связанная переменная101
Разложение на кванты103
Вероятность на квантах и конъюнктах над S = {xi, xi}105
Вероятность на квантах и конъюнктах над S = {xi, Х2, хз}105
Назначение вероятностей в ФЗ третьего порядка105
Неизмеримые формулы111
Обоснование исчисления инциденций118
Инциденции с неопределенностью120
Набор противоречивых высказываний124
Нередуцируемая DS-структура131
Эквивалентная вероятностная структура136
ц — означивание и оценка истинности148
Нумерация конъюнктов187
Нумерация квантов188
ЗАП с ILOG199
ЗАП pascal GLPK200
Реализации функции parity203
Стандартные ограничения с ILOG CPLEX203
Стандартные ограничения Pascal GLPK204
ФЗ с точечными оценками214
Семейство распределений, задаваемое ФЗ214
Носители ФЗ и РФЗ216
Носитель АВС217
Матрица I4232
Оценки вероятности в РФЗ234
Противоречивость235
Уточнение оценок235
Качественные оценки236
Количественные оценки237
Количественные и качественные оценки237
Точечная оценка вероятности238
Последовательное переозначивание243
Переозначивание трех атомов244
Ограничения непротиворечивостей250
Ограничения непротиворечивостей - 2252
Экстернальная и интернальная непротиворечивости257
Различие глобальной и интервальной оценок258
Вторичная ЗЛП267
Различная точность оценок270
Оценка посредством продолжения270
Оценка через подформулы272
Тривиальная оценка272
Оценки через погружение в ФЗ273
Апостериорный вывод на ФЗ второго порядка284
Апостериорный вывод на ФЗ третьего порядка286
Апостериорный вывод: кортеж свидетельств 288
Распространение свидетельства294
Состав множеств ограничений t/(€) и ^(е) 326
Чувствительность 5'(е) оценки p(xj V Х2 V хз)328
Различие показателей устойчивости330
Переход к множественной устойчивости332
Переход от множественной устойчивости334
Вычисление совместных вероятностей в БСД348
Взаимодействие свидетельства и исходов358
Элиминация переменной в ВСД362
Пропагация в БСД при наличии свидетельств 394
Ситуация, непредставимая в марковских сетях404
Продолжение по теореме о композиции431
Различные продолжения точечного распределения на ФЗ432
Композиция распределений СВП448
Независимость при пустом пересечении СВП449
Структуры двух АБС из БСД с рис. 14.1 463
Байесовский вывод465
Свертка байесовского вывода466
Проявление условной независимости466
Зависимость гипотез467
Зависимость свидетельств470
Маргинальные вероятности в БСД-цикле482
Направленный ВСД-цикл над четырьмяузлами490
ВСД-цикл с тернарными переменными496
Список иллюстраций
Примеры ССФЗ 55
Вероятности n-го типа 75
Два события 83
Внешние и внутренние меры 87
Раскрашенный тетраэдр 92
Плотность вероятности дискретной случайной величины 94
Исчисление инциденций с неопределенностью121
Функции доверия и весовые функции130
Фокальные элементы ТВН137
t-нормы154
t-конормы155
Симплекс-метод165
Симплекс-метод с линиями уровня166
Проекции тетраэдра ЗЛП из теорииАВС167
Переход к сечению конуса183
Нумерация квантов и конъюнктов188
Матрица I]191
Матрица I2192
Матрица I3192
Матрица I4193
Матрица I5193
Матрица 1б194
Матрица I7194
Произведение идеалов195
Пример к понятию графа206
Основные понятия теории графов208
Примеры подграфов и не подграфов209
Диаграмма Хассе идеалов {х] ,Х2}Л> {хз,Х4}л, {хз.Хб}^212
Диаграмма Хассе идеала {х], Х2> хз}л 213
Диаграмма Хассе идеала {х i, Х2, хз, Х4}л213
Примеры графических представлений АБС221
АБС {{Х] ,Х2)Хз}Д,{Х] )ХЗ,Х4}Д,{Х1 ,Х2)Х4}Д,{Х2,Хз)Х4}Д}^222
Алгоритм поддержания непротиворечивости ФЗ233
Алгоритм переозначивания атомов. Точечный случай246
Переозначивания атомов. Интервальный случай247
Экстернальная и интернальная непротиворечивости249
Непротиворечивость двух ФЗ с точечным пересечением250
Непротиворечивость ФЗ с меньшим под-ФЗ в пересечении250
Оценки с различными требованиями к согласованности255
Алгоритм. Интернальная непротиворечивость262
Алгоритм. Экстернальная непротиворечивость263
Диаграмма Хассе АБС Н3(2)з 268
Диаграмма Хассе АБС N222268
Схема вывода со вторичной ЗАП269
Апостериорный вывод. Точечный случай284
Цикл ФЗ АБС второго порядка297
Разъятый цикл ФЗ АБС второго порядка298
Пропагация в разъятом цикле 299
Общий вид цикла ФЗ АБС300
Преобразование цикла в цепь301
Алгоритм пропагации свидетельства ФЗ АБС310
Пропагация недетерминированного свидетельства - 1312
Пропагация недетерминированного свидетельства - 2313
Апостериорный выводвцепи из двух ФЗ315
Апостериорный выводвцепи ФЗ произвольной длины315
Апостериорный выводвцепи из трех ФЗ порядка 2316
Апостериорный выводвцепи из трех ФЗ порядка 3317
График 6'(е) к примеру 13.2328
Пример базового графа байесовской сети доверия341
Виды связей, используемых для d-разделимости342
Пример байесовской сети доверия346
Моральный граф примера из рис. 14.1361
Моральный граф после элиминирования переменной и364
Идеальная элиминирующая последовательность365
Несоседние симплициальные вершины368
Граф, не являющийся триангулярным368
Дерево смежности для морального графа из рис. 14.4 371
Построение дерева смежности из триангулярного графа373
Дерево сочленений для морального графа из рис. 14.4374
Идеальная нумерация вершин морального графа376
Построение дерева сочленений378
Поиск идеальной нумерации в триангулярном графе378
Построение дерева смежности379
Простейший алгоритм триангуляции 379
Неидеальная работа алгоритма триангуляции380
Первые два шага алгоритма первичной пропагации387
Схема пропагации392
Схема вычислений при пропагации393
Иллюстрация к понятию бесплодного узла 397
Пример марковской сети403
Два пересекающихся ФЗ второго порядка407
Пересечение ФЗ размерностей 2 и 3408
Пересечение ФЗ размерностей 3 и 3408
БСД из двух узлов416
ВСД из двух узлов с предками417
АБС и БСД из двух ФЗ на трех переменных420
Линейные цепи ФЗ в АБС и БСД421
Цепь из четырех ФЗ434
Разделенная цепь из четырех ФЗ434
Дерево апостериорных вероятностей438
Линейное дерево апостериорных вероятностей441
Распространение апостериорных вероятностей442
Апостериорный вывод в АБС из ФЗ порядка 2443
Апостериорный вывод в АБС из ФЗ порядка 3444
Два порядка продолжения вероятности452
Поиск распределения453
АВС (из БСД с рис. 14.1) без циклов463
АБС (из БСД с рис. 14.1) с циклами464
Изолированный цикл в ВСД476
Изолированный цикл из двух вершин в БСД477
Изолированный цикл из трех вершин в БСД478
Приложение для обработки направленных циклов в БСД484
Цикл в БСД: что можно узнать489
Объемлющие ФЗ над маленькими циклами491
Объемлющий ФЗ над циклом общего вида492
Задание цикла из трех тернарных переменных493
Цикл в ВСД: пропагация точечных оценок499
Цикл в ВСД: пропагация интервальных оценок499
Запрещенное значение предка цикла500
Запрещенная комбинация значений предков цикла500
Множества истинности и нечеткие меры519
Пример графа528
Граф an({b, с, d, e})mor529
Граф an({b, с, d, е, g})mor530
Список таблиц
Сужение интервалов оценки вероятностей элементов ФЗ235
Точечные оценки вероятностей238
Оценка р(хЛу) пор(х),р(у)239
Оценка p(xVy) пор(х),р(у)239
Оценка р(у) по р(х),р(х Dy)239
Оценка р(у) по р(х),р(х Vy)239
Оценка р(у) по р(х),р(хфу)240
Оценка р(у) по р(х),р(х = у)240
Оценка р(у) по р(х),р(х Dy)240
Оценка р(у) по р(х),р(х © у) 240
Переозначивание элементов ФЗ{{xi ,Х2,хз)д}^243
Переозначивание элементов ФЗ{{у i ,У2,Уз}А}^ 245
Оценки вероятностей в {{xi,Х2,х3)х4}а}^ 271
Структура таблицы adotbCyclesList482
Структура таблицы adotbCycleDef 482
Структура таблицы adotbCyclePrecalc483
ФЗ АВС и ФЗН второго порядка, противоречие 515
ФЗ АВС и ФЗН второго порядка, непротиворечивость516
ФЗ АБС и ФЗН третьего порядка516
Предметный указатель
DS-структура 131, 134
М-структура 113, 134 с-отделимость 531 d-разделимость 344, 354 к-непротиворечивость 52
АБС
ациклическая 221, 313 линейная цепь ФЗ 407 множественно устойчиво согласуемая 330
непротиворечивая оболочка 273 согласованная 247 согласуемая 248 устойчиво согласуемая 330
Алгебра 82
а-алгебра 82
Апостериорное распределение 280
Апостериорный вывод 53 кортеж свидетельств 288 на ФЗ 284 недетерминированное свидетельство 291 ожидаемые оценки 290 свидетельства с неопределенностью 305
Априорный вывод 53, 228, 235
Аргументное место 101
База знаний 215
База фрагментов знаний 50, 216
Базовая формула 113 Байесовская сеть алгебраическая 47, 110, 215, 406 доверия 46, 339, 346, 406, 412, 475
Байесовский вывод 53, 429
Бесплодный узел 397 вед
обновление вероятностей 391 первичная пропагация
сбор сведений 386
последовательная связь 343 правило декомпозиции 355, 358 пропагация свидетельств 389 расходящаяся связь 343 сходящаяся связь 343
Вариация меры 323
допустимая 323
Вероятностная логическая операция
125
Вероятностная структура 113, 134
Вероятностное пространство 83
Вероятностное распределение 526
Вероятность 80, 83
аксиомы 83
распределение
совместное 94
события 80
условная 87
Весовая функция 129
Возможные миры 114
Граф 205
зависимостей 402
моральный 361, 528
независимостей 403
триангулярный 367
цепной 527
Графическое представление АБС
220
Графоид 526
Графоидное замыкание 526
Дерево
смежности 370
сочленений 373
Доменный граф 360
Задача апостериорного вывода
вторая 282
первая 280
Задача линейного
программирования 157, 160
Задачи 45
мониторинг 46
надежность 46
поиск закономерностей 46
ЗЛП
непротиворечивость ФЗ 230
примеры программ 198
Идеал конъюнктов 211
диаграмы Хассе 212
Идеал положительно означеных конъюнкций 211
Идеал цепочек конъюнкций 103
Идеальная элиминирующая последовательность 364
Интервальная теория вероятностей 67
Интуиционистская нечеткая логика 67
Инциденция 119
Исчисление инциденций 117
Качественные оценки вероятностей в ФЗ 232
Квант 79, 102, 186
Композиция распределений
вероятностей 108
Конъюнкт 103, 186, 211
Линейная комбинация АБС 219
непротиворечивость 259
Линейная оболочка АБС 220
Линейная цепь ФЗ 222
Марковская сеть 401, 403
Матрица соотношения вероятностей
189
программное вычисление 203
Мера
внешняя 85, 116
внутренняя 85, 116
возможности 137 доверия 129, 140 недоверия 140 необходимости 137 нечеткая
Заде 509
Лукасевича 517
псевдовероятностная 517 правдоподобия 129
Мера истинности гипотезы 139 небайесовская 156 нечеткая 149 свидетельства 139
Метод эллипсоидов Хачияна 175
Модель независимости 525
Морализационный критерий 528
Моральные ребра 360
Независимость 91 условная 92
Неопределенное множество 67
Непротиворечивость
АБС 228, 247 к-непротиворечивость 258 глобальная 248 интернальная 248 локальная 248 объемлющая 273 экстернальная 248 глобальная (в целом) 52 интернальная 52 локальная 52 фрагмента знаний 229 в интервальном случае 230 экстернальная 52
Неточные вероятности 68
Нечеткая логика 146
Заде 147
Лукасевича 148
псевдовероятностная 147 Носитель
АБС 215 РФЗ 216 ФЗ 215 Нумерация 186 квантов 187
конъюнктов 186
Операция вращения 172
Оценка вероятностей 123 неточная 123
Первичная пропагация 383
Плотность вероятностной меры 104
Подграф 207
Поддержание непротиворечивости 51
алгоритм 262 ФЗ 235
Показатель устойчивости 330
Положительно определенная матрица 176
Полуграфоид 526
Порядок идеала конъюнктов 103
Потенциал 349, 526 маргинализация 350 произведение 350
Примитивный терм 113
Причины неопределенностей вероятность составного утверждения 69 пропущенные свидетельства 68 различные представления формулы 71
Продолжение распределения с АБС на ФЗ 268
Пропагация свидетельств 314, 341, 383, 429
Пропозициональные формулы значение 101 означивание 101 эквивалентность 102
Распространение апостериорных вероятностей 441
Распространение свидетельства 390 Расширенный фрагмент знаний 216 Родители 207
Сбор сведений 390
Свидетельство детерминированное 279 кортеж 279 недетерминированное 279
кортеж 279
Семплирование
по Гиббсу 400
прямое 399
Сепаратор 370
Симплекс-метод 162
Симплекс-таблица 172
Симплициальные вершины 366
Синтез согласованных оценок истинности 53, 112, 229
Системы вывода
INFERNO 142
MYCIN 139
PROSPECTOR 141
Случайная бинарная последовательность 106 независимость 106 условная 107
Случайная величина 93 математическое ожидание 95 независимость 95 плотность распределения 94
Событие 79
дополнение 80
неизмеримое 84
элементарное 79
Согласование оценок истинности 51
Согласованные оценки истинности 231
Стандартные ограничения 203
Степени доверия
извлеченные из экспертов 65
Стохастическое моделирование 399
Структурированные сети фрагментов знаний 48, 50 гетерогенные 50 гомогенные 50
Таблица потециалов 345
Тензор совместных вероятностей 47, 422, 423
Тензор условных вероятностей 47,
345, 413
Теорема Байеса 89
Теорема о композиции СБП 431, 447
Теория возможности и
необходимости 136
согласованный 230 согласуемый 230 балансовый 49 с нечеткостью 49, 503Фрейм различений 129Функция истинности 146Функция распределения возможности 139Цепь 527Цикл в ВСД 497Цикл ФЗ 458Чувствительность 54Шанс 141условный 141Элиминация переменных 362Эллипсоид 176Энтропия 96случайной величины 97согласованный 230 согласуемый 230 балансовый 49 с нечеткостью 49, 503Фрейм различений 129Функция истинности 146Функция распределения возможности 139Цепь 527Цикл в ВСД 497Цикл ФЗ 458Чувствительность 54Шанс 141условный 141Элиминация переменных 362Эллипсоид 176Энтропия 96случайной величины 97
согласованный 230 согласуемый 230 балансовый 49 с нечеткостью 49, 503
Фрейм различений 129
Функция истинности 146
Функция распределения возможности 139
Цепь 527
Цикл в ВСД 497
Цикл ФЗ 458
Чувствительность 54
Шанс 141
условный 141
Элиминация переменных 362
Эллипсоид 176
Энтропия 96
случайной величины 97
согласованный 230 согласуемый 230 балансовый 49 с нечеткостью 49, 503
Фрейм различений 129
Функция истинности 146
Функция распределения возможности 139
Цепь 527
Цикл в ВСД 497
Цикл ФЗ 458
Чувствительность 54
Шанс 141
условный 141
Элиминация переменных 362
Эллипсоид 176
Энтропия 96
случайной величины 97
Тождественная истина 101
Тождественная ложь 101
Триангулярная конорма 152
Триангулярная норма 152
Универсум 101
Условное событие 123
Устойчивость 54, 320
вывода 321
апостериорного вывода 335
априорного вывода 324
Формула выполнимая 114
Формула полной вероятности 88
Формула умножения вероятностей 89
Фрагмент знаний 46
алгебраический 47
байесовский 46, 212, 214, 216, 412
с точечными оценками истинности 237
The Whole Book in Terse Words
In these concluding chapter we provide a concise exposition that should explain what this book is about. The text is targeted at foreign readers who are not able to read Russian freely and at readers who want to catch the most basic ideas we have been trying to investigate in this monograph, yet do not consider the introduction sufficient. A Russian-speaking reader who is already through with the book may safely skip this chapter.
The basic, fundamental purpose of the apparata described in this book is the following. In artificial intelligence, especially in the realm of intelligent systems and soft computing, one often reasons with probabilities (sometimes — even with interval bounds on probabilities). Suppose that you have a hundred propositions (events, if one adopts probabilistic terminology, which we in this book do not), some of which are independent and some are not, and you are trying to describe the probabilistic distribution this system of propositions abides to. It is an utterly hopeless task to write down all possible combinations of these propositions and keep track of their probabilities — of course, 2100 is a little less than the number of atoms in the Universe, but... However, the task very often arises in real life, and intelligent systems and other branches of artificial intelligence require proper handling of systems of this kind.
What should we do to handle the problem? Of course, it would help a lot if some of the propositions were independent in the probabilistic sense: for all assignments p(x]X2) = p(xi)p(x2)- Unfortunately, this is very seldom the case in real life, and such cases may be discarded, as independent propositions usually belong to different “connectivity components” of the system (these words will make sense shortly). However, it is very much possible that lots of propositions are conditionally independent given some other propositions. For example, consider a common implementation of the Bayesian networks that are the primary subject of this book: medical diagnostic systems. If we have a cause and two possible symptoms, e.g., sore throat (s), high body temperature (t), and the flu (f), it is not true that sore throat and high temperature are independent: there exists an assignment for which p(sAt) / p(s)p(t). But for the purposes of the model (suggesting that there are no other possible causes of both of these symptoms) we may assume that they are conditionally independent given the flu: if a person is not ill with the flu, then sore throat or high body temperature may still occur, but they are not connected with each other anymore.
The idea now naturally lends itself to the inquirer: we need to impose a structure that reflects conditional independence of separate propositions in a large system and provide handy algorithms for calculating whatever we might need; for many real-life systems, the resulting structure will not be too big, and the computations will not require too much time.
This idea lies in the very basis of the subject of this book. Bayesian networks that we present here provide the mathematical and computer science background for the general idea described in the previous passage. They translate the probabilistic ideas lying behind making predictions in intelligent systems into easy-to-use algorithms, making it possible to implement these ideas in many different applied frameworks.
One of the fundamental structures that any Bayesian network operates is the so-called knowledge pattern. The term is used in two different meanings. First, as a phenomenon of purely cognitive nature, a knowledge pattern is a small set of interconnected notions and knowledge about these notions that an expert keeps in his/her head. This notion was developed in the framework of cognitive psychology — a field that views human brains as information-processing devices and describes psychological phenomena from this information-theoretic point of view. Cognitive psychology is considered as one of the foundations of artificial intelligence (for a detailed account of the field see [130]). Second, as a mathematical object, a knowledge pattern is a mathematical model of the human/expert knowledge pattern, in our case (in the case presented in the book) being a small set of propositions, the probabilistic distribution or the family of such distributions over which is explicitly entered in a Bayesian network as an input.
The book is devoted to two different Bayesian network apparata: Bayesian belief networks and algebraic Bayesian networks. The first, originating from the works of Judea Pearl [169,237,307,308], is accepted throughout the artificial intelligence community and widely used in many applications. The second, owing its idea to Vladimir Gorodetski [214-217], has been presented to the international community on very rare occasions, and in the latest years has been actively developing in the works of the authors of this volume. The two approaches employ the same idea of a knowledge pattern in the first, cognitive sense, and are both based on the same idea that an expert is not able to reason about more than a few propositions at the same time, and a large system may appear only as a result of many expert opinions concerning the same (large) set of propositions combined together.
The approaches are similar in the basic idea, but the mathematical apparata used are entirely different. The primary difference stems from the fact that Bayesian belief networks employ conditional probabilities as input data for knowledge patterns, while algebraic Bayesian networks use joint probabilities. In case of a knowledge pattern with three propositions a Bayesian belief network that constitutes a directed graph would have to choose one of them (say, x) as the result and others (say, у and z) as conditions, draw edges directed from у to x and from z to x, and provide the following probabilities (note that a linear chain of these
three nodes would not be a single knowledge pattern, but rather two intersecting knowledge patterns):
p(x|yz), p(x|yz),p(x|yz), p(x|yz).
What’s more, a Bayesian belief network in this case would have to presuppose a specific kind of conditional independence between these three variables (otherwise there would be too few information to reconstruct the whole probabilistic distribution). In order to cope with knowledge patterns without conditional independence undirected edges are usually introduced in a graph, and the above-mentioned knowledge pattern is in this case represented as an undirected clique.
An algebraic knowledge pattern on the same variables would consist of the following probabilities:
P(x),p(y),p(z),
p(xy),p(xz), p(yz),
P(xyz).
It does not make any assumptions concerning independence of the variables in the knowledge pattern.
The difference does not affect the complexity of input data: in any case, the information needed to set up a knowledge pattern is exponential in the number of variables in this knowledge pattern. The reduction to polynomiality occurs when we build a network where only small knowledge patterns may occur. However, the algorithms that are natural to employ in these situations are different.
The networks are built out of knowledge patterns. A Bayesian belief network is a directed acyclic graph (in a usual extension — possibly with undirected edges) that consists of knowledge patterns described above. An algebraic Bayesian network is a set of algebraic knowledge patterns where some of them may intersect. Note that algebraic Bayesian networks need not be acyclic; at the present state of the art, large cycles do require exponentially large computational power to handle them, but the theory works, while Bayesian belief networks discard cyclic graphs from the very beginning (see below and [285] for our latest research that may allow for directed cycles in Bayesian belief networks).
Another primary difference lies in the fact that usual Bayesian belief networks do not allow interval estimates on the given probabilities, while algebraic Bayesian networks do. Interval bounds naturally arise in artificial intelligence, especially in intelligent systems: it is utterly impossible for an expert to provide sharp, pointvalued estimates. The line of reasoning leading to the necessity of interval bounds on probabilities is carried out in many details in Chapter 2 of this book; we here note only the highly relevant (although rather old) survey by V. Kreinovich et al. [64].
What information would one want to extract from a Bayesian network? We distinguish five general tasks that are covered in this book:
— consistency of a network and reconciling the estimates to keep the network consistent;
finding a minimal set of bounds covering a given set;
estimating the probability of a proposition that is not contained in the network (a priori inference);
recalculating the estimates when some evidence is inserted into a network (a posteriori inference);
robustness of the resulting estimates.
This book provides a comprehensive and comprehensible introduction to the approaches to solving these problems. The two apparata solve these problems differently. For example, Bayesian belief networks do not care for consistency at all: the structure of an acyclic graph ascertains that every local assignment of conditional probabilities to the nodes yields a consistent global probabilistic distribution.
The book explores algebraic Bayesian networks in more details (although Bayesian belief networks also play an important role), and we try to reduce the solutions of these problems to well-known programming techniques, humbly hoping that the book is comprehensible not only for a mathematician working in this field, but also for a software developer who wants to implement the ideas exposed in the book. For algebraic Bayesian networks we have been reducing every nontrivial task to solving optimization tasks, namely linear programming problems, for solving which many free and commercial libraries exist and provide very good practical complexity.
The main reason for less details on Bayesian belief networks is that there exist lots of excellent sources where one may find information on this topic (see, for example, [169,237,307,308]), so we only explain the most basic ideas and ideas that have been necessary to compare the two apparata. Algebraic Bayesian networks have not been comprehensively presented in English at all (V. I. Gorodetsky hinted a little in [215,216], but only covered the case of a single knowledge pattern and did not provide any explicit algorithms), while in Russian there appeared only one comprehensive monograph [108], finished in 2000 (which means that many breakthroughs achieved over the last five years were not covered) and printed in 200 copies. This book targets to provide a much better introduction to the theory of algebraic Bayesian networks. Nevertheless, Bayesian belief networks also are covered to some extent, because there are virtually no sources on this subject in Russian, and genuine need in them has arisen the latest years.
Let us now go over the contents of the present book and explain what different parts of it are about.
The Introduction states the purpose of the apparata (which we have already explained briefly in this chapter) and lists three bases on which algebraic Bayesian networks rely: logic, probability, and linear programming. It also provides a comprehensive exposition of the history of the subject, describes the contents of this book, and gives acknowledgements.
Chapter 1 covers the fundamental issues of modeling knowledge bases with networks of knowledge patterns. We discuss the applications and their requirements that should be implemented in any mathematical framework pretending to
be of use in these applications. We describe knowledge patterns and their mathematical representations and proceed to explaining how knowledge patterns are combined to form a network. We give a brief overview of the tasks faced by a Bayesian network and of some of the methods we plan to employ. We also discuss the possibility of building networks of knowledge patterns on other, non-Bayesian bases, and give an example of a knowledge pattern with no probabilities involved.
Chapter 2 proceeds to explain why it is necessary to implement Bayesian networks that can cope with interval bounds on probabilities as input (and output) data. Following the approach presented in the survey by Kreinovich et al. [64], we provide a comprehensive survey of the history of interval probabilities and explains their uses. The chapter argues that an expert may never state a pointvalued estimate of a probability. For example, if he uses a scale from 1 to 10 to estimate the probability of x and puts 3, it does not mean that p(x) = 0.3; in the best case, it means that p(x) € [0.25,0.35], and this does not yet take into account that an expert may be mistaken. Then, the chapter proceeds to explaining different realizations of interval probabilities and even higher interval estimates, where an interval has interval-valued bounds and so on.
This said, we proceed to Chapter 3. Chapter 3 opens a series of chapters devoted to providing mathematical and computer scientific background to the material covered in the book. Chapter 3 describes the most basic elements of probability theory (only discrete probability theory) that we shall need in the book: propositions, probability, operations on propositions, algebras and a-algebras, probability spaces, probability theory axiomatization, inner and outer measures, conditional probabilities, independence and conditional independence, and, finally, random variables and expectations. The chapter suffices for a not very well-prepared reader to renew his/her knowledge of probability theory in the extent necessary to understand every other portion of this book.
Chapter 4, entitled “Probabilistic logic”, is very important for the book. It provides the fundamentals of probabilistic logic that serve as justification for all that happens further on. It begins from the ideas of Nilsson [286,288] that show how to assign probabilities to logical propositions. Then, we proceed to explain the ideas of Halpern, Fagin, and Megiddo [193-196]. They united uncertainty inherent to intelligent systems and artificial intelligence as a whole, probabilistic logic, and interval bounds on probabilities by investigating upper and lower measures and axiomatizing the logics of underdefined probabilistic measures (measures for which the base algebra does not coincide with the algebra of all subsets of a given set). The chapter ends with a brief overview of other interesting works in this field.
Chapter 5 continues the work begun in the previous chapter; while Chapter 4 was devoted to the logical foundations of artificial intelligence that we shall use for Bayesian networks, this chapter provides the reader with a wider look at what has been happening in the field of uncertainty. It explains the belief and plausibility measures and the basics of the Dempster-Shafer theory, which has been a viable alternative to probabilistic reasoning and fuzzy logic. Fagin, Halpern, and Megiddo proceed to show that the Dempster-Shafer theory may be mapped onto
their formalism: there is a correspondence between Dempster-Shafer structures and probabilistic underdefined measures. The second half of the chapter is devoted to other systems which we have considered worth mentioning. These systems include the Dubois-Prade theory (this one is also very widely used, but it is in fact a variation of the Dempster-Shafer theory, so we have not been going into detail here), MYCIN, subjective bayesian inference, and INFERNO.
The exposition of Chapters 4 and 5 would not, of course, be complete if one did not mention one of the most influential formalisms in artificial intelligence that has in many ways shaped modern studies of uncertainty. We mean, of course, fuzzy logic, and we considered fuzziness to be worth a whole chapter (although not a large one). Chapter 6 is devoted to the basics of fuzzy logic; while not intending to replace other introductory materials (which this chapter cannot, even if only because of its conciseness), the chapter targets an unexperienced reader and aims at motivating him/her to study fuzziness in more detail.
Chapter 7 opens a series of chapters that pursue more practical goals. They aim at practical software implementations of Bayesian networks. While for Bayesian belief networks many successful implementations exist, algebraic Bayesian networks still await a programmer that would create a working software product (prototypes suitable for toy examples don’t count). One of the main characteristic features of algebraic Bayesian networks is that the algorithms in all known cases get down to linear programming, thus making the linear programming library one of the most important parts of the software. Therefore, we consider it natural to include a brief overview of different approaches to linear programming to the book. The chapter covers the simplex method with proofs of the most important theorems, numerical examples, and remarks on practical implementations (in fact, we hope that it is possible to use this chapter as a basis for teaching the simplex method). We also describe the Khachiyan ellipsoid method, only to dismiss it as impractical. Unfortunately, interior point methods are not covered in the current version of the book; perhaps, they will make their way into future revisions.
Chapter 8 is devoted to the issues that arise in the implementation of algebraic Bayesian networks. The first part of the chapter is devoted to efficient enumeration of quants and conjuncts. Based on this enumeration, we describe how to efficiently generate the constraints appearing in the linear programming problem that describes the fact that a given function is a probabilistic distribution (this kind of constraints appears in nearly every optimization task appearing in the theory of algebraic Bayesian networks). Then we add a touch of software design: we describe how to write good code that implements these enumerations. We do it in two ways: in C++, presupposing the use of the ILOG Concert libraries , and in Pascal (Delphi), using the GNU GLPK libraries. We conclude this chapter with the basic notions of graph theory. The choice may seem strange, but graph theory concepts we use are so easy that they do not deserve a separate chapter, while they do fit into the implementation part: Bayesian networks graph representation is precisely what is translated into software design; the theory itself, at least the theory of algebraic Bayesian networks, does not need graphical representations.
These were the three chapters that describe implementation issues. Starting from Chapter 9, we finally turn to the main subject of the book: Bayesian networks. The next five chapters describe the basic concepts of algebraic Bayesian networks. Let us describe them briefly here, as well.
As we have already mentioned, knowledge patterns in an algebraic Bayesian network are represented with the use of joint probabilities. In practice, this means that if a knowledge pattern is based on propositions X],X2,... >xn then it consists of all possible conjunctions of these propositions: xt.xtXj.xtXjXk,... ,X]X2 .. .xn. These conjunctions form an ideal in the lattice theory sense, and, obviously, the most convenient graphical representation of such a knowledge pattern would be its Hasse diagram. To form a network from such knowledge patterns, one does not need to introduce any special connectors: let us simply consider a large set of propositions {xi, X2,..., xn} along with a set of knowledge patterns built on these propositions. Knowledge patterns intersect when they have common base propositions (note that their intersections are smaller knowledge patterns themselves) and thus form the structure of an algebraic Bayesian network. However, a knowledge pattern and an algebraic Bayesian network are more than just this structure. They are also assigned with probabilistic estimates. The estimates may be point-valued or interval, and they are assigned to each conjunction in the network. Then we may form linear combinations of networks with the same structure, but different probabilistic estimates. Besides, there may exist cycles in an algebraic Bayesian network, that is, series of knowledge patterns that intersect with each other and in the end of the chain return to the first knowledge pattern. The formal definitions of all these concepts along with numerical examples and further discussion is given in Chapter 9.
One of the principal differences from Bayesian belief networks is that probabilistic estimates in an algebraic Bayesian network may be inconsistent or (in the interval case) may require reconciliation before they become consistent. By a consistent knowledge pattern we mean that for every point in every interval estimate there exists a corresponding probabilistic distribution over the whole pattern that realizes this point as probability of its conjunction. Consistency of a whole network is a more complex concept. We distinguish four different degrees (levels) of consistency that differ in checking complexity (size of the linear programming tasks that one needs to solve in order to check each of the consistency degrees); the ultimate, global consistency requires the consistency of a knowledge pattern built on all conjunctions of the network; other degrees weaken this condition.
The possibility of encountering an inconsistent network forms the need of specific algorithms that would recognize such situations and sharpen the bounds correspondingly. These algorithms are also suitable for the so-called a priori inference: calculating bounds for probabilities of Boolean formulas that are not included in the network; for example, formulas that are not conjunctions or conjunctions that do not lie inside any of the existing knowledge patterns. The notions of consistency and these algorithms are described in detail in Chapter 10; the chapter also provides numerical examples for all the concepts and precise step-by-step de-
scriptions of the algorithms involved. It also introduces the concept of embracing consistency — we shall turn to this concept later, when we list open problems and directions for future research.
However, these are only preliminary steps before one proceeds to the main purpose of Bayesian networks: a posteriori inference. The idea is simple: suppose that you have a Bayesian network where variables x and у are connected (in whatever sense). Suppose that you are using this network in practice, and you are faced with the fact that the proposition у has occurred (the proposition is definitely true). This should somehow change the probabilistic estimates you have on x. If there were only two variables and the bounds were point-valued, life would be simple: by Bayes theorem, one has:
, I x = p(xy) =p(x)p(y|x)
p(x) p(x)p(y|x) + (1 -p(x))p(y|x)’
which allows to obtain necessary estimates for both Bayesian belief networks (from conditional probabilities) and algebraic Bayesian networks (from joint probabilities). However, this is only a beginning of a very long way: there may be lots of variables, several different pieces of evidence, and evidence needs not be hard (a certain proposition is true), but may also be soft (a certain proposition has a certain probability) or even uncertain (the probability of a certain proposition lies in certain bounds). Chapter 11 is devoted to a posteriori inference in an algebraic knowledge pattern, where evidence may be either hard or soft. This chapter explains the basic ideas of evidence propagation in algebraic Bayesian networks, provides examples. In Chapter 12 these ideas are extended to handle uncertain evidence (as always, we reduce every task to linear programming) and it is explained how to extend the inference algorithms from a single knowledge pattern to the whole network.
Some of the basic notions of the theory of algebraic Bayesian networks are illustrated on figure on p. 600; we do not go into the details of explaining the figure, but rather refer to the book itself, where the subject is treated in much more detail.
Chapter 13 deals with a very important (from both theoretical and practical points of view) question of stability of the inferred estimates under small variations of initial data in Bayesian networks. Indeed, if a network immediately becomes hopelessly inconsistent because a certain interval estimate was shifted by some small e, this network is probably not useful at all, especially taking into account the expert (therefore, uncertain) nature of the estimates. The chapter begins with a special case (knowledge pattern with two variables) and proceeds to present several results on stability, some of which are quite new. We introduce the concept of a stable network, its degree of stability, a network with multiple stability, and its degree of multiple stability. We also prove several theorems on relationships between these concepts.
Chapter 14 and Chapter 15 are devoted exclusively to Bayesian belief networks. We dare not hope that these chapters may be of interest to a Western reader
who has access to numerous excellent books on the subject, such as [169,237,308]. However, for a Russian reader the chapters are priceless. We do not know of any comprehensive Russian source on Bayesian belief networks at all, despite the fact that the networks themselves have been employed. We consider these chapters as a good source for comprising study courses on artificial intelligence: it would be unjust to completely overlook Bayesian belief networks in such a course, while Western books, although better written and more detailed, are hardly accessible due to financial and (in some cases) language barriers.
In the chapters themselves we go over the basic concepts of Bayesian belief networks, describe propagation algorithms and mention several other topics of interest, such as stochastic modeling (an excellent source of numerical data, which we plan to use for algebraic Bayesian networks as well) and Markov networks (unfortunately, only a very brief description fit into the book).
After describing two apparata which are similar in purpose it would be natural to compare their work. Fulfilling this task begins in Chapter 16. The chapter is devoted to a very special case of this comparison: linear chains of knowledge patterns with point-valued estimates. While the latter restriction seems natural — Bayesian belief networks have not yet been extended to handle interval estimates — the former one was introduced merely for convenience. The results extend easily to acyclic networks in general, but it is easier and more instructive to consider linear chains. The results proven in the chapter are predictable: there exists a one-to-one between the two ways of data input (through conditional probabilities and through joint probabilities); the resulting families of probabilistic distributions coincide. This is no wonder, of course, but along proving this fact we also develop an understanding of the probabilistic semantics of such networks; we consider this understanding as very helpful for the reader.
The next chapter, Chapter 17 continues the topic of simulating Bayesian belief networks with algebraic Bayesian networks. This chapter shows that algebraic Bayesian networks are in fact a more general formalism than Bayesian belief networks. In general, propagation algorithms for algebraic Bayesian networks rely upon linear programming; current implementations of linear programming are so fast (in practice they work in linear time except for a small fraction of unlikely problems, which will certainly not arise in an algebraic Bayesian network) that we believe that algebraic Bayesian networks scale up quite well.
In Chapter 17 we describe how to emulate traditional Bayesian evidence propagation (from Bayesian belief networks) in the algebraic Bayesian networks framework. By the arguments similar to what we already saw in the previous chapter, it turns out that acyclic algebraic Bayesian networks with point-valued probability estimates emulate Bayesian belief networks. In this only case when we are able to actually compare the complexity of inference in Bayesian belief networks and algebraic Bayesian networks, there is no difference, because the algorithms from the algebraic Bayesian network theory trivialize in this case and do not even include any linear programming, while the non-trivial cases are not covered by the existing theory of Bayesian belief networks.
Acyclic algebraic Bayesian networks emulate Bayesian belief networks; but the algebraic approach allows for cycles in the network. Would it be possible to incorporate directed cycles into traditional Bayesian belief calculi? In our latest research (see, for example, [285]) we have been trying to devise a positive answer to this question. Chapter 18 presents the current state of research (current by the time of writing, of course). We provide a complete treatment for an isolated directed cycle in a Bayesian belief network. This is the simplest case, and it may even be considered as trivial, but in fact it already shows the principal novelties one has to introduce into standard Bayesian belief calculi. The network does not represent a single probabilistic distribution anymore, but a whole family of distributions; another problem stems from the fact that this family may turn out to be empty: it is already necessary to introduce consistency checking! However, the problems may be addressed, and the proper extension may be developed; our current work is devoted to these subjects. We have illustrated the current progress and ideas for further work on figure on p. 601.
Chapter 19 shows an example of what one can achieve within the general framework of building networks from knowledge patterns used in the algebraic Bayesian network theory, even if one discards the probabilistic approach and attempts to use other measures of uncertainty. The chapter considers a network based on knowledge patterns with fuzzy measure of uncertainty. We expolre an approach to fuzzy knowledge patterns representation and processing and show how to unite such knowledge patterns into a network; similar techniques may be employed for other measures and in other situations.
And, the last but not least, Chapter 20 describes one of the latest achievements in the Bayesian networks theory made by Studeny and Bouckaert, [336]; namely, we consider the so-called chain graphs that are able to represent any possible combination of conditional (in)dependencies between the variables of a network. These graphs may be viewed as an extension of Bayesian belief networks that has more expressive power, but, of course, it is harder to develop propagation algorithms for chain graphs. Anyway, the chapter deals only with the graphical representation of conditional (in)dependencies and the c-separability criteria (analogues of d-separation from the theory of Bayesian belief networks).
These are the chapters that comprise the book we are presenting now. Let us now conclude this brief note by reviewing the very frontiers of the field and suggesting directions for future work that have not yet been investigated.
The book itself, we should stress, is merely an introduction to the world of Bayesian networks. As for Bayesian belief networks, there exist many better (more comprehensive and more detailed) sources on the subject [169,237,308]; our primary concern here was to deliver the basic concepts of the theory to an interested Russian reader. As for algebraic Bayesian networks, this book is certainly the most comprehensive source about them. But, naturally, as soon as a book gets finished, the authors immediately realize what else they would like to put in this book, but what is already too late to insert.
*1*2*2*3 X3X4
*1*2 X2X3X3X4
xix2 x2x3 X3X4
Algebraic Bayesian networks
Currently, the theory of algebraic Bayesian networks has achieved the stage when it is reasonable to try to implement the concepts in a real software product. We hope that this publication will speed up the developing of such software, and, possibly, the first implementations will soon appear. We have tried to explain all algorithms and techniques in every detail necessary for the implementor.
As for theoretical research, there are many directions where one might want to go from here. The first direction has already been explained in Chapter 18; only isolated cycles of Boolean variables have so far been handled. It has become clear that even an isolated directed cycle corresponds to a whole family of distributions rather than to one distribution; this family may also be empty. It would be extremely interesting to incorporate such a cycle in a whole network and extend the results to multivalued variables. After that, one should address the propagation algorithms for the cyclic case.
Another important direction for further research is embracing consistency, a concept that has been outlined in Chapter 10. The idea is to turn the problem upside down: while usual algorithms sharpen the estimates based on new information, presupposing that the probabilities certainly do not exceed the preset bounds, embracing consistency is designed to weaken the estimates in order to unite all bounds one has. This changes the modality from “must be” to “may be”, and is useful when the initial information is obviously inconsistent, but one has to find a minimal (in some sense) set of bounds that would be consistent and cover all the initial bounds. Another application is to recalculate the bounds when one of the estimates becomes wider (worse defined); this may find applications in software testing and similar tasks of monitoring readiness/reliability.
We would like to add one final point which has already been made in the Russian introduction, but which is well worth mentioning here. The current book is a scientific text, but we believe that it is suitable for serving as a study guide for a course on Bayesian networks (or a corresponding part of a course in artificial intelligence or soft computing in general). An acute need in such courses has lately arisen in Russia, where, unfortunately, there exists no long-standing tradition of teaching artificial intelligence. The book is comprehensible enough and self-contained, and we hope that even a freshman (with some mathematical background, of course) would be able to study Bayesian networks with the help of this book.
In conclusion, we would like to thank everyone who has been reading all this — you are the one this was written for. We hope that the long way has been an interesting one, and wish you the best of luck in advancing the theory and applications of Bayesian networks.
Alexander L. Tulupyev,
Sergey I. Nikolenko, Alexander V. Sirotkin.
Авторский вклад
Главы 1, 5, 6, 9-13, 17, 19 написаны ведущим научным сотрудником СПИИРАН А. Л. Тулупъевым; гл. 3, 7, 14, 15 — аспирантом ПОМИ РАН С. И. Николенко; гл. 20 написана аспирантом СПИИРАН А. В. Сироткиным. Материалы гл. 2, 4, 18 подготовлены главным образом С. И. Николенко при участии А. Л. Тулупъева, гл. 8 — А. В. Сироткиным совместно с А. Л. Тулупъевым, гл. 16 — А. Л. Тулупъевым при участии С. И. Николенко. Аннотация на русском языке, предисловие, введение, послесловие написаны С. И. Николенко и А. Л. Тулупъевым. А. В. Сироткин внес ряд примеров и уточнений в гл. 9, 12, 13, а А. Л. Тулупъев дополнил начало гл. 15.
Предметный указатель подготовлен А. В. Сироткиным. Библиография составлена всеми авторами. Английский перевод аннотации и оглавления, а также резюме монографии на английском языке выполнены в основном С. И. Николенко при участии А. Л. Тулупъева. Постановку целей и задач, разработку и единство методологии исследований, подхода к изложению материала, системы обозначений в гл. 1-6 и 8-20 обеспечил А. Л. Тулупъев. Реализация подхода к изложению материала и использование системы обозначений, принятых в соответствующей области математики, принадлежит С. И. Николенко (гл. 7). Таблицы составлены А. Л. Тулупъевым; рисунки со схематическим изображением матрицы 1П получены с помощью программного обеспечения, разработанного А. В. Сироткиным; остальные рисунки подготовлены С. И. Николенко по эскизам А. Л. Тулупъева.
Новые результаты, относящиеся к алгебраическим байесовским сетям, их основам и обобщениям (в т.ч. нечетким), а также к компаративному анализу с другими байесовскими сетями, получены А. Л. Тулупъевым.
Выводы по показателям чувствительности и устойчивости объектов и процессов из теории АБС были изложены А. Л. Тулупъевым (эмпирический подход; аналитический подход на фрагментах знаний), затем критически проанализированы, частично обобщены и строго оформлены А. В. Сироткиным (аналитический подход с получением точных оценок показателей устойчивости непротиворечивости АБС).
А. В. Сироткин при участии А. Л. Тулупъева разработал базовые примеры использования двух прикладных программных пакетов линейного программирования (GNU GLPK; ILOG CPLEX + ILOG Concert) для решения оптимизационных задач, возникающих в процессе синтеза согласованных оценок истинности. На основе процедур и функций, рассмотренных в этих примерах, А. В. Сироткин разработал псевдокод, на котором в монографии описаны схемы формализованных им алгоритмов, в т.ч. нового алгоритма по поддержанию экстер- нальной непротиворечивости. Кроме того, А. В. Сироткин составил дискриминант-пример, на котором продемонстрированы различия в результатах экстернальной и интернальной непротиворечивостей АБС, уточнил формализицию объемлющей непротиворечивости.
Анализируя вероятностную семантику циклов обратных связей в байесовских сетях доверия, А. Л. Тулупъев сначала поставил содержательные задачи. Затем С. И. Николенко осуществил алгебраическое оформление этих задач в виде систем линейных уравнений и описал общее решение. После этого А. Л. Тулупъев, анализируя случаи, сделал выводы о возникновении качественно новых аспектов вероятностной семантики обобщенных БСД, допускающих направленный цикл; описал влияние новой семантики на алгоритмы пропагации в БСД; разработал алгоритмы и программное обеспечение, позволяющее погрузить направленный БСД-цикл в ФЗ АБС, а также проводить стохастическое моделирование СБП по Гиббсу на основе данных о БСД-цикле. Наконец, С. И. Николенко выполнил анализ сложности алгоритмов, связанных с определением непротиворечивости направленного БСД-цикла.
Информация об авторах
Александр Львович Тулупьев (р. 1970). Кандидат физико-математических наук, доцент, ведущий научный сотрудник, лаборатория прикладной информатики, Санкт-Петербургский институт информатики и автоматизации РАН (СПИИ- РАН), доцент, кафедра информатики, математико-механический факультет, Санкт- Петербургский университет (СПбГУ).
В 1987 г. поступил и в 1992 г. с отличием окончил математико-механический факультет СПбГУ; специализировался по кафедре информатики. Тема дипломной работы: «Две СУБД. Опыт коллективных разработок». В том же году поступил и с отличием закончил в 1997 г. факультет социологии СПбГУ; сначала специализировался по кафедре теории и истории социологии, а затем — по кафедре культурантропологии и этносоциологии. Тема дипломной работы «Американская антропологическая лингвистика: основные стратегии кросскультур- ных исследований». Одновременно обучался в аспирантуре СПИИРАН по специальности 05.13.18 — «Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях». В 1996 г. успешно защитил диссертацию «Алгебраические байесовские сети для представления и обработки знаний с неопределенностью» на соискание ученой степени кандидата физико-математических наук. В 2000-2001 гг. проходил стажировку в Internet Technology School, Denver, CO, USA. В 2001 г. поступил в докторантуру СПИРАН и в 2002-2003 гг. продолжил обучение (post-doctoral fellow) в области биостатистики и методов математического моделирования за рубежом (Methodology and Biostatistics Core, CIRA, Epidemiology and Public Health Department, School of Medicine, Yale University, New Haven, CT, USA).
Научные интересы: искусственный интеллект, теория мягких вычислений, байесовские сети; прикладная статистика и математическое моделирование; автоматизированные информационные системы и базы данных, технологии и системы программирования, теоретические основы информатики; междисциплинарные исследования на стыке математики, информатики, современной эпидемиологии, культурантропологии, социологии и психологии.
Число публикаций 70. Среди них — монографии и учебные пособия: «Алгебраические байесовские сети: теоретические основы и непротиворечивость» (СПИИРАН, 1995), «Культуральная антропология» (СПбГУ, 1996, соавт.), «Современные информационные технологии» (РГПУ им. А. И. Герцена, 1998, соавт.), «Алгебраические байесовские сети: логиковероятностный подход к моделированию баз знаний с неопределенностью» (СПИИРАН, 2000), «Вазовое программное обеспечение персонального компьютера. MS Windows 2000 и утилиты: интенсивный вводный курс» (СПИИРАН, 2000, соавт.), «Многофакторное исследование личности (методические материалы для тестирования)» (СПИИРАН, 2005, соавт.), «Защитные механизмы в контексте психологических особенностей личности» (СПИИРАН, 2005, соавт.-сост.), «Компьютерная обработка данных для психологов» (СПб., Речь, 2002, 1-е изд.; 2004, 2-е изд., науч. ред.).
Сергей Игоревич Николенко (р. 1984). Аспирант Санкт-Петербургского отделения Математического Института им. В. А. Стеклова РАН (ПОМИ РАН) по специальности 01.01.06 — «Математическая логика, алгебра и теория чисел».
В 2005 г. с отличием окончил математико-механический факультет Санкт- Петербургского государственного университета (СПбГУ); специализировался по кафедре высшей алгебры и теории чисел. Тема дипломной работы: «Аг -доказательство структурных теорем для групп Шевалле типа Рд». *
Научные интересы: теория сложности (алгоритмы для SAT, автоматические доказательства верхних оценок их сложности); теория доказательств (полуалгебраические системы доказательств); оценки размера доказательств, практическая программная реализация логического вывода; высшая алгебра (алгебраические группы, структурные теоремы для групп Шевалле); алгебраическая геометрия (теория мотивов и мотивных разложений); искусственный интеллект (байесовские сети доверия, алгебраические байесовские сети).
Число публикаций 22. Среди них: разработка методологии вычисления групп Чжоу и мотивов анизотропных проективных однородных многообразий и первый пример совпадения мотивов у неизоморфных исключительных многообразий — «Motivic decomposition of anisotropic varieties of type F4 into generalized Rost motives» (2006, соавт.), доказательство структурной теоремы для групп Шевалле типа 2Е$ и оптимальный путь доказательства для F4 — «Строение групп Шевалле — доказательство из Книги» («Записки научных семинаров ПОМИ РАН». Т. 330. 2006, соавт.), «Simulating Cutting Planes Proofs with Restricted Degree of Falsity by Resolution» (Proc, of SAT’05, 2005, соавт.), «Directed Cycles in Bayesian Belief Networks: Probabilistic Semantics and Consistency Checking Complexity» (Advances in Artificial Intelligence, LN AI 3789, 2005, в соавт. с А. Л. Тулупьевым), «Worst-case Upper Bounds for SAT: Automated Proof» (Proc, of the 15th European Summer School in Logic, Language, and Information (ESSLLI 2003), в соавт. с А. В. Сироткиным), «Трудные выполнимые формулы для DPLL-подобных алгоритмов» («Записки научных семинаров ПОМИ РАН». 2003).
Александр Владимирович Сироткин (р. 1983). Аспирант Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН) по специальности 05.13.18 — «Математическое моделирование, численные методы и комплексы программ».
В 2005 г. окончил математико-механический факультет Санкт-Петербургского государственного университета (СПбГУ); специализировался по кафедре высшей алгебры и теории чисел. Тема дипломной работы «О подгруппах группы Шевалле над кольцом, содержащих группу точек над подкольцом».
Научные интересы: байесовские сети и мягкие вычисления, математические проблемы в области организации, мониторинга и оптимизации транспортных потоков, математическая логика.
Число публикаций 10. Среди них — статья, содержащая первое полуавтоматическое доказательство оценки времени работы алгоритма, основанное на компьютерном переборе случаев — «Worst-case Upper Bounds for SAT: Automated Proof» (Proc, of the 15th European Summer School in Logic, Language, and Information (ESSLLI 2003), в соавт. с С. И. Николенко).
Authors
Alexander Lvovich Tulupyev (born 1970). Ph. D. in Mathematics, Associate Professor, Leading Research Fellow, St.-Petersburg Institute for Informatics and Automation of RAS (SPIIRAS), Associate Professor of the computer science Department, Faculty of Mathematics and Mechanics, St .-Petersburg State University.
Entered in 1987 and graduated cum laude in 1992 from the faculty of mathematics and mechanics of SPSU, majoring in informatics. Defended M. Sc. thesis on “Two databases. Experience of collaborative development”. In 1992 entered and in 1997 graduated cum laude from the faculty of sociology of SPSU, majoring first in the theory and history of sociology, then — cultural anthropology and ethnosociology. Defended M.Sc. thesis on “American Anthropological Linguistics: Basic Strategies of Cross-cultural Research”. At the same time was a graduate student in SPIIRAS on specialty 05.13.18 — “Using Computing Facilities, Mathematical Modeling, and Mathematical Methodology in Scientific Research”. In 1996 defended Ph. D. thesis on “Algebraic Bayesian Networks for Representing and Processing Knowledge with Uncertainty”. In 2000-2001 was an intern in the Internet Technology School, Denver, CO, USA. In 2001 entered the postdoctoral studies in SPIIRAS, and in 2002-2003 continued as Post-Doctoral Fellow in biostatistics and mathematical modeling at Methodology and Biostatistics Core, CIRA, Epidemiology and Public Health Department, School of Medicine, Yale University, New Haven, CT, USA.
Scientific interests: artificial intelligence, soft computing, Bayesian networks; applied statistics and mathematical modeling; automated information systems and databases, programming technology and systems; theoretical computer science; interdisciplinary research between mathematics, informatics, modern epidemiology, cultural anthropology, sociology, and psychology.
Has published 70 works, among them books and study guides: “Algebraic Bayesian Networks: Theoretical Background and Consistency” (SPIIRAS, 1995), “Cultural Anthropology” (SPSU, 1996, in co-authoring), “Modern information technologies” (RSPU named after A. I. Herzen, 1998, in co-authoring), “Algebraic Bayesian Networks: a Probabilistic Logic Approach to Modeling Uncertain Knowledge Bases” (SPIIRAS, 2000), “Basic Software for PC. MS Windows 2000 and Utilites: an Intensive Introduction” (SPIIRAS, 2000, in co-authoring), “Multifactor Studies of Personality (Testing Manual)” (SPIIRAS, 2005, in co-authoring), “Defense Mechanisms in the Context of Psychological Traits of Personality” (SPIIRAS, 2005, coll.-co-auth.), “Computer Data Processing for Psychologists” (SPb., Rech’, 1st ed., 2002, 2nd ed., 2004, sci. ed.).
Sergey Igorevich Nikolenko (born 1984). Ph. D. Student, the St. Petersburg Department of the Steklov Mathematical Institute of the Russian Academy of Sciences (PDMI RAS), specialty 01.01.06 (“Mathematical Logic, Algebra, and Number Theory”).
In 2005 graduated cum laude from the faculty of mathematics and mechanics of the St. Petersburg State University, majoring in algebra and number theory. Defended M. Sc. thesis on “A2-proof of the Structure Theorems for Chevalley Groups of Type F4”.
Scientific interests: complexity theory (SAT algorithms, automated proofs of upper bounds on their running time); proof theory (semialgebraic proof systems); proof complexity, implementations of logical inference and proof search; higher algebra (algebraic groups, structure theorems for Chevalley groups); algebraic geometry (motive theory and motivic decompositions); artificial intelligence (Bayesian belief networks, algebraic Bayesian networks).
Has published 22 works, among them: developing the methodology of computing Chow groups and decomposing motives of anisotropic projective homogeneous varieties and the first exceptional example of non-isomorphic varieties with coinciding motives “Motivic decomposition of anisotropic varieties of type F4 into generalized Rost motives” (2006, in co-authoring), proving the structure theorem for the Chevalley group of type 2 Вб and a better way to prove it for F4 “Chevalley groups structure — the proof from the Book” (Zapiskt Nauchnyh Seminarou POMI, vol. 330, 2006, to be translated in St.-Petersburg Mathematical Journal, in co-authoring), “Simulating Cutting Planes Proofs with Restricted Degree of Falsity by Resolution” (Proc, of SAT’05, 2005, in co-authoring), “Directed Cycles in Bayesian Belief Networks: Probabilistic Semantics and Consistency Checking Complexity” (Advances in Artificial Intelligence, LN AI 3789, 2005, coauthored by A. L. Tulupyev), “Worst-case Upper Bounds for SAT: Automated Proof” (Proc, of the 15th European Summer School in Logic, Language, and Information (ESSLLI 2003), coauthored by A. V. Sirotkin), “Hard Satisfiable Formulas for DPLL-like Algorithms” (Zapiski Nauchnyh Seminarov POMI, 2003, to be translated in St.-Petersburg Mathematical Journal).
Alexander Vladimirovich Sirotkin (born 1983). Ph. D. Student at the St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS), specialty 05.13.18 (“Mathematical Modeling, Numerical Methods, and Software Complexes”).
In 2005 graduated from the faculty of mathematics and mechanics of the St. Petersburg State University, majoring in algebra and number theory. Defended M. Sc. thesis on “On the Subgroups of Chevalley Groups over Rings Containing a Point Group on the Subring”.
Scientific interests: Bayesian networks and soft computing, mathematical problems in organizing, monitoring, and optimizing traffic, mathematical logic.
Has published 10 works, among them the first automatized proof of a bound on the running time of a DPLL-like algorithm, based on computerized enumeration of possibilities — ‘Worst-case Upper Bounds for SAT: Automated Proof’ (Proc, of the 15th European Summer School in Logic, Language, and Information (ESSLLI 2003), coauthored by S. I. Nikolenko).
Научное издание
Александр Львович Тулупьев,Сергей Игоревич Николенко»Александр Владимирович Сироткин
БАЙЕСОВСКИЕ СЕТИ
ЛОГИКО-ВЕРОЯТНОСТНЫЙ подход
Утверждено к печати Ученым советомСанкт-Петербургского института информатики и автоматизагрди РАН
Редактор издательства Т. П. ЖуковаХудожник Е. В. Кудина
Лицензия ИД № 02980 от 06 октября 2000 г. Подписано к печати 29.05.06.
Формат 70 X 100 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 49.4.Уч.-изд. л. 32.8. Тираж 500 экз. Тип. зак. № 3294. С 122
Санкт-Петербургская издательская фирма «Наука» РАН199034, Санкт-Петербург, Менделеевская лин., 1E-mail: main@nauka.nw.ruInternet: www.nauka.nw.ru
Первая Академическая типография «Наука»199034, Санкт-Петербург, 9 лин., 12
ISBN 5-02-025107-0
1 «Чистая математика в целом гораздо полезнее прикладной, потому что более всего полезен метод, а математический метод преподается в основном через чистую математику». — Г. X. Харди.
3«Мой парадоксальный и немного провокационный, но все же оригинальный тезис прост: ВЕРОЯТНОСТИ НВ СУЩЕСТВУЕТ». - Бруно де Финетти [180].
В связи с этим ограничение 1 — Tei — Тс2 + Тез > 0 мы запишем в виде —Pel — Рс2 + ТсЗ^—1-
Пример 8.4. ЗЛП pascal GLPK Program GPLK_EXAMPLE
var k:integer; -[Счетчик, для загрузки матрицы в задачу.}
Ip: PLpx; {Сама задача.}
{Массивы для хранения номеров строки и столбца}
{i-ro ненулевого коэффициента матрицы.}
ia, ja: array[0..100000] of Integer;
{Массивы для хранения значения}
{i-ro ненулевого коэффициента матрицы.}
ar: array[0..100000] of Double;
begin
А. Л. T У Л У П Ь Е В, СИ. Н И К О Л Е Н КО, А. В. С И Р О Т К И Н
БАЙЕСОВСКИЕ
СЕТИ
ЛОГИКО-ВЕРОЯТНОСТНЫЙ
подход
= |||| = = ||||
I I У \4Illi III! =
1111 =
. У\=1111
= = IHI ВИН 1111 = =1111 НН $JIII = = 1111
ПИ ^ =Н!:-х = ННЛ111=
1111 = X =illl =^1|1111 =
IIIIIIIIIIII =,= Illi
ИИ ==1111=11111111 =
Illi ЛИ Illi =L.= 1111
Illi Illi 1111==1111
llllllllllllllllllllllllllll=
Illi = = 1111 = 11111111 =
IlliIlliIHI = =Illi
IlliIlli1111==1111
IIIIIIIIIIIIIlliIlliIlli Illi=
Illi Illi Illi = = 1111
IlliIlli IlliIlliIHIIlli Illi=
IlliIHI IlliIlliIlliIlli1111 =
Illi IIIIIIIIIIII IIIIIIIIIIII IIIIIIIIIIII llllllll IIIIIIIIIIII
RUSSIANACADEMYOF SCIENCES
St. PETERSBURG INSTITUTE FORINFORMATICS AND AUTOMATION
A. L. TULUPYEV, S. I. NIKOLENKO, A. V. SIROTKIN
BAYESIANNETWORKS
A PROBABILISTIC LOGIC APPROACH
Editor-Prof. R. M. Yusupov, Corresponding Memberof the Russian Academy of Sciences
и
St. Petersburg«NAUKA»2006
РОССИЙСКАЯ АКАДЕМИЯ НАУК
САНКТ-ПЕТЕРБУРГСКИЙ ИНСТИТУТ ИНФОРМАТИКИ И АВТОМАТИЗАЦИИ
А. Л. ТУЛУПЬЕВ, С. И. НИКОЛЕНКО, А. В.СИРОТКИН
БАЙЕСОВСКИЕСЕТИ
ЛОГИКО-ВЕРОЯТНОСТНЫЙ подход
Под общей редакциейчлена-корреспондента РАН, заслуженного деятелянауки и техники РФ Р. М. ЮСУПОВА
0
Санкт-Петербург«НАУКА»2006
УДК 004.8+ 519.2
ББК 22.17
Т82
Тулупьев А. Л., Николенко С. И., Сиротки н А. В. Байесовские сети: Логико-вероятностный подход. — СПб.: Наука, 2006. — 607 с.
ISBN 5-02-025107-0
В монографии изложены базовые понятия, результаты и алгоритмы логико-вероятностного вывода, относящиеся к байесовским сетям доверия (БСД), описанным Дж. Перлом, и алгебраическим байесовским сетям (АБС), введенным В. И. Городецким. Обе парадигмы исходят из декомпозиции знаний экспертов на фрагменты: в БСД фрагмент знаний моделируется тензором условных вероятностей, а в АБС — совместных. Несмотря на то что это лишь введение в область исследований байесовских сетей, монография может послужить источником для тем практических занятий, лабораторных, курсовых и дипломных работ по направлениям Математика, Прикладная математика, Информатика, Программирование, Интеллектуальные системы, Искусственный интеллект и др. Не исключено, что книга станет отправной точкой для магистрантов и аспирантов соответствующих специальностей в выборе тематики, целей и задач их диссертационных работ.
Рецензенты:
д-р физ.-мат. наук, проф. Н. В. ХОВАНОВ,д-р физ.-мат. наук, доц. В. В. КАРЮКИН
Tulupyev A. L., Nikolenko S. I., SirotkinA. V. Bayesian Networks: A Probabilistic Logic Approach. — St. Petersburg: Nauka, 2006. — 607 p.
Hie book is devoted to the rapidly developing field of soft computing, namely Bayesian networks as a model for representing knowledge pattern bases with probabilistic uncertainty. We introduce two main paradigms: J. Pearl’s Bayesian belief networks (BBN) and V. I. Gorodetski’s algebraic Bayesian networks (ABN). Both apparata are based on decomposing the experts’ knowledge into patterns: BBNs model a knowledge pattern with conditional probabilities, ABNs do it with joint probabilities. We describe in detail the basic notions and results of both theories and compare them (in particular, we show that ABN has more expressive power than BBN because it allows for interval estimated on probabilities). We give algorithms of consistency checking, a priori and a posteriori inference in ABN and BBN, probabilistic semantics of knowledge patterns and their collections, and treat some of the earlier unsolved problems, such as the semantics of an isolated directed cycle in BBN (done by embedding the BBN calculus into ABN).
Издание осуществлено при поддержкеРоссийского фонда фундаментальных исследованийпо проекту № 06-0Ы410В-д
© Коллектив авторов, 2006
© Издательство «Наука», 2006
Оглавление
Contents 11
Предисловие 17
Совмещая приятное с полезным 17
И немного о формальном 19
Список используемых сокращений и обозначений 23
Введение 29
Цель и задачи работы 29
Три основы 30
История исследований и их результаты 33
Содержание монографии 37
Благодарности 41
Поддержка исследований 41
Адреса для корреспонденции 42